Robots.txt
Robots.txt on tekstifail, mis asetatakse veebisaidi juurkausta ja mis ütleb otsingumootori robotitele, millistele lehekülgedele või saidi osadele neil on lubatud või keelatud ligi pääseda.
Robots.txt fail on esimene asi, mida otsingumootori botid teie veebisaiti külastades kontrollivad. Aadressil yoursite.com/robots.txt asuv fail sisaldab juhiseid, mis ütlevad robotitele, millistesse osadesse teie saidil saab minna ja milliseid tuleks vältida. See kasutab lihtsat süntaksit User-agent (milline bot), Disallow (millised rajad vahele jätta) ja Allow (erandid disallow reeglitele).
Saate seda ka kasutada otsingumootorite suunamiseks teie sitemapifaili poole. On oluline mõista, et robots.txt on viisakas palve, mitte turvameede. Hästi käituvad botid nagu Googlebot austavad seda, kuid pahatahtlikud botid võivad seda täiesti ignoreerida.
Praktikas
- Ettevõtte uus arendaja lisas kogemata robots.txt-i Disallow: /, blokeerides Google'i kogu saidilt ja põhjustades liikluse languse 90% enne, kui keegi märkas
- E-pood blokeeris oma faketi navigatsiooni URL-id robots.txt kaudu, säästes tuhandeid lehekülgi sirvimisbilansist oma tegelikele tootekülgedele
- Mitme saidiga WordPressi installatsioon kasutas robots.txt-d, et takistada testsaidi sisu indekseerimist otsingumootorite poolt
- SaaS platvorm blokeeris /app/ ja /account/ rajad, et takistada sisemiste juhtpaneeli lehekülgede ilmumist otsingutulemustes
Kas ei ole kindel, kuidas see teile kehtib?
Kogenud insener vaatab üle teie veebisaidi, nähtavuse otsingus ja päringute teekonna ning kirjutab seejärel üles kolm asja, mida esmalt parandada. Dokument jääb teile igal juhul.