Robots.txt
Datoteka robots.txt je besedilna datoteka, postavljena v koreninsko mapo spletnega mesta, ki iskalnirobotskim pajkom sporoča, katere strani ali dele spletnega mesta smejo ali ne smejo obiskati.
Datoteka robots.txt je ena prvih stvari, ki jih preverijo robotski pajki iskalnikov ob obisku vašega spletnega mesta. Nahaja se na naslovu yoursite.com/robots.txt in vsebuje smernice, ki pajkom povedo, kateri deli vašega spletnega mesta so jim dostopni in katerim se morajo izogniti. Uporablja preprosto sintakso z User-agent (katerega bota), Disallow (katere poti preskočiti) in Allow (izjeme od pravil prepovedi).
Uporabite jo lahko tudi za usmeritev iskalnikov k vaši datoteki spletnega zemljevida. Pomembno je razumeti, da je robots.txt vljudna prošnja, ne varnostni ukrep. Dobro obnažajoči se pajki, kot je Googlebot, ga spoštujejo, zlonamerni pajki pa ga lahko popolnoma ignorirajo.
V praksi
- Razvijalec podjetja je po nesreči dodal Disallow: / v datoteko robots.txt, s čimer je blokiral Google za celotno spletno mesto in povzročil padec prometa za 90 %, preden je to kdo opazil.
- E-trgovinsko spletno mesto je prek robots.txt blokiralo URL-je filtrirane navigacije, s čimer je prihranilo tisoče strani proračunskega sredstva za pregledovanje za svoje dejanske produktove.
- Večstranska namestitev WordPress je uporabila robots.txt za preprečevanje indeksiranja vsebine razvojnega spletnega mesta s strani iskalnikov.
- Platforma SaaS je blokirala poti /app/ in /account/, da bi preprečila pojav notranjih dashboard strani v rezultatih iskanja.
Niste prepričani, kako se to nanaša na vas?
Senior inženir obišče vašo lokacijo, vašo prisotnost v iskalnikih in način, kako prispeta povpraševanja, nato zapiše tri stvari, ki jih je vredno najprej popraviti. Dokument lahko obdržite v vsakem primeru.