Robots.txt
Datoteka robots.txt je tekstualna datoteka postavljena u korijenu web stranice koja tražilicama govori koje stranice ili dijelove stranice smiju, a koje ne smiju pristupiti.
Datoteka robots.txt jedna je od prvih stvari koje botovi tražilica provjeravaju pri posjetu vašoj web stranici. Nalazi se na yoursite.com/robots.txt i sadrži direktive koje govore pregledavačima koje dijelove vaše web stranice mogu pristupiti, a koje trebaju izbjegavati. Koristi jednostavan sintaksu s User-agent (koji bot), Disallow (koje putove preskočiti) i Allow (iznimke od pravila zabrane).
Također ga možete koristiti za usmjeravanje tražilica na datoteku mape web stranice. Važno je razumjeti da je robots.txt ljubazan zahtjev, a ne mjera sigurnosti. Dobro ponašajući botovi poput Googlebota poštuju ga, ali zlonamjerni botovi ga mogu u potpunosti ignorirati.
U praksi
- Novi developer tvrtke slučajno je dodao Disallow: / u robots.txt, blokiravši Google na cijeloj web stranici i uzrokujući pad prometa za 90 % prije nego što je itko primijetio
- E-trgovina blokirala je URL-ove svoje facettne navigacije putem robots.txt-a, štedeći tisuće stranica budžeta pregledavanja za svoje stvarne stranice proizvoda
- Višesajtowa instalacija WordPressa koristila je robots.txt za sprječavanje indeksiranja sadržaja testne stranice od strane tražilica
- Platforma SaaS blokirala je putanje /app/ i /account/ kako bi spriječila pojavu unutarnjih dashboard stranica u rezultatima pretraživanja
Niste sigurni kako se ovo odnosi na vas?
Senior inženjer pregledava vašu web stranicu, vašu prisutnost u pretraživanju i način na koji upiti dolaze do vas, a zatim bilježi tri stvari vrijedne popravka prvo. Dokument zadržavate u svakom slučaju.