Robots.txt
Robots.txt je textový soubor umístěný v kořeni webu, který vyhledávacím robotům sděluje, ke kterým stránkám nebo částem webu mají povolený nebo zakázaný přístup.
Soubor robots.txt je jednou z prvních věcí, které roboti vyhledávačů při návštěvě vašeho webu kontrolují. Nachází se na yoursite.com/robots.txt a obsahuje direktivy, které robotům sdělují, ke kterým částem vašeho webu mají přístup a kterým by se měli vyhnout. Používá jednoduchou syntaxi s User-agent (který robot), Disallow (které cesty přeskočit) a Allow (výjimky z pravidel Disallow).
Můžete jej také použít k tomu, abyste vyhledávačům ukázali na soubor sitemapy. Je důležité pochopit, že robots.txt je zdvořilá žádost, nikoli bezpečnostní opatření. Slušně se chovající roboti jako Googlebot jej respektují, ale škodliví roboti jej mohou zcela ignorovat.
V praxi
- Nový vývojář ve firmě omylem přidal do robots.txt příkaz Disallow: /, čímž zablokoval Google přístup k celému webu a způsobil pokles návštěvnosti o 90 %, než si toho někdo všiml
- E-shop zablokoval prostřednictvím robots.txt URL své facetové navigace a ušetřil tisíce stran crawl budgetu pro své skutečné produktové stránky
- Vícewebová instalace WordPressu použila robots.txt k zabránění indexování obsahu stagingového webu vyhledávači
- SaaS platforma zablokovala cesty /app/ a /account/, aby zabránila zobrazování stránek interního dashboardu ve výsledcích vyhledávání
Nejste si jistí, jak se to týká vás?
Zkušený inženýr projde váš web, vaši viditelnost ve vyhledávání a způsob, jakým se k vám dostávají poptávky, a poté sepíše tři věci, které je vhodné opravit jako první. Dokument si ponecháte tak jako tak.