Robots.txt
Robots.txt je textový súbor umiestnený v koreňovej zložke webu, ktorý hovorí crawlerom vyhľadávacích engine, ktoré stránky alebo sekcie webu majú povolený alebo zakázaný prístup.
Súbor robots.txt je jednou z prvých vecí, ktoré kontrolujú boty vyhľadávacích engine pri návšteve vášho webu. Nachádza sa na adrese yoursite.com/robots.txt a obsahuje smernice, ktoré hovoria crawlerom, ku ktorým častiam vášho webu môžu mať prístup a ktoré by mali obísť. Používa jednoduchú syntax s User-agent (ktorý bot), Disallow (aké cesty preskočiť) a Allow (výnimky z pravidiel Disallow).
Môžete ho tiež použiť na nasmerovanie vyhľadávačov na súbor sitemapy. Je dôležité pochopiť, že robots.txt je zdvorilá žiadosť, nie bezpečnostné opatrenie. Správanie sa dobrých botov, ako je Googlebot, ho rešpektuje, ale zlomyseľní boti ho môžu úplne ignorovať.
V praxi
- Nový vývojár firmy náhodne pridal do robots.txt Disallow: /, čím zablokoval Googlu prístup k celému webu a spôsobil pokles prevádzky o 90 %, kým si to všimol ktokoľvek
- E-shop zablokoval URL adresy svojej facetovej navigácie cez robots.txt, čím ušetril tisíce stránok crawl rozpočtu pre svoje skutočné produktové stránky
- Viacstránková inštalácia WordPressu použila robots.txt na zabránenie indexovaniu obsahu staging webu vyhľadávačmi
- SaaS platforma zablokovala cesty /app/ a /account/, aby zabránila objavovaniu interných dashboard stránok vo výsledkoch vyhľadávania
Nie ste si istí, či sa to týka aj vás?
Senior inžinier prejde vaše stránky, vašu prítomnosť vo vyhľadávaní a spôsob, akým dotazy k vám prichádzajú, a potom zapíše tri veci, ktoré sa oplatí opraviť ako prvé. Dokument si necháte v každom prípade.