Robots.txt
Robots.txt este un fișier text plasat în rădăcina unui site care le spune crawlerelor motoarelor de căutare căror pagini sau secțiuni ale site-ului le este permis sau nu să le acceseze.
Fișierul robots.txt este unul dintre primele lucruri pe care le verifică roboții motoarelor de căutare când vizitează site-ul dumneavoastră. Situat la yoursite.com/robots.txt, conține directive care le spun crawlerelor ce părți ale site-ului pot accesa și ce ar trebui să evite. Folosește o sintaxă simplă cu User-agent (care bot), Disallow (ce căi să omită) și Allow (excepții de la regulile Disallow).
Îl puteți folosi și pentru a indica motoarelor de căutare fișierul dumneavoastră sitemap. Este important să înțelegeți că robots.txt este o cerere politicoasă, nu o măsură de securitate. Boții bine comportați precum Googlebot îl respectă, dar boții rău intenționați îl pot ignora complet.
În practică
- Un dezvoltator nou al unei companii a adăugat accidental Disallow: / în robots.txt, blocând Google de la întregul site și provocând o scădere a traficului cu 90% înainte ca cineva să observe
- Un site de e-commerce a blocat URL-urile de navigare faceted prin robots.txt, economisind mii de pagini de buget de crawl pentru paginile reale de produs
- O instalare WordPress multi-site a folosit robots.txt pentru a împiedica indexarea conținutului site-ului de staging de către motoarele de căutare
- O platformă SaaS a blocat căile /app/ și /account/ pentru a împiedica paginile panoului intern să apară în rezultatele căutării
Nu sunteți sigur cum se aplică în cazul dumneavoastră?
Un inginer senior parcurge site-ul dumneavoastră, prezența în căutări și felul în care ajung la dumneavoastră solicitările, apoi notează primele trei lucruri care merită reparate. Păstrați documentul în orice caz.