Robots.txt
Robots.txt yra tekstinis failas, esantis svetainės šakninėje aplanke, kuris nurodo paieškos variklių robotams, kuriuos puslapius ar svetainės dalis jie turi leidžiama arba neleidžiama prieiti.
Robots.txt failas yra vienas iš pirmųjų dalykų, kuriuos paieškos variklių robotai patikrina apsilankę jūsų svetainėje. Esant adrese yoursite.com/robots.txt, jame yra direktyvos, nurodančios robotams, kurias svetainės dalis jie gali pasiekti, o kurias turėtų vengti. Jis naudoja paprastą sintaksę su User-agent (kuris botas), Disallow (keliai, kurių reikia išvengti) ir Allow (išimtys iš disallow taisyklių).
Taip pat galite jį naudoti nukreipdami paieškos variklius į savo žemėlapio failą. Svarbu suprasti, kad robots.txt yra mandagus prašymas, o ne saugumo priemonė. Gerai elgsiančios botai, tokie kaip Googlebot, ją gerbia, tačiau kenksmingi botai gali jos visiškai ignoruoti.
Praktikoje
- Įmonės naujas programuotojas netyčia pridėjo Disallow: / į robots.txt, užblokavo Google prieigos prie visos svetainės ir dėl to srautas sumažėjo 90 %, kol kas nors tai pastebėjo
- El. prekybos svetainė užblokavo savo facetinės navigacijos URL adresus per robots.txt, sutaupydama tūkstančius puslapių naršymo biudžeto savo faktiniams produktų puslapiams
- Daugiau svetainių WordPress diegimui naudojo robots.txt, kad išvengtų testinės svetainės turinio indeksavimo paieškos varikliuose
- SaaS platforma užblokavo /app/ ir /account/ kelius, kad vidiniai skydelio puslapiai nepasirodytų paieškos rezultatuose
Neaišku, kaip tai taikoma Jums?
Vyresnysis inžinierius apžiūrės Jūsų svetainę, paieškos pozicijas ir užklausų gavimo būdą, tada užrašys tris dalykus, kuriuos verta pataisyti pirmiausia. Dokumentą paliekate sau.