Robots.txt
Robots.txt ir teksta fails, kas novietots vietnes saknē un norāda meklētājprogrammu botiem, kuras lapas vai sadaļas tie drīkst vai nedrīkst apmeklēt.
Robots.txt fails ir viens no pirmajiem elementiem, ko meklētājprogrammu boti pārbauda, apmeklējot jūsu vietni. Tas atrodas jūsuvietne.com/robots.txt un satur direktīvas, kas norāda botiem, kuras jūsu vietnes daļas tie var apmeklēt un kuras izvairīties. Tas izmanto vienkāršu sintaksi ar User-agent (kurš bots), Disallow (kuras ceļi jāizlaiž) un Allow (izņēmumi disallow noteikumiem).
Jūs varat arī izmantot to, lai norādītu meklētājprogrammām uz jūsu vietnes kartes failu. Ir svarīgi saprast, ka robots.txt ir laipns lūgums, nevis drošības pasākums. Labi uzvestie boti, piemēram, Googlebot, to respektē, bet ļaundari boti to var ignorēt pavisam.
Praksē
- Uzņēmuma jaunais izstrādātājs nejauši pievienoja Disallow: / robots.txt, bloķējot Google piekļuvi visai vietnei un izraisot trafika kritumu par 90%, kamēr to pamanīja
- E-komercijas vietne bloķēja savas filtrētajās navigācijas URL caur robots.txt, ietaupot tūkstošiem lapu apstaigāšanas budžeta savām faktiskajām produktu lapām
- Vairāku vietņu WordPress instalācija izmantoja robots.txt, lai novērstu testēšanas vietnes satura indeksēšanu meklētājprogrammām
- SaaS platforma bloķēja /app/ un /account/ ceļus, lai novērstu iekšējo panela lapu parādīšanos meklēšanas rezultātos
Nezināt, kā tas attiecas uz jums?
Senior inženieris apstaigā jūsu objektu, jūsu meklēšanas klātbūtni un veidu, kādā nonāk pieprasījumi, un tad rakstiski norāda trīs lietas, ko vispirms vērts labot. Dokuments paliek jums neatkarīgi no rezultāta.