Robots.txt
Robots.txt on tekstitiedosto, joka sijoitetaan verkkosivuston juureen ja joka kertoo hakukoneiden roboteille, mitkä sivut tai sivuston osiot niillä on lupa tai ei saa käyttää.
Robots.txt-tiedosto on yksi ensimmäisistä asioista, jotka hakukonerobotit tarkistavat vierailllessaan verkkosivustollasi. Osoitteessa yoursite.com/robots.txt sijaitsevassa tiedostossa on ohjeita, jotka kertovat roboteille, mihin osiin sivustoa niillä on pääsy ja mihin osiin niiden tulee välttää pääsy.
Voit myös käyttää sitä osoittaaksesi hakukoneet sivukarttatiedostoosi. On tärkeää ymmärtää, että robots.txt on kohtelias pyyntö, ei turvatoimi. Hyvin käyttäytyvät botit kuten Googlebot noudattavat sitä, mutta haitalliset botit voivat ignoroida sen kokonaan.
Käytännössä
- Yrityksen uusi kehittäjä lisäsi vahingossa Disallow: / robots.txt-tiedostoon, mikä esti Googlen pääsyn koko sivustolle ja sai liikenteen putoamaan 90 % ennen kuin kukaan huomasi sen
- Verkkokauppa esti facet-navigaation URL-osoitteensa robots.txt:n kautta, säästäen tuhansia sivuja kulkubudjetista varsinaisille tuotesivuille
- Monen sivuston WordPress-asennus käytti robots.txt:tä estääkseen testisivuston sisällön indeksoinnin hakukoneissa
- SaaS-alusta esti /app/ ja /account/-polkuja estääkseen sisäisten hallintapaneelisivujen esiintymisen hakutuloksissa
Et ole varma, miten tämä koskee sinua?
Kokenut insinööri käy läpi kohteen, hakukoneesi esiintymisen ja yhteydenottojen saannin, ja kirjoittaa kolme asiaa, jotka kannattaa korjata ensin. Pidät dokumentin joka tapauksessa.