Robots.txt
A robots.txt egy szövegfájl, amelyet a webhely gyökérkönyvtárában helyeznek el, és amely megmondja a keresőmotorok robotjainak, hogy a webhely mely oldalaihoz vagy szakaszaihoz férhetnek hozzá, és melyekhez nem.
A robots.txt fájl az elsők között van, amit a keresőmotorok robotjai megnéznek, amikor felkeresik a webhelyét. A yoursite.com/robots.txt címen található, és olyan utasításokat tartalmaz, amelyek megmondják a robotoknak, hogy a webhely mely részeihez férhetnek hozzá, és melyeket kerüljék el.
Arra is használhatja, hogy a keresőmotorokat az oldaltérkép-fájljára irányítsa. Fontos megérteni, hogy a robots.txt egy udvarias kérés, nem biztonsági intézkedés. A jól viselkedő robotok, mint a Googlebot, tiszteletben tartják, de a rosszindulatú robotok teljesen figyelmen kívül hagyhatják.
A gyakorlatban
- Egy cég új fejlesztője véletlenül hozzáadta a Disallow: / sort a robots.txt-hez, ezzel letiltva a Google-t a teljes webhelyéről, és 90%-os forgalomcsökkenést okozva, mire bárki észrevette
- Egy webáruház a robots.txt segítségével tiltotta le a szűrőalapú navigációs URL-jeit, ezzel több ezer oldalnyi bejárási keretet takarított meg a tényleges termékoldalai számára
- Egy több webhelyet üzemeltető WordPress-telepítés a robots.txt segítségével akadályozta meg, hogy a tesztkörnyezet tartalma bekerüljön a keresőmotorok indexébe
- Egy SaaS-platform letiltotta az /app/ és /account/ útvonalakat, hogy megakadályozza a belső irányítópult-oldalak megjelenését a keresési találatok között
Nem biztos benne, hogy ez hogyan vonatkozik Önre?
Egy vezető mérnök bejárja az Ön webhelyét, keresési jelenlétét és azt, ahogyan a megkeresések eljutnak Önhöz, majd leírja az elsőként javítandó három dolgot. A dokumentumot mindenképpen megtartja.