Crawl budget
A crawl budget azon oldalak száma, amelyeket egy keresőmotor bot egy adott időkereten belül bejár a weboldalán, amelyet az oldal bejárási sebességkorlátja és bejárási igénye határoz meg.
A crawl budget azokra az erőforrásokra utal, amelyeket a keresőmotor botok a weboldal bejárására fordítanak. A Google crawlerének (Googlebot) nincsenek korlátlan erőforrásai, ezért priorizálnia kell, mely oldalakat és milyen gyakran járja be. A crawl budget határozza meg, hogy hány oldala kerül felfedezésre és indexelésre.
A bejárási igény azt mutatja, hogy a Google mennyire akarja bejárni az oldalát a népszerűség, a frissesség és az oldal mérete alapján. A legtöbb kis- és közepes weboldal (néhány ezer oldal alatt) esetében a crawl budget nem jelent problémát. A Googlebot könnyedén bejárhatja a teljes oldalt.
A gyakorlatban
- Egy 500 000 termékoldalas e-kereskedelmi oldal felfedezte, hogy a Googlebot a crawl budgetje 60%-át szűrt navigációs oldalakra fordította, több ezer termékoldalt indexeletlenül hagyva
- Egy híroldal megfelelő lapozást és canonical tageket vezetett be, csökkentve a duplikált archív oldalakon elpazarolt bejárást és javítva az új cikkek indexelési sebességét
- Egy utazási oldal blokkolta a faceted search URL-eket a robots.txt-ben, a crawl budgetet a 10 000 úti cél oldalára irányítva, amelyeknek valóban szükségük volt az indexelésre
- Egy piactéri platform észrevette, hogy új terméklistái hetekig nem jelentek meg a keresésben; az XML sitemap és a belső linkelés optimalizálása 48 órára csökkentette az indexelési időt
Nem biztos benne, hogy ez hogyan vonatkozik Önre?
Egy vezető mérnök bejárja az Ön webhelyét, keresési jelenlétét és azt, ahogyan a megkeresések eljutnak Önhöz, majd leírja az elsőként javítandó három dolgot. A dokumentumot mindenképpen megtartja.