Crawl budget
Crawl budget je počet stránek, které robot vyhledávače prochází na vašem webu v daném časovém období, určený limitem rychlosti procházení a poptávkou po procházení vašeho webu.
Crawl budget označuje prostředky, které roboti vyhledávačů vyčleňují na procházení vašeho webu. Crawler Googlu (Googlebot) nemá neomezené prostředky, a proto musí určovat priority, které stránky procházet a jak často. Váš crawl budget určuje, kolik z vašich stránek bude objeveno a indexováno.
Poptávka po procházení vyjadřuje, jak moc Google chce procházet váš web na základě popularity, aktuálnosti a velikosti webu. U většiny malých a středních webů (do několika tisíc stránek) není crawl budget problémem. Googlebot dokáže snadno procházet celý web.
V praxi
- E-shop s 500 000 produktovými stránkami zjistil, že Googlebot tráví 60 % svého crawl budgetu na stránkách s filtrovanou navigací, a tisíce produktových stránek tak zůstaly neindexované
- Zpravodajský web zavedl správné stránkování a kanonické značky, čímž omezil plýtvání procházením duplicitních archivních stránek a zrychlil indexaci nových článků
- Cestovní web zablokoval v robots.txt URL s facetovým vyhledáváním a přesměroval crawl budget na svých 10 000 stránek destinací, které skutečně potřebovaly indexaci
- Marketplace platforma si všimla, že se její nové produktové nabídky několik týdnů nezobrazovaly ve vyhledávání; optimalizace XML sitemapy a interního prolinkování zkrátila dobu indexace na 48 hodin
Nejste si jistí, jak se to týká vás?
Zkušený inženýr projde váš web, vaši viditelnost ve vyhledávání a způsob, jakým se k vám dostávají poptávky, a poté sepíše tři věci, které je vhodné opravit jako první. Dokument si ponecháte tak jako tak.