Crawl Budget
Crawl budget je počet stránok, ktoré bot vyhľadávača prelezie na vašom webe v danej časovej periode, určený limitom rýchlosti crawlingu a dopytom po crawlingu.
Crawl budget sa vzťahuje na zdroje, ktoré vyhľadávače alokujú na crawling vášho webu. Crawler Googlu (Googlebot) nemá neobmedzené zdroje, takže musí prioritizovať, ktoré stránky preliezť a ako často. Váš crawl budget určuje, koľko z vašich stránok sa objaví a indexuje.
Dopyt po crawlingu je miera, s akou chce Google crawlovať váš web na základe popularity, čerstvosti a veľkosti webu. Pre väčšinu malých až stredných webov (do niekoľkých tisíc stránok) nie je crawl budget problémom. Googlebot dokáže ľahko preliezť celý web.
V praxi
- E-shop s 500 000 produktovými stránkami zistil, že Googlebot minul 60 % svojho crawl budgetu na navigačné stránky s filtrovaním, čo zanechalo tisíce produktových stránok neinindexed
- Spravodajský web implementoval správnu pagináciu a kanonické tagy, čím znížil plýtvanie crawlingom na duplicitných archívnych stránkach a zlepšil rýchlosť indexovania nových článkov
- Cestovný web blokoval faceted search URLs v robots.txt, čím presmeroval crawl budget na svojich 10 000 destinácií, ktoré skutočne potrebovali indexovanie
- Platforma e-shopu si všimla, že jej nové produkty sa vo vyhľadávaní nezobrazovali celé týždne; optimalizácia XML sitemapy a interného prelinkovania skrátila čas indexovania na 48 hodín
Nie ste si istí, či sa to týka aj vás?
Senior inžinier prejde vaše stránky, vašu prítomnosť vo vyhľadávaní a spôsob, akým dotazy k vám prichádzajú, a potom zapíše tri veci, ktoré sa oplatí opraviť ako prvé. Dokument si necháte v každom prípade.