Crawl Budget
Crawl budget (hakukoneen indeksointibudjetti) on määrä sivuja, jotka hakukoneen botit skannaavat verkkosivustoltasi tietyssä aikavälissä. Se määräytyy sivustosi skannausnopeusrajan ja skannauskysynnän perusteella.
Crawl budget viittaa resursseihin, jotka hakukoneen botit varaavat verkkosivustosi skannaamiseen. Googlen kaivaja (Googlebot) ei ole rajoittamattomilla resursseilla, joten sen on prioritettava, mitkä sivut skannata ja kuinka usein. Crawl budget määrää, kuinka monta sivustosi sivuja löytyy ja indeksoidaan.
Skannauskysyntä kertoo, kuinka paljon Google haluaa skannata sivustoasi suosion, ajantasaisuuden ja sivuston koon perusteella. Useimmille pienille ja keskisuurille verkkosivustoille (muutama tuhat sivua alle) crawl budget ei ole huolenaihe. Googlebot pystyy helposti skannaamaan koko sivuston.
Käytännössä
- 500 000 tuotesivun omaava verkkokauppa havaitsi, että Googlebot käytti 60 % crawl budgetistaan suodatettuihin navigointisivuihin, jolloin tuhannet tuotesivut jäivät indeksöimättä
- Uutissivusto otti käyttöön asianmukaisen sivutuksen ja canonical-tagit, mikä vähensi haaskaantunutta kaivausta duplikaateilla arkistosivuilla ja paransi uusien artikkelien indeksointinopeutta
- Matkailusivusto esti facet-haku-URL-osoitteet robots.txt:ssä, ohjaten crawl budgetin niiden 10 000 kohdesivun kaivamiseen, jotka todella tarvitsivat indeksöintiä
- Markkinapaikka-alusta huomasi, etteivät heidän uudet tuotetietonsa näkyneet haussa viikkoihin; XML-sivukartan ja sisäisten linkkien optimointi lyhensi indeksointiajan 48 tuntiin
Et ole varma, miten tämä koskee sinua?
Kokenut insinööri käy läpi kohteen, hakukoneesi esiintymisen ja yhteydenottojen saannin, ja kirjoittaa kolme asiaa, jotka kannattaa korjata ensin. Pidät dokumentin joka tapauksessa.