Buget de crawl
Bugetul de crawl este numărul de pagini pe care un bot de motor de căutare le va parcurge pe site-ul dumneavoastră într-un interval de timp dat, determinat de limita ratei de crawl și de cererea de crawl a site-ului.
Bugetul de crawl se referă la resursele pe care roboții motoarelor de căutare le alocă pentru a parcurge site-ul dumneavoastră. Crawlerul Google (Googlebot) nu are resurse nelimitate, așa că trebuie să prioritizeze ce pagini să parcurgă și cât de des. Bugetul de crawl determină câte dintre paginile dumneavoastră sunt descoperite și indexate.
Crawl demand este cât de mult vrea Google să răsfoiască site-ul dumneavoastră în funcție de popularitate, prospețime și dimensiunea site-ului. Pentru majoritatea site-urilor mici și medii (sub câteva mii de pagini), bugetul de crawl nu este o preocupare. Googlebot poate răsfoi cu ușurință întregul site.
În practică
- Un site de e-commerce cu 500.000 de pagini de produse a descoperit că Googlebot își petrecea 60% din bugetul de crawl pe pagini de navigare filtrate, lăsând mii de pagini de produse neindexate
- Un site de știri a implementat paginare corectă și tag-uri canonical, reducând crawl-ul irosit pe pagini de arhivă duplicate și îmbunătățind viteza de indexare a articolelor noi
- Un site de călătorii a blocat URL-urile de căutare faceted în robots.txt, redirecționând bugetul de crawl către cele 10.000 de pagini de destinație care aveau nevoie de indexare
- O platformă de marketplace a observat că listările noilor produse nu apăreau în căutare timp de săptămâni; optimizarea hărții XML a site-ului și a linkurilor interne a redus timpul de indexare la 48 de ore
Nu sunteți sigur cum se aplică în cazul dumneavoastră?
Un inginer senior parcurge site-ul dumneavoastră, prezența în căutări și felul în care ajung la dumneavoastră solicitările, apoi notează primele trei lucruri care merită reparate. Păstrați documentul în orice caz.