Crawl Budget
Το Crawl budget είναι ο αριθμός σελίδων που θα ανιχνεύσει ένα bot μηχανής αναζήτησης στον ιστότοπό σας μέσα σε ένα δεδομένο χρονικό διάστημα, καθοριζόμενος από το όριο ρυθμού ανίχνευσης και τη ζήτηση ανίχνευσης του ιστότοπού σας.
Ο προϋπολογισμός ανίχνευσης αναφέρεται στους πόρους που διαθέτουν τα bots των μηχανών αναζήτησης για την ανίχνευση του ιστότοπού σας. Ο ανιχνευτής της Google (Googlebot) δεν έχει απεριόριστους πόρους, επομένως πρέπει να ιεραρχήσει ποιες σελίδες θα ανιχνεύσει και πόσο συχνά. Ο προϋπολογισμός ανίχνευσής σας καθορίζει πόσες από τις σελίδες σας ανακαλύπτονται και καταχωρούνται στο ευρετήριο. Δύο παράγοντες καθορίζουν τον προϋπολογισμό ανίχνευσης. Το όριο ρυθμού ανίχνευσης είναι ο μέγιστος αριθμός ταυτόχρονων συνδέσεων που θα χρησιμοποιήσει το Googlebot για να ανιχνεύσει τον ιστότοπό σας χωρίς να υπερφορτώσει τον διακομιστή σας.
Η ζήτηση ανίχνευσης είναι το πόσο θέλει η Google να ανιχνεύσει τον ιστότοπό σας με βάση τη δημοτικότητα, τη φρεσκάδα και το μέγεθος του ιστότοπου. Για τους περισσότερους μικρούς έως μεσαίους ιστότοπους (κάτω από μερικές χιλιάδες σελίδες), ο προϋπολογισμός ανίχνευσης δεν αποτελεί ανησυχία. Το Googlebot μπορεί εύκολα να ανιχνεύσει ολόκληρο τον ιστότοπο. Αλλά για μεγάλους ιστότοπους με δεκάδες χιλιάδες ή εκατομμύρια σελίδες, όπως καταστήματα ηλεκτρονικού εμπορίου ή ειδησεογραφικοί ιστότοποι, ο προϋπολογισμός ανίχνευσης γίνεται κρίσιμος. Η σπατάλη προϋπολογισμού ανίχνευσης είναι ένα συνηθισμένο πρόβλημα.
Στην πράξη
- Ένας ιστότοπος ηλεκτρονικού εμπορίου με 500.000 σελίδες προϊόντων ανακάλυψε ότι το Googlebot δαπανούσε το 60% του προϋπολογισμού ανίχνευσής του σε σελίδες φιλτραρισμένης πλοήγησης, αφήνοντας χιλιάδες σελίδες προϊόντων χωρίς καταχώρηση στο ευρετήριο
- Ένας ειδησεογραφικός ιστότοπος εφάρμοσε σωστή σελιδοποίηση και canonical tags, μειώνοντας τη σπατάλη ανίχνευσης σε διπλότυπες σελίδες αρχείου και βελτιώνοντας την ταχύτητα καταχώρησης νέων άρθρων στο ευρετήριο
- Ένας ταξιδιωτικός ιστότοπος απέκλεισε τα URL αναζήτησης με φίλτρα στο robots.txt, κατευθύνοντας τον προϋπολογισμό ανίχνευσης στις 10.000 σελίδες προορισμών που πραγματικά χρειάζονταν καταχώρηση στο ευρετήριο
- Μια πλατφόρμα marketplace παρατήρησε ότι οι νέες καταχωρίσεις προϊόντων της δεν εμφανίζονταν στην αναζήτηση για εβδομάδες· η βελτιστοποίηση του XML sitemap και των εσωτερικών συνδέσμων μείωσε τον χρόνο ευρετηρίασης σε 48 ώρες
Δεν είστε σίγουροι πώς εφαρμόζεται σε εσάς;
Ένας έμπειρος μηχανικός εξετάζει τον ιστότοπό σας, την παρουσία σας στις αναζητήσεις και τον τρόπο που σας φτάνουν τα αιτήματα, και μετά καταγράφει τα τρία πράγματα που αξίζει να διορθωθούν πρώτα. Κρατάτε το έγγραφο είτε έτσι είτε αλλιώς.