Robots.txt
Το Robots.txt είναι ένα αρχείο κειμένου που τοποθετείται στη ρίζα ενός ιστότοπου και ενημερώνει τους crawlers των μηχανών αναζήτησης για το ποιες σελίδες ή ενότητες του ιστότοπου επιτρέπεται ή δεν επιτρέπεται να προσπελάσουν.
Το αρχείο robots.txt είναι ένα από τα πρώτα πράγματα που ελέγχουν τα bots των μηχανών αναζήτησης όταν επισκέπτονται τον ιστότοπό σας. Βρίσκεται στο yoursite.com/robots.txt και περιέχει οδηγίες που ενημερώνουν τους crawlers για το ποια μέρη του ιστότοπού σας μπορούν να προσπελάσουν και ποια πρέπει να αποφεύγουν. Χρησιμοποιεί απλή σύνταξη με User-agent (ποιο bot), Disallow (ποιες διαδρομές να παραλείπονται) και Allow (εξαιρέσεις στους κανόνες disallow). Συνήθεις χρήσεις περιλαμβάνουν τον αποκλεισμό των μηχανών αναζήτησης από την ανίχνευση περιοχών διαχείρισης, περιβαλλόντων staging, διπλότυπου περιεχομένου (όπως εκτυπώσιμες εκδόσεις σελίδων), σελίδων εσωτερικών αποτελεσμάτων αναζήτησης και ιδιωτικών περιοχών λογαριασμών χρηστών.
Μπορείτε επίσης να το χρησιμοποιήσετε για να υποδείξετε στις μηχανές αναζήτησης το αρχείο χάρτη ιστότοπού σας. Είναι σημαντικό να κατανοήσετε ότι το robots.txt είναι ένα ευγενικό αίτημα, όχι μέτρο ασφαλείας. Τα καλά συμπεριφερόμενα bots όπως το Googlebot το σέβονται, αλλά κακόβουλα bots μπορεί να το αγνοήσουν εντελώς. Το ευαίσθητο περιεχόμενο πρέπει να προστατεύεται με έλεγχο ταυτότητας, όχι με robots.txt. Τα λανθασμένα ρυθμισμένα αρχεία robots.txt είναι ένα από τα πιο συνηθισμένα τεχνικά λάθη SEO.
Στην πράξη
- Ο νέος προγραμματιστής μιας εταιρείας πρόσθεσε κατά λάθος Disallow: / στο robots.txt, αποκλείοντας τη Google από ολόκληρο τον ιστότοπό τους και προκαλώντας πτώση της επισκεψιμότητας κατά 90% πριν το αντιληφθεί κανείς
- Ένας ιστότοπος ηλεκτρονικού εμπορίου απέκλεισε τα URL της πλοήγησης με φίλτρα μέσω robots.txt, εξοικονομώντας χιλιάδες σελίδες προϋπολογισμού ανίχνευσης για τις πραγματικές σελίδες προϊόντων του
- Μια εγκατάσταση WordPress με πολλούς ιστότοπους χρησιμοποίησε το robots.txt για να εμποδίσει την καταχώριση του περιεχομένου του ιστότοπου staging από τις μηχανές αναζήτησης
- Μια πλατφόρμα SaaS απέκλεισε τις διαδρομές /app/ και /account/ για να εμποδίσει την εμφάνιση σελίδων εσωτερικού πίνακα ελέγχου στα αποτελέσματα αναζήτησης
Δεν είστε σίγουροι πώς εφαρμόζεται σε εσάς;
Ένας έμπειρος μηχανικός εξετάζει τον ιστότοπό σας, την παρουσία σας στις αναζητήσεις και τον τρόπο που σας φτάνουν τα αιτήματα, και μετά καταγράφει τα τρία πράγματα που αξίζει να διορθωθούν πρώτα. Κρατάτε το έγγραφο είτε έτσι είτε αλλιώς.