Robots.txt
Robots.txt е текстов файл, поставен в основата на уебсайта, който указва на обхождащите роботи на търсачките до кои страници или секции на сайта им е разрешен или забранен достъп.
Файлът robots.txt е едно от първите неща, които ботовете на търсачките проверяват, когато посещават уебсайта Ви. Намира се на yoursite.com/robots.txt и съдържа директиви, които указват на обхождащите роботи до кои части от сайта Ви имат достъп и кои трябва да избегнат. Използва прост синтаксис с User-agent (кой бот), Disallow (кои пътища да пропуска) и Allow (изключения от правилата за забрана). Обичайни приложения включват блокиране на търсачките от обхождане на административни зони, среди за тестване, дублирано съдържание (като версии на страници за печат), страници с вътрешни резултати от търсене и частни потребителски зони.
Можете също да го използвате, за да насочвате търсачките към файла с картата на сайта. Важно е да разберете, че robots.txt е учтива молба, а не мярка за сигурност. Добре възпитаните ботове като Googlebot го спазват, но злонамерените ботове може напълно да го игнорират. Поверителното съдържание трябва да бъде защитено с автентикация, а не с robots.txt. Неправилно конфигурираните файлове robots.txt са една от най-честите технически SEO грешки.
На практика
- Нов разработчик в компания случайно добави Disallow: / в robots.txt, блокирайки Google от целия им сайт и причинявайки 90% спад на трафика, преди някой да забележи
- Онлайн магазин блокира URL адресите на фасетираната си навигация чрез robots.txt, спестявайки хиляди страници от бюджета за обхождане за действителните си продуктови страници
- WordPress инсталация с множество сайтове използва robots.txt, за да попречи на съдържанието от тестовия сайт да бъде индексирано от търсачките
- SaaS платформа блокира пътищата /app/ и /account/, за да попречи на страниците от вътрешното табло да се появяват в резултатите от търсенето
Не сте сигурни как се отнася за Вас?
Старши инженер разглежда сайта Ви, присъствието Ви в търсачките и начина, по който стигат запитванията до Вас, след което записва трите неща, които си струва да се поправят първо. Документът остава за Вас във всеки случай.