Robots.txt — это файл в корне сайта, где задаются правила обхода для поисковых роботов. Через него можно ограничить сканирование технических разделов, но нельзя надёжно удалить страницу из индекса, если она уже известна поиску.
Как работает robots.txt
Поисковый робот сначала обращается к robots.txt и смотрит, какие разделы можно обходить. Если важная страница случайно закрыта, робот может не увидеть её содержимое и не сможет нормально оценить страницу.
| Директива | Зачем нужна |
|---|---|
| User-agent | Указывает, для какого робота действует правило. |
| Disallow | Запрещает обход указанного пути. |
| Allow | Разрешает обход внутри закрытого раздела. |
| Sitemap | Показывает путь к карте сайта. |
Что проверить
- Файл доступен по адресу /robots.txt.
- Важные разделы не закрыты через Disallow.
- Технические параметры, корзина и служебные страницы не расходуют краулинговый ресурс.
- Указана актуальная ссылка на sitemap.xml.
Типовые ошибки
- Закрывать CSS и JS, из-за чего робот видит страницу иначе, чем пользователь.
- Пытаться удалить страницы из индекса только через Disallow.
- Копировать robots.txt с другого сайта без адаптации.
- Закрывать фильтры целиком, хотя часть из них может давать SEO-трафик.
Мини-чек-лист
- Откройте robots.txt в браузере.
- Проверьте правила для основных поисковых роботов.
- Сверьте закрытые разделы со структурой сайта.
- Проверьте важные URL инструментами вебмастеров.
- После правок дождитесь переобхода файла.
Что говорят клиенты
Реальные отзывы из переписок — скриншоты без правок. 4.9 · 11 отзывов · можно открыть каждый скриншот
Ответы на частые вопросы
Можно ли через robots.txt убрать страницу из поиска?
Не стоит рассчитывать только на robots.txt. Для удаления из индекса чаще используют noindex, корректный статус-код или удаление страницы.
Нужен ли robots.txt маленькому сайту?
Да. Даже простой файл помогает указать карту сайта и не допустить случайного обхода служебных разделов.
Что будет, если robots.txt настроен неправильно?
Поисковики могут не увидеть важные страницы или, наоборот, начать обходить технический мусор.