Robots.txt — это текстовый файл в корне сайта, в котором задают правила обхода для поисковых роботов.
Что означает термин
Файл доступен по адресу /robots.txt и содержит директивы для user-agent. Через него можно ограничить сканирование служебных разделов, параметров, результатов поиска по сайту и других технических URL.
Robots.txt не является инструментом удаления страниц из индекса. Он управляет обходом, но уже известные поисковику URL могут оставаться в выдаче, если на них есть внешние или внутренние сигналы.
Зачем это нужно в SEO и маркетинге
Корректный robots.txt помогает не тратить краулинговый бюджет на мусорные страницы и защищает важные разделы от случайной блокировки.
| Что смотреть | Зачем |
|---|---|
| Disallow | Запрещает сканирование выбранных путей |
| Allow | Разрешает исключение внутри закрытого раздела |
| Sitemap | Подсказывает путь к XML-карте сайта |
Типовые ошибки
- Закрывать CSS, JS или изображения, нужные для оценки страницы.
- Путать запрет сканирования с запретом индексации.
- Оставлять тестовые запреты после разработки.
- Прописывать правила без проверки в инструментах вебмастера.
Что проверить на сайте
- Открыть /robots.txt и проверить доступность файла.
- Проверить, не закрыты ли важные разделы.
- Указать путь к sitemap.xml.
- Проверить правила для Яндекса и Google.
- После изменений протестировать несколько URL.
FAQ
Robots.txt удаляет страницу из поиска?
Нет. Для удаления используют noindex, 404/410, редиректы или инструменты вебмастера, в зависимости от задачи.
Нужен ли robots.txt маленькому сайту?
Да, хотя правила могут быть минимальными.
Можно ли закрыть админку в robots.txt?
Можно, но это не защита. Доступ к закрытым разделам нужно ограничивать технически.
Что говорят клиенты
Реальные отзывы из переписок — скриншоты без правок. 4.9 · 11 отзывов · можно открыть каждый скриншот
Ответы на коммерческие вопросы
Что важно знать про «Robots.txt»?
Сначала нужно понять интент запроса и роль темы в проекте. Для направления «SEO-глоссарий» важны не отдельные формулировки, а влияние на простое определение, практический смысл термина и связь с продвижением.
Как понять, что это актуально для моего сайта?
Сравните страницу с конкурентами, проверьте поисковые запросы, поведение пользователей, конверсии и технические ограничения. Если есть просадка, низкий CTR или слабые заявки — тему стоит разобрать глубже.
С чего начать внедрение?
Начните с диагностики: дать короткое определение, затем показать влияние на сайт. После этого правки лучше внедрять по приоритетам и контролировать изменения в аналитике.