robots.txt и AI-краулеры: что проверить
Проверка robots.txt для AI-краулеров: назначение роботов, правила доступа, защита хостинга и отличие запрета обхода от удаления страницы из поиска.
В robots.txt правила задаются для конкретных роботов и путей. Сначала определите, какой доступ хотите разрешить: поисковый обход, использование для обучения или другой сценарий. Затем проверьте не только файл, но и ответы хостинга; одинаковое название AI не означает одинаковое назначение роботов.
- Формат
- Практический гайд
- Тема
- SEO и GEO
Составьте список нужных сценариев
Разделите публичные статьи, служебные URL и приватные данные. Приватное содержимое защищайте авторизацией, а не только robots.txt. Для каждого нужного провайдера найдите действующее официальное имя робота и назначение: чужой пример правил может быть устаревшим или решать другую задачу.
Проверьте ответ для конкретной страницы
Откройте robots.txt нужного домена, включая используемый поддомен, и проверьте правило для URL статьи. Затем убедитесь, что сервер не возвращает ошибку, CAPTCHA или заглушку. Сохраняйте HTTP-статус и дату проверки: факт наличия файла сам по себе не доказывает доступность контента.
Не смешивайте обход и индексацию
robots.txt управляет обходом и не является надёжным способом скрыть адрес из поисковых результатов. Для поискового исключения применяются другие механизмы, которые робот должен иметь возможность прочитать. У OpenAI поисковый OAI-SearchBot и обучающий GPTBot настраиваются независимо.
Перед изменением правил сохраните текущую версию и перечень страниц, доступ к которым должен остаться прежним.
Вопросы и ответы
Можно ли проверить настоящего робота только по User-Agent?
Нет. Заголовок можно подделать; для уверенной проверки используйте официальную процедуру или опубликованные диапазоны провайдера.
Нужно ли разрешать всем роботам весь сайт?
Нет. Настраивайте доступ по задачам и оставляйте приватные разделы под полноценной защитой.
