Зачем проверять доступ AI-ботов

Языковые модели берут ответы с сайтов, которые им разрешено читать. Если ваш robots.txt закрывает их — вас не процитируют. Если открывает — контент могут использовать для обучения.

Открыть

Когда стоит пускать

Хотите, чтобы на вас ссылались в ответах
Публикуете экспертные материалы
Продаёте услуги, которые ищут через чат

vs

Закрыть

Когда стоит блокировать

Контент — ваш основной продукт
Лицензионные материалы или чужие права
Данные, которые не должны расходиться

Важно понимать: разрешение AI-ботам не улучшает позиции в обычном поиске. Это разные вещи, и обещания обратного стоит воспринимать осторожно.

Кто эти боты и чем отличаются

Одна компания может иметь несколько ботов с разным назначением. Закрыть один не значит закрыть все.

GPTBot OpenAI, собирает данные для обучения моделей. Именно его закрывают чаще всего.

OAI-SearchBot Тоже OpenAI, но для поиска внутри ChatGPT. Блокировать его значит исчезнуть из тех ответов.

ClaudeBot Anthropic, обучение моделей. Отдельно существует Claude-User — для перехода по ссылке в диалоге.

PerplexityBot Perplexity индексирует страницы и показывает источники в ответах со ссылками.

Google-Extended Не отдельный бот, а переключатель: разрешает или запрещает использование контента для обучения Gemini. На обычный поиск не влияет.

CCBot Common Crawl — открытый архив, из которого данные берут многие компании сразу.

Ошибки в настройке

Закрыли один бот из двух Заблокировали GPTBot, но оставили OAI-SearchBot. Для обучения контент не возьмут, а в поиске ChatGPT вы остались — часто это именно то, чего хотели, но нужно понимать разницу.

Правило после группы * Если для бота есть собственная группа, правила из * на него не действуют вообще. Это не добавляется, а заменяет.

Ошибка в названии бота GPT-Bot вместо GPTBot — и правило не сработает. Названия пишутся точно так, как их публикуют разработчики.

robots.txt отдаёт не 200 Ошибка сервера вместо файла означает, что правил нет вообще. Большинство ботов считает это разрешением на всё.

Как изменить доступ

1 Решите, что именно закрываете Обучение моделей и показ в ответах — разные вещи. Часто имеет смысл закрыть первое и оставить второе.

2 Добавьте отдельную группу Строка User-agent с названием бота, под ней Disallow. Группа для каждого бота своя, в общую их сводить нельзя.

3 Проверьте результат Прогоните сайт через эту проверку ещё раз. Ошибка в одном символе делает правило незаметно недействующим.

4 Помните о границах robots.txt Это просьба, а не запрет на уровне сервера. Добросовестные боты его выполняют, остальные — нет. Для надёжного закрытия нужны другие средства.

Мы предлагаем

NEW CASE

Сделаем первый шаг к вашему сайту — напишите нам