robots.txt и AI-боты: как управлять доступом к сайту

За последние два года в логах сайтов появились новые имена: GPTBot, ClaudeBot, PerplexityBot. Это боты языковых моделей, и они читают страницы так же, как поисковые роботы. Вопрос, который возникает у каждого владельца сайта: пускать их или нет.

Ответ зависит от того, чем вы зарабатываете. Но сначала нужно разобраться, кто эти боты и чем они отличаются между собой — потому что их легко перепутать, а цена ошибки разная.

Кто читает ваш сайт

Главная путаница в том, что одна компания может иметь несколько ботов с разным назначением.

Разница между первыми двумя строками самая важная. Заблокировать GPTBot означает не попасть в обучающую выборку. Заблокировать OAI-SearchBot означает исчезнуть из ответов ChatGPT со ссылками на вас. Часто люди хотят первого, а делают и то, и другое.

Google-Extended — не бот

Это отдельный случай, который стоит пояснить. Google-Extended не ходит по сайтам: это переключатель в robots.txt, который говорит, можно ли использовать ваш контент для обучения Gemini.

Важно: на обычный поиск он не влияет вообще. Индексацией занимается Googlebot, и закрыть Google-Extended, оставшись в выдаче, вполне возможно.

Стоит ли открывать доступ

Здесь нет универсального ответа, и любой, кто говорит иначе, упрощает.

Аргументы за: если вы продаёте услуги, которые ищут через чат, упоминание в ответе со ссылкой приводит клиентов. Для экспертного контента это новый канал, который пока мало кто использует осознанно.

Аргументы против: если контент — ваш основной продукт, отдавать его на обучение означает работать на чужую модель. Для лицензионных материалов или чужих прав это ещё и юридический вопрос.

Чего точно не стоит делать — решать наугад. Проверьте текущий доступ AI-ботов и посмотрите, что у вас уже настроено. Часто выясняется, что кто-то когда-то закрыл половину, и об этом забыли.

Чего robots.txt не делает

Скажу прямо, потому что вокруг темы много преувеличений.

Не влияет на позиции в Google. Разрешение AI-ботам не поднимает сайт в выдаче. Это разные системы, и обещания обратного оснований не имеют.

Не является технической блокировкой. robots.txt — договорённость. Крупные компании её соблюдают и публикуют названия своих ботов. Мелкие сборщики контента — не всегда. Для надёжного закрытия нужна защита на уровне сервера.

Не действует на поддомены. Каждый поддомен имеет собственный файл. Правила с основного домена на shop.example.com не распространяются.

Как настроить

Для каждого бота нужна собственная группа — правило со звёздочкой на него распространяется только тогда, когда своей группы нет:

Названия пишутся точно так, как их публикуют разработчики. GPT-Bot вместо GPTBot — и правило не сработает, а заметить это без проверки сложно.

Проверка после изменения

1. Прогоните сайт через проверку доступа AI-ботов — она показывает решение для каждого отдельно.
2. Убедитесь, что правила для поисковых систем не пострадали: тестер robots.txt покажет, какое правило сработало для Googlebot.
3. Проверьте, что файл отдаёт код 200. Ошибка сервера вместо файла означает, что правил нет вообще.

Google перечитывает robots.txt с задержкой — обычно до суток. Другие боты могут кешировать его дольше.

Коротко

Разберитесь, какие именно боты вам нужны, а какие нет — они разные даже в пределах одной компании. Настройте отдельные группы, проверьте результат и не ждите от этого роста позиций в Google. Это о присутствии в ответах языковых моделей, а не о поиске.