robots.txt і AI-боти: як керувати доступом до сайту

За останні два роки в логах сайтів зʼявились нові імена: GPTBot, ClaudeBot, PerplexityBot. Це боти мовних моделей, і вони читають сторінки так само, як пошукові роботи. Питання, яке виникає в кожного власника сайту: пускати їх чи ні.

Відповідь залежить від того, чим ви заробляєте. Але спершу треба розібратись, хто ці боти й чим вони відрізняються між собою — бо їх легко переплутати, і ціна помилки різна.

Хто читає ваш сайт

Головна плутанина в тому, що одна компанія може мати кілька ботів із різним призначенням.

Різниця між першими двома рядками найважливіша. Заблокувати GPTBot означає не потрапити в навчальну вибірку. Заблокувати OAI-SearchBot означає зникнути з відповідей ChatGPT із посиланнями на вас. Часто люди хочуть першого, а роблять і те, і те.

Google-Extended — не бот

Це окремий випадок, який варто пояснити. Google-Extended не ходить по сайтах: це перемикач у robots.txt, який каже, чи можна використовувати ваш контент для навчання Gemini.

Важливо: на звичайний пошук він не впливає взагалі. Індексацією займається Googlebot, і закрити Google-Extended, лишившись у видачі, цілком можливо.

Чи варто відкривати доступ

Тут немає універсальної відповіді, і будь-хто, хто каже інакше, спрощує.

Аргументи за: якщо ви продаєте послуги, які шукають через чат, згадка в відповіді з посиланням приводить клієнтів. Для експертного контенту це новий канал, який поки мало хто використовує свідомо.

Аргументи проти: якщо контент — ваш основний продукт, віддавати його на навчання означає працювати на чужу модель. Для ліцензійних матеріалів чи чужих прав це ще й юридичне питання.

Чого точно не варто робити — вирішувати навмання. Перевірте поточний доступ AI-ботів і подивіться, що у вас уже налаштовано. Часто виявляється, що хтось колись закрив половину, і про це забули.

Чого robots.txt не робить

Скажу прямо, бо навколо теми багато перебільшень.

Не впливає на позиції в Google. Дозвіл AI-ботам не піднімає сайт у видачі. Це різні системи, і обіцянки протилежного підстав не мають.

Не є технічною забороною. robots.txt — домовленість. Великі компанії її дотримуються й публікують назви своїх ботів. Дрібні збирачі контенту — не завжди. Для надійного закриття потрібен захист на рівні сервера.

Не діє на піддомени. Кожен піддомен має власний файл. Правила з основного домену на shop.example.com не поширюються.

Як налаштувати

Для кожного бота потрібна власна група — правило з зірочкою на нього поширюється лише тоді, коли своєї групи немає:

Назви пишуться точно так, як їх публікують розробники. GPT-Bot замість GPTBot — і правило не спрацює, а помітити це без перевірки складно.

Перевірка після зміни

1. Прогоніть сайт через перевірку доступу AI-ботів — вона показує рішення для кожного окремо.
2. Переконайтесь, що правила для пошукових систем не постраждали: тестер robots.txt покаже, яке правило спрацювало для Googlebot.
3. Перевірте, що файл віддає код 200. Помилка сервера замість файлу означає, що правил немає взагалі.

Google перечитує robots.txt із затримкою — зазвичай до доби. Інші боти можуть кешувати його довше.

Коротко

Розберіться, які саме боти вам потрібні, а які ні — вони різні навіть у межах однієї компанії. Налаштуйте окремі групи, перевірте результат і не чекайте від цього зростання позицій у Google. Це про присутність у відповідях мовних моделей, а не про пошук.