Навіщо перевіряти доступ AI-ботів

Мовні моделі беруть відповіді з сайтів, які їм дозволено читати. Якщо ваш robots.txt закриває їх — вас не процитують. Якщо відкриває — контент можуть використати для навчання.

Відкрити

Коли варто пускати

Хочете, щоб на вас посилались у відповідях
Публікуєте експертні матеріали
Продаєте послуги, які шукають через чат

vs

Закрити

Коли варто блокувати

Контент — ваш основний продукт
Ліцензійні матеріали чи чужі права
Дані, які не мають розходитись

Важливо розуміти: дозвіл AI-ботам не покращує позиції в звичайному пошуку. Це різні речі, і обіцянки протилежного варто сприймати обережно.

Хто ці боти й чим відрізняються

Одна компанія може мати кілька ботів із різним призначенням. Закрити один не означає закрити всі.

GPTBot OpenAI, збирає дані для навчання моделей. Саме його закривають найчастіше.

OAI-SearchBot Теж OpenAI, але для пошуку всередині ChatGPT. Блокувати його означає зникнути з тих відповідей.

ClaudeBot Anthropic, навчання моделей. Окремо існує Claude-User — для переходу за посиланням у діалозі.

PerplexityBot Perplexity індексує сторінки й показує джерела в відповідях із посиланнями.

Google-Extended Не окремий бот, а перемикач: дозволяє чи забороняє використання контенту для навчання Gemini. На звичайний пошук не впливає.

CCBot Common Crawl — відкритий архів, з якого дані беруть багато компаній одразу.

Помилки в налаштуванні

Закрили один бот із двох Заблокували GPTBot, але лишили OAI-SearchBot. Для навчання контент не візьмуть, а в пошуку ChatGPT ви лишились — часто це саме те, чого хотіли, але треба розуміти різницю.

Правило після групи * Якщо для бота є власна група, правила з * на нього не діють узагалі. Це не додається, а замінює.

Помилка в назві бота GPT-Bot замість GPTBot — і правило не спрацює. Назви пишуться точно так, як їх публікують розробники.

robots.txt віддає не 200 Помилка сервера замість файлу означає, що правил немає взагалі. Більшість ботів вважає це дозволом на все.

Як змінити доступ

1 Вирішіть, що саме закриваєте Навчання моделей і показ у відповідях — різні речі. Часто має сенс закрити перше й лишити друге.

2 Додайте окрему групу Рядок User-agent із назвою бота, під ним Disallow. Група для кожного бота своя, у спільну їх зводити не можна.

3 Перевірте результат Проженіть сайт через цю перевірку ще раз. Помилка в одному символі робить правило непомітно недієвим.

4 Памʼятайте про межі robots.txt Це прохання, а не заборона на рівні сервера. Сумлінні боти його виконують, решта — ні. Для надійного закриття потрібні інші засоби.

Ми пропонуємо

NEW CASE

Зробімо перший крок до вашого сайту — напишіть нам