Ми пропонуємо

NEW CASE
Antana

Створюємо цифрові рішення, які працюють на бізнес

Стати клієнтомСтати клієнтом
Зателефонуйте нам +38 (066) 35-14-529

Зробімо перший крок до вашого сайту — напишіть нам

Закрити
Інструменти

Доступ AI-ботів до сайту

SEO та маркетинг

Може зацікавити

Чи пускає ваш robots.txt GPTBot, ClaudeBot і PerplexityBot.

Навіщо перевіряти доступ AI-ботів

Мовні моделі беруть відповіді з сайтів, які їм дозволено читати. Якщо ваш robots.txt закриває їх — вас не процитують. Якщо відкриває — контент можуть використати для навчання.

Відкрити

Коли варто пускати

  • Хочете, щоб на вас посилались у відповідях
  • Публікуєте експертні матеріали
  • Продаєте послуги, які шукають через чат
vs
Закрити

Коли варто блокувати

  • Контент — ваш основний продукт
  • Ліцензійні матеріали чи чужі права
  • Дані, які не мають розходитись

Важливо розуміти: дозвіл AI-ботам не покращує позиції в звичайному пошуку. Це різні речі, і обіцянки протилежного варто сприймати обережно.

Хто ці боти й чим відрізняються

Одна компанія може мати кілька ботів із різним призначенням. Закрити один не означає закрити всі.

GPTBot OpenAI, збирає дані для навчання моделей. Саме його закривають найчастіше.
OAI-SearchBot Теж OpenAI, але для пошуку всередині ChatGPT. Блокувати його означає зникнути з тих відповідей.
ClaudeBot Anthropic, навчання моделей. Окремо існує Claude-User — для переходу за посиланням у діалозі.
PerplexityBot Perplexity індексує сторінки й показує джерела в відповідях із посиланнями.
Google-Extended Не окремий бот, а перемикач: дозволяє чи забороняє використання контенту для навчання Gemini. На звичайний пошук не впливає.
CCBot Common Crawl — відкритий архів, з якого дані беруть багато компаній одразу.

Помилки в налаштуванні

Закрили один бот із двох Заблокували GPTBot, але лишили OAI-SearchBot. Для навчання контент не візьмуть, а в пошуку ChatGPT ви лишились — часто це саме те, чого хотіли, але треба розуміти різницю.
Правило після групи * Якщо для бота є власна група, правила з * на нього не діють узагалі. Це не додається, а замінює.
Помилка в назві бота GPT-Bot замість GPTBot — і правило не спрацює. Назви пишуться точно так, як їх публікують розробники.
robots.txt віддає не 200 Помилка сервера замість файлу означає, що правил немає взагалі. Більшість ботів вважає це дозволом на все.

Як змінити доступ

1 Вирішіть, що саме закриваєте Навчання моделей і показ у відповідях — різні речі. Часто має сенс закрити перше й лишити друге.
2 Додайте окрему групу Рядок User-agent із назвою бота, під ним Disallow. Група для кожного бота своя, у спільну їх зводити не можна.
3 Перевірте результат Проженіть сайт через цю перевірку ще раз. Помилка в одному символі робить правило непомітно недієвим.
4 Памʼятайте про межі robots.txt Це прохання, а не заборона на рівні сервера. Сумлінні боти його виконують, решта — ні. Для надійного закриття потрібні інші засоби.

Часті запитання

Чи впливає дозвіл AI-ботам на позиції в Google?
Ні. Це різні системи: звичайний пошук індексує Googlebot, а навчання моделей — Google-Extended. Заблокувати другий і лишитись у пошуку цілком можливо, і навпаки. Обіцянки, що llms.txt або відкриті AI-боти піднімуть сайт у видачі, підстав не мають.
Заблокувати GPTBot — це означає зникнути з ChatGPT?
Не обовʼязково. GPTBot збирає дані для навчання, а за пошук усередині ChatGPT відповідає OAI-SearchBot — це різні боти. Заблокувавши перший, ви не потрапите в навчальну вибірку, але лишитесь у відповідях із посиланнями. Часто саме цього й хочуть.
Чи зобовʼязані боти виконувати robots.txt?
Це домовленість, а не технічна заборона. Великі компанії її дотримуються й публікують назви своїх ботів. Дрібні збирачі контенту — не завжди. Для надійного закриття потрібен захист на рівні сервера, а не текстовий файл.
Чому перевірка показує «не вдалося прочитати robots.txt»?
Сервер відповів кодом, відмінним від 200 — часто 403, коли захист блокує автоматичні запити. Це не те саме, що відсутність файлу: у такому разі висновок про доступ ботів робити зарано, і ми про це попереджаємо прямо в результаті.
Як заблокувати всіх AI-ботів одразу?
Одного правила для всіх не існує: кожна компанія використовує власне імʼя бота, і група User-agent потрібна для кожного окремо. Правило для зірочки на них поширюється лише тоді, коли власної групи в бота немає.
Telegram Viber Подзвонити