Генератор robots.txt

SEO та маркетинг

Може зацікавити

Готовий robots.txt із пресетами під вашу CMS.

Готовий пресет Домен сайту

Заборонити (Disallow) — по одному в рядку Дозволити (Allow) — по одному в рядку

Crawl-delay (сек., 0 — не додавати) Sitemap (можна кілька, з нового рядка)

Заблокувати агресивні SEO-сканери (Ahrefs, Semrush, MJ12) Заборонити ШІ-ботам (GPTBot, CCBot, ClaudeBot)

robots.txt

Готовий файл покладіть у корінь сайту: example.com/robots.txt

Безкоштовний аудит

Перевірили одну річ. Перевіримо весь сайт

Інструмент перевіряє одну річ. Ми безкоштовно пройдемо весь сайт і надішлемо звіт: що заважає вам у Google і що виправити першим.

Індексація й технічні помилки
Швидкість і Core Web Vitals
Мета-теги, розмітка, дублі
План виправлень за пріоритетом

Детальніше: SEO-аудит сайту

Що вміє robots.txt

Файл у корені сайту, який каже пошуковим роботам, куди можна заходити. Це вказівка, а не заборона на рівні сервера.

Економить краулінговий бюджет Робот витрачає обмежений час на сайт. Якщо він ходить по сторінках фільтрів і сортування, до важливого може не дійти.

Ховає службові розділи Адмінка, кошик, сторінки оформлення замовлення — усе це не має потрапляти в пошук і не потребує обходу.

Вказує на карту сайту Один рядок Sitemap із повною адресою — і карту знайдуть навіть ті системи, де ви її не подавали вручну.

Різні правила для різних роботів Можна дозволити Google усе, а надокучливим збирачам контенту закрити доступ повністю.

Помилки, що коштують трафіку

Disallow: / на бойовому сайті Рядок лишився після розробки й закриває весь сайт. Трафік зникає за тиждень, а причину шукають місяцями.

Закриті стилі й скрипти Google рендерить сторінку, як браузер. Без css і js він бачить її зламаною й оцінює відповідно.

Спроба сховати сторінку від пошуку Disallow не прибирає адресу з видачі — вона може лишитись там без опису. Для приховування потрібен noindex.

Занадто широке правило Disallow: /cat закриває і /catalog, і /category. Одна літера — і зник цілий розділ.

Що зазвичай закривають

Адмінка Панель керування сайтом. У пошуку їй нема чого робити, а зайва увага до неї шкідлива.

Кошик і оформлення Сторінки, що існують лише для конкретного відвідувача. Для пошуку вони порожні.

Фільтри й сортування Той самий каталог у сотнях комбінацій. Це головний пожирач краулінгового бюджету в магазинах.

Пошук по сайту Результати внутрішнього пошуку створюють нескінченну кількість адрес із дублями.

Що таке robots.txt і як він працює

robots.txt — це звичайний текстовий файл у корені сайту, який першим читає пошуковий робот. У ньому ви вказуєте, які розділи можна обходити, а які варто пропустити. Файл складається з блоків: спочатку йде User-agent (для якого робота правило), далі — Disallow та Allow.

Основні директиви

User-agent: * — правило для всіх роботів одразу.
Disallow: /admin/ — заборонити обхід розділу.
Allow: /admin/ajax.php — виняток усередині забороненого розділу.
Sitemap: — повна адреса карти сайту; можна вказати кілька.
Crawl-delay: — пауза між запитами робота (Google ігнорує).

Найчастіші помилки

Перша й найдорожча — забути прибрати Disallow: / після переїзду з тестового домену. Сайт зникає з пошуку за кілька тижнів. Друга — закривати в robots.txt сторінки, які треба прибрати з індексу: робот перестане їх обходити, але вже проіндексовані адреси залишаться у видачі. Для видалення потрібен метатег noindex, і сторінка при цьому має лишатися відкритою для обходу. Третя — блокувати CSS і JS: Google не зможе відрендерити сторінку й оцінить мобільну версію гірше.

Що закривати інтернет-магазину

Сторінки кошика, оформлення замовлення й особистого кабінету обходити немає сенсу. Окрема історія — фільтри та сортування: адреси на кшталт /*?sort= створюють тисячі майже однакових сторінок і розмивають краулінговий бюджет. Їх варто закрити, а корисні комбінації фільтрів — навпаки, зробити окремими посадковими сторінками з власними текстами.

Після завантаження файлу перевірте його в Google Search Console: розділ «Налаштування» → «robots.txt». Google покаже, коли файл востаннє прочитано і чи немає в ньому помилок.

Оцініть інструмент

Так ми знаємо, що доробити першим

Будьте першим, хто оцінить 5.0 з 5 0 голосів

Часті запитання

Навіщо потрібен файл robots.txt?

robots.txt підказує пошуковим роботам, які розділи сайту обходити, а які — ні. Це економить краулінговий бюджет: робот не витрачає час на кошик, особистий кабінет чи сторінки фільтрів, а швидше доходить до товарів і статей. Важливо розуміти: robots.txt керує обходом, а не індексацією. Щоб сторінка гарантовано не потрапила в пошук, потрібен метатег noindex.

Куди завантажити robots.txt?

Лише в корінь домену — example.com/robots.txt. У підпапці (example.com/site/robots.txt) файл працювати не буде, роботи його просто не шукають. Для піддомену потрібен окремий файл: blog.example.com має власний robots.txt.

Чи можна закрити сайт від Google повністю?

Так, пресет «Закрити весь сайт» дає директиву Disallow: / — її варто ставити лише на тестових доменах. На робочому сайті це найдорожча помилка в SEO: трафік зникає протягом кількох тижнів. Обовʼязково приберіть цю директиву перед запуском і перевірте файл у Google Search Console.

Чи враховує Google директиву Crawl-delay?

Ні, Google її ігнорує — швидкість обходу налаштовується в Search Console. А от Bing і Yandex Crawl-delay розуміють. Ставити її має сенс лише тоді, коли боти реально навантажують сервер; у звичайній ситуації залиште 0.

Як створити robots.txt онлайн?

Оберіть готовий пресет — WordPress, OpenCart, інтернет-магазин або відкритий сайт — і вкажіть домен: рядок Sitemap з адресою https://ваш-домен/sitemap.xml додасться автоматично, якщо ви не вказали іншу карту. За потреби допишіть свої правила Disallow і Allow, по одному в рядку. Файл збирається одразу під час введення, а кнопка «Завантажити» збереже готовий robots.txt — лишається покласти його в корінь сайту.

Чи варто закривати сайт від ШІ-ботів і SEO-сканерів?

Це дві окремі галочки. Перша забороняє доступ GPTBot, CCBot, ClaudeBot, anthropic-ai та Google-Extended — агентам, через які тексти сайтів збирають для ШІ; звичайного Googlebot вона не зачіпає. Друга закриває AhrefsBot, SemrushBot, MJ12bot, DotBot і BLEXBot: менше навантаження на сервер, але дані про ваш сайт у цих сервісах можуть перестати оновлюватись. robots.txt — це прохання: сумлінні боти його виконують, решта ігнорує.

Ми пропонуємо

NEW CASE

Зробімо перший крок до вашого сайту — напишіть нам