Генератор robots.txt

SEO та маркетинг

Може зацікавити

Готовий robots.txt із пресетами під вашу CMS.

Готовий пресет Домен сайту

Заборонити (Disallow) — по одному в рядку Дозволити (Allow) — по одному в рядку

Crawl-delay (сек., 0 — не додавати) Sitemap (можна кілька, з нового рядка)

Заблокувати агресивні SEO-сканери (Ahrefs, Semrush, MJ12) Заборонити ШІ-ботам (GPTBot, CCBot, ClaudeBot)

robots.txt

Готовий файл покладіть у корінь сайту: example.com/robots.txt

Що вміє robots.txt

Файл у корені сайту, який каже пошуковим роботам, куди можна заходити. Це вказівка, а не заборона на рівні сервера.

Економить краулінговий бюджет Робот витрачає обмежений час на сайт. Якщо він ходить по сторінках фільтрів і сортування, до важливого може не дійти.

Ховає службові розділи Адмінка, кошик, сторінки оформлення замовлення — усе це не має потрапляти в пошук і не потребує обходу.

Вказує на карту сайту Один рядок Sitemap із повною адресою — і карту знайдуть навіть ті системи, де ви її не подавали вручну.

Різні правила для різних роботів Можна дозволити Google усе, а надокучливим збирачам контенту закрити доступ повністю.

Помилки, що коштують трафіку

Disallow: / на бойовому сайті Рядок лишився після розробки й закриває весь сайт. Трафік зникає за тиждень, а причину шукають місяцями.

Закриті стилі й скрипти Google рендерить сторінку, як браузер. Без css і js він бачить її зламаною й оцінює відповідно.

Спроба сховати сторінку від пошуку Disallow не прибирає адресу з видачі — вона може лишитись там без опису. Для приховування потрібен noindex.

Занадто широке правило Disallow: /cat закриває і /catalog, і /category. Одна літера — і зник цілий розділ.

Що зазвичай закривають

Адмінка Панель керування сайтом. У пошуку їй нема чого робити, а зайва увага до неї шкідлива.

Кошик і оформлення Сторінки, що існують лише для конкретного відвідувача. Для пошуку вони порожні.

Фільтри й сортування Той самий каталог у сотнях комбінацій. Це головний пожирач краулінгового бюджету в магазинах.

Пошук по сайту Результати внутрішнього пошуку створюють нескінченну кількість адрес із дублями.

Що таке robots.txt і як він працює

robots.txt — це звичайний текстовий файл у корені сайту, який першим читає пошуковий робот. У ньому ви вказуєте, які розділи можна обходити, а які варто пропустити. Файл складається з блоків: спочатку йде User-agent (для якого робота правило), далі — Disallow та Allow.

Основні директиви

User-agent: * — правило для всіх роботів одразу.
Disallow: /admin/ — заборонити обхід розділу.
Allow: /admin/ajax.php — виняток усередині забороненого розділу.
Sitemap: — повна адреса карти сайту; можна вказати кілька.
Crawl-delay: — пауза між запитами робота (Google ігнорує).

Найчастіші помилки

Перша й найдорожча — забути прибрати Disallow: / після переїзду з тестового домену. Сайт зникає з пошуку за кілька тижнів. Друга — закривати в robots.txt сторінки, які треба прибрати з індексу: робот перестане їх обходити, але вже проіндексовані адреси залишаться у видачі. Для видалення потрібен метатег noindex, і сторінка при цьому має лишатися відкритою для обходу. Третя — блокувати CSS і JS: Google не зможе відрендерити сторінку й оцінить мобільну версію гірше.

Що закривати інтернет-магазину

Сторінки кошика, оформлення замовлення й особистого кабінету обходити немає сенсу. Окрема історія — фільтри та сортування: адреси на кшталт /*?sort= створюють тисячі майже однакових сторінок і розмивають краулінговий бюджет. Їх варто закрити, а корисні комбінації фільтрів — навпаки, зробити окремими посадковими сторінками з власними текстами.

Після завантаження файлу перевірте його в Google Search Console: розділ «Налаштування» → «robots.txt». Google покаже, коли файл востаннє прочитано і чи немає в ньому помилок.

Часті запитання

Навіщо потрібен файл robots.txt?

robots.txt підказує пошуковим роботам, які розділи сайту обходити, а які — ні. Це економить краулінговий бюджет: робот не витрачає час на кошик, особистий кабінет чи сторінки фільтрів, а швидше доходить до товарів і статей. Важливо розуміти: robots.txt керує обходом, а не індексацією. Щоб сторінка гарантовано не потрапила в пошук, потрібен метатег noindex.

Куди завантажити robots.txt?

Лише в корінь домену — example.com/robots.txt. У підпапці (example.com/site/robots.txt) файл працювати не буде, роботи його просто не шукають. Для піддомену потрібен окремий файл: blog.example.com має власний robots.txt.

Чи можна закрити сайт від Google повністю?

Так, пресет «Закрити весь сайт» дає директиву Disallow: / — її варто ставити лише на тестових доменах. На робочому сайті це найдорожча помилка в SEO: трафік зникає протягом кількох тижнів. Обовʼязково приберіть цю директиву перед запуском і перевірте файл у Google Search Console.

Чи враховує Google директиву Crawl-delay?

Ні, Google її ігнорує — швидкість обходу налаштовується в Search Console. А от Bing і Yandex Crawl-delay розуміють. Ставити її має сенс лише тоді, коли боти реально навантажують сервер; у звичайній ситуації залиште 0.

Ми пропонуємо

NEW CASE

Зробімо перший крок до вашого сайту — напишіть нам