Тестер robots.txt онлайн — перевірка правил обходу для URL

SEO та маркетинг

Може зацікавити

Чи дозволено роботу обходити конкретну адресу й яке правило спрацювало.

Безкоштовний аудит

Перевірили одну річ. Перевіримо весь сайт

Інструмент перевіряє одну річ. Ми безкоштовно пройдемо весь сайт і надішлемо звіт: що заважає вам у Google і що виправити першим.

Індексація й технічні помилки
Швидкість і Core Web Vitals
Мета-теги, розмітка, дублі
План виправлень за пріоритетом

Що робить цей тестер

Бере robots.txt вашого домену, розбирає правила й показує, чи дозволено роботу зайти на конкретну адресу. Головне — видно, яке саме правило спрацювало.

Рішення для конкретної адреси Не «файл виглядає правильно», а відповідь для тієї сторінки, яка вас цікавить. Саме тут виявляються несподіванки.

Правило, що вирішило Показуємо рядок і його номер у файлі. Якщо результат несподіваний, одразу видно, що саме його спричинило.

Різні роботи Googlebot і GPTBot можуть отримати різні відповіді на ту саму адресу, якщо для них є окремі групи правил.

Помилки синтаксису Рядки без двокрапки, правила до першого User-agent, невідомі поля — усе це робить частину файлу нечинною.

Як працює вибір правила

Логіка не очевидна, і саме на ній будуються всі непорозуміння.

Своя група важливіша Якщо для бота є власний User-agent, правила з групи * на нього не діють зовсім. Не додаються — замінюються.

Перемагає найдовше З кількох правил, що підходять, діє те, чий шлях довший. Тому Allow: /private/public/ перекриває Disallow: /private/.

При рівності — Allow Якщо довжина однакова, дозвіл сильніший за заборону. Це прописано в специфікації.

Знаки * і $ Зірочка означає будь-яку послідовність, долар — кінець адреси. Disallow: /*.pdf$ закриє файли, але не адреси з параметрами після них.

Порожній Disallow Рядок Disallow без значення означає «дозволено все». Це не помилка, а звичний спосіб відкрити сайт повністю.

Чого robots.txt не робить

Не ховає сторінку з пошуку Disallow забороняє заходити, а не показувати. Якщо на сторінку ведуть посилання, адреса може зʼявитись у видачі без опису. Для приховування потрібен noindex.

Не захищає дані Файл відкритий усім, і перелік заборонених розділів у ньому — фактично підказка, куди дивитись. Приватне закривають паролем.

Не є обовʼязковим для всіх Це домовленість. Пошукові системи її дотримуються, збирачі контенту — не завжди.

Не працює для піддоменів Кожен піддомен має власний robots.txt. Файл основного домену на shop.example.com не поширюється.

Що робити з несподіваним результатом

1 Подивіться на правило й номер рядка Часто виявляється, що шлях ширший, ніж здавалось: Disallow: /cat закриває і /catalog, і /category.

2 Перевірте, чи не своя група Якщо для бота є окремий User-agent, спільні правила ігноруються. Дублювати їх у власну групу доводиться вручну.

3 Додайте виняток через Allow Замість переписувати заборону, відкрийте потрібний підрозділ окремим рядком. Довше правило перемагає.

4 Перевірте ще раз після зміни Правки в robots.txt діють одразу, але Google перечитує файл із затримкою — зазвичай до доби.

Детальніше в блозі

robots.txt і AI-боти: як керувати доступом до сайту Мовні моделі читають сайти через власних ботів. Розбираємо, хто вони, чим відрізняються й що робити з доступом — без обіцянок про зростання

Часті запитання

Чому Googlebot і GPTBot дають різні відповіді для тієї самої адреси?

Бо для кожного може бути своя група правил. Якщо в robots.txt є окремий блок User-agent для бота, спільні правила з зірочкою на нього не діють узагалі — вони замінюються, а не додаються. Це найчастіше джерело плутанини.

Disallow прибирає сторінку з пошуку?

Ні. Disallow забороняє заходити, а не показувати. Якщо на сторінку ведуть посилання, її адреса може зʼявитись у видачі без опису. Щоб прибрати сторінку з пошуку, потрібен noindex — і доступ до неї має лишатись відкритим, інакше робот цього тега не побачить.

Що робити, якщо правило закриває більше, ніж треба?

Додайте виняток через Allow із довшим шляхом — перемагає найдовше правило. Наприклад, Disallow: /private/ і Allow: /private/public/ разом закриють розділ, але лишать відкритим підрозділ. Переписувати заборону не обовʼязково.

Чи діє robots.txt на піддомени?

Ні. Кожен піддомен має власний файл у своєму корені. Правила з example.com не поширюються на shop.example.com — це для пошукових систем окремі сайти, і файл для кожного потрібен свій.

Навіщо вставляти файл вручну, якщо можна вказати адресу?

Три випадки: сайт ще не опублікований, сервер блокує автоматичні запити, або ви правите файл локально й хочете перевірити до заливки. У цих ситуаціях перевірка за адресою неможлива, а логіка правил однакова.

Ми пропонуємо

NEW CASE

Зробімо перший крок до вашого сайту — напишіть нам

Тестер robots.txt