Що робить цей тестер

Бере robots.txt вашого домену, розбирає правила й показує, чи дозволено роботу зайти на конкретну адресу. Головне — видно, яке саме правило спрацювало.

Рішення для конкретної адреси Не «файл виглядає правильно», а відповідь для тієї сторінки, яка вас цікавить. Саме тут виявляються несподіванки.

Правило, що вирішило Показуємо рядок і його номер у файлі. Якщо результат несподіваний, одразу видно, що саме його спричинило.

Різні роботи Googlebot і GPTBot можуть отримати різні відповіді на ту саму адресу, якщо для них є окремі групи правил.

Помилки синтаксису Рядки без двокрапки, правила до першого User-agent, невідомі поля — усе це робить частину файлу нечинною.

Як працює вибір правила

Логіка не очевидна, і саме на ній будуються всі непорозуміння.

Своя група важливіша Якщо для бота є власний User-agent, правила з групи * на нього не діють зовсім. Не додаються — замінюються.

Перемагає найдовше З кількох правил, що підходять, діє те, чий шлях довший. Тому Allow: /private/public/ перекриває Disallow: /private/.

При рівності — Allow Якщо довжина однакова, дозвіл сильніший за заборону. Це прописано в специфікації.

Знаки * і $ Зірочка означає будь-яку послідовність, долар — кінець адреси. Disallow: /*.pdf$ закриє файли, але не адреси з параметрами після них.

Порожній Disallow Рядок Disallow без значення означає «дозволено все». Це не помилка, а звичний спосіб відкрити сайт повністю.

Чого robots.txt не робить

Не ховає сторінку з пошуку Disallow забороняє заходити, а не показувати. Якщо на сторінку ведуть посилання, адреса може зʼявитись у видачі без опису. Для приховування потрібен noindex.

Не захищає дані Файл відкритий усім, і перелік заборонених розділів у ньому — фактично підказка, куди дивитись. Приватне закривають паролем.

Не є обовʼязковим для всіх Це домовленість. Пошукові системи її дотримуються, збирачі контенту — не завжди.

Не працює для піддоменів Кожен піддомен має власний robots.txt. Файл основного домену на shop.example.com не поширюється.

Що робити з несподіваним результатом

1 Подивіться на правило й номер рядка Часто виявляється, що шлях ширший, ніж здавалось: Disallow: /cat закриває і /catalog, і /category.

2 Перевірте, чи не своя група Якщо для бота є окремий User-agent, спільні правила ігноруються. Дублювати їх у власну групу доводиться вручну.

3 Додайте виняток через Allow Замість переписувати заборону, відкрийте потрібний підрозділ окремим рядком. Довше правило перемагає.

4 Перевірте ще раз після зміни Правки в robots.txt діють одразу, але Google перечитує файл із затримкою — зазвичай до доби.

Ми пропонуємо

NEW CASE

Зробімо перший крок до вашого сайту — напишіть нам

Тестер robots.txt

Що робить цей тестер

Як працює вибір правила

Чого robots.txt не робить

Що робити з несподіваним результатом