Что делает этот тестер

Берёт robots.txt вашего домена, разбирает правила и показывает, разрешено ли роботу зайти на конкретный адрес. Главное — видно, какое именно правило сработало.

Решение для конкретного адреса Не «файл выглядит правильно», а ответ для той страницы, которая вас интересует. Именно здесь обнаруживаются неожиданности.

Правило, которое решило Показываем строку и её номер в файле. Если результат неожиданный, сразу видно, что именно его вызвало.

Разные роботы Googlebot и GPTBot могут получить разные ответы на тот же адрес, если для них есть отдельные группы правил.

Ошибки синтаксиса Строки без двоеточия, правила до первого User-agent, неизвестные поля — всё это делает часть файла недействующей.

Как работает выбор правила

Логика не очевидна, и именно на ней строятся все недоразумения.

Своя группа важнее Если для бота есть собственный User-agent, правила из группы * на него не действуют совсем. Не добавляются — заменяются.

Побеждает самое длинное Из нескольких подходящих правил действует то, чей путь длиннее. Поэтому Allow: /private/public/ перекрывает Disallow: /private/.

При равенстве — Allow Если длина одинаковая, разрешение сильнее запрета. Это прописано в спецификации.

Знаки * и $ Звёздочка означает любую последовательность, доллар — конец адреса. Disallow: /*.pdf$ закроет файлы, но не адреса с параметрами после них.

Пустой Disallow Строка Disallow без значения означает «разрешено всё». Это не ошибка, а привычный способ открыть сайт полностью.

Чего robots.txt не делает

Не прячет страницу из поиска Disallow запрещает заходить, а не показывать. Если на страницу ведут ссылки, адрес может появиться в выдаче без описания. Для скрытия нужен noindex.

Не защищает данные Файл открыт всем, и перечень запрещённых разделов в нём — фактически подсказка, куда смотреть. Приватное закрывают паролем.

Не обязателен для всех Это договорённость. Поисковые системы её соблюдают, сборщики контента — не всегда.

Не работает для поддоменов Каждый поддомен имеет свой robots.txt. Файл основного домена на shop.example.com не распространяется.

Что делать с неожиданным результатом

1 Посмотрите на правило и номер строки Часто выясняется, что путь шире, чем казалось: Disallow: /cat закрывает и /catalog, и /category.

2 Проверьте, нет ли своей группы Если для бота есть отдельный User-agent, общие правила игнорируются. Дублировать их в собственную группу приходится вручную.

3 Добавьте исключение через Allow Вместо переписывания запрета откройте нужный подраздел отдельной строкой. Более длинное правило побеждает.

4 Проверьте ещё раз после изменения Правки в robots.txt действуют сразу, но Google перечитывает файл с задержкой — обычно до суток.

Мы предлагаем

NEW CASE

Сделаем первый шаг к вашему сайту — напишите нам

Тестер robots.txt

Что делает этот тестер

Как работает выбор правила

Чего robots.txt не делает

Что делать с неожиданным результатом