Генератор robots.txt

Что такое robots.txt и как он работает

robots.txt — это обычный текстовый файл в корне сайта, который первым читает поисковый робот. В нём вы указываете, какие разделы можно обходить, а какие стоит пропустить. Файл состоит из блоков: сначала идёт User-agent (для какого робота правило), далее — Disallow и Allow.

Основные директивы

• User-agent: * — правило для всех роботов сразу.
• Disallow: /admin/ — запретить обход раздела.
• Allow: /admin/ajax.php — исключение внутри запрещённого раздела.
• Sitemap: — полный адрес карты сайта; можно указать несколько.
• Crawl-delay: — пауза между запросами робота (Google игнорирует).

Самые частые ошибки

Первая и самая дорогая — забыть убрать Disallow: / после переезда с тестового домена. Сайт исчезает из поиска за несколько недель. Вторая — закрывать в robots.txt страницы, которые нужно убрать из индекса: робот перестанет их обходить, но уже проиндексированные адреса останутся в выдаче. Для удаления нужен метатег noindex, и страница при этом должна оставаться открытой для обхода. Третья — блокировать CSS и JS: Google не сможет отрендерить страницу и оценит мобильную версию хуже.

Что закрывать интернет-магазину

Страницы корзины, оформления заказа и личного кабинета обходить незачем. Отдельная история — фильтры и сортировка: адреса вроде /*?sort= создают тысячи почти одинаковых страниц и размывают краулинговый бюджет. Их стоит закрыть, а полезные комбинации фильтров — наоборот, сделать отдельными посадочными страницами с собственными текстами.

После загрузки файла проверьте его в Google Search Console: раздел «Настройки» → «robots.txt». Google покажет, когда файл последний раз прочитан и нет ли в нём ошибок.