Создаем цифровые решения, которые работают на бизнес
SEO и маркетинг
Может заинтересовать
Готовый robots.txt с пресетами под вашу CMS.
Готовый файл положите в корень сайта: example.com/robots.txt
Файл в корне сайта, который говорит поисковым роботам, куда можно заходить. Это указание, а не запрет на уровне сервера.
robots.txt — это обычный текстовый файл в корне сайта, который первым читает поисковый робот. В нём вы указываете, какие разделы можно обходить, а какие стоит пропустить. Файл состоит из блоков: сначала идёт User-agent (для какого робота правило), далее — Disallow и Allow.
Первая и самая дорогая — забыть убрать Disallow: / после переезда с тестового домена. Сайт исчезает из поиска за несколько недель. Вторая — закрывать в robots.txt страницы, которые нужно убрать из индекса: робот перестанет их обходить, но уже проиндексированные адреса останутся в выдаче. Для удаления нужен метатег noindex, и страница при этом должна оставаться открытой для обхода. Третья — блокировать CSS и JS: Google не сможет отрендерить страницу и оценит мобильную версию хуже.
Страницы корзины, оформления заказа и личного кабинета обходить незачем. Отдельная история — фильтры и сортировка: адреса вроде /*?sort= создают тысячи почти одинаковых страниц и размывают краулинговый бюджет. Их стоит закрыть, а полезные комбинации фильтров — наоборот, сделать отдельными посадочными страницами с собственными текстами.
После загрузки файла проверьте его в Google Search Console: раздел «Настройки» → «robots.txt». Google покажет, когда файл последний раз прочитан и нет ли в нём ошибок.
