Генератор robots.txt

Що таке robots.txt і як він працює

robots.txt — це звичайний текстовий файл у корені сайту, який першим читає пошуковий робот. У ньому ви вказуєте, які розділи можна обходити, а які варто пропустити. Файл складається з блоків: спочатку йде User-agent (для якого робота правило), далі — Disallow та Allow.

Основні директиви

• User-agent: * — правило для всіх роботів одразу.
• Disallow: /admin/ — заборонити обхід розділу.
• Allow: /admin/ajax.php — виняток усередині забороненого розділу.
• Sitemap: — повна адреса карти сайту; можна вказати кілька.
• Crawl-delay: — пауза між запитами робота (Google ігнорує).

Найчастіші помилки

Перша й найдорожча — забути прибрати Disallow: / після переїзду з тестового домену. Сайт зникає з пошуку за кілька тижнів. Друга — закривати в robots.txt сторінки, які треба прибрати з індексу: робот перестане їх обходити, але вже проіндексовані адреси залишаться у видачі. Для видалення потрібен метатег noindex, і сторінка при цьому має лишатися відкритою для обходу. Третя — блокувати CSS і JS: Google не зможе відрендерити сторінку й оцінить мобільну версію гірше.

Що закривати інтернет-магазину

Сторінки кошика, оформлення замовлення й особистого кабінету обходити немає сенсу. Окрема історія — фільтри та сортування: адреси на кшталт /*?sort= створюють тисячі майже однакових сторінок і розмивають краулінговий бюджет. Їх варто закрити, а корисні комбінації фільтрів — навпаки, зробити окремими посадковими сторінками з власними текстами.

Після завантаження файлу перевірте його в Google Search Console: розділ «Налаштування» → «robots.txt». Google покаже, коли файл востаннє прочитано і чи немає в ньому помилок.