Генератор sitemap.xml

Как работает этот генератор

Робот начинает с адреса, который вы ввели, и идёт по ссылкам — так же, как Googlebot. В карту попадают только страницы того же домена, которые отдают HTML с кодом 200. Всё лишнее для поиска отсеивается автоматически: файлы (PDF, картинки, архивы), страницы с метатегом noindex, адреса, закрытые в robots.txt для Googlebot, редиректы и неканонические версии — если на странице стоит canonical на другой адрес, в карту идёт именно он.

Языковые версии собираются из <link rel="alternate" hreflang>, а не только из меню — иначе, например, английская версия без ссылки в шапке не попала бы в карту. Параметры отслеживания (utm_, fbclid, gclid) обрезаются, чтобы одна и та же страница не появилась дважды.

Запросы идут пачками по восемь одновременно, поэтому тысяча страниц на обычном хостинге обходится за 30–45 секунд. Лимит на один обход — 1 000 адресов. Если сайт больше, ниже объяснено, что делать.

Атрибуты в sitemap.xml: что важно, а что нет

Протокол sitemaps.org описывает четыре элемента на каждый адрес. На практике их вес очень разный.

• loc — сам адрес. Единственное, что обязательно. Должен быть полным, с протоколом и доменом, и совпадать с canonical страницы.
• lastmod — дата последнего изменения. Google использует её, но только если она правдива: если все страницы получают «сегодняшнюю» дату при каждой генерации, он перестаёт ей доверять. Наш генератор берёт дату из метатегов article:modified_time или og:updated_time; если их нет — атрибут не ставится вовсе. Это честнее, чем выдумывать.
• changefreq — как часто страница меняется. Google прямо говорит, что игнорирует этот атрибут. Bing и Yandex читают, но как подсказку, а не приказ. Мы добавляем его по вашему выбору; weekly — разумный компромисс для большинства сайтов.
• priority — относительная важность от 0.0 до 1.0. Google тоже игнорирует. Если выбрать «по глубине», главная получит 1.0, страницы в одном клике от неё — 0.8, дальше 0.6, и так до 0.3. Это примерно соответствует тому, как поисковики сами оценивают структуру сайта.

Вывод простой: карта нужна ради loc. Остальное — опции, которые не навредят и которые люди привыкли видеть, потому что их добавляют все генераторы.

Что делать с готовым файлом

Три шага, и ни один нельзя пропустить.

• Положить в корень сайта — чтобы файл открывался по адресу https://ваш-домен/sitemap.xml. Карта может лежать и в подпапке, но тогда она описывает только адреса внутри этой папки.
• Дописать строку в robots.txt: Sitemap: https://ваш-домен/sitemap.xml. Так карту находят все поисковики, даже те, где вы не регистрировали сайт.
• Отправить в Google Search Console → «Файлы Sitemap» → вставить адрес. После этого в консоли видно, сколько адресов Google прочитал и сколько из них проиндексировал. Для Bing — то же самое в Bing Webmaster Tools.

Отчёт «Файлы Sitemap» в консоли — самое полезное, что даёт карта после отправки. Если там «Обнаружено 400, проиндексировано 120» — это не ошибка карты, а сигнал: 280 страниц Google видел, но не счёл достойными индекса. Обычно это тонкие или дублирующиеся страницы.

Когда одного файла мало

Протокол ограничивает одну карту 50 000 адресами и 50 МБ без сжатия. Наш генератор останавливается на 1 000 — для сайта-визитки, блога или небольшого магазина этого хватает с запасом. Для сайтов крупнее правильное решение — не один гигантский файл, а несколько по разделам плюс sitemap index, который их перечисляет:

• sitemap-pages.xml — статические страницы
• sitemap-blog.xml — статьи
• sitemap-catalog.xml — товары
• sitemap.xml — индекс, ссылающийся на три файла выше

Так в Search Console видна статистика отдельно по каждому разделу, и когда проседает индексация именно в каталоге, это заметно сразу. Запустите генератор для каждого раздела отдельно, указав его адрес как стартовый, — и соберите индекс вручную или средствами CMS.

Типичные ошибки в картах сайта

• noindex-страницы в карте. Вы просите проиндексировать то, что сами запретили. Google видит это как ошибку настроек. Наш генератор такие страницы не включает, но если карту делает CMS — проверьте.
• Редиректы в карте. Адрес в карте должен отдавать 200, а не 301. Редиректы — лишний шаг для робота и минус к доверию.
• http и https вперемешку, с www и без. Все адреса должны быть в одном каноническом варианте. Если сайт переехал на https, а карта осталась со старыми адресами — она бесполезна.
• Неканонические адреса. Страница с параметрами сортировки, у которой canonical на чистую версию, в карте быть не должна.
• Устаревшая карта. Файл сгенерировали год назад и забыли. Новых страниц в нём нет, удалённые — есть. Карту нужно обновлять после каждого заметного пополнения сайта.
• Карта есть, а в robots.txt и консоли — нет. Файл лежит, но о нём никто не знает.

Всё это можно проверить нашим валидатором карты сайта: он разбирает готовый файл, находит редиректы, дубли и noindex внутри.

Почему нашлось меньше страниц, чем есть на сайте

Самые частые причины, по убыванию вероятности:

• Страницы без входящих ссылок. Робот идёт по ссылкам; если на страницу ничто не ведёт — он её не найдёт. Это сигнал и для Google: такие страницы он тоже находит последними.
• Ссылки строятся JavaScript-ом. Генератор читает HTML как есть, без выполнения скриптов. Меню, которое рисуется JS, для него пустое.
• Закрыто в robots.txt. Если раздел запрещён для Googlebot, мы его не обходим — и правильно делаем.
• Страницы за авторизацией. Личные кабинеты, корзина, админка — не для карты.
• Медленный сервер. Если каждая страница отвечает три секунды, за 45 секунд обойдётся немного. Это повод проверить скорость сайта.

Если счётчик «пропущено» большой — это страницы, отдавшие не 200, не HTML или имевшие noindex. Если «закрыто в robots.txt» — соответственно.