Генератор sitemap.xml

Як працює цей генератор

Робот починає з адреси, яку ви ввели, і йде за посиланнями — так само, як Googlebot. У карту потрапляють лише сторінки того самого домену, які віддають HTML із кодом 200. Усе, що зайве для пошуку, відсіюється автоматично: файли (PDF, картинки, архіви), сторінки з метатегом noindex, адреси, закриті в robots.txt для Googlebot, редиректи та неканонічні версії — якщо на сторінці стоїть canonical на іншу адресу, в карту йде саме вона.

Мовні версії збираються з <link rel="alternate" hreflang>, а не лише з меню — інакше, наприклад, англійська версія без посилання в шапці не потрапила б у карту. Параметри відстеження (utm_, fbclid, gclid) зрізаються, щоб та сама сторінка не зʼявилась двічі.

Запити йдуть пачками по вісім одночасно, тож тисяча сторінок на звичайному хостингу обходиться за 30–45 секунд. Ліміт на один обхід — 1 000 адрес. Якщо сайт більший, нижче пояснено, що робити.

Атрибути в sitemap.xml: що важливо, а що ні

Протокол sitemaps.org описує чотири елементи на кожну адресу. На практиці вони мають дуже різну вагу.

• loc — сама адреса. Єдине, що обовʼязково. Має бути повною, з протоколом і доменом, і збігатись із canonical сторінки.
• lastmod — дата останньої зміни. Google використовує її, але тільки якщо вона правдива: якщо всі сторінки мають «сьогоднішню» дату при кожній генерації, він перестає їй довіряти. Наш генератор бере дату з метатегів article:modified_time або og:updated_time; якщо їх немає — атрибут не ставиться взагалі. Це чесніше, ніж вигадувати.
• changefreq — як часто сторінка змінюється. Google прямо каже, що ігнорує цей атрибут. Bing і Yandex читають, але як підказку, не наказ. Ми додаємо його за вашим вибором; weekly — розумний компроміс для більшості сайтів.
• priority — відносна важливість від 0.0 до 1.0. Google теж ігнорує. Якщо вибрати «за глибиною», головна отримає 1.0, сторінки в один клік від неї — 0.8, далі 0.6, і так до 0.3. Це приблизно відповідає тому, як пошуковики самі оцінюють структуру сайту.

Висновок простий: карта потрібна заради loc. Решта — опції, які не зашкодять і які люди звикли бачити, бо їх додають усі генератори.

Що робити з готовим файлом

Три кроки, і жоден не можна пропустити.

• Покласти в корінь сайту — щоб файл відкривався за адресою https://ваш-домен/sitemap.xml. Карта може лежати й у підпапці, але тоді вона описує лише адреси всередині цієї папки.
• Дописати рядок у robots.txt: Sitemap: https://ваш-домен/sitemap.xml. Так карту знаходять усі пошуковики, навіть ті, де ви не реєстрували сайт.
• Надіслати в Google Search Console → «Файли Sitemap» → вставити адресу. Після цього в консолі буде видно, скільки адрес Google прочитав і скільки з них проіндексував. Для Bing — те саме в Bing Webmaster Tools.

Звіт «Файли Sitemap» у консолі — найкорисніше, що дає карта після подання. Якщо там «Виявлено 400, проіндексовано 120» — це не помилка карти, а сигнал: 280 сторінок Google бачив, але не вважав вартими індексу. Зазвичай це тонкі або дубльовані сторінки.

Коли одного файлу мало

Протокол обмежує одну карту 50 000 адресами й 50 МБ без стиснення. Наш генератор зупиняється на 1 000 — для сайту-візитки, блогу чи невеликого магазину цього вистачає з запасом. Для більших сайтів правильне рішення — не один гігантський файл, а кілька за розділами плюс sitemap index, який їх перелічує:

• sitemap-pages.xml — статичні сторінки
• sitemap-blog.xml — статті
• sitemap-catalog.xml — товари
• sitemap.xml — індекс, що посилається на три файли вище

Так у Search Console видно статистику окремо по кожному розділу, і коли зникає індексація саме в каталозі, це помітно одразу. Запустіть генератор для кожного розділу окремо, вказавши його адресу як стартову, — і зберіть індекс руками або засобами CMS.

Типові помилки в картах сайту

• noindex-сторінки в карті. Ви просите проіндексувати те, що самі заборонили. Google бачить це як помилку налаштувань. Наш генератор такі сторінки не включає, але якщо карту робить CMS — перевірте.
• Редиректи в карті. Адреса в карті має віддавати 200, а не 301. Редиректи — зайвий крок для робота й мінус до довіри.
• http і https впереміш, з www і без. Усі адреси мають бути в одному канонічному варіанті. Якщо сайт переїхав на https, а карта лишилась зі старими адресами — вона марна.
• Неканонічні адреси. Сторінка з параметрами сортування, що має canonical на чисту версію, у карті бути не повинна.
• Застаріла карта. Файл згенерували рік тому й забули. Нових сторінок у ньому немає, видалені — є. Карту треба оновлювати після кожного помітного поповнення сайту.
• Карта є, а в robots.txt і консолі — ні. Файл лежить, але про нього ніхто не знає.

Усе це можна перевірити нашим валідатором карти сайту: він розбирає готовий файл, знаходить редиректи, дублі й noindex усередині.

Чому знайшлось менше сторінок, ніж є на сайті

Найчастіші причини, за спаданням імовірності:

• Сторінки без вхідних посилань. Робот іде за посиланнями; якщо на сторінку ніщо не веде — він її не знайде. Це сигнал і для Google: такі сторінки він теж знаходить останніми.
• Посилання будуються JavaScript-ом. Генератор читає HTML як є, без виконання скриптів. Меню, яке малюється JS, для нього порожнє.
• Закрито в robots.txt. Якщо розділ заборонений для Googlebot, ми його не обходимо — і правильно робимо.
• Сторінки за авторизацією. Особисті кабінети, кошик, адмінка — не для карти.
• Повільний сервер. Якщо кожна сторінка відповідає три секунди, за 45 секунд обійдеться небагато. Це привід перевірити швидкість сайту.

Якщо лічильник «пропущено» великий — це сторінки, що віддали не 200, не HTML або мали noindex. Якщо «закрито в robots.txt» — відповідно.