• Техническое SEO · sitemap.xml

Настройка sitemap.xml и robots.txt: чтобы поисковик знал, что у вас есть

Настройки sitemap.xml и robots.txt – это два файла, которые решают, что поисковик вообще увидит на вашем сайте. Карта перечисляет адреса, которые вы просите обойти; robots.txt говорит, куда ходить не надо и где эта карта лежит. Работу начинаем с измерения: открываем оба адреса и смотрим код ответа, размер тела, количество записей. Самая частая находка в собственной выборке – код 200 при теле на ноль байтов. Файл вроде бы есть, адрес в нем ноль.

Посмотреть, как это работает
Стоимость
после бесплатного аудита
Гарантия
30 дней после подписания акта
Что делаем
проверка двух файлов, перегенерация карты, правила обхода, представление в Search Console
Стоимость
после бесплатного аудита
Гарантия
30
дней после подписания акта
Что делаем
проверка двух файлов, перегенерация карты, правила обхода, представление в Search Console
Срок
6–10
рабочих дней в зависимости от размера каталога
Чистая карта в собственном измерении
13590
адресов и один дубликат на весь каталог
Частый дефект выборки
/sitemap.xml отдает 200 с телом на нуль байтов
Перед сметой
бесплатная проверка, 1–2 рабочих дня, без доступов
Чего не обещаем
индексации: карта сообщает о страницах, решение остается за поисковиком
Что входит

Полный перечень работ и того, что вы получаете на выходе

  • Перегенерируем карту со всеми типами страниц и всеми языковыми версиями – поисковик получает полный список, а не его часть.
  • Разобьем карту на индекс с подкарт, если адресов много: в отчете обхода видно, какая часть каталога выпала.
  • Уберем с карты служебные, пустые и закрытые от индексации страницы – обход тратится на товары, а не на корзину.
  • Починим дать последнее изменение, чтобы они действительно обновлялись и подсказывали, что просмотреть после правок каталога.
  • Перенесем карту по стандартному адресу, если она лежит сбоку: ее найдет бот, аудит-инструмент и ваш следующий подрядчик.
  • Перепишем robots.txt с явной строкой Sitemap без закомментированных шаблонов от предыдущего генератора.
  • Закроем служебные разделы, прогнав каждое правило по списку важных адресов, чтобы вместе с кабинетом не исчезла категория.
  • Представим карту в Search Console и Bing Webmaster Tools и дождемся, пока она прочтется без ошибок формата.
  • Пройдем карту скриптом после введения и покажем два числа: записей и уникальных адресов. Сбежались – карта чистая.
Когда эта услуга не подходит

Что не входит в работу — чтобы не было сюрпризов на сдаче

  • Создание страниц, которых нет на сайте.
  • Гарантия индексации: карта сообщает о страницах, решениях по поисковикам.
  • Работа с чужими сайтами и каталогами ссылок.
  • Уборка дублей как отдельная работа – здесь мы только не тянем их в карту.
Кому подходит

Ситуации, в которых эта услуга даёт результат

Сценарий 1 из 5

Каталог вырос, а в поиске видна старая его часть

Классическая ситуация обширного каталога: новые разделы есть на сайте, но бот доходит до них по внутренним ссылкам месяцами. Карта – прямой список адресов, которые вы просите обойти. В оптовом каталоге белья, который мы мерили, это 13428 страниц товаров и 161 категория; без карты глубокие позиции такого каталога бот искал бы сам и долго.

Разберём вашу ситуацию на бесплатном аудите
Бесплатный аудит

Бесплатная проверка карты сайта и robots.txt

Самая дешевая проверка из всех возможных и часто самая результативная. Мы открываем стандартные адреса карты сайта и robots.txt и смотрим, что они отдают на самом деле. Доступы не нужны: все видно извне.

Что мы измеряем

  1. Что отдает /sitemap.xmlКод ответа, размер тела, количество записей. Мы регулярно видим 200 с телом на ноль байтов: формально файл есть, фактически карты нет.
  2. Объявлена ​​ли карта в robots.txtСтрока Sitemap. В выборке попадались закомментированный шаблон, ссылка на файл из 404 и полное отсутствие директивы при рабочей карте.
  3. Полнота картыСколько в ней адресов и совпадает ли это с фактическим каталогом. Сверяем перекрестно штатным поиском сайта.
  4. Записи против уникальных адресовДва числа считаем раздельно. Разница между ними – это дубли, которые едят обход; на чужих измерениях мы видели до 3,9 записей в один адрес.
  5. Языковые версии в картеИли все объявленные ветки туда попали. Находили карты, где все адреса вели на один из двух объявленных в разметке.
  6. Структура индекса и лимитыРазбита ли карта на подкарты и не превышены ли 50 000 адресов и 50 МБ на файл.
  7. Правила обходаЧто именно закрывает ваш robots.txt и не закрывает ли он случайно нужное — вместе со служебными главами часто закрывают что-нибудь полезное.
  8. Время отдачи картыЧерез несколько секунд файл доходит до клиента. В одном измеренном магазине инструмента карта генерировалась 34,2 секунды – бот может не дождаться.

Что вы получаете

  • Точные цифры: код ответа, размер, количество записей и уникальные адреса в вашей карте.
  • Список того, что в карте излишне и чего в ней не хватает.
  • Готов текст правил для robots.txt под ваш сайт.
  • Короткий разговор, где проходим находки по пунктам.

Срок: 1–2 рабочих дня

Почему это бесплатно

Проверка занимает у нас меньше часа, а результат часто оказывается неожиданным для владельца: файл вроде бы есть, а поисковику из него ничего не достается. Братья за это деньги было бы странно.

Что дальше

Если все исправно – так и скажем, и на этом остановимся. Если нет – назовем список работ со сроком и суммой; часто это один-два дня.

Короткая форма: контакт и адрес сайта
Договор и документы

Работаем официально

Договор, акт и счёт — на каждый проект, а не только на большой.

Нам доверяют6 брендов

Нам доверяют: Kvant Energy, GYPSUN, Naturel Cosmetics, Pancer Protection, LUGI, BeeTech

Условия, зафиксированные письменно8 пунктов

  • Договор, акт и гарантия 30 дней

    На каждый проект письменный договор: объём, сроки, сумма, порядок приёмки. После сдачи — акт и счёт, затем 30 календарных дней гарантии.

  • ФОП и безналичный расчёт

    Исполнитель — зарегистрированный ФОП. Оплата на счёт с закрывающими документами.

  • Права и доступы — ваши

    Код, дизайн и материалы переходят к вам после полной оплаты. Домен, хостинг, репозиторий оформляем на вас.

  • Портал клиента вместо переписки

    Во время работы вы получаете доступ к порталу: договоры, счета, акты и статус проекта в одном месте.

  • Сайты в девяти странах

    Наши сайты работают в девяти странах: кроме Украины — Польша, Германия, Австрия, Англия, Норвегия, Болгария, Молдова, Испания.

  • Цифры, которые можно проверить

    Каждый кейс в портфолио — со ссылкой на живой сайт и техническим замером.

  • Сначала аудит, потом сумма

    Прайса на сайте нет намеренно: объём одной и той же работы у двух клиентов отличается кратно.

  • Говорим «нет», когда не уверены

    Если задача не наша или срок нереальный — скажем сразу.

  • Договор, акт и гарантия 30 дней

    На каждый проект письменный договор: объём, сроки, сумма, порядок приёмки. После сдачи — акт и счёт, затем 30 календарных дней гарантии.

  • ФОП и безналичный расчёт

    Исполнитель — зарегистрированный ФОП. Оплата на счёт с закрывающими документами.

  • Права и доступы — ваши

    Код, дизайн и материалы переходят к вам после полной оплаты. Домен, хостинг, репозиторий оформляем на вас.

  • Портал клиента вместо переписки

    Во время работы вы получаете доступ к порталу: договоры, счета, акты и статус проекта в одном месте.

  • Сайты в девяти странах

    Наши сайты работают в девяти странах: кроме Украины — Польша, Германия, Австрия, Англия, Норвегия, Болгария, Молдова, Испания.

  • Цифры, которые можно проверить

    Каждый кейс в портфолио — со ссылкой на живой сайт и техническим замером.

  • Сначала аудит, потом сумма

    Прайса на сайте нет намеренно: объём одной и той же работы у двух клиентов отличается кратно.

  • Говорим «нет», когда не уверены

    Если задача не наша или срок нереальный — скажем сразу.

NDA подписываем по запросу. После завершения свои доступы удаляем сами.

Что влияет на стоимость

Почему две одинаковые на вид задачи считаются по-разному

  • Размер каталогаСотня страниц – это одна карта и один проход. Несколько тысяч — индекс по подкартам, и каждую нужно сверить с фактическим каталогом. Крайние точки нашей выборки: 123 адреса в нишевом магазине против 13590 в оптовом.
  • Кто генерирует картуШтатный модуль CMS настраивается через несколько часов. Самописный генератор или внешний сервис сначала требует разобраться, откуда берется каждая запись и почему их больше, чем товаров.
  • Языковые версииОдин язык – один список. Две и более – в карту должны попасть все ветви, и каждую сверяем с разметкой hreflang. Иначе половина сайта остается необъявленной.
  • Состояние robots.txtФайл на пять строчек правится за одно мероприятие. Файл, дописываемый годами, разбираем по строке: в нем обычно есть и нужные запреты, и давно лишние.
  • Куда подаватьПодтвержденная Search Console – подаем в тот же день. Неподтвержденная — сначала подтверждение прав на домен, а скорость зависит от того, кто у вас держит DNS.
Кейсы

Задачи и результат в цифрах — все показатели сняты нашим замером

оптовый магазин нижнего белья, каталог более 13 тыс. позиций

Задача
Разобраться, почему аудит-инструменты не видят карту сайта, хотя она существует.
Решение
Проверили оба стандартных адреса, прочитали robots.txt, нашли рабочую карту на собственном пути и сверили ее полноту с каталогом.
Результат
Стандартный адрес отдает 200 с пустым телом, второй возвращает строку об выключенном генераторе — то есть два адреса, куда первыми идут краулеры, отдают мусор. Рабочая карта на нестандартном пути содержит 13428 страниц товаров и 161 категорию, вместе 13590 адресов с единственным дубликатом на весь объем. Спасена она тем, что путь объявлен в robots.txt. Измерение 31.07.2026.

нишевый магазин стоматологических материалов с контентной частью

Задача
Проверьте состояние индексации небольшого каталога перед расширением.
Решение
Обошли индексный файл карты с пересчетом записей по каждой подкарте и сверкой с фактическим каталогом.
Результат
Корректный индекс из четырех файлов: 1 главная + 21 категория + 96 товаров + 5 информационных = 123 адреса, ноль дубликатов. Карта здесь оказалась самой здоровой частью сайта – нашлось другое: ни одного счетчика аналитики в коде и ни одного блока структурированных данных. Измерение 31.07.2026.

B2B-каталог запчастей для промышленных швейных машин

Задача
Проверить, почему каталог с полной картой сайта слабо представлен в поиске.
Решение
Перечислили адреса в карте, проверили языковые версии, прочли robots.txt и то, что подключено в коде.
Результат
Карта чистая: 1992 адреса без дубликата — 1848 карточек товара и 138 категорий, hreflang на два языка корректный. Но у robots.txt нет директивы Sitemap вообще, на каталоге с 1 848 позиций ноль структурированных данных, а в коде до сих пор подключена система аналитики, которую Google отключил 1 июля 2023 года. Измерение 31.07.2026.

Не нашли свой случай?

Опишите, как это устроено у вас, — ответим, подходит ли «Карта сайта и robots.txt» и что это значит в вашей ситуации. Без брифа и без звонка: один вопрос, один ответ.

Этапы работы

Прозрачные этапы с согласованием на каждом шагу

Общий срок:2–10 дней

  1. Измерение текущего состояния

    1–2 рабочих дня

    Открываем стандартные адреса карты и robots.txt, снимаем код ответа, размер тела и количество записей, отдельно считаем уникальные адреса. Это та самая бесплатная проверка: если все исправно, дальше идти нет нужды.

  2. Список того, что должно быть в индексе

    1 рабочий день

    Сверяем каталог с картой: чего не хватает, что не надо. Вы называете разделы, которые сознательно не должны быть в поиске – кабинет, корзина, оформление, внутренний поиск.

  3. Перегенерация карты

    1–3 рабочих дня

    Настраиваем под этот перечень генератор, разбиваем на подкарты отдельно для товаров, категорий и информационных страниц, ставим корректные даты изменения. Если карта лежала сбоку – переносим по стандартному адресу.

  4. Правила обхода

    1 рабочий день

    Переписываем robots.txt: явная строчка Sitemap, служебные разделы закрыты, под запрет не попало ничего полезного. Перед заливкой прогоняем новый файл по списку важных адресов.

  5. Представление и чтение отчета

    1 рабочий день

    Карта подается в Search Console и Bing Webmaster Tools. Ошибки формата видны через несколько часов, а не через недели, поэтому этот этап закрывается быстро или не закрывается вообще, пока карта не читается чисто.

  6. Контрольный обход и передача

    1–2 рабочих дня

    Проходим карту скриптом еще раз: записей столько же, сколько уникальных адресов, время отдачи зафиксировано. Отдаем цифры до и после и краткий текст о том, что изменилось.

Технологии и интеграции

На чём строим и с чем это соединяется

Стек

  • sitemap.xml – формат, который читают и Google, и Bing; ограничение: 50 000 адресов и 50 МБ на файл в несжатом виде
  • sitemap-индекс – разбивает каталог на подкарты; ограничение: индекс не может ссылаться на другой индекс
  • robots.txt – единственный способ сказать боту, где лежит карта; ограничение: Disallow запрещает обход, а не показ в выдаче
  • Search Console – единственное место, где видны реальные ошибки обхода; ограничение: доступ дает владелец сайта, не мы
  • Bing Webmaster Tools – вторая точка контроля; ограничение: к украинскому трафику добавляет немного
  • штатные генераторы карт OpenCart и WordPress – быстро и дешево; ограничение: тянут в карту служебные и закрытые страницы
  • собственный скрипт обхода с подсчетом записей и уникальных адресов – ловит дубли, которых не видно глазами
  • nginx – отдельное правило отдачи карты и gzip; ограничение: кэш может отдавать старую карту после перегенерации

Интеграции

  • Google Search Console
  • Bing Webmaster Tools
  • Google Merchant Center
  • Cloudflare
Карта от коробочного модуля против карты, собранной под ваш каталог

Чем этот вариант отличается от альтернативы

Карта «как сгенерированный модуль»Наш подход
Что попадает в картувсе, до чего дотянулся генератор, включая корзину и страницы фильтровтолько то, что должно быть в индексе: служебные, пустые и закрытые страницы не тянем
Дублитот же товар попадает в карту под каждым путем категориисчитаем записи и уникальные адреса отдельно, разница должна быть нулевой
Языковые версиичасто один из двух — и об этом никто не узнаетвсе объявленные ветви, сверенные с разметкой hreflang
Размер и скорость отдачиодин файл на весь каталог; в одном измеренном магазине он генерировался 34,2 секундыиндекс с подкарт, каждая отдается за доли секунды
Объявление в robots.txtшаблонная закомментированная строка или ссылка на 404явная строка Sitemap, проверенная на код ответа
Что нужно от вас

Без этого не начнём — лучше подготовить заранее

  1. Адрес сайта — проверка начинается без всяких доступов.
  2. Доступ к Search Console, чтобы подать карту и увидеть ошибки обхода вашими глазами, а не нашими догадками.
  3. Доступ к CMS или хостингу, чтобы заменить файл и настроить генератор.
  4. Список разделов, которые сознательно не должны быть в индексе: кабинет, корзина, оформление, служебные страницы.
  5. Одного человека с вашей стороны, который подтвердит этот перечень, иначе правила обхода пишутся наугад.
Если чего-то из этого нет — скажите, подскажем, как собрать или сделаем сами отдельной задачей.
Частые вопросы

Что спрашивают чаще всего — с конкретными ответами

У меня /sitemap.xml открывается – значит, все хорошо?

Не обязательно. Самый распространенный дефект нашей выборки выглядит именно так: адрес отдает код 200, а тело ответа – ноль байтов. Браузер показывает пустую страницу, владелец видит, что файл есть, поисковик не получает ни одного адреса. Шесть сайтов, которые мы меряли, отдавали карту именно в таком состоянии. Смотреть нужно на размер тела и количество записей, а не код ответа.

Нужен ли sitemap, если на сайте и так все перелинковано?

На большом каталоге нужен. Карта – прямой список того, что вы считаете достойным обхода, с датами изменений; без нее бот зависит от того, насколько глубоко дойдет по ссылкам, а глубокие страницы каталога он может не достать месяцами. Для маленького сайта с хорошей перелинковкой Google прямо пишет, что карта может быть не нужна и мы с этим не спорим.

Карта лежит на нестандартном адресе – это проблема?

Работает, если адрес явно объявлен в robots.txt. Один из измеренных оптовых каталогов спас именно этим: стандартные адреса отдавали мусор, а рабочая карта лежала на собственном пути и была прописана в robots. Но для аудит-инструментов и для человека это ловушка, поэтому карту мы переносим по стандартному адресу. Еще одна деталь того же уровня: адреса внутри карты должны быть на том же хосте и протоколе, что и сама карта — карту из поддомена или со старого http бот просто не засчитает.

Сколько адресов можно поместить в один файл?

Лимиты формата – 50 тысяч адресов и 50 МБ в несжатом виде. На практике разбивать следует раньше: в измеренном магазине инструмента карта одним файлом генерировалась 34,2 секунды, и бот имеет шансы не дождаться. Наша рекомендация – отдельная подкарта под каждый тип страниц: товары, категории, информационные. Тогда в отчете обхода видно, какая именно часть каталога выпала, а не «что-то не столько с картой». В магазине стоматологических материалов так и сделано: индекс из четырех файлов, 1+21+96+5=123 адреса.

Что лучше закрыть в robots.txt?

Служебные разделы, которым нечего делать в поиске: корзина, оформление, кабинет, внутренний поиск, админка. Аккуратно с фильтрами и параметрами — запрет в robots не убирает страницу из индекса, она только запрещает обход, и страница может остаться в выдаче без описания. Для уборки с выдачи работает другая механика, и мы не станем делать вид, что robots это умеет.

Карта подана, а страниц в индексе меньше – почему?

Потому что карта не обязывает поисковик индексировать. Это сообщение "вот что у нас есть", а не команда, и Google это прямо документирует. Карта товара без описания, без уникального текста и без спроса может остаться вне индекса, сколько ее не подавай. Реальное количество проиндексированных страниц видно только в вашем Search Console – 13 тысяч адресов в карте не означают 13 тысяч страниц в индексе.

После чистки карты страниц в индексе стало меньше – мы сделали хуже?

Нет, это ожидаемый ход событий. Когда с карты исчезают дубли и служебные адреса, счетчик индекса сначала падает — просто потому, что лишнее перестает туда попадать. Вес не теряется, он перестает распыляться между несколькими адресами одного товара. Говорим об этом заранее, потому что без объяснения падения в отчете выглядит как авария.

Как быстро это делается и что нужно от нас?

Бесплатная проверка — 1–2 дня и только адрес сайта. Далее от двух дней, если нужно перегенерировать карту и исправить robots; до десяти, если приходится разбивать карту на подкарты, чистить ее от служебных адресов и сводить с языковыми версиями. От вас доступ к CMS или хостингу, доступ к Search Console и перечень разделов, которые не должны быть в поиске.

Демо

Ваш каталог на экране телефона

Так может выглядеть ваш магазин в телефоне: баннер коллекции, популярные товары и корзина в одно касание. Нажмите «В корзину» — счётчик в шапке обновится, как в настоящем магазине.

  • Баннер коллекцииПервый экран показывает новинку, а не логотип.
  • Карточки товаровФото, цена и кнопка — без перехода на отдельную страницу.
  • Корзина в одно касаниеСчётчик в шапке обновляется сразу, как в настоящем магазине.
Магазины в портфолио
Это демо-интерфейс, а не магазин клиента. Живые работы — в портфолио.
SHOP
Новая коллекцияОсень / ЗимаСмотреть
ПопулярноеВсе товары ›
  • Худи Essentials1 290 ₴
  • Рюкзак Urban1 490 ₴
  • Кепка Classic690 ₴
  • Футболка Basic590 ₴
  • Кроссовки Street2 390 ₴
  • Шорты Active890 ₴

Отправьте адрес сайта — проверку карты и robots.txt начнем без доступов.

В ответ: код ответа, размер и количество адресов в вашей карте, перечень лишнего и недостающего и готовый текст правил обхода. Если оба файла исправны, так и напишем – это тоже нормальный ответ.

Из измеренных кейсовСтандартный адрес отдает 200 с пустым телом, второй возвращает строку об выключенном генераторе

Смотреть кейсы
  • Ответ в течение 2 часов
  • Без обязательств
  • Работаем по договору

Прайса на сайте нет намеренно: объём той же работы у двух клиентов отличается в разы, и цифра «от» в этом случае ничего не объясняет. Сначала бесплатный аудит — считаем ваши страницы, дубли и скорость, — потом называем сумму и срок и фиксируем их в договоре.