• Техническое SEO · Search Console

Краулинговый бюджет: почему бот не доходит до половины каталога

Оптимизация краулингового бюджета – это работа с тем, на что бот тратит ограниченное количество запросов к вашему сайту. Мы берем статистику сканирования, считаем часть обхода, которая идет на повторы и служебные адреса, убираем их и ускоряем отдачу страниц, которые бот открывает чаще всего. Размер каталога здесь вторичен: в измеренном магазине инструмента карта сайта отдавала 25 537 записей на 6 857 реальных адресов – почти три четверти запросов бота шли на повторный обход уже известного.

Посмотреть, как это работает
Стоимость
после бесплатного аудита
Гарантия
30 дней после подписания акта
Что делаем
статистика сканирования, чистка обхода, скорость отдачи, контрольный срез
Стоимость
после бесплатного аудита
Гарантия
30
дней после подписания акта
Что делаем
статистика сканирования, чистка обхода, скорость отдачи, контрольный срез
Срок основных работ
10–25
рабочих дней
Самый большой каталог в собственном измерении
59 189
адресов в карте сайта, из них 55 321 товарная
Сколько съедают повторы
25 537
записей карты на 6 857 адресов — 3,9 повтора на товар
Перед сметой
бесплатная оценка обхода, 3–4 рабочих дня
Чего не обещаем
количества страниц в индексе – обход ее не определяет
Бесплатный аудит

Бесплатная оценка того, на что тратится обход вашего сайта

Краулинговый бюджет – это не абстракция, а конкретное количество запросов, которые бот делает на ваш сайт. Вопрос только в том, на что они идут: на новые товары или на десятое повторение одной и той же карты. Оценка этого состава ничего не стоит.

Что мы измеряем

  1. Сколько уникального в карте сайтаЗаписи против уникальных адресов. Каждый лишний повтор – это запрос бота, потраченный впустую.
  2. Скорость отдачи под ботомСколько времени сервер тратит на одну страницу. Чем медленнее, тем меньше страниц бот успевает за сеанс.
  3. Время генерации карты сайтаМы мерили магазин, где карта отдавалась 34,2 секунды. Бот не обязан ждать.
  4. Служебные адреса в обходеВнутренний поиск, сортировка, сравнение, сессии – все, что не должно быть в индексе, но доступно для обхода.
  5. Языковые ветвиНе удваивается обход за счет языков и нужны ли обе версии в индексе одинаково.
  6. Статистика сканированияДанные Search Console: сколько страниц в день, какое среднее время ответа, сколько ошибок. Это единственный источник правды о поведении бота.

Что вы получаете

  • Оценка доли идущего на повторы и служебные адреса.
  • Список того, что следует убрать с обхода, с объяснением механики для каждого пункта.
  • Сравнение среднего времени ответа с тем, что мы видели на других сайтах того же класса.
  • Разговор на 30–40 минут по документу.

Срок: 3–4 рабочих дня

Почему это бесплатно

Ибо без доступа к статистике сканирования какая-либо оценка обхода — догадка, а первый срез мы можем сделать и извне. Это честнее, чем продавать работу вслепую.

Что дальше

Далее – перечень работ с суммой и сроком. Часть пунктов пересекается с чисткой дублей: если вам выгоднее проделать одну работу вместо двух, мы так и скажем.

Короткая форма: контакт и адрес сайта
Договор и документы

Работаем официально

Договор, акт и счёт — на каждый проект, а не только на большой.

Нам доверяют6 брендов

Нам доверяют: Kvant Energy, GYPSUN, Naturel Cosmetics, Pancer Protection, LUGI, BeeTech

Условия, зафиксированные письменно8 пунктов

  • Договор, акт и гарантия 30 дней

    На каждый проект письменный договор: объём, сроки, сумма, порядок приёмки. После сдачи — акт и счёт, затем 30 календарных дней гарантии.

  • ФОП и безналичный расчёт

    Исполнитель — зарегистрированный ФОП. Оплата на счёт с закрывающими документами.

  • Права и доступы — ваши

    Код, дизайн и материалы переходят к вам после полной оплаты. Домен, хостинг, репозиторий оформляем на вас.

  • Портал клиента вместо переписки

    Во время работы вы получаете доступ к порталу: договоры, счета, акты и статус проекта в одном месте.

  • Сайты в девяти странах

    Наши сайты работают в девяти странах: кроме Украины — Польша, Германия, Австрия, Англия, Норвегия, Болгария, Молдова, Испания.

  • Цифры, которые можно проверить

    Каждый кейс в портфолио — со ссылкой на живой сайт и техническим замером.

  • Сначала аудит, потом сумма

    Прайса на сайте нет намеренно: объём одной и той же работы у двух клиентов отличается кратно.

  • Говорим «нет», когда не уверены

    Если задача не наша или срок нереальный — скажем сразу.

  • Договор, акт и гарантия 30 дней

    На каждый проект письменный договор: объём, сроки, сумма, порядок приёмки. После сдачи — акт и счёт, затем 30 календарных дней гарантии.

  • ФОП и безналичный расчёт

    Исполнитель — зарегистрированный ФОП. Оплата на счёт с закрывающими документами.

  • Права и доступы — ваши

    Код, дизайн и материалы переходят к вам после полной оплаты. Домен, хостинг, репозиторий оформляем на вас.

  • Портал клиента вместо переписки

    Во время работы вы получаете доступ к порталу: договоры, счета, акты и статус проекта в одном месте.

  • Сайты в девяти странах

    Наши сайты работают в девяти странах: кроме Украины — Польша, Германия, Австрия, Англия, Норвегия, Болгария, Молдова, Испания.

  • Цифры, которые можно проверить

    Каждый кейс в портфолио — со ссылкой на живой сайт и техническим замером.

  • Сначала аудит, потом сумма

    Прайса на сайте нет намеренно: объём одной и той же работы у двух клиентов отличается кратно.

  • Говорим «нет», когда не уверены

    Если задача не наша или срок нереальный — скажем сразу.

NDA подписываем по запросу. После завершения свои доступы удаляем сами.

Что влияет на стоимость

Почему две одинаковые на вид задачи считаются по-разному

  • Сколько адресов знает ботГлавный множитель. Инвентаризация каталога на 590 адресов и каталога на 59 189 – это разные работы не в процентах, а в неделях: подкарты приходится обходить фактически, страница за страницей.
  • Доля повторовПовторы не разбираются поштучно – они сбиваются в шаблоны, и на шаблоне пишется одно правило. Но шаблон сперва нужно найти. В измеренном магазине инструмента в один адрес приходилось 3,9 записи в карте сайта.
  • Есть ли журналы сервераС журналами видно, куда бот ходит на самом деле, включая адреса, которых нет ни в карте сайта, ни в ссылках. Без них остается Search Console: агрегированные цифры без разбивки по адресам, и путь к тем же выводам длиннее.
  • Кто управляет серверомКогда кэш, robots.txt и генератор карты сайта правим мы – это календарно быстро. Когда все идет через вашего администратора или хостинг с ограниченным доступом, добавляется время на согласование каждой правки.
  • Количество речевых ветокДва языка — это не вдвое больше работы, а плюс отдельный слой сверки: обе ветви в карте сайта и совпадает ли язык адресов с языком, который сайт отдает по умолчанию.
  • Состояние карты сайтаСобираемая на лету карта — отдельная строка работ. Мы мерили магазин, где на ее генерацию уходило 34,2 секунды: там вопрос уже не в чистке записей, а в переходе на статические подкарты.
Кому подходит

Ситуации, в которых эта услуга даёт результат

Сценарий 1 из 4

Каталог на тысячи адресов, регулярно пополняющийся

Товар появился на сайте в понедельник, в поиске – через три недели или никогда. На каталоге такого размера бот не успевает обойти все за проход, и очередь выстраивается не по вашему приоритету. Работа состоит в том, чтобы освободить место в этой очереди: убрать из нее то, что не должно быть в индексе, и оставить новые карты.

Разберём вашу ситуацию на бесплатном аудите
Что входит

Полный перечень работ и того, что вы получаете на выходе

  • Разбор статистики сканирования Search Console за доступный период: страниц в сутки, среднее время ответа, распределение кодов ответов - точка, от которой меряется остальное
  • Подсчет фактического состава обхода: сколько в нем карточек, категорий, служебных адресов и повторов. Далее вы видите долю, а не ощущение
  • Закрытие служебных разделов от обхода – внутренний поиск, сортировка, сравнение, корзина, идентификаторы сессий: запросы бота перестают на них тратиться
  • Чистка карты сайта: один адрес — одна запись, чтобы бот получал список товаров, а не тот же товар под четырьмя путями категорий
  • Сокращение времени сбора карты сайта или переход на статические подкарты – бот не обязан ждать, пока она сгенерируется
  • Ускорение отдачи страниц, которые открывает бот чаще всего: кэш, запросы к базе, настройка nginx. Это напрямую добавляет страниц за сеанс
  • Правдивые даты последнего изменения, чтобы бот видел, что обновилось на самом деле, и не переобходил весь каталог вслепую
  • Просмотр внутренней перелинковки: глубокие страницы каталога подтягиваются ближе к входу, потому что к ним должно вести меньшее количество переходов.
  • Контрольный срез статистики сканирования через 30 дней после внедрения — теми же метриками, что снимались на старте
  • Письменное объяснение каждого изменения, чтобы ваш разработчик мог это поддерживать дальше без нас
Когда эта услуга не подходит

Что не входит в работу — чтобы не было сюрпризов на сдаче

  • Гарантия количества страниц в индексе: обход ее не определяет
  • Ускорение индексации отдельных страниц «по запросу»
  • Создание контента для страниц, которые остаются вне индекса из-за отсутствия ценности
  • Работа с внешними ссылками
  • Переписка движителя, если повторы адресов заложены в самой платформе — это уже отдельный проект с отдельной сметой
Этапы работы

Прозрачные этапы с согласованием на каждом шагу

Общий срок:10–25 дней

  1. Статистика сканирования и журналы

    2–4 рабочих дня

    Вытаскиваем отчет Search Console за доступный период и, если доступ есть, журналы сервера. Смотрим объем обхода в сутки, среднее время ответа, распределение кодов. Здесь же становится видно, проблема ли вообще в бюджете обхода.

  2. Инвентаризация того, что бот обходит

    2–5 рабочих дней

    Обход карты сайта с подсчетом записей и уникальных адресов, прогон структуры по краулеру, разбивка на карты, категории, служебные адреса и языковые ветви. На выходе – таблица с долей каждого типа в общем обходе.

  3. Чистка обхода

    3–7 рабочих дней

    Служебные разделы закрываются, повторы убираются с карты сайта, канонические адреса расставляются там, где одна страница доступна несколькими путями. Каждое решение объясняем в письменном виде: закрытие от обхода и вывода из индекса — разные механизмы, и путаница между ними стоит дорого.

  4. Карта сайта и время ответа

    2–5 рабочих дней

    Карта переводится на подкарты или статическую генерацию, даты последнего изменения начинают соответствовать действительности. Параллельно беремся за отдачу тех страниц, которые бот открывает чаще всего – обычно это категории и первые страницы пагинации.

  5. Перелинковка и передача

    1–4 рабочих дня

    Глубокие страницы каталога подтягиваются ближе к входу, все изменения фиксируются в документе для разработчика. Здесь же договариваемся о дате контрольного среза и о том, кто смотрит после нас.

  6. Контрольный срез

    через 30 дней после внедрения, вне срока работы

    Повторно снимаем статистику сканирования теми же метриками. Раньше смотреть нет смысла: данные Search Console приходят с задержкой, а поведение бота меняется не через неделю.

Не нашли свой случай?

Опишите, как это устроено у вас, — ответим, подходит ли «Оптимизация краулингового бюджета» и что это значит в вашей ситуации. Без брифа и без звонка: один вопрос, один ответ.

Кейсы

Задачи и результат в цифрах — все показатели сняты нашим замером

Stanleys Ukraine

интернет-магазин профессионального инструмента, каталог более 6 тыс. позиций

Задача
Понять почему новые позиции долго не появляются в поиске, хотя карта сайта заполнена.
Решение
Обошли карту сайта с подсчетом записей и уникальных адресов, замерили время ее сбора, сверили языковой состав адресов с языком, который сайт отдает по умолчанию.
Результат
25 537 записей на 6 857 уникальных адресов: 6 486 карт товара и 361 категория — каждый товар присутствует в карте в среднем 3,9 раза. Сама карта собирается на лету 34,2 секунды, лежит на нестандартном пути и находится только из-за директивы в robots.txt. Все адреса в ней – одной языковой ветвью, при том что по умолчанию сайт отдает другой. Измерение 31.07.2026.

бренд натуральных специй с собственным интернет-магазином

Задача
Проверить, почему часть каталога не попадает в выдачу при небольшом объеме товаров.
Решение
Подсчет записей и уникальных адресов в карте сайта, сверка объявленной разметки с фактическим составом адресов, инвентаризация счетчиков аналитики.
Результат
3 971 запись на 590 уникальных адресов при каталоге около 580 товаров. В таком объеме бот обходит все, и узким местом оказался не бюджет, а направление обхода: все 590 адресов ведут на одну языковую версию, хотя документ объявлен на другом языке. Первый ответ 428,4 мс при 264,1 КБ разметки. Измерение 31.07.2026.

интернет-магазин садовой техники и запчастей, каталог более 50 тыс. позиций

Задача
Выяснить, успевает ли бот обходить каталог такого размера и где он тормозит.
Решение
Подсчитали адреса в подкартах фактически, страница за страницей, замерили время первого ответа и вес разметки, проверили, как карта объявлена ​​в robots.txt.
Результат
55 321 товарный адрес разложен на 19 подкарт — по 3 000 в каждой, кроме последней из 1 321, — плюс 3 868 категорий: не менее 59 189 адресов. Первый ответ 840,5 мс, вес разметки 454,5 КБ, PHP 7.3.33 без поддержки с декабря 2021 года. Карта объявлена ​​в robots.txt, но лежит на нестандартном пути. Измерение 31.07.2026.
Технологии и интеграции

На чём строим и с чем это соединяется

Стек

  • Search Console, статистика сканирования – единственный источник о поведении робота; данные приходят с задержкой
  • Журналы сервера – точный след каждого визита; на shared-хостинге доступа к ним обычно нет
  • Screaming Frog – обход структуры краулером; страницу без входящей ссылки не найдет тоже
  • robots.txt – прямо снимает нагрузку с обхода, но не выводит из индекса то, что уже туда попало
  • Канонические адреса – наоборот: склеивают дубли в индексе, а обход при этом не экономят
  • sitemap-индекс с подкарт - чтобы карта не собиралась на лету; рабочий ориентир - 3 000 адресов на подкарту
  • Last-Modified и ETag – сигнал «не изменилось»; работает только пока дата действительна, а не текущее время
  • nginx и Cloudflare – кэш и время ответа; длинный хвост каталога все равно идет мимо кэша

Интеграции

  • Google Search Console
  • Bing Webmaster Tools
  • Cloudflare
  • GA4
Работа с составом обхода против ручной отправки адресов на переобход

Чем этот вариант отличается от альтернативы

Ручная отправка адресов в Search ConsoleНаш подход
Что меняетсяничего: один адрес становится в очередь, остальной каталог остается как былсостав обхода: бот перестает ходить по повторам и служебным адресам
Масштабдневной предел и ручная работа; на 55 тыс. адресов такого способа просто нетэффект тем больше, чем больше адресов в каталоге
Продолжительностьразово, до следующей публикациидержится, пока не нарастет новый слой повторов
Что видно в отчетестатус одного адресастраниц в сутки, среднее время ответа, распределение кодов - до и после
Что нужно от вас

Без этого не начнём — лучше подготовить заранее

  1. Доступ к Search Console: без статистики сканирования эта работа наполовину слепа, и мы так и скажем.
  2. Доступ к журналам сервера, если он в принципе есть, – это самый точный источник о том, куда ходит бот.
  3. Список разделов, которые заведомо не нужны в индексе: подборки под рекламу, служебные фильтры, архивы.
  4. Понимание, как часто обновляется каталог — каждый день, еженедельно или раз в сезон. От этого зависит, за чем гнаться.
  5. Человека со стороны разработки, который может изменить robots.txt, генератор карты сайта и настройку отдачи.
  6. Решения по языковым ветвям, если их две: обе остаются в индексе или одна.
Если чего-то из этого нет — скажите, подскажем, как собрать или сделаем сами отдельной задачей.
Частые вопросы

Что спрашивают чаще всего — с конкретными ответами

У меня 500 товаров – краулинговый бюджет меня касается?

Практически нет, и продавать вам эту работу было бы нечестно. На каталоге в несколько сот адресов бот обходит все, да еще с запасом — узкое место там в другом. Работа начинает окупаться на тысячах адресов и особенно там, где каталог часто пополняется. Измеренный нами магазин специй – ровно такой случай: 590 уникальных адресов, и проблема оказалась не в бюджете обхода, а в том, что все они вели на одну языковую ветвь из двух объявленных.

Как понять, что обход тратится зря?

Быстрая проверка занимает пять минут: открыть карту сайта и сравнить количество записей с количеством уникальных адресов. Если первое больше второго в разы, бот регулярно ходит по одному и тому же. В магазине профессионального инструмента мы насчитали 25 537 записей на 6 857 адресов – 3,9 повтора на товар. Вторая проверка сложнее: в отчете о статистике сканирования среднее время ответа растет, а количество страниц в сутки падает. Тогда дело не в структуре, а в скорости.

Влияет ли скорость сайта на обход?

Прямо. Чем длиннее сервер отдает страницу, тем меньше их бот успевает за сеанс. В магазине садовой техники с 59189 адресами первый ответ занимает 840,5 мс, и в таком объеме это считается тысячами необойденных страниц за проход. Частный случай – сама карта сайта: когда она собирается 34,2 секунды, вопрос уже не в скорости страниц, а в том, бот вообще дождется списка. Честный предел: первый ответ – это серверная часть, она не описывает, что видит живой посетитель с телефона, там добавляются картинки, скрипты и сеть.

Закрыть лишнее в robots.txt – этого достаточно?

Для экономии обхода – да, это работает прямо и сразу. Но закрытие от обхода не убирает страницу из индекса, если она уже туда попала: бот перестает ее открывать, а в выдаче она остается без описания, потому что прочитать его уже неоткуда. Для вывода из индекса требуется другой механизм, и мы в каждом пункте отчета называем, какой именно применили и почему.

Что делать с языковыми версиями?

Сначала решить, нужны ли обе в индексе, — это решение бизнеса, а не наше. Каждая ветвь умножает список адресов, а вместе с ним и обход. В двух измеренных магазинах карта сайта содержала лишь одну ветку, и в обоих случаях не ту, которую сайт отдает по умолчанию, то есть обход шел мимо основной версии. Вторая сторона вопроса: языковая ветвь — это еще и контент, который кто-то должен постоянно поддерживать, и этот расход не заканчивается никогда.

Сколько времени до видимого эффекта?

Статистика сканирования начинает двигаться в течение нескольких недель – скорее не будет, данные Search Console приходят с задержкой. Практический эффект, то есть более быстрое появление новых товаров в поиске, становится заметным на следующем цикле обновления каталога. Контрольный срез мы производим через 30 дней после внедрения и сравниваем те же метрики, что снимали на старте.

После чистки количество страниц в индексе упадет?

Может упасть, и это ожидаемый ход событий. Из индекса идут дубли и служебные адреса, поэтому число в отчете уменьшается за счет того, что никогда не приносило визитов. Мы проговариваем это до начала работ именно потому, что без объяснения падения счетчика читается как ухудшение. И отдельно: количество адресов в карте сайта никогда не равно количеству проиндексированных страниц – так это описывает сам Google.

Больше обхода означает больше трафика?

Нет, и это важный предел. Более быстрый обход означает, что страница раньше становится доступной в поиске, спроса на нее он не создает. Карта без описания, без отличия от соседней и без запросов в нише может попасть в индекс за сутки и не получить ни одного визита. Потому в наших метриках стоит срок от публикации до появления в индексе, а не обещание прироста посещений.

Демо

Ваш каталог на экране телефона

Так может выглядеть ваш магазин в телефоне: баннер коллекции, популярные товары и корзина в одно касание. Нажмите «В корзину» — счётчик в шапке обновится, как в настоящем магазине.

  • Баннер коллекцииПервый экран показывает новинку, а не логотип.
  • Карточки товаровФото, цена и кнопка — без перехода на отдельную страницу.
  • Корзина в одно касаниеСчётчик в шапке обновляется сразу, как в настоящем магазине.
Магазины в портфолио
Это демо-интерфейс, а не магазин клиента. Живые работы — в портфолио.
SHOP
Новая коллекцияОсень / ЗимаСмотреть
ПопулярноеВсе товары ›
  • Худи Essentials1 290 ₴
  • Рюкзак Urban1 490 ₴
  • Кепка Classic690 ₴
  • Футболка Basic590 ₴
  • Кроссовки Street2 390 ₴
  • Шорты Active890 ₴

Отправьте адрес сайта и доступ к статистике сканирования.

В ответ — доля идущего на повторы и служебные адреса обхода, время сбора вашей карты сайта и перечень того, что стоит убрать. Если каталог мал и обход вам не болит, скажем это первым письмом.

Из измеренных кейсов25 537 записей на 6 857 уникальных адресов: 6 486 карт товара и 361 категория

Смотреть кейсы
  • Ответ в течение 2 часов
  • Без обязательств
  • Работаем по договору

Прайса на сайте нет намеренно: объём той же работы у двух клиентов отличается в разы, и цифра «от» в этом случае ничего не объясняет. Сначала бесплатный аудит — считаем ваши страницы, дубли и скорость, — потом называем сумму и срок и фиксируем их в договоре.