Анализ логов сервера для SEO: что на самом деле делает поисковый бот на вашем сайте

Детализацией и охватом. Отчет Google группирует запросы по типу файла и назначению и показывает сводку с задержкой в ​​несколько дней: из него видно, что обход просел, но не видно, где именно. В журнале каждый запрос лежит отдельной строкой – адрес, код ответа, время, размер, агент. Поэтому вопрос «почему просел обход» отчет закрывает на уровне тенденции, а журнальчик — на уровне конкретных адресов, которые начали отдавать 301 либо 500 такого-то числа. Вторая разница: Search Console показывает только ботов Google. Bing и парсеры, ходящие под чужим именем, в нем не существуют. Начинаем мы все равно с отчета – он бесплатный и дает ориентир за три месяца назад.

По проверке, ведутся ли они вообще. На части хостингов журналы отключены по умолчанию, на части сохраняются сутки и перетираются. Мы производим эту проверку бесплатно за один-два дня. Если журналов нет, часть выводов можно получить другими методами: статистика сканирования Search Console плюс внешний обход карты сайта с проверкой кодов ответа. Так сделаны все три кейса на этой странице — и поэтому в каждом из них есть абзац о том, чего этот метод не показал. Это более слабый инструмент, и мы называем его более слабым.

Строка агента подделывается одной строкой кода, поэтому мы его не принимаем на веру. Проверка идет через обратный DNS-запрос к адресу и прямой запрос обратно: адрес должен решаться в официальное имя поисковика, а это имя обратно в тот же адрес. Одного обратного запроса мало, потому что запись под контролем владельца адреса. Отдельно техническая деталь, на которой спотыкаются самостоятельные попытки: если перед сайтом стоит сетевой сервис, в поле адреса в журнале лежит адрес самого сервиса, а не пришедшего. Пока настоящий адрес не пробрасывается заголовком и не читается с него, проверка честно покажет ноль настоящих ботов по всему массиву.

Самая частая находка одна: обход идет не туда. Запросы тратятся на служебные адреса, на комбинации фильтров, на страницы, которых давно нет, и на переходы. Насколько это масштабная история, видно даже извне: в измеренном магазине белья по выборке в 150 случайных адресов карты сайта 50 отдали 301, а в масштабе каталога это около 37 тысяч адресов, за каждый из которых бот платит запросом. Вторая по частоте находка – раздел, которого в журнале нет вообще: страницы объявлены и перелинкованы, а бот до них не дошел ни разу за месяц. Третья — ночное время ответа, вдвое хуже дневного, и синхронное проседание частоты обхода.

Минимум неделя – чтобы увидеть суточные циклы. Луна дает картину, которой уже можно верить, особенно когда каталог обновляется неравномерно. Меньше недели – это догадки, подкрепленные цифрами, и мы так не работаем. Совет, который следует выполнить сегодня независимо от того, будем ли мы что-то вместе делать: включите хранение журналов на 30 дней с ротацией и архивированием. Это не стоит ничего, кроме нескольких гигабайт диска. Худшая ситуация — когда трафик упал вчера, а журналы живут сутки: причину уже не установить никак.

Иногда да, и это самый ценный сценарий. В журнале видна дата, когда бот перестал заходить в раздел; видно, что часть адресов начала отдавать ошибку; видно, что время ответа выросло, а частота обхода последовала за ним. Но предел жесткий: журнал объясняет поведение бота, а не поведение людей. Если трафик упал из-за сезона, изменение спроса или нового конкурента в выдаче — в журналах этого не будет. Поэтому мы беремся за этот вопрос только в паре с аналитикой и Search Console.

Это самый распространенный совет и самый легкий способ сделать хуже. Блокировка по частоте запросов бьет по настоящему поисковику первым — он как раз и ходит чаще всех. Блокировка по строке агента не работает против тех, кто эту строку подделывает, то есть именно против тех, кого вы хотели остановить. Наша рекомендация: сначала посмотреть в журнал и увидеть, кто сколько взял, потом ограничивать адресно - по происхождению запроса, со списком разрешенных поисковиков. И отдельно проверить, не блокирует ли ваша защита от погрузки кого-то из них уже сейчас.

Сжатым архивом за нужный период, частями. Текстовые журналы сжимаются хорошо: лунный файл в несколько гигабайтов обычно превращается в сотни мегабайтов. Если передавать неудобно, берём доступ на чтение и забираем нужное сами. Персональные данные нам не нужны: адрес посетителя-человека можно обезличить или обрезать еще до передачи, на выводы о ботах это не влияет. Что нужно сохранить без изменений – адрес запроса, код ответа, время, размер и строка агента.

7–18 рабочих дней с момента, когда журналы у нас: проверка и получение 1–2 дня, разбор формата и отсев чужого потока 1–3, карта обхода 2–5, сверка с картой сайта и Search Console 1–3, отчет и разговор 2–5. На руки — письменный документ с цифрами, выборками сырых строк под каждый вывод и перечнем работ, разделенным на то, что делается настройкой за час, и на то, что требует разработчика. Внедрение в эту работу не входит.