Устранение дублей страниц на сайте: когда тот же товар живет по десятку адресов

Страниц не теряете, теряете две другие вещи. Первая – ресурс обхода: бот приходит с ограниченным лимитом и тратит его на повторное сканирование того же. В измеренном магазине садового инструмента на 8690 реальных адресов приходилось 33493 записи в карте, то есть большая часть обхода шла вхолостую, а новые товары ждали своей очереди. Второй вес: ссылки и поведенческие сигналы разделяются между копиями, и вместо одной сильной страницы у вас три слабых, которые еще и конкурируют за тот же запрос. Поисковик в такой ситуации сам выбирает, что показать, и не всегда тот адрес, который вы продвигали.

Откройте свою карту сайта и сосчитайте в ней два числа отдельно: сколько всего записей и сколько среди них разных адресов. Если первое заметно больше второго — дубли есть, и коэффициент дублирования вы только что посчитали. Ориентиры из наших замеров: 13 590 адресов и ровно один дубликат в оптовом магазине белья – это чисто; 4236 записей на 1300 адресов в магазине садового инструмента — это уже механика, которая работает каждый день. Тот же подсчет мы делаем бесплатно и добавляем к нему разбор, откуда берутся повторы.

Ибо вы убираете лишние адреса, и они действительно исчезают: вместо десяти адресов одного товара остается один. Это ожидаемый ход событий, а не сбой. Проговариваем его до начала работ именно потому, что на графике в Search Console падение выглядит одинаково и когда все сделано правильно и когда сайт взломали. Разница в том, что после чистки становится меньше адресов, а не товаров, и это видно порядочно — мы показываем, какие адреса исчезли.

Зависит от того, должны ли лишние адреса оставаться доступными человеку. Canonical – подсказка: поисковик имеет право ее проигнорировать, особенно если содержимое страниц расходится. 301 – решение, после которого адреса просто нет. На практике фильтры и сортировка закрываются канонической ссылкой, старые пути товара – редиректом. И отдельный совет: не закрывайте дубли из-за robots.txt. Запрет обхода не убирает адрес из индекса, он лишь лишает бота возможности увидеть ваш canonical – дубль после этого остается навсегда.

Удобно, и ломать это удобство не нужно. Ломать надо то, что каждый путь отдает отдельный адрес. Вариантов два: либо пути вообще не порождают отдельных URL – это настройка движителя и самый чистый способ, либо каждый дополнительный путь отдает canonical на основной адрес. Какой из адресов основной, решает бизнес: от этого зависит, в каком разделе товар продвигается. Мы показываем последствия обоих вариантов, выбор остается за вами.

7–20 рабочих дней. Подсчет и классификация 2–3 дня, решения по основным адресам 1–3, каноникалы и редиректы 2–6, параметры и карта сайта 1–4, повторный обход и наблюдение 1–4. Техническая часть редко бывает узким местом. Дольше идет ответ на вопрос, какой адрес считать основным для каждого раздела: если его дают за день, укладываемся в нижний предел, если собирают совещание — в верхний.

Это лечение зеркала вместо лица. Дубли существуют не потому, что они в карте, а потому, что сайт отдает тот же товар по разным адресам – бот дойдет до них внутренними ссылками и без карты. Карта только делает проблему видимой, и на этом этапе в этом вся ее польза. Кстати, она показывает еще и то, что CMS считает страницей: в одном из измеренных магазинов двигатель сам положил в карту пять служебных путей с index.php рядом с 1231 адресом первого уровня.

Такого обещания не будет. Механизм работает иначе: чистка не добавляет новых посетителей, она перестает распылять имеющихся и освобождает ресурс обхода под страницы, которых поисковик еще не видел. Google описывает каноникализацию как способ указать основную версию среди дубликатов и отдельно предупреждает, что иначе выберет ее самостоятельно — прогноза прироста трафика из этой документации не следует. На малом сайте эффект вообще близок к нулю, и мы говорим об этом к работам, а не после.