Дубли страниц и SEO: откуда берутся и что с ними делать

Одна и та же страница сайта может случайно существовать под множеством URL. Для пользователя это почти незаметно, а для SEO создаёт лишний шум: какой адрес считать главным?

Простой пример

https://example.com/page
https://example.com/page/
https://www.example.com/page
http://example.com/page
https://example.com/page?utm_source=test

Если везде практически одно содержание, это варианты одного материала.

Почему появляются дубли

www и без www;
HTTP и HTTPS;
slash;
GET-параметры;
фильтры;
сортировки;
CMS;
печать;
технические URL.

Дубли — это штраф?

Не стоит мыслить формулой «нашли дубль = наказали сайт».

Чаще проблема в другом: поисковой системе приходится самостоятельно выбирать основную версию, сигналы распределяются между адресами, а crawl расходуется неидеально.

Первое решение — нормальная архитектура URL

Лучше не создавать бессмысленные варианты, чем потом пытаться лечить тысячи дублей.

301 redirect

Если один URL больше вообще не нужен:

старый URL
301 →
новый URL

Canonical

Если варианты должны оставаться доступны, canonical может указать предпочтительную версию.

Но canonical — не приказ

Поисковая система оценивает и другие сигналы.

Внутренние ссылки должны быть последовательными

Если canonical указывает на URL A, а весь сайт постоянно ссылается на URL B, вы отправляете противоречивые сигналы.

Sitemap тоже должен содержать канонические URL

Нет смысла рекламировать поисковику адрес, который вы сами считаете дублем.

HTTP и HTTPS

После полного перехода на HTTPS версия HTTP обычно должна постоянно перенаправляться на HTTPS.

www

Выберите основную схему:

example.com

или:

www.example.com

и используйте её последовательно.

UTM-параметры

Они полезны для аналитики, но не должны превращать каждую рекламную кампанию в отдельную SEO-страницу.

Фильтры интернет-магазина

Самая сложная категория.

Некоторые комбинации фильтров полезны как посадочные страницы, другие создают практически бесконечное число слабых URL.

Pagination

Страница 2 списка — не обязательно дубль страницы 1, если на ней другой набор элементов. Не надо канонизировать всё подряд на первую страницу без понимания последствий.

Как найти дубли

Нужен crawl сайта с анализом:

title;
description;
canonical;
контента;
HTTP-кодов.

Как NexIP помогает

SEO Checker может быстро показать canonical конкретной страницы, redirect и основные метаданные. Для всего сайта следующим уровнем является crawler.

FAQ

Две одинаковые страницы уничтожат SEO?

Не обязательно, но масштабная неконтролируемая дубляция мешает нормальной структуре сайта.

Canonical или 301?

Если старый URL вообще не нужен пользователю — часто логичнее redirect. Если вариант должен существовать — рассматривают canonical.

Закрывать дубли robots.txt?

Это не универсальное решение и может помешать поисковой системе увидеть canonical или другие сигналы.