Дубли страниц на сайте: как найти и убрать — пошаговый гайд

Дубли — это страницы, на которых один и тот же контент доступен по разным URL. Для пользователя разницы нет, а для поисковика это проблема: он не понимает, какую версию показывать в выдаче, и в итоге не показывает ни одну. Из-за дублей теряется трафик, «размывается» ссылочный вес, а краулинговый бюджет уходит на обход десятков одинаковых страниц вместо новых. В этом гайде разберём, что такое дубли, какими они бывают, как найти их на своём сайте и как правильно убрать — так, чтобы не сделать хуже.

Что такое дубли страниц и почему они вредят SEO

Дубль — это когда контент доступен по двум и более разным URL. Классические примеры: site.ru/page и site.ru/page/ (со слешем и без), site.ru/page и site.ru/page?utm_source=ads (с UTM-меткой), site.ru/catalog/shoes и site.ru/shoes (короткий и длинный путь).

Поисковик такие страницы сначала обходит, потом сравнивает содержимое и, если оно совпадает, выбирает одну «главную» — а остальные либо исключает из индекса, либо показывает вместо неё. Проблема в том, что «главную» поисковик выбирает сам, не спрашивая владельца: может выбрать страницу с UTM-меткой в URL или неканоническую версию с ошибкой в тексте. Так и получается — сайт вроде в поиске, но не той страницей, которую вы продвигали.

Три конкретных последствия дублей для SEO. Ссылочный вес размывается: если на две одинаковые страницы ведёт по 5 внешних ссылок, каждой достаётся половина «сока». Краулинговый бюджет уходит впустую: робот обходит 200 дублей вместо 200 новых карточек товаров. И теряется трафик: поисковик может показать в выдаче страницу с UTM-меткой или технической версией — пользователь по ней перейдёт, но конверсия сломается.

Виды дублей: полные и частичные

Дубли делятся на два больших типа, и работают с ними по-разному.

Полные дубли

Контент двух страниц совпадает полностью. Самые частые причины появления полных дублей:

• Слеш и без слеша. site.ru/about и site.ru/about/ открывают одну и ту же страницу, но URL разные.
• www и без www. www.site.ru и site.ru — технически два разных сайта для поисковика, если не настроено главное зеркало.
• HTTP и HTTPS. После перехода на HTTPS остаются доступны старые HTTP-версии — полные дубли на другом протоколе.
• UTM-метки и другие GET-параметры. site.ru/page?utm_source=vk — та же страница, но с параметром в URL. Для поисковика это уже другой адрес.
• index.php, index.html в URL. site.ru/ и site.ru/index.php — часто параллельно живые.
• Версии для печати. site.ru/page/print — устаревшая практика, но встречается.

Частичные дубли

Контент совпадает не полностью, но большая часть страницы одинаковая. Такие дубли поисковики иногда прощают, но чаще всё равно понижают.

• Пагинация. Страницы ?page=2, ?page=3 в каталоге товаров — контент карточек разный, но заголовки, фильтры и SEO-текст совпадают.
• Фильтры и сортировки. catalog/shoes?sort=price и catalog/shoes?sort=name — товары те же, порядок другой.
• Одинаковые товары в разных категориях. Один товар лежит в «Мужская обувь» и в «Спортивная обувь» под разными URL.
• Похожие карточки товаров. Кроссовки одной модели в 10 разных цветах, где меняется только фото и код цвета.

Полные дубли всегда вредят и всегда убираются. Частичные — вопрос компромисса: убрать все — потеряете трафик по низкочастотным запросам, оставить как есть — рискнёте с индексацией.

Откуда чаще всего берутся дубли

Обычно дубли — не результат чьей-то ошибки, а стандартное поведение CMS. Три типовые ситуации.

WordPress создаёт дубли автоматически: страницы категорий и тегов часто содержат такие же анонсы, как главная блога, а пагинация выводит одинаковые SEO-тексты на каждой странице. Плагины типа Yoast SEO или Rank Math помогают закрыть часть дублей одним чекбоксом.

Bitrix и другие CMS для интернет-магазинов плодят дубли через фильтры каталога. Один товар может быть доступен по 10–20 разным URL с разными параметрами фильтров, а SEO-текст на всех этих страницах — одинаковый.

Ручная разработка часто заканчивается несогласованностью структуры URL: одна страница живёт по трём адресам, потому что разработчик забыл настроить редиректы или canonical. Особенно часто это случается после редизайна: старые URL остаются доступными параллельно с новыми.

Отдельная категория — дубли из-за смены протокола или главного зеркала. Сайт переехал на HTTPS, а HTTP-версия осталась доступной — получили дубли всего сайта. Настройка 301-редиректов при переезде это лечит.

Как найти дубли на сайте — четыре способа

Порядок — от бесплатного и ручного к автоматизированному.

Способ 1. Оператор site: в поисковике

Введите в Яндекс или Google запрос site:вашсайт.ru. Поисковик покажет все страницы в своей базе. Пролистайте выдачу и обратите внимание на повторяющиеся заголовки — часто дубли отличаются только частью URL. Способ грубый, но подходит для быстрой оценки: если из 100 страниц сайта в индексе 300 — точно есть дубли.

Способ 2. Отчёт «Страницы в поиске» в Яндекс.Вебмастере

В разделе «Индексирование → Страницы в поиске» есть фильтр «Исключённые страницы». Яндекс сам помечает дубли с указанием причины: «Дубль», «Неканоническая страница», «Недостаточно качественная». Скачайте список в CSV — по нему видно все дубли, которые уже нашёл Яндекс.

Способ 3. Отчёт «Индексирование» в Google Search Console

В меню «Индексирование → Страницы» смотрите категории «Страница является копией. Google выбрал другой канонический URL» и «Страница является копией. Указанный пользователем канонический URL не подходит». Обе категории — списки дублей глазами Google.

Способ 4. SEO-краулер

Ручной анализ по всем страницам занимает часы. SEO-краулер обходит сайт как поисковый робот и за 2–5 минут показывает все дубли одним отчётом: одинаковые title, одинаковые description, совпадающий контент, дубли по URL-параметрам. Плюс сразу видно, где не настроен canonical и куда ведут внутренние ссылки. Screaming Frog делает то же самое в десктопе, а нам ближе облачный аудит без установки.

Как убрать дубли — пять способов

Каждый инструмент решает свою задачу — не универсальный «выключатель дублей», а правильный ответ для конкретного случая.

1. 301-редирект

Подходит для полных дублей, которые не должны существовать в принципе: www → без www, HTTP → HTTPS, устаревшие URL → новые. Настраивается на уровне сервера (файл .htaccess для Apache, конфиг Nginx) или в CMS. 301 говорит поисковику: «этой страницы больше нет, вот новая» — и передаёт весь накопленный ссылочный вес. Подробно — в статье 301 или 302 редирект: когда какой.

2. Атрибут rel="canonical"

Основной инструмент для частичных дублей и страниц с параметрами. На странице с UTM-меткой ставите тег <link rel="canonical" href="https://site.ru/page"> — и поисковик понимает, что «главная» версия страницы — без параметров, весь ссылочный вес и трафик уходит туда. Работает на фильтрах каталога, пагинации, вариантах товара в разных цветах.

3. Мета-тег noindex

Закрывает страницу от индексации, но оставляет её доступной для пользователя и внутренних ссылок. Подходит для страниц, которые нужны на сайте (пагинация, страница «Спасибо за заказ»), но в поиске им делать нечего. Ставите <meta name="robots" content="noindex"> в <head>, и страница пропадает из индекса за 1–2 обхода.

4. Disallow в robots.txt

Запрещает роботу обходить страницы. Подходит для мусорных URL: результатов внутреннего поиска, страниц печати, системных URL с параметрами (?sort=, ?filter=). Важный нюанс: robots.txt запрещает обход, но не индексацию — если на закрытую страницу ведут внешние ссылки, она всё равно может попасть в выдачу без описания. Подробнее — robots.txt для SEO.

5. Настройка структуры URL

Часть дублей лечится на уровне сайта: включить строгий режим слешей (все URL со слешем на конце или без), настроить основное зеркало в панелях вебмастеров, использовать ЧПУ (человекопонятные URL) вместо технических. Это разовая работа, но она убирает целые классы дублей раз и навсегда.

Типичные ошибки при устранении дублей

Пять граблей, на которые чаще всего наступают новички при чистке дублей.

• Одновременно ставить noindex и canonical на одну страницу. Поисковик получает противоречивый сигнал: то ли не индексировать, то ли считать копией другой. Выбирайте что-то одно.
• Закрывать в robots.txt то, что должно быть в canonical. Если робот не может обойти страницу с UTM, он не увидит на ней canonical и не поймёт, куда ссылку присоединить. Дубли с параметрами лучше не закрывать, а прописать canonical.
• Настраивать canonical на несуществующую страницу. Классический баг: страница переехала, но canonical на всех фильтрах смотрит на старый URL, который отдаёт 404. Поисковик игнорирует такой canonical.
• Настраивать 301 с активной страницы, которая ранжируется. Убрали дубль, а редирект случайно пошёл со страницы, которая приносила трафик. Проверяйте направление редиректов: с копии на оригинал, никогда не наоборот.
• Забывать про внутренние ссылки на дубли. Настроили canonical, но в меню и футере остались ссылки на дубль. Ссылки должны вести на канонический URL, иначе поисковик получает смешанный сигнал.

Каждая из этих ошибок вылезает через 2–4 недели после «исправления» — трафик не восстанавливается, а иногда падает ещё сильнее. Проверьте себя после чистки: прогоните сайт через краулер и убедитесь, что все правки согласованы.

Часто задаваемые вопросы