Проверка зеркал сайта

Что такое зеркала сайта и главное зеркало

Один и тот же сайт почти всегда доступен по нескольким адресам: с www и без, по HTTP и HTTPS. Такие адреса называют зеркалами. Поисковик сначала видит их как отдельные сайты с одинаковым содержимым, а потом склеивает в группу и оставляет в выдаче один адрес, главное зеркало. В Яндекс Вебмастере его называют главным адресом сайта.

Склейку можно оставить на усмотрение алгоритма, но надёжнее задать главное зеркало самому: настроить 301-редирект со всех остальных вариантов. Тогда поисковик не выбирает, а следует редиректу, и в выдаче оказывается тот адрес, который вы продвигаете.

Какие адреса проверяет инструмент

Четыре варианта главной: http://site.ru, https://site.ru, http://www.site.ru и https://www.site.ru. Для каждого инструмент проходит всю цепочку редиректов и показывает коды ответа на каждом шаге. Затем проверяет индексные файлы /index.php, /index.html и /index.htm на главном зеркале: CMS нередко отдаёт по ним ту же главную. Если указать внутреннюю страницу, дополнительно сравнивается её вариант со слешем в конце и без.

По главной инструмент проверяет canonical, заголовок HSTS и директиву Host в robots.txt. Цепочку редиректов для любого отдельного адреса покажет проверка кода ответа и редиректов.

Почему дубли главной вредят

Если главная открывается по двум адресам с кодом 200, внешние ссылки, поведенческие данные и история сайта делятся между ними. Поисковик сам решает, какую копию показывать, и после очередной переклейки в выдаче может смениться адрес, а с ним просесть позиции. Похожая ситуация с временным редиректом 302: он сообщает, что старый адрес ещё вернётся, поэтому склейка идёт медленнее.

Как настроить главное зеркало

Правило одно: каждый неглавный вариант должен вести на главное зеркало одним 301-редиректом с сохранением пути. Адрес http://www.site.ru/catalog/ должен сразу перенаправлять на https://site.ru/catalog/, а не на главную и не через промежуточный https://www.site.ru/catalog/.

nginx

Удобнее всего завести отдельный блок server для неглавных имён и вернуть из него return 301 https://site.ru$request_uri;. Так редирект с HTTP и с www делается за один переход. Готовый конфиг с вашим доменом появится в результате проверки, если найдутся проблемы.

Apache (.htaccess)

Редирект пишется через mod_rewrite в начале файла .htaccess, до правил CMS. Код ответа указывают явно, флагом R=301: флаг R без числа даёт временный 302. Если сайт работает за прокси или CDN, условие на HTTPS проверяют по заголовку X-Forwarded-Proto, иначе редирект зациклится.

Панель хостинга, CDN и CMS

На виртуальном хостинге редирект на HTTPS и выбор основного домена обычно включаются переключателями в панели. В CDN правила срабатывают раньше сервера, поэтому важно, чтобы они не спорили с настройками на сервере. В CMS проверьте адрес сайта в общих настройках: из него собираются canonical и внутренние ссылки, и после перехода на HTTPS там часто остаётся старый адрес.

После переезда на HTTPS или смены www

Сертификат должен покрывать оба имени, с www и без, иначе на одном из вариантов браузер покажет ошибку ещё до редиректа. В Яндекс Вебмастере добавьте новый адрес и оформите переезд в разделе «Индексирование → Переезд сайта». В Google отдельного действия для смены протокола или www не нужно: достаточно редиректов, но новую версию стоит добавить в Search Console, чтобы видеть статистику.

Как узнать, какой адрес главный в Яндексе и Google

Инструмент проверяет, как настроен сервер. Какое зеркало поисковик уже выбрал, видно только в панелях вебмастера. В Яндекс Вебмастере главный адрес показан в разделе «Переезд сайта». В Google Search Console откройте проверку URL для главной: в отчёте есть строка «Канонический URL, выбранный Google». Если поисковик выбрал не тот адрес, сначала исправьте редиректы и canonical, потом запросите переобход.

Директива Host в robots.txt

Раньше главное зеркало для Яндекса указывали директивой Host в robots.txt. В 2018 году Яндекс перестал её учитывать и ориентируется на 301-редиректы, Google не поддерживал её никогда. Строку можно удалить. Если она осталась и указывает на другой адрес, чем редиректы, инструмент покажет расхождение: на поиск оно не влияет, но путает тех, кто потом будет разбираться в настройках.