YandexBot

Как работает

Под именем YandexBot скрывается семейство роботов. Основной — YandexBot — обходит HTML-страницы и отвечает за общий индекс. YandexImages собирает изображения, YandexMedia — мультимедиа, YandexMetrika ходит по сайтам с установленным счётчиком. Отдельный быстрый робот оперативно добавляет свежий контент.

Каждый робот представляется своей строкой user-agent:

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

В robots.txt Яндекс понимает не только стандартные Disallow и Allow, но и директиву Clean-param — она склеивает URL, отличающиеся только незначащими GET-параметрами, и экономит краулинговый бюджет. Раньше применялась директива Host для указания главного зеркала, но сейчас Яндекс определяет его сам через редиректы и canonical.

Частоту обхода Яндекс регулирует сам, но в Вебмастере есть настройка «Скорость обхода» — ей пользуются, когда робот создаёт лишнюю нагрузку на сервер или, наоборот, заходит на сайт слишком редко.

Почему важно для SEO

В Рунете доля Яндекса сопоставима с Google, а по коммерческим запросам часто и выше. Игнорировать его робота — терять половину органического трафика. При этом Яндекс обходит и индексирует сайты по своим правилам: у него сильнее вес поведенческих факторов и своя логика склейки дублей. Свежий контент подхватывает отдельный быстрый робот, поэтому новости и регулярно обновляемые разделы попадают в выдачу оперативнее, чем страницы из глубины сайта.

Как и в случае с Googlebot, под YandexBot маскируются сторонние парсеры. Яндекс рекомендует проверять подлинность робота обратным DNS-запросом: IP должен резолвиться в домен в зоне yandex.ru, yandex.net или yandex.com, а прямой запрос по этому имени — возвращать исходный IP. Судить только по user-agent нельзя.

У Яндекса своя логика работы с региональностью: один и тот же сайт по-разному ранжируется в Москве и в регионах, а привязка задаётся в Вебмастере, и робот учитывает её при обходе коммерческих страниц. Отдельно стоит помнить про нагрузку: при массовом обходе крупного каталога YandexBot способен создавать заметный трафик, и если сервер к этому не готов, часть запросов вернётся с ошибкой, а робот отложит переобход. Настройку скорости в Вебмастере используют именно для баланса между полнотой обхода и стабильностью сайта.

Частые ошибки

• Настройки robots.txt сделаны только под Googlebot, поведение YandexBot не проверено.
• Не используется Clean-param — Яндекс тратит бюджет на URL с utm и сортировками.
• Доступ открывается по user-agent «YandexBot» без проверки IP — под ним заходят парсеры.
• Сайт медленно отвечает роботу — Яндекс снижает частоту обхода, свежие страницы индексируются с задержкой.
• Разное содержимое для робота и пользователя — Яндекс наказывает за клоакинг фильтрами.

Как проверить

Основной инструмент — Яндекс.Вебмастер. В разделе «Индексирование → Статистика обхода» видно, какие страницы и когда посещал робот, какие коды ответа получал. Инструмент «Переобход страниц» позволяет отправить URL в очередь вручную. Подлинность визита из логов проверяется обратным DNS по IP.

SEO Crawler обходит сайт с настраиваемым user-agent и показывает картину, близкую к тому, что видит поисковый робот: коды ответов, редиректы, закрытые в robots.txt разделы, дубли с параметрами.

Вывод

YandexBot — второй обязательный робот для проектов в Рунете. Проверяйте, что правила robots.txt работают и для него, используйте Clean-param против дублей с параметрами и подтверждайте подлинность робота через обратный DNS. Для российского бизнеса Яндекс — не «вторая поисковая система», а половина трафика.