Что такое Googlebot и робот Яндекса: как поисковые роботы обходят сайт

Прежде чем страница появится в поиске, её должен прочитать робот. Если он до неё не дошёл или увидел пустой экран, тексты и ключевые слова уже ничего не решают: поисковик просто не знает, что на странице написано. Обычно об этом вспоминают, когда находят слово Googlebot в логах сервера, в Search Console или в файле robots.txt. В статье разобрано, кто такие поисковые роботы Google и Яндекса, как они ходят по сайту, чем обход отличается от индексации и как без программиста проверить, что роботу ничего не мешает.

Что такое Googlebot простыми словами

Googlebot — это программа Google, которая автоматически заходит на сайты, скачивает страницы и передаёт их в поисковую систему. По этим данным Google решает, какие страницы добавить в индекс и показывать в поиске. Сам робот ничего не оценивает и позиции не ставит — он только собирает материал.

Его ещё называют поисковым роботом, краулером, пауком или ботом. В бытовом смысле это одно и то же: программа, которая ходит по ссылкам и забирает страницы.

Удобно представить курьера, который объезжает адреса, забирает документы и отвозит их в архив. Курьер не решает, какой документ важнее и на какую полку его положить, — этим занимаются другие люди. Так и Googlebot: его задача — доставить страницу, а оценивать её будут другие системы Google.

Googlebot — общее имя для двух версий:

• Googlebot Smartphone — заходит на сайт как пользователь со смартфона;
• Googlebot Desktop — как пользователь с компьютера.

Основной для большинства сайтов — мобильный. Google индексирует прежде всего мобильную версию страниц (это называется mobile-first индексацией), поэтому большая часть запросов к сайту приходит от Googlebot Smartphone. Отсюда практический вывод: если на телефоне у страницы обрезан текст, нет части товаров или меню, поисковик опирается именно на эту урезанную версию.

Кроме основного робота у Google есть отдельные боты для картинок, видео, рекламы и других задач. Для понимания темы достаточно знать, что в поиск страницы приносит именно Googlebot.

Робот Яндекса: кто обходит сайт в российском поиске

У Яндекса свой индексирующий робот — YandexBot. Он делает то же, что Googlebot: обходит страницы и загружает их в поисковую базу Яндекса. Для сайтов, которые получают трафик из России, он не менее важен, чем Googlebot.

У Яндекса тоже несколько роботов: основной индексирующий, робот для картинок, для проверки доступности страниц и другие. Полный и актуальный перечень с именами в user-agent есть в справке Яндекс Вебмастера, переписывать его в статью нет смысла — он меняется.

Файл robots.txt оба поисковика читают по одним и тем же базовым правилам: User-agent, Disallow, Allow, Sitemap. Различия есть в деталях. Например, директиву Clean-param, которая помогает склеить адреса с лишними параметрами, понимает только Яндекс. А Crawl-delay не учитывают ни Яндекс, ни Google: скорость обхода Яндексом настраивается в Вебмастере.

Главное различие для владельца сайта — в инструментах. Что делает Googlebot, видно в Google Search Console, что делает робот Яндекса — в Яндекс Вебмастере.

Как поисковый робот находит и обходит страницы

Робот узнаёт о страницах из ссылок на других страницах, из карты сайта sitemap.xml и из запросов владельца в Search Console или Яндекс Вебмастере. Он скачивает страницу, находит в ней новые ссылки и ставит их в очередь. Так, шаг за шагом, обходится весь сайт.

Главный источник новых адресов — ссылки. Внутренние ведут робота с главной в разделы, из разделов в карточки и статьи. Внешние приводят его на сайт с других ресурсов. Карта сайта работает как список адресов, которые владелец считает важными. Ручная отправка в Search Console или Вебмастере — способ сказать: вот эта страница появилась, посмотри её.

Перед тем как скачивать страницы, робот читает robots.txt. Если раздел там закрыт, робот туда не пойдёт, даже если знает о нём из ссылок.

Обходить всё сразу робот не станет. У него есть очередь, и он сам решает, что скачать раньше, а что отложить. Страницы, на которые ведёт много ссылок и которые часто обновляются, попадают в начало очереди. Глубоко спрятанные страницы — ближе к концу.

Отсюда проблема страниц-сирот: так называют страницы, на которые не ведёт ни одна ссылка с сайта. Робот может узнать о такой странице только из sitemap или ручной отправки, а может не узнать вовсе. Поэтому внутренняя перелинковка нужна не только посетителям, но и роботам.

Простой пример. Небольшой интернет-магазин добавил раздел «Доставка и оплата» и поставил ссылку в верхнее меню. Робот найдёт раздел при следующем обходе любой страницы с этим меню. Если ту же страницу просто опубликовать, не связав ни с чем, робот может не замечать её неделями.

Обход и индексация — не одно и то же

Обход — это когда робот скачал страницу. Индексация — когда поисковик обработал её и решил добавить в базу. Робот может зайти на страницу, но поисковик не станет её индексировать: например, если это дубль, если стоит noindex или если содержание признано малополезным.

Путь страницы до выдачи удобно разложить на четыре шага:

1. Обход. Робот скачивает страницу и её ресурсы.
2. Обработка. Поисковик разбирает код, при необходимости отрисовывает страницу со скриптами, ищет основной текст, ссылки, метатеги и признаки дублей.
3. Индекс. Если страница признана полезной и не дублирует другую, она попадает в поисковую базу.
4. Ранжирование. Когда человек вводит запрос, поисковик выбирает из индекса подходящие страницы и решает, в каком порядке их показать.

Робот отвечает только за первый шаг. Всё остальное делают другие части поисковой системы. Поэтому фраза «Googlebot плохо относится к моему сайту» не совсем точна: робот мог прийти и всё скачать, а решение не включать страницу в индекс принималось уже дальше.

Это хорошо видно в Search Console. Там встречается статус вида «Страница просканирована, но пока не проиндексирована» — ровно та ситуация, когда робот был, а в индекс страница не попала. В Яндекс Вебмастере похожую картину показывает раздел со страницами, исключёнными из поиска, с указанием причины.

Если робот ходит, а страниц в индексе всё равно мало, причина обычно на втором или третьем шаге. Что с этим делать, разобрано в статье как ускорить индексацию сайта.

Видит ли робот сайт так же, как человек

Не всегда. Робот сначала получает HTML-код страницы, а то, что достраивается JavaScript, обрабатывает отдельным этапом и не всегда сразу. Если главный текст, ссылки или цены появляются только после скриптов, поисковик может увидеть страницу неполной.

Googlebot умеет отрисовывать JavaScript: он запускает страницу в браузере, похожем на Chrome, и смотрит на результат. Но отрисовка требует ресурсов, поэтому Google может отложить её и обработать страницу позже, чем скачал. Яндекс тоже умеет обрабатывать JavaScript, однако и для него надёжнее, когда основное содержимое есть в исходном HTML. Тогда страница понятна поисковику с первого запроса, без ожидания.

Есть вещи, которые робот не делает вообще, даже с отрисовкой:

• не нажимает кнопки «Показать ещё» и «Развернуть», если контент подгружается только по клику;
• не заполняет формы и не выбирает фильтры;
• не входит в личный кабинет и не видит то, что доступно после логина.

Отдельная ловушка — закрытые в robots.txt файлы стилей и скриптов. Раньше их часто закрывали «чтобы робот не тратил время». Сейчас это мешает: без CSS и JS робот не может правильно отрисовать страницу и, например, не поймёт, что у неё есть мобильная версия.

Ещё одно ограничение — объём. По текущей справке Google, Googlebot учитывает только первые 2 МБ HTML-файла (в несжатом виде), остальное при индексации не рассматривается. Для обычной страницы это очень много, но страницы с огромными встроенными блоками кода иногда до этого лимита доходят.

Простая проверка для разработчика. Откройте страницу в браузере, нажмите правой кнопкой и выберите «Просмотр кода страницы» — не «Инспектор» и не «Исследовать элемент», а именно исходный код. Найдите через Ctrl+F фразу из основного текста или название товара. Если её там нет, значит, она появляется только после скриптов, и на первом этапе робот её не видит.

Как часто робот заходит на сайт и от чего это зависит

Единого расписания нет. Робот приходит чаще на сайты, которые часто обновляются, быстро отвечают и важны для пользователей, и реже — на редко меняющиеся страницы. Главную популярного новостного сайта могут обходить много раз в день, а старую страницу маленького сайта — раз в несколько недель.

Поисковик сам распределяет, сколько страниц сайта и как часто готов скачивать. Это называют краулинговым бюджетом. Для небольших сайтов на сотни страниц он обычно не становится проблемой: роботу хватает времени обойти всё. Заметным он становится у крупных магазинов и порталов с десятками тысяч адресов.

Что помогает роботу приходить чаще и обходить больше:

• сервер быстро отвечает и не отдаёт ошибок;
• на сайте регулярно появляются новые страницы и обновляются старые;
• на важные страницы ведут внутренние ссылки;
• карта сайта актуальна и не содержит мусора.

Что замедляет обход: медленный сервер, частые ошибки 5xx, тысячи лишних адресов из фильтров, сортировок и UTM-меток. Если сервер начинает отвечать медленно или с ошибками, роботы сами снижают нагрузку, чтобы не уронить сайт, — и вместе с этим реже доходят до новых страниц.

Как управлять обходом: robots.txt, sitemap, метатеги и коды ответа

Владелец сайта управляет роботами четырьмя способами: robots.txt говорит, куда не ходить, sitemap.xml — какие страницы важны, метатег robots — что не индексировать, а коды ответа сервера — существует ли страница и куда она переехала.

Минимальный robots.txt с отдельными правилами для двух роботов выглядит так:

User-agent: Googlebot
Disallow: /cart/

User-agent: Yandex
Disallow: /cart/
Clean-param: utm_source&utm_medium&utm_campaign

Sitemap: https://example.ru/sitemap.xml

Здесь корзина закрыта от обоих роботов, Яндексу дополнительно сказано не различать адреса по UTM-меткам, а в конце указан адрес карты сайта.

Самое частое недоразумение — запрет в robots.txt путают с noindex. Это разные вещи. robots.txt запрещает роботу заходить на страницу, но не запрещает поисковику знать о ней. Если на закрытую страницу ведут внешние ссылки, её адрес может попасть в выдачу — без описания, но может. А noindex на такой странице робот не увидит вовсе: чтобы прочитать метатег, ему нужно страницу скачать, а скачивать её запрещено.

Поэтому правило такое. Нужно, чтобы робот не тратил время на служебные разделы, — robots.txt. Нужно убрать страницу из поиска — noindex при открытом обходе. Совмещать оба способа на одной странице бессмысленно.

Проверить, что robots.txt не закрывает нужные разделы, можно в бесплатной проверке robots.txt.

Что мешает роботу обходить сайт

Чаще всего роботу мешают не санкции, а технические мелочи: случайный запрет в robots.txt, ошибки сервера, длинные цепочки редиректов, битые ссылки и страницы, которые открываются только после JavaScript.

Последний пункт встречается у малого бизнеса чаще, чем кажется. Хостинг или защитный сервис включает фильтр от ботов, и тот вместе с мусорным трафиком начинает отсекать поисковых роботов. Сайт при этом у всех открывается нормально, и проблему замечают только по падению числа страниц в индексе. Если в панели защиты есть настройка для поисковых роботов, её стоит проверить.

Как проверить, что робот был на сайте и что он увидел

Проще всего — в Google Search Console и Яндекс Вебмастере: там есть статистика обхода и проверка отдельного адреса. Разработчик может посмотреть логи сервера и найти визиты Googlebot и YandexBot по user-agent, но имя бота легко подделать, поэтому подлинность проверяют по DNS.

Search Console

Отчёт «Статистика сканирования» находится в настройках ресурса. Он показывает, сколько запросов робот делает к сайту, сколько времени занимает ответ сервера и какие коды ответа робот получает. Резкий рост ошибок или времени ответа — первый сигнал, что что-то не так.

Инструмент «Проверка URL» работает с одним адресом. Он показывает, когда Googlebot последний раз сканировал страницу, каким роботом, разрешён ли обход и есть ли страница в индексе. Если запустить проверку опубликованной страницы, можно посмотреть отрисованный HTML и скриншот — то, как Google увидел страницу после скриптов.

Яндекс Вебмастер

В разделе «Индексирование» → «Статистика обхода» видно, какие страницы робот скачивал в последние дни и с каким кодом ответа. Там же удобно ловить всплески 404 и 5xx.

«Проверка ответа сервера» показывает, что получает робот Яндекса по конкретному адресу: код ответа, заголовки и содержимое. «Переобход страниц» позволяет попросить робота зайти на новые или изменённые страницы. Количество адресов для переобхода в сутки ограничено, поэтому его лучше тратить на важное.

Логи сервера

Это вариант для разработчика или администратора. В логах веб-сервера у каждого запроса есть user-agent, и визиты поисковых роботов ищут по словам Googlebot и YandexBot.

Проблема в том, что user-agent любой может подставить какой угодно. Парсеры и сканеры уязвимостей часто представляются Googlebot, чтобы их не блокировали. Поэтому подлинность проверяют по DNS в два шага:

1. Обратный DNS-запрос по IP-адресу из лога. Для настоящего Googlebot имя хоста заканчивается на googlebot.com, google.com или googleusercontent.com, для робота Яндекса — на yandex.ru, yandex.net или yandex.com.
2. Прямой DNS-запрос по полученному имени. Он должен вернуть тот же IP. Если не вернул, имя подделано.

Для разработчика это одна команда на каждый шаг, например host 66.249.66.1, а затем host с полученным именем. Google, кроме того, публикует списки IP-адресов своих роботов, и по ним можно сверяться автоматически.

Взгляд со стороны до поисковиков

Поисковые системы показывают проблемы, когда робот уже на них наткнулся. Увидеть их раньше помогает SEO-аудит: он тоже обходит сайт по ссылкам, как робот, и показывает, где обход упирается в битые ссылки, редиректы, закрытые от индексации страницы и другие ошибки.

Коротко

Поисковый робот — посредник между сайтом и поиском: он приходит, скачивает страницы и передаёт их дальше. Обход и индексация — разные этапы, и страница может быть просканирована, но не попасть в индекс. Управлять роботами можно через robots.txt, sitemap.xml, метатег noindex и коды ответа сервера, а следить за ними — в Search Console и Яндекс Вебмастере.

Что можно сделать сегодня: открыть статистику обхода в Вебмастере и Search Console и посмотреть, нет ли там всплесков ошибок 404 и 5xx или страниц, закрытых по ошибке.

Частые вопросы