Googlebot

Как работает

Googlebot — общее название для роботов Google. Основных два: Googlebot Smartphone, который эмулирует мобильный браузер, и Googlebot Desktop. С переходом на mobile-first indexing основным стал мобильный робот — именно его версия страницы попадает в индекс. Есть и специализированные боты: Googlebot Image, Googlebot Video, Google-InspectionTool.

Каждый робот представляется строкой user-agent — по ней сервер понимает, кто пришёл:

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P)
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36
(compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Googlebot рендерит страницы через актуальную версию Chromium, поэтому видит контент, который подгружается скриптами, — но с задержкой на отдельную очередь рендеринга.

Частоту запросов робот подстраивает под скорость ответа сервера: если сайт отвечает быстро и без ошибок, обход идёт активнее; при росте времени ответа или всплеске ошибок 5xx Googlebot сбавляет темп, чтобы не создавать лишнюю нагрузку.

Почему важно для SEO

Всё, что Googlebot увидит и как поймёт страницу, определяет её судьбу в выдаче. Если робот получает урезанную версию — без стилей, скриптов или заблокированных изображений — он оценит страницу иначе, чем видит пользователь. Отсюда правило: не блокировать в robots.txt ресурсы, нужные для рендеринга.

Отдельная тема — подделка Googlebot. Парсеры и вредоносные боты часто маскируются под него, подставляя тот же user-agent, чтобы обойти защиту. Прежде чем открывать доступ «Googlebot», стоит убедиться, что это действительно он. Google публикует список своих IP-диапазонов, а подлинность визита проверяется через обратный DNS: IP должен резолвиться в домен googlebot.com или google.com.

Googlebot кэширует часть ресурсов между визитами, поэтому одинаковые CSS и скрипты повторно не скачивает — это экономит и его бюджет, и нагрузку на сервер. Обратная сторона — устаревший кэш иногда мешает роботу сразу увидеть свежие правки в оформлении. Ещё один практический момент — лимиты на размер: очень тяжёлый HTML робот обрабатывает не целиком, и часть контента в конце гигантской страницы может остаться за пределами анализа. Поэтому объёмные каталоги разбивают на страницы разумного размера, а не отдают одним бесконечным списком.

Частые ошибки

• В robots.txt закрыты CSS, JS или изображения — робот рендерит поломанную страницу.
• Клоакинг: роботу отдаётся один контент, пользователю — другой. Google расценивает это как нарушение.
• Доступ открывается по user-agent без проверки IP — под видом Googlebot заходят парсеры.
• Сервер отдаёт роботу 5xx под нагрузкой — Google снижает частоту обхода.
• Мобильная версия урезана по контенту — при mobile-first indexing теряется часть текста и ссылок.

Как проверить

В Google Search Console инструмент «Проверка URL» показывает, как Googlebot видит страницу, и даёт скриншот отрендеренной версии. Отчёт «Статистика сканирования» — активность робота по типам и кодам ответа. Подлинность конкретного визита из логов проверяется обратным DNS-запросом по IP или сверкой с официальным списком диапазонов Google.

SEO Crawler обходит сайт, представляясь настраиваемым user-agent, и показывает страницу так, как её получает поисковый робот: доступность ресурсов, коды ответов, заблокированные в robots.txt файлы.

Вывод

Googlebot — глаза Google на вашем сайте. Дайте ему полный доступ к CSS, JS и изображениям, следите за стабильностью сервера и помните про mobile-first: в индекс идёт мобильная версия. Доступ «для Googlebot» открывайте только после проверки по IP — под этим именем ходит много чужих ботов.