Анализ лог-файлов

Как работает

Веб-сервер записывает каждый запрос в лог: время, IP-адрес, запрошенный URL, код ответа, user-agent и объём переданных данных. Отфильтровав записи по user-agent поисковых ботов, можно увидеть, как именно Googlebot и YandexBot ходят по сайту — без посредников и оценок, только факты.

Типичная строка access-лога Nginx выглядит так:

66.249.66.1 - - [15/Sep/2026:10:32:14 +0300] "GET /catalog/kettles/ HTTP/1.1" 200 15423 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Здесь видно: бот Google запросил страницу каталога, получил код 200 и 15 КБ данных. Собрав такие строки за период, аналитик считает частоту обхода каждого раздела, распределение кодов ответа, долю запросов к важным и второстепенным URL. Важно проверять подлинность бота по IP, поскольку user-agent легко подделать.

Форматы логов отличаются между серверами и настройками, но набор ключевых полей общий. Для анализа записи обычно выгружают за несколько недель или месяц, чтобы поведение робота было репрезентативным, а редкие всплески не искажали общую картину.

Почему важно для SEO

Логи — единственный источник, показывающий реальное поведение робота, а не предположения. Отчёты о сканировании в панелях вебмастера дают сводку, но детальную картину по каждому URL видно только в логах. Так обнаруживают, что бот тратит время на мусорные страницы с параметрами, дубли и бесконечные фильтры вместо важных разделов.

Это прямой способ найти утечку краулингового бюджета, разобранного в карточке crawl-budget. Если Googlebot из карточки googlebot часами ходит по служебным URL, важные страницы обходятся реже и медленнее попадают в индекс. Логи также показывают всплески ошибок 5xx и 404, которые бот встречает при обходе, — эта сторона связана с процессом crawling.

Логи полезны и при диагностике переездов и редизайнов: по ним видно, начал ли бот обходить новые URL и перестал ли ходить по старым. Это подтверждает, что изменения дошли до поисковика, а не остались только в вашем представлении. Для крупных сайтов анализ логов — обязательный инструмент технического SEO, потому что там цена нерационального обхода особенно высока.

Частые ошибки

• Доверять user-agent без проверки IP — под Googlebot маскируются парсеры и боты.
• Анализировать слишком короткий период, где поведение робота нерепрезентативно.
• Игнорировать всплески кодов 4xx и 5xx в запросах бота.
• Не замечать, что значительная доля обхода уходит на URL с параметрами и дубли.
• Хранить логи без ротации или, наоборот, удалять их слишком быстро для анализа.

Как проверить

Сырые логи берут у хостинга или на сервере (access.log в Nginx и Apache). Для разбора используют специализированные лог-анализаторы, которые фильтруют записи по ботам, строят частоту обхода и сводку по кодам ответа. В Google Search Console раздел «Статистика сканирования» даёт агрегированную картину — её полезно сверять с детальными данными из логов.

Логи показывают, куда ходит бот, а SEO Crawler — что он там находит: коды ответа, дубли, страницы с параметрами и тонкий контент. Сопоставив разделы, на которые уходит обход по логам, с проблемными URL из отчёта краулера, вы точнее поймёте, где именно утекает краулинговый бюджет.

Вывод

Анализ лог-файлов показывает реальное поведение поисковых роботов, а не догадки. Регулярно проверяйте частоту обхода, коды ответа и подлинность ботов, чтобы направлять краулинговый бюджет на важные страницы, — особенно на крупных сайтах.