Краулинговый бюджет

Как работает

Google в документации Search Central описывает краулинговый бюджет через два параметра: crawl capacity limit (сколько робот может обходить без риска перегрузить сервер) и crawl demand (сколько робот хочет обходить, исходя из популярности и свежести контента). Итоговый бюджет — минимум из этих двух величин.

Для маленького сайта с несколькими сотнями страниц бюджет не является проблемой: Google обходит всё за пару дней. Проблема появляется на сайтах от десятков тысяч URL и выше — интернет-магазины с фильтрами, порталы, форумы, новостные ресурсы. Там робот физически не успевает обойти всё каждую неделю и вынужден выбирать, что смотреть чаще.

Основные факторы, влияющие на бюджет:

• отзывчивость сервера (5xx и медленный TTFB напрямую снижают лимит);
• популярность страниц по внешним ссылкам и трафику;
• как часто контент реально обновляется;
• глубина вложенности URL от главной.

Почему важно для SEO

На сайтах с крупным каталогом плохо распределённый бюджет — частая причина, почему товары не попадают в индекс месяцами. Робот тратит время на страницы фильтров, страницы сортировок, дубли с UTM-метками и пагинацию в глубоких категориях — а до карточек, где реально живёт трафик, доходит редко.

Google Search Central напрямую упоминает: сайты, которые чистят URL от параметров, закрывают служебные разделы в robots.txt, склеивают дубли через canonical и держат стабильный ответ 200 OK, получают лучшую индексацию просто за счёт того, что бюджет расходуется на нужные страницы. Яндекс.Вебмастер в разделе «Индексирование → Статистика обхода» показывает, сколько URL робот обошёл за период и с какими статусами — плохое соотношение 200/остальные напрямую сигнализирует о проблеме.

Практика: после чистки фильтров и параметров на среднем e-commerce сайте количество проиндексированных товарных URL растёт на 20-40% в течение месяца — без единой новой ссылки.

Частые ошибки

• Все комбинации фильтров генерируют уникальные URL, доступные для индексации — робот застревает в бесконечной пагинации.
• В sitemap лежат URL с 404, 301 и noindex — робот тратит запросы впустую и перестаёт доверять карте сайта.
• Массовые внутренние ссылки на устаревшие URL, которые давно редиректятся — каждый переход отнимает лимит.
• Пагинация с параметрами ?page=2&sort=price&color=red без canonical — тысячи дублей одного и того же товара.
• Медленный сервер: TTFB стабильно выше 2 секунд — Google снижает crawl capacity сам.
• Отсутствие мониторинга статистики обхода в Search Console и Вебмастере — проблема замечается только по падению трафика.

Как проверить

В Google Search Console раздел «Настройки → Статистика сканирования» показывает график запросов робота во времени, распределение по типам ответа (200, 3xx, 4xx, 5xx) и по типам файлов (HTML, JS, CSS, картинки). Если 30% запросов уходят в 404 или 301 — бюджет тратится впустую. В Яндекс.Вебмастере — «Индексирование → Статистика обхода» с аналогичным разбором.

SEO Crawler имитирует поведение поискового робота при обходе сайта и показывает, где бюджет расходуется неэффективно: дубли по параметрам, страницы фильтров без ценности для индекса, цепочки редиректов, битые внутренние ссылки. В отчёте это блок «Структура и обход» — с приоритизацией правок по количеству затронутых URL.

Вывод

Краулинговый бюджет — ограниченный ресурс, и его расход надо контролировать так же, как трафик или конверсию. Закрывайте параметры и фильтры в robots.txt или через canonical, чистите sitemap от битых URL, следите за TTFB и статистикой обхода в Search Console. На сайтах от нескольких десятков тысяч страниц управление бюджетом — не рекомендация, а ежемесячная задача.