Как ускорить индексацию сайта в Яндексе и Google

Индексация — это процесс, при котором поисковый робот заходит на ваш сайт, скачивает страницы и добавляет их в свою базу. Пока страница не проиндексирована, поисковик её не показывает в выдаче — ни по каким запросам, даже по названию компании. Для нового сайта нормальный срок индексации — от нескольких часов до 2–4 недель, но иногда затягивается на месяцы. В этом гайде разберём, как ускорить индексацию сайта в Яндексе и Google, как проверить статус страниц и какие типовые ошибки не дают роботу нормально работать. Материал написан для новичков — без сложных инструментов и командной строки.

Что такое индексация и почему она бывает медленной

Работа поисковика с любым сайтом состоит из трёх этапов: обход (краулинг), индексация и ранжирование. Робот сначала находит страницу по ссылке, потом скачивает её содержимое, разбирает и складывает в поисковую базу. Только после этого сайт может появиться в результатах по запросу. Если хоть один этап тормозит — поиск сайта не покажет, даже если контент отличный. Подробнее эти этапы разобраны в статье что такое SEO простыми словами.

Медленная индексация обычно означает, что робот на сайт заходит, но по какой-то причине не добавляет страницы в базу или делает это выборочно. Причин обычно четыре: технические ограничения (robots.txt, noindex, тяжёлые страницы), низкое качество контента (тонкие страницы, дубли), проблемы с внутренней перелинковкой (страницы «сироты» без входящих ссылок) и отсутствие внешних сигналов (на новый домен никто не ссылается, поисковик не спешит). Разбираться нужно последовательно — от самого частого к сложному.

Отдельно стоит понимать разницу между Яндексом и Google. Яндекс обычно индексирует новые сайты быстрее и охотно берёт в базу даже слабый контент — но так же охотно потом его выкидывает при апдейтах. Google медленнее берёт страницы в индекс, зато держит их стабильнее. Это значит, что тактика ускорения для двух поисковиков немного отличается: с Яндексом важнее регулярный сигнал через Вебмастер, с Google — качество контента и структура сайта.

Как проверить, что страницы вообще индексируются

Перед ускорением стоит понять, что именно не так. Проверка занимает 5 минут.

• Оператор site: в поисковике. Введите в Яндекс или Google запрос site:вашсайт.ru — поисковик покажет все страницы, которые видит в своей базе. Если число сильно меньше реального количества страниц, часть не индексируется.
• Отчёт «Индексирование» в Яндекс.Вебмастере. В разделе «Индексирование → Страницы в поиске» лежит полный список того, что Яндекс добавил, а в «Исключённые страницы» — что удалил и по какой причине.
• Отчёт «Страницы» в Google Search Console. В меню «Индексирование → Страницы» видно количество страниц в индексе и причины исключения: «Заблокировано в robots.txt», «Обнаружено, не проиндексировано», «Просканировано, но не проиндексировано» и другие.

Если у Google говорит «Обнаружено, не проиндексировано» — робот знает про страницу, но пока не добавил в индекс. Если «Просканировано, но не проиндексировано» — скачал, но решил, что страница не стоит места в базе. Это разные проблемы, и решения тоже разные (о них ниже).

Восемь способов ускорить индексацию

Простые действия, которые стоит сделать в первую очередь. Порядок — от самого быстрого и очевидного к трудозатратному.

1. Отправить страницы вручную в Вебмастере и Search Console

Самый быстрый способ. В Яндекс.Вебмастере: раздел «Индексирование → Переобход страниц», вставляете URL, нажимаете «Отправить». Лимит — 30 страниц в сутки. В Google Search Console: сверху строка «Проверить любой URL на …», вставляете URL, нажимаете «Запросить индексирование». Обычно робот приходит на страницу в течение суток.

2. Загрузить свежий sitemap.xml

Sitemap — это карта всех страниц сайта, которую вы отдаёте поисковику как подсказку «вот что у меня есть». Файл лежит по адресу вашсайт.ru/sitemap.xml. Проверьте, что в нём есть все нужные страницы и указаны актуальные даты последнего изменения (<lastmod>). Загрузите файл в Вебмастере (раздел «Индексирование → Файлы Sitemap») и в Search Console (раздел «Индексирование → Файлы Sitemap»). Подробнее — как сделать sitemap.xml.

3. Проверить robots.txt на случайные Disallow

Классическая проблема: с тестовой версии переехал Disallow: / в файл вашсайт.ru/robots.txt, и робот считает, что весь сайт запрещён к обходу. Проверьте файл глазами, а лучше — прогоните через инструмент «Анализ robots.txt» в Вебмастере: он покажет, какие URL закрыты. Подробный разбор — robots.txt для SEO.

4. Убрать noindex со страниц, которые должны быть в поиске

Второй классический промах: страница отдаёт <meta name="robots" content="noindex"> или заголовок X-Robots-Tag: noindex. Проверить каждую страницу вручную долго — прогоните сайт через SEO-краулер, он покажет все страницы с директивой noindex в одном отчёте.

5. Улучшить внутреннюю перелинковку

Страницы, на которые нет ссылок с других страниц сайта, робот находит с трудом. Такие «сироты» часто болтаются в индексе неделями. Из главной страницы или блога должна вести хоть одна ссылка на каждый важный раздел, а из раздела — на карточки товаров или подкатегории. Хлебные крошки, футер, внутренние ссылки в статьях блога — всё это ускоряет обход.

6. Ускорить сайт и уменьшить нагрузку

У каждого сайта есть «краулинговый бюджет» — количество страниц, которое робот готов обойти за один визит. Если сайт медленный, отдаёт ошибки 5xx или страницы весят по 10 МБ, бюджет уходит впустую. Ускорьте загрузку, оптимизируйте картинки, включите gzip. Метрики скорости и как их улучшить — в статье про Core Web Vitals и TTFB.

7. Убрать дубли и мусорные страницы

Дубли (одинаковый контент по разным URL — со слешем и без, с UTM-метками, страницы фильтров) размывают бюджет: робот ходит по десяткам одинаковых страниц вместо новых. Настройте canonical или закройте лишнее в robots.txt. Мусорные страницы (пустые категории, «спасибо за заказ», тестовые url) закройте от индексации через noindex.

8. Получить пару внешних ссылок на новые страницы

Для нового домена без ссылок робот заходит редко — раз в неделю или реже. Одна упоминание на популярном отраслевом сайте, публикация в отраслевом каталоге или пост в собственной группе VK со ссылкой на страницу ускоряет обход в разы. Ссылки нужны не покупные и не массовые — а живые, с сайтов, где ходит поисковый робот.

Как ускорить индексацию именно в Яндексе

У Яндекса есть свои особенности. Кроме отправки страниц через «Переобход», подключите инструмент «IndexNow» — он позволяет автоматически отправлять URL в индекс сразу при публикации новой страницы. Настройка требует API-ключа и одной строчки на сервере или в CMS: WordPress, Bitrix и Tilda имеют готовые модули, для остального — 10 минут работы разработчика.

Отдельная фишка Яндекса — Турбо-страницы. Если сайт медленный, а быстро оптимизировать не получается, Яндекс может сделать облегчённую версию страниц и показывать её напрямую из своей выдачи. Индексация Турбо-страниц быстрее обычной. Подключение — через раздел «Инструменты → Турбо-страницы» в Вебмастере.

И проверьте регион сайта в разделе «Информация о сайте → Региональность»: если регион не указан, Яндекс дольше решает, где сайт ранжировать, и может отложить полноценную индексацию.

Как ускорить индексацию именно в Google

Google рекомендует держать в порядке несколько вещей одновременно. Регулярно обновляйте sitemap.xml и добавляйте <lastmod> к каждому URL — робот приоритетно ходит на страницы с недавним обновлением. Наравне с этим стоит подключить протокол IndexNow (Google поддерживает его с 2022 года через партнёрство с Microsoft Bing и Яндексом) — новые страницы уходят в очередь на индексацию в тот же момент, когда вы их публикуете. И крайне важно не злоупотреблять функцией «Запросить индексирование» в Search Console: массовая ручная отправка сотен URL считается манипуляцией и в лучшем случае просто не работает, а в худшем ограничит доступ к панели.

Для крупных сайтов (от нескольких тысяч страниц) Google рекомендует использовать Indexing API — программный интерфейс для отправки страниц. Официально он работает только для двух типов контента: вакансий и live-трансляций, но на практике многие CMS используют его шире. Тонкий момент — Google может ограничить доступ, если увидит, что API применяется не по назначению.

Ещё одна деталь, о которой часто забывают: Google смотрит на международную структуру сайта. Если у вас страницы на нескольких языках, обязательно должны быть теги hreflang — без них Google может считать русскоязычную версию основной и не индексировать остальные. Разбор внедрения — в отдельном гайде про hreflang для мультиязычного сайта.

Сколько ждать после ваших действий

Реальные сроки зависят от возраста домена, качества контента и «репутации» сайта в глазах поисковика.

• Новый домен, первая индексация: от 2–3 дней до 4 недель. Для Яндекса обычно быстрее, если сайт добавлен в Вебмастер и указан регион.
• Существующий сайт, новая страница: от нескольких часов до 3–5 дней. Если внутренняя перелинковка нормальная, робот доходит быстро.
• Переиндексация обновлённой страницы: от суток до недели. Быстрее — через ручную отправку в Вебмастере и Search Console.
• Попадание в поисковую выдачу по конкретному запросу: отдельная история — страница может индексироваться моментально, но чтобы попасть в топ, нужно ещё несколько недель или месяцев. Индексация ≠ ранжирование.

Ожидание — часть SEO. Постоянные ручные отправки одной и той же страницы не ускорят её, а иногда только раздражают робот и он реже возвращается.

Ошибки, из-за которых страницы не индексируются

Пять частых причин, по которым сайт не индексируется, даже когда SEO-владелец «всё сделал правильно».

• Сайт закрыт в robots.txt. После разработки или переезда осталась строка Disallow: / — сайт технически жив, но для поиска его нет. Проверяется за 30 секунд открытием вашсайт.ru/robots.txt в браузере.
• noindex на всех страницах. Плагин SEO в WordPress или настройка в CMS случайно ставит запрет индексации на весь сайт. Проверить: открыть HTML любой страницы и поискать noindex в мета-тегах.
• Страницы отдают ошибку 4xx/5xx. Робот приходит, а страница отдаёт 404, 500 или таймаут. Смотрите отчёт «Ошибки обхода» в Яндекс.Вебмастере и «Ошибки индексирования» в Search Console.
• Дубли и канонические URL. Один контент лежит по 3–5 адресам, canonical не настроен, поисковик выбирает случайный или вообще не индексирует. Настройте rel="canonical" на всех вариантах.
• Слабый контент. Страница из 50 слов о ни о чём — Google теперь часто пишет «Просканировано, но не проиндексировано» и оставляет за бортом. Лечится развёрнутым уникальным содержимым.

Разница между «страницу не находят» и «страницу нашли, но не приняли» — принципиальная: в первом случае чинится техника, во втором — качество контента.

Часто задаваемые вопросы