Индексация

Как работает

Индексация идёт после краулинга. Робот уже загрузил HTML — теперь система разбирает содержимое: выделяет текст, заголовки, изображения, микроразметку, определяет язык и тему страницы. Для JS-сайтов перед этим выполняется рендеринг, чтобы увидеть контент, который подгружается скриптами.

Дальше поисковик решает, стоит ли добавлять URL в индекс. Страница может быть обойдена, но не проиндексирована — например, если она признана дублем, малополезной или закрыта директивой noindex. Обход и попадание в индекс — разные этапы, и одно не гарантирует другого.

Проверить, есть ли страница в индексе, проще всего оператором в поисковой строке:

site:example.com/catalog/kettles/

Пустая выдача по такому запросу означает, что конкретный URL в индекс не попал.

Почему важно для SEO

Индекс — это витрина, из которой поисковик собирает ответы на запросы. Страница вне индекса не ранжируется вообще: ни по каким ключам, ни на какой позиции. Поэтому контроль индексации — базовая гигиена SEO.

Есть и обратная сторона: в индекс не должен попадать мусор. Технические страницы, результаты внутреннего поиска, дубли с параметрами разбавляют сайт в глазах поисковика и распыляют его оценку качества. Задача — добиться, чтобы в индексе были ровно те URL, которые приносят трафик, и не было тех, что его портят.

Google в Search Console показывает статусы страниц: «Проиндексирована», «Просканирована, но пока не проиндексирована», «Обнаружена, сейчас не индексируется». Последние два статуса на молодых или больших сайтах — частый сигнал проблем с качеством или краулинговым бюджетом.

Между обходом и попаданием в индекс проходит время: даже открытая и качественная страница появляется в выдаче не мгновенно, а после того, как система обработает содержимое и оценит его на фоне уже известных документов. На молодом сайте этот срок растягивается, потому что поисковик ещё не накопил сигналов доверия к домену. Ускорить процесс помогают внутренние ссылки с уже проиндексированных разделов и ручная отправка адреса на переобход. Обратная задача — вовремя убирать из индекса устаревшие и удалённые URL, чтобы пользователь не попадал из выдачи на страницу с ошибкой.

Частые ошибки

• Нужные страницы закрыты noindex по недосмотру — после переноса с тестового сервера или из шаблона.
• Массовая индексация дублей с utm-метками и фильтрами вместо чистых URL.
• Страница месяцами висит со статусом «Обнаружена, сейчас не индексируется» — сигнал слабого качества или нехватки бюджета.
• Ставка на robots.txt для удаления из индекса — запрет обхода не убирает уже проиндексированный URL.
• Тонкий или дублированный контент, который поисковик отказывается индексировать.

Как проверить

В Google Search Console основной инструмент — отчёт «Индексирование страниц» и «Проверка URL»: они показывают статус конкретного адреса и причину, по которой он не в индексе. В Яндекс.Вебмастере это раздел «Индексирование → Страницы в поиске» с разбивкой на включённые и исключённые. Быстрая прикидка — оператор site: в поисковой строке.

SEO Crawler находит страницы, случайно закрытые от индексации, ловит конфликты между noindex, canonical и sitemap и показывает, какие URL отдают противоречивые сигналы.

Вывод

Индексация решает, увидит ли пользователь вашу страницу в поиске. Следите, чтобы ценные URL были открыты и попадали в индекс, а технический мусор — нет. Регулярно сверяйте список проиндексированных страниц в Search Console и Вебмастере с тем, что вы действительно хотите продвигать.