Noindex

Как работает

Стандартный способ — meta-тег в блоке <head> страницы:

<meta name="robots" content="noindex">

Робот заходит на страницу, читает тег и исключает URL из индекса при следующем цикле обновления. Существующая запись в поиске исчезает через 1-3 недели у Google и до месяца у Яндекса.

Альтернатива — HTTP-заголовок X-Robots-Tag, который отдаёт сервер. Работает для не-HTML документов, где meta-тег поставить некуда: PDF, DOC, JSON:

HTTP/1.1 200 OK
X-Robots-Tag: noindex
Content-Type: application/pdf

Ключевой нюанс: страница с noindex должна оставаться открытой для обхода. Если её заблокировать в robots.txt, робот вообще не зайдёт и не прочитает директиву — URL так и останется в индексе, обычно с пометкой «описание недоступно». Это одна из самых частых логических ошибок при попытке скрыть страницу.

Директиву можно комбинировать с nofollow, если нужно ещё и запретить передачу ссылочного веса: <meta name="robots" content="noindex, nofollow">.

Почему важно для SEO

Noindex — основной инструмент чистки индекса от мусора. Служебные страницы, страницы фильтров без ценности для трафика, страницы результатов внутреннего поиска, черновики блога, тестовые URL — всё это лучше выкинуть из индекса, чтобы не разбавлять сайт thin content.

Google Search Central подтверждает: сайты с большой долей low-value страниц в индексе получают меньше внимания при обходе — краулинговый бюджет распределяется хуже. При чистке индекса через noindex через 2-3 месяца часто виден рост позиций у оставшихся страниц: сигналы концентрируются на полезном контенте.

Яндекс.Вебмастер отдельно показывает «Исключённые страницы» с причиной «Запрещено к индексированию тегом noindex» — если счётчик резко растёт после релиза, стоит проверить, не улетело ли лишнее.

Частые ошибки

• Страница закрыта одновременно в robots.txt и через noindex — робот не прочитает директиву, URL остаётся в индексе.
• Noindex поставлен на весь раздел через шаблон, а через пару недель раздел ждут в выдаче — восстановление позиций займёт месяцы.
• Динамический noindex через JavaScript — Googlebot видит тег после рендера, Яндекс может не увидеть вовсе.
• Noindex вместо canonical для дублей — теряется передача веса на основной URL.
• Забыли снять noindex после переезда с dev-домена на прод — сайт неделями не индексируется, и никто не понимает почему.
• Noindex на страницах пагинации — глубокие товары становятся недоступны для обхода по ссылкам.

Как проверить

В Chrome DevTools вкладка Elements → поиск по <meta name="robots" покажет тег. Для HTTP-заголовка — вкладка Network → любой запрос → колонка Response Headers → строка X-Robots-Tag. В терминале: curl -I https://example.com/some-page/ покажет заголовки без открытия страницы. В Google Search Console раздел «Индексирование → Страницы → Исключено директивой noindex» показывает список URL с директивой.

SEO Crawler при обходе фиксирует все страницы с noindex — как в meta-теге, так и в HTTP-заголовке — и отдельно подсвечивает конфликты: URL с noindex, попавший в sitemap; URL с noindex, на который ведут внутренние ссылки. В отчёте это блок «Индексация» с приоритизацией по числу входящих ссылок.

Вывод

Noindex — рабочий способ убрать страницу из выдачи без её удаления с сайта. Держите URL открытым для обхода, не закрывайте его в robots.txt одновременно, следите за отчётом исключений в Search Console после каждого крупного релиза. Ошибка на масштабе шаблона легко стоит месяцев ожидания при восстановлении позиций.