Meta Robots

Как работает

Метатег ставится в блок <head> и адресуется всем роботам через name="robots" либо конкретному — например name="googlebot".

<head>
  <meta name="robots" content="noindex, follow">
</head>

Основные значения: index / noindex — включать ли страницу в индекс; follow / nofollow — переходить ли по ссылкам на ней. Если тега нет, по умолчанию действует index, follow. Есть и уточняющие директивы: noarchive (не показывать сохранённую копию), nosnippet (не показывать сниппет), max-snippet:150, max-image-preview:large, noimageindex.

Значения комбинируют через запятую. Для разных роботов задают отдельные правила, поставив несколько метатегов с разными name.

Почему важно для SEO

Meta robots — точечный инструмент управления индексацией на уровне отдельной страницы. Им закрывают от индекса служебные разделы (личный кабинет, корзину, страницы благодарности), результаты внутреннего поиска, дубли, при этом сохраняя обход ссылок через follow — вес продолжает перетекать дальше по сайту.

Сочетание noindex, follow — рабочий приём для пагинации и фильтров: сами страницы в индексе не нужны, но ссылки на товары с них должны оставаться проходимыми. Про приоритет директив забывать нельзя: чтобы робот увидел noindex, страница должна быть открыта для обхода в robots.txt. Если запретить обход, метатег останется непрочитанным, а URL может задержаться в индексе.

Для удаления страницы из индекса noindex надёжнее, чем robots.txt: он прямо запрещает индексацию, тогда как robots.txt лишь закрывает обход и не мешает уже известному URL попасть в выдачу по внешним ссылкам.

При конфликте между meta robots и X-Robots-Tag поисковик выбирает более строгую директиву.

Удаление страницы из индекса по noindex происходит не сразу: робот должен снова зайти на URL, прочитать тег и только затем исключить страницу. На редко обходимых разделах это растягивается на недели, поэтому для срочного скрытия конфиденциальных данных метатег подходит плохо. Есть и точечные директивы для управления сниппетом: data-nosnippet на отдельном элементе прячет из выдачи конкретный фрагмент текста, не закрывая всю страницу. Такой уровень контроля бывает нужен, когда часть контента чувствительна, а сама страница должна ранжироваться.

Частые ошибки

• Страница закрыта noindex в метатеге и одновременно в robots.txt — робот не прочитает тег.
• noindex случайно остался в шаблоне после переноса с тестового сервера — из индекса выпадают нужные страницы.
• Метатег стоит в <body> вместо <head> — Google его игнорирует.
• Используют noindex там, где нужен canonical (для дублей), и наоборот.
• Ставят nofollow на всю страницу, обрывая передачу веса по внутренним ссылкам без необходимости.

Как проверить

В Chrome DevTools вкладка Elements → найдите <meta name="robots"> внутри <head>. Быстрее — расширения вроде SEO META in 1 CLICK, которые сразу показывают директивы. В Google Search Console инструмент «Проверка URL» сообщит, если индексация запрещена метатегом. В Яндекс.Вебмастере причина исключения видна в разделе «Страницы в поиске».

SEO Crawler фиксирует значение meta robots на каждой странице, находит URL, случайно закрытые noindex, и конфликты, когда запрет индексации сочетается с запретом обхода в robots.txt.

Вывод

Meta robots — основной способ управлять индексацией конкретной HTML-страницы. Для закрытия дублей и служебных разделов используйте noindex, follow, держите тег в <head> и не блокируйте эти страницы в robots.txt — иначе директива останется непрочитанной. Для не-HTML файлов вместо метатега применяйте X-Robots-Tag.