X-Robots-Tag

Как работает

X-Robots-Tag передаётся сервером в заголовках HTTP-ответа, ещё до тела документа. Поэтому директива применима к любым типам файлов, а не только к HTML, где есть <head> для метатега. Значения те же, что у meta robots: noindex, nofollow, noarchive, nosnippet, max-snippet и другие.

HTTP/1.1 200 OK
Content-Type: application/pdf
X-Robots-Tag: noindex, nofollow

Настраивается заголовок на уровне сервера. В Apache — через .htaccess, в Nginx — директивой add_header. Можно нацелить его на группу файлов по расширению, например закрыть от индексации все PDF в каталоге:

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex" always;
}

Директиву можно адресовать конкретному роботу: X-Robots-Tag: googlebot: noindex.

Кроме запрета индексации, заголовок управляет и тем, как документ показывается в выдаче. Директива unavailable_after задаёт дату, после которой URL выпадает из индекса, — это удобно для акций и временных страниц. max-image-preview ограничивает размер превью, nosnippet убирает описание в сниппете. Все значения комбинируются через запятую в одном заголовке, как и у метатега robots.

Почему важно для SEO

Часто в индекс попадает то, чего там быть не должно: прайсы в PDF, инструкции, картинки из закрытых разделов, файлы выгрузок. Метатег robots для них не поставить — у файла нет HTML-разметки. X-Robots-Tag — единственный способ управлять их индексацией.

Ключевое отличие от robots.txt: тот запрещает обход, а не индексацию. Закрытый в robots.txt файл поисковик не скачает, но при наличии внешних ссылок может показать его URL в выдаче без содержимого. X-Robots-Tag с noindex работает иначе — робот должен получить файл и прочитать заголовок, поэтому этот файл нельзя одновременно закрывать в robots.txt. Иначе директиву noindex робот просто не увидит.

Заголовок удобен и там, где нет доступа к разметке страницы, но есть доступ к конфигурации сервера, — например, при массовом закрытии целого каталога сгенерированных файлов одним правилом. Это быстрее, чем расставлять метатег на сотнях документов. При этом директиву задают точечно по пути или расширению: слишком широкое правило легко закрывает от индексации и нужные разделы, а заметить это по внешнему виду страницы невозможно — она открывается как обычно, но из выдачи постепенно исчезает.

Частые ошибки

• Файл с X-Robots-Tag: noindex одновременно закрыт в robots.txt — робот не скачает его и не прочитает директиву.
• Заголовок задан для всего домена и случайно закрывает нужные HTML-страницы.
• Директива добавлена, но нужный location в конфиге не совпал с реальным путём — заголовок не отдаётся.
• Путаница с robots.txt: ждут, что запрет обхода удалит уже проиндексированный файл.
• noindex поставили, но удаление из индекса произойдёт только после следующего обхода файла.

Как проверить

Заголовки ответа удобно смотреть в Chrome DevTools → Network → выбрать запрос → вкладка Headers либо командой curl -I https://example.com/price.pdf в терминале. В Google Search Console инструмент «Проверка URL» сообщит, если индексация запрещена заголовком. Отдельного отчёта по X-Robots-Tag нет — директива видна в причинах исключения страницы.

SEO Crawler читает заголовки ответа каждого URL и подсвечивает страницы и файлы с X-Robots-Tag, отдельно отмечая конфликты, когда noindex в заголовке сочетается с запретом обхода в robots.txt. Так проблемные PDF и файлы выгрузок собираются в один список, а не выискиваются по одному.

Вывод

X-Robots-Tag — способ управлять индексацией того, что живёт вне HTML: PDF, изображений, выгрузок. Главное правило — файл с noindex в заголовке должен быть открыт для обхода, иначе робот не прочитает директиву. Для обычных HTML-страниц проще обойтись метатегом robots.