HTTP-заголовки

Как работает

Любой обмен по HTTP начинается с заголовков. Браузер в запросе сообщает, какую страницу хочет, кто он такой и что умеет принимать. Сервер в ответе отдаёт код состояния и набор заголовков, а уже потом HTML. Так выглядят заголовки ответа сервера на обычную страницу:

HTTP/2 200
content-type: text/html; charset=utf-8
content-encoding: br
cache-control: max-age=600
last-modified: Tue, 20 Oct 2026 08:15:00 GMT
strict-transport-security: max-age=31536000

Для SEO важны не все заголовки. Главные из них:

• Код состояния — 200, 301, 404, 503 и другие: главное, что робот узнаёт о странице.
• Location — куда ведёт редирект при кодах 301 и 302.
• Content-Type с кодировкой — как читать содержимое. Неверная кодировка превращает текст в набор символов.
• Cache-Control, ETag, Last-Modified — правила кэширования. Если сервер поддерживает запрос If-Modified-Since и отвечает 304 на неизменённые страницы, робот не скачивает их заново и быстрее обходит сайт.
• Content-Encoding — сжатие gzip или Brotli.
• X-Robots-Tag — noindex и другие указания для роботов, в том числе для PDF и картинок, где нет HTML.
• Link с rel="canonical" — канонический адрес для файлов без HTML.
• Strict-Transport-Security — браузер всегда открывает сайт по https.
• Vary: User-Agent — сигнал, что разным устройствам отдаётся разный HTML.

В заголовках HTTP-запроса со стороны клиента интересны User-Agent, по которому сервер узнаёт поискового робота, и If-Modified-Since, с которым робот спрашивает, изменилась ли страница.

Почему важно для SEO

Заголовки робот читает раньше HTML, и иногда до HTML дело не доходит. Страница с идеальным текстом, но с X-Robots-Tag: noindex в заголовках не попадёт в индекс, и в коде страницы вы этого не увидите. Неправильный код ответа, редирект не туда, запрет кэширования на всём сайте — всё это видно только в заголовках.

Частые ошибки

• X-Robots-Tag: noindex остался в конфигурации сервера после тестового стенда.
• Кодировка в Content-Type не совпадает с реальной кодировкой файла.
• Cache-Control: no-store на всех страницах и никакой поддержки If-Modified-Since.
• Canonical в заголовке Link указывает на один адрес, а в HTML — на другой.
• Страница не найдена, но сервер отвечает кодом 200.

Как проверить

В браузере откройте DevTools, вкладку Network, выберите документ и посмотрите раздел Response Headers. В терминале заголовки покажет curl:

curl -sS -D - -o /dev/null https://example.ru/

Команда curl -I короче, но отправляет запрос HEAD, а некоторые серверы отвечают на него иначе, чем на обычный GET. Инструмент HTTP-заголовки ответа покажет все заголовки ответа и отдельно разберёт заголовки безопасности и кэширования.

Вывод

HTTP-заголовки — первое, что робот узнаёт о странице. Проверяйте код ответа, кодировку, кэширование и X-Robots-Tag после каждого переезда, смены хостинга или настройки сервера: ошибки здесь не видны на самой странице.