404

Как работает

Браузер или поисковый бот запрашивает страницу, сервер не находит соответствующий ресурс и отвечает статусом 404 Not Found. В теле ответа обычно приходит HTML-страница с сообщением об ошибке, но статус в заголовке — главное, что видит робот.

Пример заголовков ответа:

HTTP/1.1 404 Not Found
Content-Type: text/html; charset=utf-8

Важно отличать 404 от soft 404 — это когда сервер отдаёт статус 200 OK, а в теле показывает пользователю сообщение «страница не найдена». Для человека выглядит одинаково, но поисковик воспринимает такой URL как рабочую страницу и держит её в индексе. Google в Search Console помечает такие случаи отдельно.

404 может возникать штатно (пользователь опечатался в адресе) и как симптом проблем: битые внутренние ссылки, удалённые товары без редиректа, ошибки в sitemap.

Почему важно для SEO

Сам по себе 404 не наказывается — это нормальный ответ сервера для несуществующих URL. Проблема возникает, когда в 404 попадают страницы, которые должны быть в индексе, или когда битые внутренние ссылки массово тратят краулинговый бюджет.

Google рекомендует возвращать честный 404 для окончательно удалённого контента, если нет релевантной замены. Для переехавших страниц лучше использовать 301 редирект. Яндекс.Вебмастер отдельно показывает раздел «Страницы с ошибками» — при массовом росте 404 после обновления сайта туда стоит заглянуть в первую очередь.

Soft 404 хуже настоящего: URL остаётся в индексе, но при клике пользователь попадает на страницу с сообщением об ошибке — это ухудшает поведенческие и вводит в заблуждение робота.

Частые ошибки

• Страница «не найдено» отдаёт 200 вместо 404 — soft 404, URL остаётся в индексе.
• Массовые внутренние ссылки на удалённые товары — робот тратит бюджет на 404.
• В sitemap попали URL с 404 — противоречивый сигнал поисковику.
• Кастомная страница 404 без навигации и поиска — пользователь уходит с сайта.
• Редирект всех 404 на главную страницу — Google считает это soft 404, вес не передаётся.
• Отсутствие мониторинга: битые ссылки копятся месяцами без реакции.

Как проверить

Откройте несуществующий URL и в DevTools → Network посмотрите статус первого запроса — должно быть 404, не 200. В Google Search Console раздел «Индексирование страниц» показывает список URL со статусом «Страница не найдена (404)» и «Похоже на soft 404». Яндекс.Вебмастер даёт вкладку «Индексирование → Страницы в поиске → Исключённые».

SEO Crawler при обходе сайта фиксирует все 404, показывает страницы-источники битых ссылок и отдельно ловит soft 404 по эвристике — статус 200 при пустом или заглушечном содержимом. В отчёте это блоки «Битые ссылки» и «Ошибки сервера».

Вывод

404 — штатный ответ для удалённого контента, а не сигнал беды сам по себе. Следите, чтобы страница ошибки отдавала именно 404, а не 200, чините битые внутренние ссылки и не редиректьте всё подряд на главную — для переехавших страниц используйте 301 на релевантную замену.