403 Forbidden

Как работает

Код 403 сервер отдаёт по собственному решению: страница на месте, но правила запрещают её показывать. Типичные причины ошибки 403 на сайте:

• Права на файлы и папки. Веб-сервер не может прочитать файл с правами 600 или открыть папку без права на вход. Обычная настройка — 644 для файлов и 755 для папок.
• Нет индексного файла. Если в папке нет index.html или index.php, а показ списка файлов выключен, сервер отвечает 403 на адрес этой папки.
• Запрет в конфигурации: deny all в Nginx, правила в .htaccess, закрытый раздел админки.
• Блокировка по IP или стране. Сервер или защита от атак не пускает посетителей из определённых сетей и регионов.
• Антибот и WAF. Защита решила, что запрос пришёл от бота, и отказала. Под раздачу часто попадают и поисковые роботы.

Понять причину помогает лог ошибок сервера. В Nginx это выглядит так:

[error] directory index of "/var/www/site/catalog/" is forbidden
[error] open() "/var/www/site/index.html" failed (13: Permission denied)

Не путайте 403 с соседними кодами. 401 Unauthorized означает «нужно войти»: сервер просит авторизацию и после неё может пустить. 404 Not Found — страницы по адресу нет. 403 — страница есть, но доступа нет, и авторизация обычно не поможет.

Почему важно для SEO

Робот, получивший 403, не видит содержимое страницы и не может её проверить. Google обрабатывает коды 4xx, кроме 429, одинаково: такая страница выпадает из индекса, а новая в него не попадает. В отчёте Search Console об индексировании такие адреса собраны под отдельной причиной с кодом 403.

Самая неприятная ситуация — когда антибот или блокировка по User-Agent режет поисковых роботов на всём сайте. Для посетителей сайт работает, а страницы постепенно уходят из поиска. Ещё одна ловушка — отвечать роботам кодом 403, чтобы снизить нагрузку. Google прямо просит так не делать: для временного ограничения подходят 429 и 503, на них робот сбавляет темп обхода, а проиндексированные страницы какое-то время остаются в индексе.

Если 403 отдаёт сам robots.txt, Google считает, что ограничений на обход нет.

Частые ошибки

• После переноса на новый сервер файлы получили неправильные права, и часть сайта отдаёт 403.
• Защита от ботов блокирует Googlebot и YandexBot, потому что проверяет только частоту запросов.
• Закрытые разделы вроде личного кабинета стоят в sitemap и во внутренних ссылках.
• 403 используют для временного ограничения нагрузки вместо 429 или 503.
• Ошибку видят только из другой страны или сети, и владелец сайта её не замечает.

Как проверить

Отчёт об индексировании в Search Console и раздел о страницах в поиске в Яндекс.Вебмастере покажут адреса, которые роботы получили с кодом 403. Проверить, не блокирует ли защита роботов по User-Agent, можно запросом от имени робота:

curl -sS -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" https://example.ru/

Код ответа отдельного адреса покажет проверка кода ответа, а SEO Crawler при обходе сайта соберёт все страницы, которые отвечают 403.

Вывод

403 — сознательный отказ сервера, а не поломка страницы, и причину почти всегда ищут в правах, конфигурации или защите. Следите, чтобы под запрет попадали только закрытые разделы, а поисковые роботы получали открытые страницы с кодом 200.