Сайт не обходится

Сервер отклоняет запросы от краулера. Это может быть сделано намеренно (WAF, CDN-правила, Cloudflare Bot Management) или случайно (неверная настройка прав).

Признак: в столбце «Код» в таблице результатов стоит 403.

Частые причины:

• Cloudflare или другой WAF блокирует автоматические запросы
• Сайт требует авторизации для просмотра страниц
• IP-адрес сервера заблокирован
• Геоблокировка (сайт доступен только из определённых стран)

Решение: проверьте, открывается ли URL в браузере без авторизации. Если нет — краулер не сможет обойти защищённый контент.

Код 429 Too Many Requests означает, что сервер временно ограничил доступ. Краулер делает паузу между запросами (минимум 0,5 сек), но некоторые сайты имеют более строгие ограничения.

Решение: если сайт имеет директиву Crawl-delay в robots.txt — краулер её соблюдает. Если сайт всё равно блокирует — уменьшите Макс. страниц при создании задачи, чтобы снизить нагрузку.

SEO Crawler загружает HTML-ответ сервера напрямую, без выполнения JavaScript. Если сайт построен на React, Vue, Angular или других SPA-фреймворках и рендерит контент на клиенте — краулер увидит пустую страницу или минимальный HTML.

Признаки:

• Title и H1 пустые, хотя в браузере они есть
• Количество слов = 0 или очень мало
• Внутренних ссылок 0, хотя навигация присутствует

Решение: для SPA-сайтов настройте Server-Side Rendering (SSR) или Static Site Generation (SSG). Это полезно не только для краулера, но и для индексации в Google и Яндексе.

Краулер ждёт ответа максимум 10 секунд. Если сервер не ответил за это время — страница помечается как ошибка «Сервер не ответил вовремя (таймаут)».

Решение:

• Проверьте TTFB сайта — если он регулярно превышает 3–4 секунды, это проблема сервера
• Попробуйте запустить обход в нерабочее время (ночью), когда нагрузка ниже
• Убедитесь, что сервер не перегружен параллельными запросами

Краулер следует редиректам автоматически (301, 302, 307, 308), но если возникает петля или редиректов слишком много — соединение прерывается с ошибкой Too many redirects.

Признак: ошибка в столбце «Ошибка» содержит текст Too many redirects.

Решение: проверьте настройки редиректов на сервере (Nginx, Apache) и в CMS.

Если у сайта истёкший, самоподписанный или неверно настроенный SSL-сертификат — краулер не сможет установить HTTPS-соединение.

Признак: ошибка «Не удалось проверить SSL-сертификат сайта».

Решение: обновите SSL-сертификат. Проверить можно через SSL Labs.

Если домен не существует, не привязан к IP или DNS-записи не распространились — краулер не сможет подключиться к серверу.

Признак: ошибка «Не удалось найти сервер — проверьте домен».

Решение: проверьте DNS-настройки домена. Распространение DNS может занимать до 48 часов после изменений.

Если главная страница или большинство страниц содержат <meta name="robots" content="nofollow"> или <meta name="robots" content="none"> — краулер не будет переходить по ссылкам с этих страниц.

Аналогично, ссылки с атрибутом rel="nofollow" не добавляются в очередь.

Как проверить: посмотрите столбец «Robots» в таблице результатов.

Из соображений безопасности краулер блокирует запросы к внутренним адресам:

• localhost, 127.x.x.x
• Приватные диапазоны: 192.168.x.x, 10.x.x.x, 172.16–31.x.x
• AWS/GCP metadata: 169.254.169.254, metadata.google.internal

Это стандартная SSRF-защита. Для проверки локальных сайтов используйте инструменты вроде ngrok для публичного туннеля.