Проверка robots.txt онлайн

Robots.txt: что это такое и как влияет на SEO

Robots.txt — один из базовых файлов технического SEO. Он управляет краулингом: какие разделы робот обходит, а какие пропускает. Ошибка в одной строке может закрыть важные страницы от обхода и повлиять на видимость сайта.

Критическая ошибка: Disallow: /

Если правило Disallow: / стоит в группе User-agent: * или у нужного бота, краулинг всего сайта блокируется. Такое часто случается после переноса проекта с тестовой среды. Этот пункт стоит проверять в первую очередь.

Не блокируйте служебные ресурсы без причины

Если закрыть CSS и JavaScript, робот может увидеть страницу не так, как пользователь. Из-за этого страница индексируется хуже и появляются ложные проблемы в рендеринге. Поэтому пути к стилям и скриптам обычно оставляют открытыми.

Sitemap в robots.txt

Директива Sitemap: помогает поисковым системам быстрее найти карту сайта. Это особенно полезно, если sitemap лежит не по стандартному адресу. Лучше указывать полный URL карты прямо в robots.txt.

Crawl-delay и краулинговый бюджет

Crawl-delay работает в Яндексе, но обычно игнорируется Google. Если поставить слишком большую паузу, переобход сайта заметно замедлится. Используйте эту директиву аккуратно, особенно на крупных и часто обновляемых проектах.

Robots.txt и noindex — это не одно и то же

Robots.txt управляет обходом, а тег noindex управляет попаданием страницы в индекс. Если важно именно убрать страницу из поиска, одного запрета в robots.txt может быть недостаточно. Всегда разделяйте эти задачи при настройке.