Проверка robots.txt онлайн

Robots.txt: что это такое и как влияет на SEO

Robots.txt — первое, что проверяет поисковый робот при заходе на сайт. Ошибки в этом файле могут полностью остановить индексацию или скрыть важные страницы от Google и Яндекса. При этом файл читается без авторизации и виден всем — включая конкурентов.

Критические ошибки, которые нужно исправить сразу

Самая опасная ошибка — Disallow: / для Googlebot или *. Она блокирует весь сайт. Часто появляется при копировании robots.txt с тестового домена на боевой. Проверьте ваш файл прямо сейчас — особенно если вы недавно переносили сайт.

Что нельзя блокировать в robots.txt

Блокировка CSS и JavaScript файлов в robots.txt была распространённой практикой несколько лет назад. Сегодня это ошибка: Google рендерит страницы как браузер, и если он не может загрузить стили или скрипты — страница будет оценена ниже. Никогда не добавляйте в Disallow пути к /css/, /js/, /static/, /wp-includes/.

Sitemap в robots.txt

Укажите путь к карте сайта директивой Sitemap: — это ускоряет обнаружение новых страниц поисковыми системами. Яндекс и Google автоматически читают эту директиву. Это особенно важно для сайтов с нестандартным расположением sitemap.xml.

Crawl-delay и краулинговый бюджет

Директива Crawl-delay поддерживается Яндексом, но не Google. Значение выше 5 секунд критично замедляет переобход сайта. На большом сайте (10 000+ страниц) высокий Crawl-delay означает, что часть страниц может не переобходиться неделями. Если вам нужно ограничить нагрузку от Яндексбота — используйте настройки в Яндекс.Вебмастере.

Разница robots.txt и тега noindex

Robots.txt запрещает краулинг, но не удаляет страницы из индекса — если на них ведут внешние ссылки, они могут оставаться в поиске без контента. Тег <meta name="robots" content="noindex"> исключает страницу из индекса, но не запрещает краулинг. Для полного исключения нужны оба инструмента.