Проверка контента в SEO Crawler

Thin content, количество слов, глубина страниц — где смотреть в отчёте и как выгрузить проблемы для правок

SEO Crawler смотрит на контент страницы с трёх сторон: сколько в ней слов содержательного текста, попадает ли она в тонкий контент (наш порог — меньше 200 слов, одинаковый в отчёте и экспортах) и насколько глубоко она лежит от стартовой страницы обхода. Эти три проверки собраны на вкладке «Контент» отчёта и дают быстрый ответ на вопрос, какие страницы сайта поисковику нечего показывать в выдаче.

Что считает контент SEO Crawler

Краулер получает финальный HTML страницы (после редиректов, но без исполнения JavaScript) и парсит его через BeautifulSoup. Чтобы word_count отражал реальный контент, а не все подряд слова из разметки, мы вычищаем «шумные» теги перед подсчётом.

Исключаем из подсчёта полностью:

• <script> — JavaScript-код;
• <style> — CSS-стили внутри HTML;
• <noscript> — fallback для браузеров без JS;
• <nav> — навигационные блоки (главное меню, хлебные крошки в виде nav);
• <header> — шапку сайта;
• <footer> — подвал с копирайтом и ссылками;
• <aside> — боковые панели, сайдбары, виджеты.

Считаем: весь видимый текст внутри <body>, который не находится в перечисленных выше тегах. То есть заголовки, параграфы, списки, ячейки таблиц, цитаты, содержимое <section>, <article> и <main> — всё это идёт в word_count. Атрибуты (alt, title, placeholder) не учитываются.

Алгоритм: достаём все текстовые узлы из body, для каждого проверяем цепочку родителей — если хоть один родитель из списка noise-тегов, узел пропускаем. Оставшиеся склеиваем через пробел и считаем len(text.split()). Получается честная оценка «содержательного» объёма: шапка и подвал, одинаковые на всех страницах сайта, word_count не раздувают.

Thin content — какой порог используем

В SEO Crawler один порог тонкого контента — меньше 200 слов (условие 0 < word_count < 200). Он одинаковый в интерфейсе аудита (карточка «Тонкий контент (<200)» на вкладке «Контент»), на листе Thin content в XLSX и в PDF-отчёте, поэтому число тонких страниц везде совпадает.

Почему 200. Ниже этого объёма страница почти гарантированно не отвечает на запрос — это «явные заглушки», которые стоит закрыть в первую очередь. Порог проверки не означает, что 200 слов достаточно: если хотите поднять каждый URL до полноценного уровня, для статей и категорий ориентируйтесь на 300+ слов и на объём текста у конкурентов в выдаче.

Почему тонкий контент — проблема

• Фильтры качества поисковиков. Когда доля тонких страниц на сайте большая (например, 40% и выше), весь домен получает пессимизацию — у Google это наследие Panda, сейчас часть основного алгоритма. Яндекс использует похожие фильтры качества.
• Релевантность запросу. 100 слов недостаточно, чтобы поисковик понял, по какому запросу ранжировать страницу. Она оказывается «ни о чём конкретно».
• Поведенческие факторы. Пользователь открывает страницу, видит 50 слов и уходит. Короткая сессия, высокий bounce rate, нулевая глубина просмотра — сигнал поисковику, что страница не решает задачу.

Что делать с thin content

1. Дополнить. Самый очевидный путь: написать или сгенерировать описание до 300+ слов. Для карточек товаров — шаблон с подстановкой характеристик. Для категорий — вводный блок с объяснением, что здесь за товары и как их выбирать. Структуру заголовков проверьте в анализаторе заголовков.
2. Объединить. Если у вас 10 тонких страниц про одно и то же (например, 10 отдельных SKU одного товара в разных цветах) — объедините в одну страницу с выбором варианта. Поисковику одна полноценная страница ценнее, чем десять заглушек.
3. Закрыть от индексации. Страницы-фильтры, технические URL, «спасибо за покупку» — им не место в индексе. Поставьте <meta name="robots" content="noindex">. Как это проверить в аудите — в статье Meta-теги и OG.
4. Удалить. Если страница не несёт никакой ценности и не генерирует трафик — просто удалите и настройте 301 на ближайшую релевантную категорию.

Количество слов на странице

Даже когда страница не попала в thin content, значение word_count полезно: по нему видно, какие разделы сайта «пустоваты» относительно остальных. В интерфейсе аудита мы не выводим колонку с точным числом слов — чтобы получить развёрнутую картину, выгрузите XLSX, откройте лист All pages и отсортируйте по word_count.

Типовые задачи, для которых удобно смотреть word_count:

• Найти «тихих» середнячков. Страницы с 200–500 словами формально не thin, но часто это ровно те URL, которым не хватает контента, чтобы конкурировать в выдаче. Усилили их — получили рост без необходимости делать новые страницы.
• Сравнить разделы. Если в разделе /articles/ среднее word_count 1200, а в /catalog/category/ — 80, это сигнал, что категории нужно доработать до уровня статей.
• Проверить результат после переписки. Запустили обход до и после правок — средний word_count по сайту должен вырасти.

Глубина страницы (click depth)

Глубина — это минимальное число кликов от стартового URL обхода до данной страницы. Краулер идёт в ширину (BFS), поэтому depth получается именно кратчайшим расстоянием в графе внутренних ссылок. Главная — глубина 0, страницы в главном меню — глубина 1, статьи внутри категории — 2–3, и так далее. В отчёте depth показывается в мини-таблице «Самые медленные страницы» (колонка Глуб.) и в полной выгрузке XLSX на листе All pages.

Почему глубина важна

• Crawl budget. У поисковиков ограниченный бюджет на обход каждого сайта. Страницы глубже 4 уровня обходятся реже или не обходятся совсем — особенно на больших каталогах. Чем быстрее ботам добраться до URL, тем выше шанс его проиндексировать и переиндексировать после обновлений.
• Передача PageRank. С каждым уровнем вложенности внутренний вес «разбавляется» — он распределяется между всеми исходящими ссылками страницы. К пятому уровню ссылочный вес, доставшийся странице, близок к нулю, если только на неё не ссылаются извне структуры (например, из статьи блога на URL категории).
• Пользовательский опыт. Если до страницы нужно 5+ кликов, пользователь туда физически не доберётся. Ни поведенческие метрики, ни конверсия такой URL не спасут.

Дубли текста — это мы не проверяем

Честный ответ: на этом шаге SEO Crawler не сравнивает тексты страниц между собой. Чтобы найти реальные дубли n-gram-ами или через shingle-хеши, нужен отдельный индекс всего сайта и специализированный алгоритм — это задача инструментов вроде Siteliner, Copyscape или text.ru.

Что мы делаем и что даёт косвенный сигнал по дублям контента:

• Дубли title. Если десять URL имеют один и тот же title «Купить диван» — с большой вероятностью описания там тоже идентичные. Проверяется на вкладке «Контент» → карточка «Дубли title».
• Дубли H1. То же самое — одинаковые H1 почти всегда означают, что страницы получены из одного шаблона и отличаются только URL.
• Canonical. Страницы с одинаковым canonical-ом поисковик склеит, и это ок — подробнее в справке про ссылки и canonical.

Если нужно именно сравнить тексты — выгрузите XLSX с полным списком URL, пройдитесь внешним инструментом на shingle-анализ и уже по его результатам возвращайтесь к структуре.

Экспорт контентных проблем в XLSX

Кнопка XLSX в правом верхнем углу отчёта собирает все найденные проблемы в Excel-файл. По теме контента полезны такие листы:

Практика: откройте All pages в Excel, отсортируйте по word_count по возрастанию, фильтром оставьте status_code = 200 — получите ранжированный список кандидатов на дополнение. Вторым фильтром поставьте depth > 3 — и сразу увидите самые «пыльные углы» сайта, где тонкий контент комбинируется с высокой глубиной. Такие URL имеет смысл либо серьёзно дорабатывать, либо закрывать noindex, либо удалять.

Подробнее обо всех листах и форматах — в разделе Экспорт CSV / XLSX / PDF.

Что делать после правок

После того как вы дописали описания, добавили вводные блоки в категории и переструктурировали меню — запустите повторный обход в SEO Crawler и сравните цифры с предыдущим отчётом. Смотрите три показателя:

1. Число страниц в «Thin content». Должно уменьшиться. Если не уменьшилось — значит, добавленный текст не попал в word_count (вероятно, подгружается JS — см. callout выше).
2. Средний word_count по сайту. Считается из All pages: сумма word_count делённая на число URL со статусом 200. Средний объём должен вырасти.
3. Максимальная глубина. Если реструктурировали меню — максимальный depth должен уменьшиться. Идеально: все важные разделы на глубине <= 3.

Если подключён тариф Pro, сравнение двух обходов делает отдельный инструмент — он покажет дельту по каждому URL и сам подсветит страницы, где word_count вырос или упал. Удобно для отчётов клиенту и себе на будущее.

Частые вопросы