Поиск n-грамм в тексте с учётом словоформ

Каскадный анализ повторяющихся фраз: сначала длинные, потом короткие. Учитывает словоформы русского языка.

Макс. длина n-граммы

Мин. повторов

Проверим повторы на всём сайте?

Пара минут — и увидите отчёт по каждой странице.

Или нужен взгляд SEO-специалиста? Оставить заявку →

Как работает каскадный поиск

Инструмент сначала ищет самые длинные повторяющиеся фразы, затем — среди оставшегося текста — фразы покороче, и в конце — отдельные слова. Если фраза «купить билет на самолёт» встретилась три раза, вы не увидите в результате отдельно «купить билет» или «билет на самолёт» — это те же самые вхождения, только урезанные. Смысл в том, чтобы выделить самую содержательную форму повтора, а не заваливать вас списком подстрок.

Что такое учёт словоформ

Прежде чем считать частотность, каждое слово приводится к начальной форме через морфологический анализатор. Формы «купить», «купил», «куплю», «купит» — это одна лемма «купить», и в статистике они складываются. Это принципиально отличается от простого посимвольного подсчёта: без лемматизации русский текст рассыпается на разрозненные словоформы, и вы видите шум вместо реальной картины повторов.

Частые вопросы

Что такое n-грамма?

Это последовательность из N слов, идущих подряд. Униграмма — одно слово, биграмма — два, триграмма — три. Анализ n-грамм показывает, какие фразы реально повторяются в тексте.

Что значит «учёт словоформ»?

Слова приводятся к начальной форме через морфоанализатор. «Купить», «купил», «куплю», «купит» — одна лемма «купить», и в статистике они складываются вместе.

Зачем нужен параметр «мин. повторов»?

Он отсекает фразы, встретившиеся один раз — они шумят и малополезны. Стандартное значение — 2: показываем только то, что реально повторяется.

Почему короткая фраза не показывается, если есть длинная?

Каскадный алгоритм: если длинная фраза уже покрыла эти вхождения, её подстроки не считаются отдельно. Иначе вы получили бы дублирующий список коротких кусков той же самой фразы.

Можно ли анализировать HTML-страницу?

Да, переключитесь на режим «Проверяем URL». Инструмент загрузит страницу, вырежет скрипты, стили и содержимое <noindex>, из оставшегося построит список n-грамм.

Полезные статьи

Плотность ключевых слов (1-gram, 2-gram, 3-gram) Чек-лист SEO-аудита: 20 пунктов