Лемматизация

Как работает

Лемма — форма, под которой слово стоит в словаре: у существительного это именительный падеж единственного числа, у глагола — инфинитив, у прилагательного — именительный падеж мужского рода. Лемматизатор определяет часть речи и форму слова по словарю и правилам морфологии и возвращает лемму:

угловых диванов               →  угловой диван
купила, куплю, купим          →  купить
шёл, идём                     →  идти

Для русского языка распространены морфологические анализаторы Mystem, который разработал Яндекс, и pymorphy.

Стемминг решает ту же задачу грубее. Он не смотрит в словарь, а отрезает окончания и суффиксы по правилам: «диваны» и «диванов» превращаются в основу «диван». Это быстро, но там, где форма меняется внутри слова, стеммер бессилен: «шёл» и «идти» для него разные слова, а лемматизатор сведёт их к одному.

Слабое место лемматизации — омонимы. «Стали» может быть формой глагола «стать» и существительного «сталь», «мыла» — от «мыть» и «мыло», «печь» — и глагол, и существительное. Без учёта контекста анализатор выбирает самый вероятный разбор и иногда ошибается.

Почему важно для SEO

Поисковики давно понимают морфологию: запрос «купить угловой диван» находит страницы, где написано «угловые диваны купить». Поэтому и SEO-инструменты работают по леммам, иначе их цифры расходятся с тем, как текст видит поиск.

Плотность ключевых слов и повторы считают по леммам: «диван», «дивана» и «диваны» — одно слово. Без этого текст, где ключ повторяется в пяти разных падежах, выглядит чистым, хотя читателю переспам очевиден.

В работе с семантикой лемматизация находит неявные дубли. «Диван угловой купить» и «купить угловые диваны» после приведения к леммам совпадают по набору слов: это одна и та же фраза в разных формулировках, и в ядре достаточно одной. Набор лемм помогает и предварительно сгруппировать запросы перед кластеризацией по выдаче.

Частые ошибки

• Считают плотность и повторы по точным словоформам, и переспам в разных падежах остаётся незамеченным.
• Сливают омонимы: «стали» про металл и «стали» от глагола попадают в одну строку статистики.
• Используют стемминг там, где нужна точность, и теряют связь между формами вроде «шёл» и «идти».
• Склеивают запросы в дубли только по набору лемм, не глядя на смысл: у «билеты москва париж» и «билеты париж москва» леммы одинаковые, а направления разные.

Как проверить

Бесплатный инструмент N-граммы ищет повторы в тексте с учётом словоформ: «купить», «купил» и «куплю» он считает одним словом. Если повторы, которые вы видите глазами, в отчёте другого сервиса раскиданы по нескольким строкам, этот сервис считает по словоформам, а не по леммам.

Вывод

Лемматизация сводит все формы слова к одной и делает подсчёты по тексту похожими на то, как его понимает поиск. Пользуйтесь ей при анализе плотности, повторов и семантики, но проверяйте омонимы и запросы, где смысл задаёт порядок слов.