TF-IDF

Как работает

Аббревиатура складывается из двух частей. TF (term frequency) — частота слова в самом документе: чем чаще термин встречается на странице, тем он для неё, вероятно, важнее. IDF (inverse document frequency) — обратная частота по коллекции: чем в большем числе документов слово встречается, тем оно менее показательно. Итоговый вес — произведение двух величин.

TF   = вхождения слова / всего слов в документе
IDF  = log(всего документов / документов со словом)
TF-IDF = TF × IDF

Предлоги и слова-связки («и», «в», «на») встречаются в каждом документе, поэтому их IDF почти нулевой — высокий вес они не набирают. А термин, который часто повторяется на конкретной странице, но редок в коллекции, набирает большой TF-IDF — именно он характеризует тему документа.

Почему важно для SEO

Прямого фактора TF-IDF в алгоритмах Google и Яндекса нет, а классическая модель — лишь предшественник современных, которые давно перешли к векторным представлениям и оценке смысла. Но метрика остаётся рабочим инструментом текстового анализа.

На практике TF-IDF используют для сравнения своей страницы с лидерами выдачи. Сервис берёт топ по запросу, считает, какие термины у конкурентов имеют высокий вес, и показывает, каких значимых слов не хватает вашему тексту. Это помогает раскрыть тему полнее — добавить релевантные термины, а не просто повторить основной ключ. В отличие от плотности, TF-IDF учитывает не одно слово, а весь тематический словарь страницы, и в отличие от LSI не про синонимы, а про статистическую значимость терминов.

Границы метода стоит оценивать трезво. TF-IDF считает слова как отдельные токены и не понимает смысла: он не отличит омонимы и не увидит связи между близкими понятиями, которые улавливают современные модели. Поэтому отчёт TF-IDF — это подсказка о возможных пробелах в теме, а не список обязательных правок. Решение, какие термины действительно уместны, остаётся за автором, который знает предмет.

На практике отчёт TF-IDF удобнее воспринимать как чек-лист тем, а не как список обязательных слов. Он подсказывает, какие смежные понятия конкуренты раскрывают, а ваша страница обходит стороной, — и дальше автор решает, уместно ли добавить их по существу. Механически вписанные термины из отчёта скорее навредят: они ломают логику текста, а современные модели всё равно оценивают связность изложения, а не наличие отдельных слов.

Частые ошибки

• TF-IDF воспринимают как прямой фактор ранжирования и подгоняют текст под цифры.
• Механически добавляют «недостающие» термины из отчёта, ломая читаемость и логику.
• Сравнивают документ с нерелевантной выборкой — берут топ по другому интенту.
• Путают TF-IDF с плотностью: считают вхождения одного ключа вместо анализа всего словаря.
• Считают термин важным по одному TF, забывая про IDF, — и переоценивают общеупотребимые слова.

Как проверить

TF-IDF-анализ делают в специализированных сервисах — «Мегаиндекс», Text.ru, зарубежные Surfer или Clearscope. Они сравнивают текст с топом выдачи и выдают список терминов с их весом и рекомендации, что добавить. Прямых данных TF-IDF в Google Search Console или Яндекс.Вебмастере нет — это внешняя аналитика.

SEO Crawler в аудите оценивает текстовую часть страниц: объём контента, заполненность Title, Description и заголовков, наличие тонких страниц с бедным текстом. Такой обзор помогает отобрать страницы, которым не хватает раскрытия темы, — их и стоит прогнать через TF-IDF-анализ.

Вывод

TF-IDF — не фактор ранжирования, а инструмент, который показывает, какими терминами тема раскрывается полнее конкурентов. Используйте его для расширения словаря страницы осмысленно, сохраняя читаемость, а не для подгонки текста под числовые ориентиры.