Закон Ципфа

Как работает

Закономерность связана с именем американского лингвиста Джорджа Ципфа, который описал её в работах 1930–1940-х годов. Если обозначить место слова в частотном списке как r, а его частоту как f, то f ≈ C / r, где C — постоянная для данного текста. Произведение частоты на место у первых слов списка получается примерно одинаковым.

Удобнее всего это видно на графике в логарифмических координатах: по оси X — логарифм места, по оси Y — логарифм частоты. Для большого естественного текста точки ложатся почти на прямую линию с наклоном около −1. Отклонения есть в самом начале и в длинном хвосте редких слов, поэтому Бенуа Мандельброт позже предложил уточнённую формулу с дополнительными параметрами — её называют законом Ципфа — Мандельброта.

Вверху списка в русском тексте обычно стоят служебные слова: «и», «в», «не», «на». Значимые слова темы идут ниже, а длинный хвост составляют слова, которые встретились один-два раза. Похожие распределения находят далеко за пределами языка, например в размерах городов страны.

Почему важно для SEO

Закон Ципфа используют как один из способов оценить «естественность» текста. В тексте, который писали для людей, значимые слова распределены плавно. В переспамленном тексте ключевое слово поднимается в частотном списке гораздо выше, чем ему положено, и выбивается из кривой. Это заметно без всяких процентов плотности — достаточно увидеть, что слово «купить» стоит на одной ступени с предлогами.

Поисковики не подтверждали, что используют закон Ципфа в ранжировании, поэтому подгонять текст под идеальную кривую бессмысленно. Это инструмент самопроверки, такой же, как плотность ключевых слов и TF-IDF.

У метода есть ограничения. На коротком тексте статистики мало: в карточке товара на 150 слов почти все значимые слова встречаются по одному разу, и кривая ничего не говорит. Закон описывает форму распределения, но не смысл: текст из случайных слов с правильными частотами пройдёт проверку. Учебный или терминологический текст законно отклоняется от кривой, потому что термины в нём повторяются часто.

Частые ошибки

• Проверять по Ципфу короткие тексты, где статистики недостаточно.
• Считать отклонение от кривой доказательством переспама без чтения текста.
• Подгонять частоты слов под формулу и портить текст.
• Сравнивать кривые текстов разного жанра и объёма.

Как проверить

Частотный список можно получить небольшим скриптом:

from collections import Counter
import re

text = open("article.txt", encoding="utf-8").read()
words = re.findall(r"[а-яё]+", text.lower())
for rank, (word, freq) in enumerate(Counter(words).most_common(15), 1):
    print(rank, word, freq, rank * freq)

Если в последней колонке у верхних слов значения близки, распределение похоже на ципфовское. Если ключевое слово стоит заметно выше, чем ему положено по смыслу, текст стоит перечитать. Повторы слов и фраз с учётом словоформ покажет SEO-анализ текста SEO Crawler.

Вывод

Закон Ципфа описывает, как распределены частоты слов в естественном языке. Для SEO это способ заметить переспам на длинных текстах, а не норма, под которую нужно подгонять каждую страницу.