Шингл

Как работает

Shingle по-английски — черепица: соседние цепочки перекрываются, как черепица на крыше. Фраза «купить зимние шины в москве недорого» при длине шингла в три слова даёт четыре шингла:

купить зимние шины
зимние шины в
шины в москве
в москве недорого

Перед нарезкой текст нормализуют: приводят к одному регистру, убирают знаки препинания, иногда выбрасывают стоп-слова или приводят слова к начальной форме (лемматизация). Каждый шингл превращают в хэш — короткое число, которое сравнивать быстрее строки. Сходство двух документов считают по доле общих хэшей: если совпала половина шинглов, тексты наполовину одинаковы.

Метод описал Андрей Бродер в 1997 году, когда работал над поиском почти дубликатов для поисковой системы AltaVista. Для огромных коллекций сравнивают не все шинглы, а небольшую выборку, отобранную по хэшу: так поиск похожих среди миллионов страниц укладывается в разумное время.

Длина шингла — компромисс. Цепочки из двух-трёх слов случайно совпадают у разных текстов на общих оборотах. Длинные, в восемь-десять слов, рвутся от одной замены и пропускают пересказ. Длину подбирают под задачу и под то, что считается совпадением: дословная копия или близкий пересказ.

Почему важно для SEO

На шинглах и их развитиях построены поиск почти одинаковых страниц и проверка уникальности текста. Понимание механики объясняет, почему не работают приёмы «поднять процент». Перестановка абзацев не меняет шинглы внутри абзацев. Замена каждого пятого слова оставляет совпадающими цепочки между заменами. Подмена русских букв похожими латинскими ломает слова и для читателя, и для поиска, а многие проверки такую подмену замечают и помечают.

У метода есть пределы. Он видит совпадение слов, но не смысла. Глубокий рерайт, где изменены и слова, и порядок изложения, шинглами не ловится. Два независимых текста с общими терминами и шаблонными фразами, наоборот, дадут совпадения. Смысловую близость ищут другими способами, например через векторные представления текстов, которыми пользуются поисковики и языковые модели.

Частые ошибки

• Считать, что перестановка предложений или абзацев меняет уникальность.
• Ждать, что шинглы найдут пересказ другими словами.
• Сравнивать результаты проверок с разной длиной шингла и разной нормализацией.
• Принимать совпадения на цитатах, терминах и названиях за плагиат.

Как проверить

Вручную шинглы сравнивают разве что на учебном примере: разбейте две фразы на тройки слов и посчитайте общие. Для реальных текстов нужен сервис, который сам найдёт страницы для сравнения. Проверка уникальности SEO Crawler сверяет текст со страницами из выдачи и подсвечивает совпавшие фрагменты. Похожие страницы внутри своего сайта находит аудит.

Вывод

Шингл — простая единица сравнения текстов: цепочка из нескольких слов подряд. Метод хорошо ловит копии и частичные заимствования, но не пересказ, поэтому процент совпадений — повод посмотреть на подсвеченные фрагменты, а не окончательный вердикт.