Индекс совпадения - Википедия - Index of coincidence

Эта статья включает в себя список общих Рекомендации, но он остается в основном непроверенным, потому что ему не хватает соответствующих встроенные цитаты. Пожалуйста, помогите улучшать эта статья введение более точные цитаты. (Март 2009 г.) (Узнайте, как и когда удалить этот шаблон сообщения)

В криптография, подсчет совпадений это техника (изобретенная Уильям Фридман^[1]) размещения двух текстов рядом и подсчета количества раз, когда одинаковые буквы появляются в одном и том же месте в обоих текстах. Это количество, либо как отношение к общему количеству, либо нормализованное путем деления на ожидаемое количество для модели случайного источника, известно как индекс совпадения, или же IC для краткости.

Потому что буквы на естественном языке не распределены равномерно, IC для таких текстов выше, чем для однородно случайных текстовых строк. Что делает IC особенно полезным, так это то, что ее значение не меняется, если оба текста зашифрованы одним и тем же алфавитом. подстановочный шифр, что позволяет криптоаналитику быстро обнаруживать эту форму шифрования.

Расчет

Индекс совпадения дает меру вероятности нарисовать две совпадающие буквы путем случайного выбора двух букв из заданного текста. Шанс нарисовать данную букву в тексте равен (количество раз, когда эта буква появляется / длина текста). Шанс нарисовать ту же букву снова (без замены) равен (появления - 1 / длина текста - 1). Произведение этих двух значений дает вам возможность нарисовать эту букву дважды подряд. Можно найти этот продукт для каждой буквы, которая появляется в тексте, а затем суммировать эти продукты, чтобы получить шанс нарисовать два одинаковых. Затем эту вероятность можно нормализовать, умножив ее на некоторый коэффициент, обычно 26 в английском языке.

${ displaystyle mathbf {IC} = c times left ({ left ({{ frac {n _ { mathrm {a}}} {N}} times { frac {n _ { mathrm {a}) } -1} {N-1}}} right) + left ({{ frac {n _ { mathrm {b}}} {N}} times { frac {n _ { mathrm {b}}) -1} {N-1}}} right) + ... + left ({{ frac {n _ { mathrm {z}}} {N}} times { frac {n _ { mathrm { z}} -1} {N-1}}} right)} right)}$

Где c - нормирующий коэффициент (26 для английского языка), п_а - это количество раз, когда буква "а" встречается в тексте, и N длина текста.

Мы можем выразить индекс совпадения IC для данного частотно-буквенного распределения в виде суммы:

${ displaystyle mathbf {IC} = { frac { displaystyle sum _ {i = 1} ^ {c} n_ {i} (n_ {i} -1)} {N (N-1) / c} }}$

куда N длина текста и п₁ через п_c являются частоты (как целые числа) c буквы алфавита (c = 26 для моноблока английский ). Сумма п_я обязательно N.

Продукты п(п−1) подсчитать количество комбинации из п элементы взяты по два за раз. (На самом деле это учитывает каждую пару дважды; дополнительные множители 2 встречаются как в числителе, так и в знаменателе формулы и, таким образом, сокращаются.) п_я появления я-я буква соответствует каждой из оставшихся п_я−1 появления той же буквы. Всего есть N(N−1) пары букв во всем тексте и 1 /c вероятность совпадения для каждой пары, предполагая, что случайный распределение символов («нулевая модель»; см. ниже). Таким образом, эта формула дает отношение общего количества наблюдаемых совпадений к общему количеству совпадений, которое можно было бы ожидать от нулевой модели.^[2]

Ожидаемое среднее значение для IC может быть вычислено из относительных частот букв. ж_я исходного языка:

${ Displaystyle mathbf {IC} _ { mathrm {ожидаемый}} = { гидроразрыва { displaystyle sum _ {я = 1} ^ {c} {f_ {i}} ^ {2}} {1 / c }}.}$

Я упал c буквы алфавита были равновероятными, ожидаемый индекс был бы 1.0. Фактическая монографическая IC для телеграфный Английский текст составляет около 1,73, что отражает неровность естественный язык рассылки писем.

Иногда значения указываются без нормализующего знаменателя, например 0.067=1.73/26 для английского; такие значения можно назвать κ_п ("каппа-открытый текст"), а не IC, с κ_р («каппа-случайный») используется для обозначения знаменателя 1/c (что является ожидаемой частотой совпадений для равномерного распределения одного и того же алфавита, 0.0385=1/26 для английского).

Заявление

Индекс совпадения полезен как при анализе естественный язык простой текст и при анализе зашифрованный текст (криптоанализ ). Даже когда для тестирования доступен только зашифрованный текст, а идентификаторы букв открытого текста замаскированы, совпадения в зашифрованном тексте могут быть вызваны совпадениями в базовом открытом тексте. Этот метод используется для криптоанализ в Шифр Виженера, Например. Для повторяющегося ключа полиалфавитный шифр организованы в матрицу, частота совпадений в каждом столбце обычно будет максимальной, когда ширина матрицы кратна длине ключа, и этот факт можно использовать для определения длины ключа, что является первым шагом во взломе системы. .

Подсчет совпадений может помочь определить, когда два текста написаны на одном языке с использованием одного и того же алфавит. (Этот метод использовался для проверки предполагаемых Библейский код ). В причинный количество совпадений для таких текстов будет заметно выше, чем случайный подсчет совпадений для текстов на разных языках, текстов, использующих разные алфавиты, или бессмысленных текстов.

Чтобы понять, почему, представьте «алфавит» только из двух букв A и B. Предположим, что в нашем «языке» буква A используется в 75% случаев, а буква B - в 25% случаев. Если два текста на этом языке положить рядом, то можно ожидать следующих пар:

В целом вероятность «совпадения» составляет 62,5% (56,25% для AA + 6,25% для BB).

Теперь рассмотрим случай, когда обе сообщения шифруются с использованием простого одноалфавитного подстановочный шифр который заменяет A на B и наоборот:

Общая вероятность совпадения в этой ситуации составляет 62,5% (6,25% для AA + 56,25% для BB), точно так же, как и для случая незашифрованного «открытого текста». По сути, новый алфавит, полученный в результате подстановки, представляет собой просто единообразное переименование исходных идентификаторов символов, которое не влияет на их соответствие.

Теперь предположим, что только один сообщение (скажем, второе) шифруется с использованием того же шифра подстановки (A, B) → (B, A). Теперь можно ожидать следующих пар:

Сейчас вероятность совпадения составляет всего 37,5% (18,75% для AA + 18,75% для BB). Это заметно ниже, чем вероятность, когда использовались тексты на одном языке и на одном алфавите. Очевидно, совпадения более вероятны, когда наиболее часто встречающиеся буквы в каждом тексте совпадают.

Тот же принцип применим к реальным языкам, таким как английский, потому что определенные буквы, такие как E, встречаются гораздо чаще, чем другие буквы - факт, который используется в частотный анализ из подстановочные шифры. Например, совпадения с буквой E относительно вероятны. Поэтому при сравнении любых двух английских текстов количество совпадений будет выше, чем при использовании английского текста и текста на иностранном языке.

Легко представить, что этот эффект может быть незаметным. Например, у похожих языков будет больше совпадений, чем у разных языков. Кроме того, нетрудно сгенерировать случайный текст с частотным распределением, подобным реальному тексту, искусственно увеличивая количество совпадений. Тем не менее, этот метод можно эффективно использовать для определения того, когда два текста могут содержать значимую информацию на одном языке с использованием одного и того же алфавита, для обнаружения периодов для повторяющихся ключей и для выявления многих других видов неслучайных явлений внутри или среди шифртекстов.

Ожидаемые значения для разных языков^[3] находятся:

Обобщение

Вышеприведенное описание представляет собой лишь введение в использование индекса совпадения, которое связано с общей концепцией корреляция. Были разработаны различные формы индекса совпадения; "Дельта" I.C. (заданный формулой выше) фактически измеряет автокорреляция единственного распределения, тогда как "каппа" I.C. используется при сопоставлении двух текстовых строк.^[4] Хотя в некоторых приложениях постоянные факторы, такие как ${ displaystyle c}$ и ${ displaystyle N}$ можно игнорировать, в более общих ситуациях действительно индексация каждый I.C. против ожидаемой стоимости нулевая гипотеза (обычно: отсутствие совпадений и равномерное случайное распределение символов), так что в любой ситуации ожидаемое значение для отсутствия корреляции - 1.0. Таким образом, любая форма I.C. может быть выражено как отношение количества реально наблюдаемых совпадений к количеству ожидаемых совпадений (согласно нулевой модели) с использованием конкретной тестовой установки.

Из вышеизложенного легко видеть, что формула для каппа I.C. является

${ displaystyle mathbf {IC} = { frac { displaystyle sum _ {j = 1} ^ {N} [a_ {j} = b_ {j}]} {N / c}},}$

куда ${ displaystyle N}$ это общая выровненная длина двух текстов А и B, а член в квадратных скобках определяется как 1, если ${ displaystyle j}$-я буква текста А соответствует ${ displaystyle j}$-я буква текста B, в противном случае 0.

Родственная концепция, «выпуклость» распределения, измеряет несоответствие между наблюдаемыми I.C. и нулевое значение 1.0. Количество шифровальных алфавитов, используемых в полиалфавитный шифр можно оценить, разделив ожидаемую выпуклость дельты I.C. для одного алфавита по наблюдаемой выпуклости для сообщения, хотя во многих случаях (например, когда повторяющийся ключ был использован) доступны лучшие методы.

Пример

В качестве практической иллюстрации использования I.C. предположим, что мы перехватили следующее сообщение зашифрованного текста:

QPWKA LVRXC QZIKG RBPFA EOMFL JMSDZ VDHXC XJYEB IMTRQ WNMEAIZRVK CVKVL XNEIC FZPZC ZZHKM LVZVZ IZRRQ WDKEC HOSNY XXLSPMYKVVQ XJTDC IOMEE XD

(Группировка на пять символов - это просто телеграфный соглашения и не имеет ничего общего с реальной длиной слова.) Подозревая, что это английский открытый текст, зашифрованный с использованием Шифр Виженера с обычными компонентами A – Z и коротким повторяющимся ключевым словом мы можем считать, что зашифрованный текст «уложен» в некоторое количество столбцов, например семь:

QPWKALVRXCQZIKGRBPFAEOMFLJMSDZVDHXCXJYEBIMTRQWN…

Если размер ключа оказался таким же, как и предполагаемое количество столбцов, тогда все буквы в одном столбце будут зашифрованы с использованием одной и той же ключевой буквы, в сущности, простой Шифр цезаря применяется к случайному выбору английских символов открытого текста. Соответствующий набор букв зашифрованного текста должен иметь шероховатость распределения частот, аналогичную английскому, хотя идентичности букв были переставлены (сдвинуты на постоянную величину, соответствующую ключевой букве). Следовательно, если мы вычислим совокупную дельту I.C. для всех столбцов («дельта-бар») он должен быть около 1,73. С другой стороны, если мы неправильно угадали размер ключа (количество столбцов), совокупная дельта I.C. должно быть около 1,00. Итак, мы вычисляем дельта I.C. для предполагаемых размеров ключей от одного до десяти:

Мы видим, что размер ключа, скорее всего, пять. Если фактический размер равен пяти, мы ожидаем, что ширина в десять также будет сообщать о высоком внутреннем значении, поскольку каждый из его столбцов также соответствует простому шифрованию Цезаря, и мы подтверждаем это, поэтому мы должны сложить зашифрованный текст в пять столбцов:

QPWKALVRXCQZIKGRBPFAEOMFLJMSDZVDH…

Теперь мы можем попытаться определить наиболее вероятную ключевую букву для каждого столбца, рассматриваемого отдельно, выполнив пробную расшифровку Цезаря всего столбца для каждой из 26 вариантов A – Z для ключевой буквы и выбрав ключевую букву, которая дает самую высокую корреляцию. между частотами расшифрованных букв столбца и относительной частота букв для обычного английского текста. Эту корреляцию, о нормализации которой нам не нужно беспокоиться, можно легко вычислить как

${ displaystyle mathbf { chi} = sum _ {i = 1} ^ {c} n_ {i} f_ {i}}$

куда ${ displaystyle n_ {i}}$ наблюдаемые частоты букв столбца и ${ displaystyle f_ {i}}$ - относительная частота букв для английского языка. Когда мы пытаемся это сделать, наиболее подходящими ключевыми буквами будут "КАЖДЫЙ, "которое мы распознаем как реальное слово, и используя его для дешифрования Виженера, получаем открытый текст:

MUSTC HANGE MEETI NGLOCATION FROMB RIDGE TOUND ERPAS SSINC EENEM YAGEN TSARE BELIE VEDTO HAVEB EENAS SIGNE DTOWA TCHBR IDGES TOPME ETING TIMEU NCHAN GEDXX

из которого получают:

НЕОБХОДИМО ИЗМЕНИТЬ МЕСТО ВСТРЕЧИ С МОСТА НА ВРАГОВЫЕ АГЕНТЫ, ПРЕДНАЗНАЧЕННЫЕ ДЛЯ СМОТРЕНИЯ НА МОСТЕ ОСТАНОВИТЬ ВРЕМЯ ВСТРЕЧИ НЕ ИЗМЕНЕНО XX

после восстановления разделения слов на очевидных позициях. "XX"очевидно" нулевые символы, используемые для дополнения последней группы для передачи.

Всю эту процедуру можно легко упаковать в автоматизированный алгоритм взлома таких шифров. Из-за нормальных статистических колебаний такой алгоритм иногда будет делать неправильный выбор, особенно при анализе коротких сообщений зашифрованного текста.

Рекомендации

Смотрите также

• Касиски экспертиза
• Публикации на берегу реки
• Темы в криптографии