Взаимная информация - Mutual information

Теория информации
Энтропия Дифференциальная энтропия Условная энтропия Совместная энтропия Взаимная информация Условная взаимная информация Относительная энтропия Скорость энтропии Предельная плотность дискретных точек
Асимптотическое свойство равнораспределения Теория скорости-искажения
Теорема Шеннона о кодировании источника Емкость канала Теорема кодирования с шумом Теорема Шеннона – Хартли.

Диаграмма Венна отображение аддитивных и вычитающих взаимосвязей различных информационных показателей, связанных с коррелированными переменными ${ displaystyle X}$ и ${ displaystyle Y}$. Область, содержащаяся в обоих кругах, является совместная энтропия ${ Displaystyle mathrm {H} (X, Y)}$. Круг слева (красный и фиолетовый) - это индивидуальная энтропия ${ Displaystyle mathrm {H} (X)}$, красный - это условная энтропия ${ Displaystyle mathrm {H} (X | Y)}$. Круг справа (синий и фиолетовый) - это ${ Displaystyle mathrm {H} (Y)}$, с синим существом ${ Displaystyle mathrm {H} (Y | X)}$. Фиолетовый - это взаимная информация ${ displaystyle operatorname {I} (X; Y)}$.

В теория вероятности и теория информации, то взаимная информация (MI) двух случайные переменные мера взаимного зависимость между двумя переменными. В частности, он количественно определяет «количество информации» (в единицы Такие как Shannons, обычно называемые битами), полученные для одной случайной величины путем наблюдения за другой случайной величиной. Концепция взаимной информации тесно связана с концепцией энтропия случайной величины, фундаментального понятия в теории информации, которое количественно определяет ожидаемые "количество информации "хранится в случайной величине.

Не ограничивается действительными случайными величинами и линейной зависимостью, такой как коэффициент корреляции, MI является более общим и определяет, насколько разные совместное распределение пары ${ displaystyle (X, Y)}$ является продуктом маргинальных распределений ${ displaystyle X}$ и ${ displaystyle Y}$. МИ является ожидаемое значение из точечная взаимная информация (PMI).

Количество было определено и проанализировано Клод Шеннон в его знаменательной статье Математическая теория коммуникации, хотя он не называл это «взаимной информацией». Этот термин был придуман позже Роберт Фано.^[1] Взаимная информация также известна как получение информации.

Определение

Позволять ${ displaystyle (X, Y)}$ - пара случайных величин со значениями в пространстве ${ Displaystyle { mathcal {X}} times { mathcal {Y}}}$. Если их совместное распространение ${ displaystyle P _ {(X, Y)}}$ а маргинальные распределения равны ${ displaystyle P_ {X}}$ и ${ displaystyle P_ {Y}}$, взаимная информация определяется как

куда ${ Displaystyle D _ { mathrm {KL}}}$ это Дивергенция Кульбака – Лейблера Обратите внимание, что в соответствии со свойством Дивергенция Кульбака – Лейблера, который ${ Displaystyle I (X; Y)}$ равно нулю именно тогда, когда совместное распределение совпадает с произведением маргиналов, т.е. когда ${ displaystyle X}$ и ${ displaystyle Y}$ независимы (а значит, наблюдая ${ displaystyle Y}$ ничего не говорит вам о ${ displaystyle X}$). В целом ${ Displaystyle I (X; Y)}$ неотрицательно, это мера стоимости кодирования ${ displaystyle (X, Y)}$ как пара независимых случайных величин, хотя на самом деле это не так.

В терминах PMF для дискретных распределений

Взаимная информация двух совместно дискретных случайных величин ${ displaystyle X}$ и ${ displaystyle Y}$ рассчитывается как двойная сумма:^[2]:20

${ displaystyle operatorname {I} (X; Y) = sum _ {y in { mathcal {Y}}} sum _ {x in { mathcal {X}}} {p _ {(X, Y)} (x, y) log { left ({ frac {p _ {(X, Y)} (x, y)} {p_ {X} (x) , p_ {Y} (y)} }верно)}},}$

(Уравнение 1)

куда ${ displaystyle p _ {(X, Y)}}$ это совместная вероятность масса функция из ${ displaystyle X}$ и ${ displaystyle Y}$, и ${ displaystyle p_ {X}}$ и ${ displaystyle p_ {Y}}$ являются предельная вероятность массовые функции ${ displaystyle X}$ и ${ displaystyle Y}$ соответственно.

С точки зрения PDF-файлов для непрерывных распределений

В случае совместно непрерывных случайных величин двойная сумма заменяется на двойной интеграл:^[2]:251

${ displaystyle operatorname {I} (X; Y) = int _ { mathcal {Y}} int _ { mathcal {X}} {p _ {(X, Y)} (x, y) log { left ({ frac {p _ {(X, Y)} (x, y)} {p_ {X} (x) , p_ {Y} (y)}} right)}} ; dx , dy,}$

(Уравнение 2)

куда ${ displaystyle p _ {(X, Y)}}$ теперь совместная вероятность плотность функция ${ displaystyle X}$ и ${ displaystyle Y}$, и ${ displaystyle p_ {X}}$ и ${ displaystyle p_ {Y}}$ предельные функции плотности вероятности ${ displaystyle X}$ и ${ displaystyle Y}$ соответственно.

Если бревенчатая база 2, единицы взаимной информации биты.

Мотивация

Интуитивно взаимная информация измеряет информацию, которая ${ displaystyle X}$ и ${ displaystyle Y}$ поделиться: он измеряет, насколько знание одной из этих переменных снижает неопределенность в отношении другой. Например, если ${ displaystyle X}$ и ${ displaystyle Y}$ независимы, тогда зная ${ displaystyle X}$ не дает никакой информации о ${ displaystyle Y}$ и наоборот, поэтому их взаимная информация равна нулю. С другой стороны, если ${ displaystyle X}$ является детерминированной функцией ${ displaystyle Y}$ и ${ displaystyle Y}$ является детерминированной функцией ${ displaystyle X}$ тогда вся информация передается ${ displaystyle X}$ делится с ${ displaystyle Y}$: зная ${ displaystyle X}$ определяет стоимость ${ displaystyle Y}$ наоборот. В результате в этом случае взаимная информация такая же, как неопределенность, содержащаяся в ${ displaystyle Y}$ (или же ${ displaystyle X}$) в одиночку, а именно энтропия из ${ displaystyle Y}$ (или же ${ displaystyle X}$). Более того, эта взаимная информация такая же, как энтропия ${ displaystyle X}$ и как энтропия ${ displaystyle Y}$. (Очень частный случай - когда ${ displaystyle X}$ и ${ displaystyle Y}$ - одна и та же случайная величина.)

Взаимная информация - это мера внутренней зависимости, выраженная в совместное распределение из ${ displaystyle X}$ и ${ displaystyle Y}$ относительно предельного распределения ${ displaystyle X}$ и ${ displaystyle Y}$ в предположении независимости. Таким образом, взаимная информация измеряет зависимость в следующем смысле: ${ displaystyle operatorname {I} (X; Y) = 0}$ если и только если ${ displaystyle X}$ и ${ displaystyle Y}$ являются независимыми случайными величинами. Это легко увидеть в одном направлении: если ${ displaystyle X}$ и ${ displaystyle Y}$ независимы, то ${ Displaystyle p _ {(X, Y)} (x, y) = p_ {X} (x) cdot p_ {Y} (y)}$, и поэтому:

${ displaystyle log { left ({ frac {p _ {(X, Y)} (x, y)} {p_ {X} (x) , p_ {Y} (y)}} right)} = log 1 = 0.}$

Более того, взаимная информация неотрицательна (т.е. ${ displaystyle operatorname {I} (X; Y) geq 0}$ см. ниже) и симметричный (т.е. ${ displaystyle operatorname {I} (X; Y) = operatorname {I} (Y; X)}$ Смотри ниже).

Отношение к другим величинам

Неотрицательность

С помощью Неравенство Дженсена по определению взаимной информации мы можем показать, что ${ displaystyle operatorname {I} (X; Y)}$ неотрицательно, т.е.^[2]:28

${ displaystyle operatorname {I} (X; Y) geq 0}$

Симметрия

${ displaystyle operatorname {I} (X; Y) = operatorname {I} (Y; X)}$

Отношение к условной и совместной энтропии

Взаимная информация может быть эквивалентно выражена как:

${ Displaystyle { begin {align} OperatorName {I} (X; Y) & {} Equiv mathrm {H} (X) - mathrm {H} (X | Y) & {} Equiv mathrm {H} (Y) - mathrm {H} (Y | X) & {} Equiv mathrm {H} (X) + mathrm {H} (Y) - mathrm {H} ( X, Y) & {} Equiv mathrm {H} (X, Y) - mathrm {H} (X | Y) - mathrm {H} (Y | X) end {выравнивается}}}$

куда ${ Displaystyle mathrm {H} (X)}$ и ${ Displaystyle mathrm {H} (Y)}$ маргинальные энтропии, ${ Displaystyle mathrm {H} (X | Y)}$ и ${ Displaystyle mathrm {H} (Y | X)}$ являются условные энтропии, и ${ Displaystyle mathrm {H} (X, Y)}$ это совместная энтропия из ${ displaystyle X}$ и ${ displaystyle Y}$.

Обратите внимание на аналогию с объединением, различием и пересечением двух множеств: в этом отношении все приведенные выше формулы очевидны из диаграммы Венна, приведенной в начале статьи.

С точки зрения канала связи, в котором выход ${ displaystyle Y}$ это зашумленная версия входа ${ displaystyle X}$, эти отношения представлены на рисунке:

Связь между теоретическими величинами информации

Потому что ${ displaystyle operatorname {I} (X; Y)}$ неотрицательно, следовательно, ${ Displaystyle mathrm {H} (X) geq mathrm {H} (X | Y)}$. Здесь мы приводим подробный вывод ${ Displaystyle OperatorName {I} (X; Y) = mathrm {H} (Y) - mathrm {H} (Y | X)}$ для случая совместно дискретных случайных величин:

${ displaystyle { begin {align} operatorname {I} (X; Y) & {} = sum _ {x in { mathcal {X}}, y in { mathcal {Y}}} p_ {(X, Y)} (x, y) log { frac {p _ {(X, Y)} (x, y)} {p_ {X} (x) p_ {Y} (y)}} & {} = sum _ {x in { mathcal {X}}, y in { mathcal {Y}}} p _ {(X, Y)} (x, y) log { frac { p _ {(X, Y)} (x, y)} {p_ {X} (x)}} - sum _ {x in { mathcal {X}}, y in { mathcal {Y}} } p _ {(X, Y)} (x, y) log p_ {Y} (y) & {} = sum _ {x in { mathcal {X}}, y in { mathcal {Y}}} p_ {X} (x) p_ {Y | X = x} (y) log p_ {Y | X = x} (y) - sum _ {x in { mathcal {X} }, y in { mathcal {Y}}} p _ {(X, Y)} (x, y) log p_ {Y} (y) & {} = sum _ {x in { mathcal {X}}} p_ {X} (x) left ( sum _ {y in { mathcal {Y}}} p_ {Y | X = x} (y) log p_ {Y | X = x} (y) right) - sum _ {y in { mathcal {Y}}} left ( sum _ {x} p _ {(X, Y)} (x, y) right) log p_ {Y} (y) & {} = - sum _ {x in { mathcal {X}}} p (x) mathrm {H} (Y | X = x) - sum _ {y in { mathcal {Y}}} p_ {Y} (y) log p_ {Y} (y) & {} = - mathrm {H} (Y | X) + mathrm {H } (Y) & {} = mathrm {H} (Y) - mathrm {H} (Y | X). конец {выровнено}}}$

Доказательства остальных тождеств выше аналогичны. Доказательство общего случая (не только дискретного) аналогично, с интегралами вместо сумм.

Интуитивно, если энтропия ${ Displaystyle mathrm {H} (Y)}$ рассматривается как мера неопределенности относительно случайной величины, то ${ Displaystyle mathrm {H} (Y | X)}$ это мера того, что ${ displaystyle X}$ делает нет сказать о ${ displaystyle Y}$. Это «количество оставшейся неопределенности относительно ${ displaystyle Y}$ после ${ displaystyle X}$ известна », и, таким образом, правая часть второго из этих равенств может быть прочитана как« величина неопределенности в ${ displaystyle Y}$, минус количество неопределенности в ${ displaystyle Y}$ который остается после ${ displaystyle X}$ известно ", что эквивалентно" степени неопределенности в ${ displaystyle Y}$ который удаляется знанием ${ displaystyle X}$Это подтверждает интуитивное значение взаимной информации как количества информации (то есть уменьшения неопределенности), которую знание одной переменной предоставляет о другой.

Отметим, что в дискретном случае ${ Displaystyle mathrm {H} (Y | Y) = 0}$ и поэтому ${ Displaystyle mathrm {H} (Y) = operatorname {I} (Y; Y)}$. Таким образом ${ Displaystyle OperatorName {I} (Y; Y) geq OperatorName {I} (X; Y)}$, и можно сформулировать основной принцип, согласно которому переменная содержит, по крайней мере, столько же информации о себе, сколько может предоставить любая другая переменная.

Связь с расходимостью Кульбака – Лейблера

Для совместно дискретных или совместно непрерывных пар ${ displaystyle (X, Y)}$, взаимная информация - это Дивергенция Кульбака – Лейблера продукта маржинальные распределения, ${ displaystyle p_ {X} cdot p_ {Y}}$, от совместное распределение ${ displaystyle p _ {(X, Y)}}$, то есть,

Кроме того, пусть ${ displaystyle p_ {X | Y = y} (x) = p _ {(X, Y)} (x, y) / p_ {Y} (y)}$ - условная функция массы или плотности. Тогда у нас есть тождество

Доказательство для совместно дискретных случайных величин выглядит следующим образом:

${ displaystyle { begin {align} operatorname {I} (X; Y) & = sum _ {y in { mathcal {Y}}} p_ {Y} (y) sum _ {x in { mathcal {X}}} p_ {X | Y = y} (x) log { frac {p_ {X | Y = y} (x)} {p_ {X} (x)}} & = sum _ {y in { mathcal {Y}}} p_ {Y} (y) ; D _ { text {KL}} ! left (p_ {X | Y = y} parallel p_ { X} right) & = mathbb {E} _ {Y} left [D _ { text {KL}} ! Left (p_ {X | Y} parallel p_ {X} right) справа]. end {выравнивается}}}$

Аналогичным образом это тождество может быть установлено для совместно непрерывных случайных величин.

Обратите внимание, что здесь дивергенция Кульбака – Лейблера включает интегрирование по значениям случайной величины ${ displaystyle X}$ только, а выражение ${ Displaystyle D _ { текст {KL}} (p_ {X | Y} parallel p_ {X})}$ по-прежнему обозначает случайную величину, потому что ${ displaystyle Y}$ случайно. Таким образом, взаимную информацию можно также понимать как ожидание дивергенции Кульбака – Лейблера одномерное распределение ${ displaystyle p_ {X}}$ из ${ displaystyle X}$ от условное распределение ${ displaystyle p_ {X | Y}}$ из ${ displaystyle X}$ данный ${ displaystyle Y}$: чем больше раздач разные ${ displaystyle p_ {X | Y}}$ и ${ displaystyle p_ {X}}$ в среднем, чем больше получение информации.

Байесовская оценка взаимной информации

Если доступны выборки из совместного распределения, можно использовать байесовский подход для оценки взаимной информации этого распределения. Первой работой по этому вопросу, которая также показала, как выполнять байесовскую оценку многих других теоретико-информационных свойств, помимо взаимной информации, была ^[3]. Последующие исследователи перевели ^[4]и расширенный ^[5]этот анализ. Видеть ^[6]для недавней статьи, основанной на предшествующей статье, специально предназначенной для оценки взаимной информации как таковой. Кроме того, недавно появился метод оценки, учитывающий непрерывные и многомерные результаты, ${ displaystyle Y}$, был предложен в ^[7].

Допущения независимости

Формулировка взаимной информации о расхождении Кульбака-Лейблера основана на том, что каждый заинтересован в сравнении ${ Displaystyle р (х, у)}$ к полностью факторизованному внешний продукт ${ Displaystyle р (х) CDOT р (у)}$. Во многих задачах, таких как неотрицательная матричная факторизация, нас интересуют менее экстремальные факторизации; конкретно, хочется сравнить ${ Displaystyle р (х, у)}$ к приближению матрицы низкого ранга по некоторой неизвестной переменной ${ displaystyle w}$; то есть в какой степени можно было

${ Displaystyle п (х, у) приблизительно сумма _ {ш} р ^ { простое число} (х, ш) п ^ { простое простое число} (ш, у)}$

С другой стороны, может быть интересно узнать, сколько еще информации ${ Displaystyle р (х, у)}$ переносит его факторизацию. В таком случае избыточная информация, которую ${ Displaystyle р (х, у)}$ перенос матричной факторизации дается расходимостью Кульбака-Лейблера

${ displaystyle operatorname {I} _ {LRMA} = sum _ {y in { mathcal {Y}}} sum _ {x in { mathcal {X}}} {p (x, y) log { left ({ frac {p (x, y)} { sum _ {w} p ^ { prime} (x, w) p ^ { prime prime} (w, y)}} верно)}},}$

Традиционное определение взаимной информации восстанавливается в том крайнем случае, когда процесс ${ displaystyle W}$ имеет только одно значение для ${ displaystyle w}$.

Вариации

Было предложено несколько вариантов взаимной информации для удовлетворения различных потребностей. Среди них - нормализованные варианты и обобщения для более чем двух переменных.

Метрическая

Для многих приложений требуется метрика, то есть расстояние между парами точек. Количество

${ Displaystyle { begin {выровнен} d (X, Y) & = mathrm {H} (X, Y) - operatorname {I} (X; Y) & = mathrm {H} (X) + mathrm {H} (Y) -2 operatorname {I} (X; Y) & = mathrm {H} (X | Y) + mathrm {H} (Y | X) end {выровнено }}}$

удовлетворяет свойствам метрики (неравенство треугольника, неотрицательность, неразличимость и симметрия). Эта метрика расстояния также известна как изменение информации.

Если ${ displaystyle X, Y}$ являются дискретными случайными величинами, то все члены энтропии неотрицательны, поэтому ${ Displaystyle 0 Leq d (X, Y) Leq mathrm {H} (X, Y)}$ и можно определить нормализованное расстояние

${ displaystyle D (X, Y) = { frac {d (X, Y)} { mathrm {H} (X, Y)}} leq 1.}$

Метрика ${ displaystyle D}$ является универсальной метрикой в ​​том смысле, что если любая другая мера расстояния помещает ${ displaystyle X}$ и ${ displaystyle Y}$ рядом, то ${ displaystyle D}$ также будет судить о них близко.^{[8][сомнительный – обсуждать]}

Подстановка определений показывает, что

${ displaystyle D (X, Y) = 1 - { frac { operatorname {I} (X; Y)} { mathrm {H} (X, Y)}}.}$

В теоретико-множественной интерпретации информации (см. Рисунок для Условная энтропия ), это фактически Расстояние Жаккара между ${ displaystyle X}$ и ${ displaystyle Y}$.

Ну наконец то,

${ Displaystyle D ^ { prime} (X, Y) = 1 - { frac { operatorname {I} (X; Y)} { max left { mathrm {H} (X), mathrm {H} (Y) right }}}}$

также является метрикой.

Условная взаимная информация

Иногда полезно выразить взаимную информацию двух случайных величин, обусловленную третьей.

Для совместно дискретные случайные величины это принимает форму

${ displaystyle operatorname {I} (X; Y | Z) = sum _ {z in { mathcal {Z}}} sum _ {y in { mathcal {Y}}} sum _ { x in { mathcal {X}}} {p_ {Z} (z) , p_ {X, Y | Z} (x, y | z) log left [{ frac {p_ {X, Y | Z} (x, y | z)} {p_ {X | Z} , (x | z) p_ {Y | Z} (y | z)}} right]},}$

который можно упростить как

${ displaystyle operatorname {I} (X; Y | Z) = sum _ {z in { mathcal {Z}}} sum _ {y in { mathcal {Y}}} sum _ { x in { mathcal {X}}} p_ {X, Y, Z} (x, y, z) log { frac {p_ {X, Y, Z} (x, y, z) p_ {Z) } (z)} {p_ {X, Z} (x, z) p_ {Y, Z} (y, z)}}.}.}$

Для совместно непрерывные случайные величины это принимает форму

${ displaystyle operatorname {I} (X; Y | Z) = int _ { mathcal {Z}} int _ { mathcal {Y}} int _ { mathcal {X}} {p_ {Z } (z) , p_ {X, Y | Z} (x, y | z) log left [{ frac {p_ {X, Y | Z} (x, y | z)} {p_ {X | Z} , (x | z) p_ {Y | Z} (y | z)}} right]} dxdydz,}$

который можно упростить как

${ displaystyle operatorname {I} (X; Y | Z) = int _ { mathcal {Z}} int _ { mathcal {Y}} int _ { mathcal {X}} p_ {X, Y, Z} (x, y, z) log { frac {p_ {X, Y, Z} (x, y, z) p_ {Z} (z)} {p_ {X, Z} (x, z) p_ {Y, Z} (y, z)}} dxdydz.}$

Использование третьей случайной величины может либо увеличить, либо уменьшить взаимную информацию, но всегда верно, что

${ Displaystyle OperatorName {I} (X; Y | Z) geq 0}$

для дискретных, совместно распределенных случайных величин ${ displaystyle X, Y, Z}$. Этот результат был использован в качестве основного строительного блока для доказательства других неравенства в теории информации.

Многомерная взаимная информация

Было предложено несколько обобщений взаимной информации для более чем двух случайных величин, таких как полная корреляция (или мультиинформация) и информация о взаимодействии. Выражение и изучение многомерной взаимной информации более высокой степени было достигнуто в двух, казалось бы, независимых работах: McGill (1954) ^[9] который назвал эти функции «информацией о взаимодействии», и Ху Го Тин (1962) ^[10] который также первым доказал возможную отрицательность взаимной информации для степеней выше 2 и алгебраически обосновал интуитивное соответствие диаграммам Венна ^[11]

${ Displaystyle OperatorName {I} (X_ {1}; X_ {1}) = mathrm {H} (X_ {1})}$

и для ${ displaystyle n> 1,}$

${ displaystyle operatorname {I} (X_ {1}; , ... ,; X_ {n}) = operatorname {I} (X_ {1}; , ... ,; X_ {n -1}) - operatorname {I} (X_ {1}; , ... ,; X_ {n-1} | X_ {n}),}$

где (как и выше) мы определяем

${ displaystyle I (X_ {1}; ldots; X_ {n-1} | X_ {n}) = mathbb {E} _ {X_ {n}} [D _ { mathrm {KL}} (P_ { (X_ {1}, ldots, X_ {n-1}) | X_ {n}} | P_ {X_ {1} | X_ {n}} otimes cdots otimes P_ {X_ {n-1} | X_ {n}})].}$

(Это определение многомерной взаимной информации идентично определению информация о взаимодействии за исключением изменения знака, когда количество случайных величин нечетное.)

Многомерная статистическая независимость

Многомерные функции взаимной информации обобщают случай попарной независимости, который утверждает, что ${ Displaystyle X_ {1}, X_ {2}}$ если и только если ${ Displaystyle I (X_ {1}; X_ {2}) = 0}$, к произвольной многочисленной переменной. n переменных взаимно независимы тогда и только тогда, когда ${ displaystyle 2 ^ {n} -n-1}$ функции взаимной информации исчезают ${ Displaystyle I (X_ {1}; ...; X_ {k}) = 0}$ с ${ Displaystyle п geq к geq 2}$ (теорема 2 ^[11]). В этом смысле ${ Displaystyle I (X_ {1}; ...; X_ {k}) = 0}$ может использоваться как уточненный критерий статистической независимости.

Приложения

Для 3 переменных Brenner et al. применил многомерную взаимную информацию к нейронному кодированию и назвал ее отрицательность «синергизмом» ^[12] и Watkinson et al. применил это к генетическому выражению ^[13]. Для произвольных k переменных Tapia et al. применяет многомерную взаимную информацию к экспрессии генов ^[14][11]). Может быть нулевым, положительным или отрицательным ^[15]. Позитивность соответствует отношениям, обобщающим попарные корреляции, нулевое значение соответствует уточненному понятию независимости, а отрицательность обнаруживает многомерные «возникающие» отношения и кластеризованные точки данных. ^[14]).

Одна многомерная схема обобщения, которая максимизирует взаимную информацию между совместным распределением и другими целевыми переменными, оказывается полезной в выбор функции.^[16]

Взаимная информация также используется в области обработки сигналов как мера сходства между двумя сигналами. Например, метрика FMI^[17] - это показатель эффективности объединения изображений, который использует взаимную информацию для измерения количества информации, которую объединенное изображение содержит об исходных изображениях. В Matlab код для этой метрики можно найти по адресу.^[18]. Доступен пакет python для вычисления всей многомерной взаимной информации, условной взаимной информации, совместных энтропий, полных корреляций, информационного расстояния в наборе данных из n переменных. ^[19].

Направленная информация

Направленная информация, ${ displaystyle operatorname {I} left (X ^ {n} to Y ^ {n} right)}$, измеряет количество информации, которая поступает из процесса ${ displaystyle X ^ {n}}$ к ${ displaystyle Y ^ {n}}$, куда ${ displaystyle X ^ {n}}$ обозначает вектор ${ displaystyle X_ {1}, X_ {2}, ..., X_ {n}}$ и ${ displaystyle Y ^ {n}}$ обозначает ${ displaystyle Y_ {1}, Y_ {2}, ..., Y_ {n}}$. Период, термин направленная информация был придуман Джеймс Мэсси и определяется как

${ displaystyle operatorname {I} left (X ^ {n} to Y ^ {n} right) = sum _ {i = 1} ^ {n} operatorname {I} left (X ^ { i}; Y_ {i} | Y ^ {i-1} right)}$.

Обратите внимание, что если ${ displaystyle n = 1}$, направленная информация становится взаимной информацией. Направленная информация имеет множество применений в задачах, где причинность играет важную роль, например, емкость канала с обратной связью.^[20][21]

Нормализованные варианты

Нормализованные варианты взаимной информации предоставляются коэффициенты ограничения,^[22] коэффициент неопределенности^[23] или уровень владения:^[24]

${ displaystyle C_ {XY} = { frac { operatorname {I} (X; Y)} { mathrm {H} (Y)}} ~~~~ { mbox {and}} ~~~~ C_ {YX} = { frac { operatorname {I} (X; Y)} { mathrm {H} (X)}}.}.$

Два коэффициента имеют значение в диапазоне [0, 1], но не обязательно равны. В некоторых случаях может потребоваться симметричная мера, например, следующая избыточность^{[нужна цитата ]} мера:

${ displaystyle R = { frac { operatorname {I} (X; Y)} { mathrm {H} (X) + mathrm {H} (Y)}}}$

который достигает минимум нуля, когда переменные независимы, и максимальное значение

${ displaystyle R _ { max} = { frac { min left { mathrm {H} (X), mathrm {H} (Y) right }} { mathrm {H} (X) + mathrm {H} (Y)}}}$

когда одна переменная становится полностью избыточной при знании другой. Смотрите также Избыточность (теория информации).

Еще одна симметричная мера - это симметричная неопределенность (Виттен и Франк 2005 ), заданный

${ Displaystyle U (X, Y) = 2R = 2 { frac { operatorname {I} (X; Y)} { mathrm {H} (X) + mathrm {H} (Y)}}}$

который представляет собой гармоническое среднее двух коэффициентов неопределенности ${ displaystyle C_ {XY}, C_ {YX}}$.^[23]

Если рассматривать взаимную информацию как частный случай полная корреляция или же двойная полная корреляция, нормализованные версии соответственно,

${ displaystyle { frac { operatorname {I} (X; Y)} { min left [ mathrm {H} (X), mathrm {H} (Y) right]}}}$ и ${ displaystyle { frac { operatorname {I} (X; Y)} { mathrm {H} (X, Y)}} ;.}$

Эта нормализованная версия также известна как Коэффициент качества информации (IQR) который количественно оценивает объем информации переменной на основе другой переменной в сравнении с общей неопределенностью:^[25]

${ displaystyle IQR (X, Y) = operatorname {E} [ operatorname {I} (X; Y)] = { frac { operatorname {I} (X; Y)} { mathrm {H} ( X, Y)}} = { frac { sum _ {x in X} sum _ {y in Y} p (x, y) log {p (x) p (y)}} { sum _ {x in X} sum _ {y in Y} p (x, y) log {p (x, y)}}} - 1}$

Есть нормализация^[26] что происходит из того, что мы сначала думали о взаимной информации как о аналоге ковариация (таким образом Энтропия Шеннона аналогично отклонение ). Затем вычисляется нормализованная взаимная информация аналогично Коэффициент корреляции Пирсона,

${ displaystyle { frac { operatorname {I} (X; Y)} { sqrt { mathrm {H} (X) mathrm {H} (Y)}}} ;.}$

Взвешенные варианты

В традиционной формулировке взаимной информации

${ displaystyle operatorname {I} (X; Y) = sum _ {y in Y} sum _ {x in X} p (x, y) log { frac {p (x, y) } {p (x) , p (y)}},}$

каждый мероприятие или же объект указано ${ Displaystyle (х, у)}$ взвешивается соответствующей вероятностью ${ Displaystyle р (х, у)}$. Это предполагает, что все объекты или события эквивалентны Помимо вероятность их появления. Однако в некоторых приложениях может случиться так, что определенные объекты или события более существенный чем другие, или что определенные модели ассоциации семантически более важны, чем другие.

Например, детерминированное отображение ${ Displaystyle {(1,1), (2,2), (3,3) }}$ можно рассматривать как более сильное, чем детерминированное отображение ${ Displaystyle {(1,3), (2,1), (3,2) }}$, хотя эти отношения дадут одинаковую взаимную информацию. Это связано с тем, что взаимная информация вообще не чувствительна к какому-либо внутреннему порядку в значениях переменных (Кронбах 1954, Кумбс, Доус и Тверски 1970, Локхед 1970 ), и поэтому совершенно не чувствителен к форма реляционного отображения между соответствующими переменными. Если желательно, чтобы первое отношение, показывающее согласие по всем значениям переменных, было оценено сильнее, чем более позднее отношение, то можно использовать следующее взвешенная взаимная информация (Guiasu 1977 ).

${ displaystyle operatorname {I} (X; Y) = sum _ {y in Y} sum _ {x in X} w (x, y) p (x, y) log { frac { p (x, y)} {p (x) , p (y)}},}$

который помещает вес ${ Displaystyle ш (х, у)}$ от вероятности совпадения значений каждой переменной, ${ Displaystyle р (х, у)}$. Это позволяет, чтобы определенные вероятности могли иметь большее или меньшее значение, чем другие, тем самым позволяя количественную оценку соответствующих целостный или же Prägnanz факторы. В приведенном выше примере с использованием больших относительных весов для ${ Displaystyle ш (1,1)}$, ${ Displaystyle ш (2,2)}$, и ${ Displaystyle ш (3,3)}$ будет иметь эффект оценки большего информативность для отношения ${ Displaystyle {(1,1), (2,2), (3,3) }}$ чем для отношения ${ Displaystyle {(1,3), (2,1), (3,2) }}$, что может быть желательно в некоторых случаях распознавания образов и т.п. Эта взвешенная взаимная информация является формой взвешенной KL-дивергенции, которая, как известно, принимает отрицательные значения для некоторых входных данных,^[27] и есть примеры, когда взвешенная взаимная информация также принимает отрицательные значения.^[28]

Скорректированная взаимная информация

Распределение вероятностей можно рассматривать как раздел набора. Тогда можно спросить: если бы множество было разбито случайным образом, каким было бы распределение вероятностей? Какова ожидаемая ценность взаимной информации? В скорректированная взаимная информация или AMI вычитает ожидаемое значение MI, так что AMI равен нулю, когда два разных распределения являются случайными, и единице, когда два распределения идентичны. AMI определяется по аналогии с скорректированный индекс Rand двух разных разделов набора.

Абсолютная взаимная информация

Используя идеи Колмогоровская сложность, можно рассматривать взаимную информацию двух последовательностей независимо от какого-либо распределения вероятностей:

${ displaystyle operatorname {I} _ {K} (X; Y) = K (X) -K (X | Y).}$

Чтобы установить, что эта величина симметрична с точностью до логарифмического множителя (${ displaystyle operatorname {I} _ {K} (X; Y) приблизительно operatorname {I} _ {K} (Y; X)}$) требуется цепное правило колмогоровской сложности (Ли и Витани 1997 ). Аппроксимации этой величины через сжатие может использоваться для определения измерение расстояния выполнить иерархическая кластеризация последовательностей без каких-либо базовые знания последовательностей (Чилибрази и Витани 2005 ).

Линейная корреляция

В отличие от коэффициентов корреляции, таких как коэффициент корреляции момента продукта, взаимная информация содержит информацию обо всех зависимостях - линейных и нелинейных - а не только о линейных зависимостях, как измеряет коэффициент корреляции. Однако в узком случае совместное распределение для ${ displaystyle X}$ и ${ displaystyle Y}$ это двумерное нормальное распределение (подразумевая, в частности, что оба предельных распределения нормально распределены), существует точная связь между ${ displaystyle operatorname {I}}$ и коэффициент корреляции ${ displaystyle rho}$ (Гельфанд и Яглом 1957 г. ).

${ displaystyle operatorname {I} = - { frac {1} {2}} log left (1- rho ^ {2} right)}$

Приведенное выше уравнение может быть получено следующим образом для двумерной гауссианы:

${ displaystyle { begin {align} { begin {pmatrix} X_ {1} X_ {2} end {pmatrix}} & sim { mathcal {N}} left ({ begin {pmatrix} mu _ {1} mu _ {2} end {pmatrix}}, Sigma right), qquad Sigma = { begin {pmatrix} sigma _ {1} ^ {2} & rho sigma _ {1} sigma _ {2} rho sigma _ {1} sigma _ {2} & sigma _ {2} ^ {2} end {pmatrix}} mathrm {H} (X_ {i}) & = { frac {1} {2}} log left (2 pi e sigma _ {i} ^ {2} right) = { frac {1} {2}} + { frac {1} {2}} log (2 pi) + log left ( sigma _ {i} right), quad i in {1,2 } mathrm {H} (X_ {1}, X_ {2}) & = { frac {1} {2}} log left [(2 pi e) ^ {2} | Sigma | right] = 1 + log (2 pi) + log left ( sigma _ {1} sigma _ {2} right) + { frac {1} {2}} log left (1 - rho ^ {2} right) конец {выровнено}}}$

Следовательно,

${ displaystyle operatorname {I} left (X_ {1}; X_ {2} right) = mathrm {H} left (X_ {1} right) + mathrm {H} left (X_ { 2} right) - mathrm {H} left (X_ {1}, X_ {2} right) = - { frac {1} {2}} log left (1- rho ^ {2 }верно)}$

Для дискретных данных

Когда ${ displaystyle X}$ и ${ displaystyle Y}$ ограничены дискретным числом состояний, данные наблюдения суммируются в Таблица сопряженности, с переменной строки ${ displaystyle X}$ (или же ${ displaystyle i}$) и переменная столбца ${ displaystyle Y}$ (или же ${ displaystyle j}$). Взаимное информирование - одна из мер ассоциация или же корреляция между переменными строки и столбца. Другие меры ассоциации включают: Критерий хи-квадрат Пирсона статистика, G-тест статистика и т. д. По сути, взаимная информация равна G-тест статистика деленная на ${ displaystyle 2N}$, куда ${ displaystyle N}$ размер выборки.

Приложения

Во многих приложениях требуется максимизировать взаимную информацию (таким образом, увеличивая зависимости), что часто эквивалентно минимизации условная энтропия. Примеры включают:

• В технология поисковых систем, взаимная информация между фразами и контекстами используется как функция для k-означает кластеризацию обнаруживать семантические кластеры (концепты).^[29] Например, взаимная информация биграммы может быть вычислена как:

куда ${ displaystyle f_ {XY}}$ это количество раз, когда биграмма xy появляется в корпусе, ${ displaystyle f_ {X}}$ - количество раз, когда униграмма x появляется в корпусе, B - общее количество биграмм, а U - общее количество униграмм.^[29]

• В телекоммуникации, то пропускная способность канала равна взаимной информации, максимизированной по всем входным распределениям.
• Дискриминационное обучение процедуры для скрытые марковские модели были предложены на основе максимальная взаимная информация (MMI) критерий.
• Вторичная структура РНК предсказание от множественное выравнивание последовательностей.
• Филогенетическое профилирование предсказание от попарного присутствия и исчезновения функциональной связи гены.
• Взаимная информация использовалась как критерий для выбор функции и преобразования функций в машинное обучение. Его можно использовать для характеристики как релевантности, так и избыточности переменных, таких как выбор минимального резервирования.
• Взаимная информация используется при определении сходства двух разных кластеры набора данных. Таким образом, он дает некоторые преимущества по сравнению с традиционными Индекс Rand.
• Взаимная информация слов часто используется как функция значимости для вычисления словосочетания в корпусная лингвистика. Это имеет дополнительную сложность, заключающуюся в том, что ни один экземпляр слова не является экземпляром двух разных слов; скорее, учитываются случаи, когда 2 слова встречаются рядом или в непосредственной близости; это немного усложняет расчет, так как ожидаемая вероятность появления одного слова в ${ displaystyle N}$ слова другого, подходит к ${ displaystyle N}$.
• Взаимная информация используется в медицинская визуализация за регистрация изображения. Имея эталонное изображение (например, сканирование мозга) и второе изображение, которое нужно поместить в тот же система координат в качестве эталонного изображения это изображение деформируется до тех пор, пока взаимная информация между ним и эталонным изображением не будет максимальной.
• Обнаружение фазовая синхронизация в Временные ряды анализ
• в инфомакс метод нейросетевого и другого машинного обучения, в том числе на основе инфомакса Независимый компонентный анализ алгоритм
• Средняя взаимная информация в теорема вложения с задержкой используется для определения задержка внедрения параметр.
• Взаимная информация между гены в экспрессионный микрочип данные используются алгоритмом ARACNE для реконструкции генные сети.
• В статистическая механика, Парадокс лошмидта могут быть выражены в терминах взаимной информации.^[30][31] Лошмидт заметил, что невозможно определить физический закон, в котором отсутствует симметрия обращения времени (например, второй закон термодинамики ) только из физических законов, обладающих этой симметрией. Он указал, что H-теорема из Больцман сделал предположение, что скорости частиц в газе постоянно некоррелированы, что устранило временную симметрию, присущую H-теореме. Можно показать, что если система описывается плотностью вероятности в фазовое пространство, тогда Теорема Лиувилля означает, что общая информация (отрицательная от совместной энтропии) распределения остается постоянной во времени. Совместная информация равна взаимной информации плюс сумма всей маргинальной информации (отрицательной из маргинальных энтропий) для каждой координаты частицы. Предположение Больцмана сводится к игнорированию взаимной информации при вычислении энтропии, которая дает термодинамическую энтропию (деленную на постоянную Больцмана).
• Взаимная информация используется для изучения структуры Байесовские сети /динамические байесовские сети, который, как считается, объясняет причинно-следственную связь между случайными величинами на примере инструментария GlobalMIT:^[32] изучение глобально оптимальной динамической байесовской сети с критерием проверки взаимной информации.
• Популярная функция стоимости в обучение по дереву решений.
• Взаимная информация используется в космология проверить влияние крупномасштабных сред на свойства галактик в Галактический зоопарк.
• Взаимная информация использовалась в Солнечная физика вывести солнечный дифференциальное вращение профиль, карта отклонений времени прохождения для солнечных пятен и диаграмма время-расстояние по измерениям спокойного Солнца^[33]
• Используется в инвариантной кластеризации информации для автоматического обучения классификаторов нейронных сетей и сегментаторов изображений без помеченных данных.^[34]

Смотрите также

• Точечная взаимная информация
• Квантовая взаимная информация

Примечания

Рекомендации

• Baudot, P .; Tapia, M .; Bennequin, D .; Гоайярд, Дж. М. (2019). «Анализ топологической информации». Энтропия. 21 (9). 869. arXiv:1907.04242. Bibcode:2019Entrp..21..869B. Дои:10.3390 / e21090869. S2CID  195848308.
• Cilibrasi, R .; Витани, Пол (2005). «Кластеризация сжатием» (PDF). IEEE Transactions по теории информации. 51 (4): 1523–1545. arXiv:cs / 0312044. Дои:10.1109 / TIT.2005.844059. S2CID  911.
• Кронбах, Л. Дж. (1954). «О нерациональном применении информационных мер в психологии». В Квастлер, Генри (ред.). Теория информации в психологии: проблемы и методы. Гленко, Иллинойс: Свободная пресса. С. 14–30.
• Coombs, C.H .; Dawes, R.M .; Тверски, А. (1970). Математическая психология: элементарное введение. Энглвуд Клиффс, Нью-Джерси: Прентис-Холл.
• Церковь, Кеннет Уорд; Хэнкс, Патрик (1989). «Нормы словесных ассоциаций, взаимная информация и лексикография». Материалы 27-го Ежегодного собрания Ассоциации компьютерной лингвистики: 76–83. Дои:10.3115/981623.981633.
• Гельфанд И.М .; Яглом, А. (1957). «Вычисление количества информации о случайной функции, содержащейся в другой такой функции». Переводы Американского математического общества: Серия 2. 12: 199–246. Дои:10.1090 / транс2 / 012/09. ISBN  9780821817124. Английский перевод оригинала в Успехи математических наук. 12 (1): 3-52.
• Гиасу, Сильвиу (1977). Теория информации с приложениями. Макгроу-Хилл, Нью-Йорк. ISBN  978-0-07-025109-0.
• Ли, Мин; Витани, Пол (февраль 1997 г.). Введение в колмогоровскую сложность и ее приложения. Нью-Йорк: Springer-Verlag. ISBN  978-0-387-94868-3.
• Локхед, Г. Р. (1970). «Идентификация и форма многомерного дискриминирующего пространства». Журнал экспериментальной психологии. 85 (1): 1–10. Дои:10,1037 / ч0029508. PMID  5458322.
• Дэвид Дж. С. Маккей. Теория информации, логический вывод и алгоритмы обучения Кембридж: Издательство Кембриджского университета, 2003. ISBN  0-521-64298-1 (доступно бесплатно онлайн)
• Haghighat, M. B. A .; Агаголзаде, А .; Сейедараби, Х. (2011). «Неопорный показатель слияния изображений, основанный на взаимной информации о характеристиках изображения». Компьютеры и электротехника. 37 (5): 744–756. Дои:10.1016 / j.compeleceng.2011.07.012.
• Афанасиос Папулис. Вероятность, случайные величины и случайные процессы, второе издание. Нью-Йорк: Макгроу-Хилл, 1984. (См. Главу 15.)
• Виттен, Ян Х. и Франк, Эйбе (2005). Интеллектуальный анализ данных: практические инструменты и методы машинного обучения. Морган Кауфманн, Амстердам. ISBN  978-0-12-374856-0.
• Peng, H.C .; Лонг, Ф. и Динг, К. (2005). «Выбор функций на основе взаимной информации: критерии максимальной зависимости, максимальной релевантности и минимальной избыточности». IEEE Transactions по анализу шаблонов и машинному анализу. 27 (8): 1226–1238. CiteSeerX  10.1.1.63.5765. Дои:10.1109 / тпами.2005.159. PMID  16119262. S2CID  206764015.
• Андре С. Рибейро; Стюарт А. Кауфман; Джейсон Ллойд-Прайс; Бьорн Самуэльссон и Джошуа Соолар (2008). «Взаимная информация в случайных булевых моделях регуляторных сетей». Физический обзор E. 77 (1): 011901. arXiv:0707.3642. Bibcode:2008PhRvE..77a1901R. Дои:10.1103 / Physreve.77.011901. PMID  18351870. S2CID  15232112.
• Уэллс, W.M. III; Альт, P .; Atsumi, H .; Nakajima, S .; Кикинис, Р. (1996). «Мультимодальная регистрация объема за счет максимизации взаимной информации» (PDF). Анализ медицинских изображений. 1 (1): 35–51. Дои:10.1016 / S1361-8415 (01) 80004-9. PMID  9873920. Архивировано из оригинал (PDF) на 2008-09-06. Получено 2010-08-05.
• Панди, Бисваджит; Саркар, Суман (2017). «Насколько галактика знает о своем крупномасштабном окружении ?: Теоретическая перспектива». Ежемесячные уведомления о письмах Королевского астрономического общества. 467 (1): L6. arXiv:1611.00283. Bibcode:2017МНРАС.467Л ... 6П. Дои:10.1093 / mnrasl / slw250. S2CID  119095496.