Информация о взаимодействии - Interaction information

В информация о взаимодействии (McGill 1954), или количество информации (Ху Го Тин, 1962) или совместная информация (Bell 2003), является одним из нескольких обобщений взаимная информация.

Информация о взаимодействии выражает объем информации (избыточность или синергизм), связанный с набором переменных, вне то, что присутствует в любом подмножестве этих переменных. В отличие от взаимной информации, информация о взаимодействии может быть как положительной, так и отрицательной. Это сбивающее с толку свойство, вероятно, задержало его более широкое распространение в качестве информационной меры в машинное обучение и наука о мышлении. Эти функции, их отрицательность и минимумы имеют прямую интерпретацию в алгебраическая топология (Бодо и Беннекен, 2015).

Случай трех переменных

Для трех переменных ${displaystyle {X, Y, Z}}$ , информация о взаимодействии ${displaystyle I (X; Y; Z)}$ дан кем-то

{displaystyle {egin {matrix} I (X; Y; Z) & = & I (X; Y) -I (X; Y | Z) & = & I (X; Z) -I (X; Z | Y) & = & I (Y; Z) -I (Y; Z | X) end {matrix}}}

где, например, ${displaystyle I (X; Y)}$ взаимная информация между переменными ${displaystyle X}$ и ${displaystyle Y}$ , и ${displaystyle I (X; Y | Z)}$ это условная взаимная информация между переменными ${displaystyle X}$ и ${displaystyle Y}$ данный ${displaystyle Z}$ . Формально,

{displaystyle {egin {выровнено} I (X; Y | Z) & = H (X | Z) + H (Y | Z) -H (X, Y | Z) & = H (X | Z) -H (X | Y, Z) & = H (X, Z) + H (Y, Z) -H (Z) -H (X, Y, Z), конец {выровнен}}}

и

{displaystyle {egin {выравнивается} I (X; Y) & = H (X) + H (Y) -H (X, Y) .end {выравнивается}}}

Отсюда следует, что

{displaystyle {egin {alignat} {3} I (X; Y; Z) = & quad && [H (X) + H (Y) + H (Z)] & - && [H (X, Y) + H (X, Z) + H (Y, Z)] & + && H (X, Y, Z) конец {выровнено}}}

Для случая трех переменных информация о взаимодействии ${displaystyle I (X; Y; Z)}$ разница между информацией, которой поделился ${displaystyle {Y, X}}$ когда ${displaystyle Z}$ был исправлен и когда ${displaystyle Z}$ не было исправлено. (См. Также учебник Фано 1961 года.) Информация о взаимодействии измеряет влияние переменной. ${displaystyle Z}$ об объеме информации, передаваемой между ${displaystyle {Y, X}}$ . Потому что срок ${displaystyle I (X; Y | Z)}$ может быть больше, чем ${displaystyle I (X; Y)}$ - например, когда оба ${displaystyle X}$ и ${displaystyle Y}$ оказывать совместное воздействие на ${displaystyle Z}$ но независимы друг от друга, не зная ${displaystyle Z}$ , информация о взаимодействии может быть как положительной, так и отрицательной. Положительный информация о взаимодействии указывает, что переменная ${displaystyle Z}$ подавляет (т.е. аккаунты для или же объясняет некоторые из) корреляция между ${displaystyle {Y, X}}$ , в то время как отрицательный информация о взаимодействии указывает, что переменная ${displaystyle Z}$ облегчает или усиливает корреляцию между ${displaystyle {Y, X}}$ .

Информация о взаимодействии ограничена. В случае трех переменных он ограничен (Yeung 91)

{displaystyle -min {I (X; Y | Z), I (Y; Z | X), I (X; Z | Y)} leq I (X; Y; Z) leq min {I (X; Y) , I (Y; Z), I (X; Z)}}

Пример информации о положительном взаимодействии

Информация о положительном взаимодействии кажется гораздо более естественной, чем информация об отрицательном взаимодействии в том смысле, что такая пояснительный эффекты типичны для структур общей причины. Например, облака вызывают дождь, а также закрывают солнце; следовательно, корреляция между дождем и темнотой частично объясняется наличием облаков, ${displaystyle I (дождь; темно | облако)$ . Результат - положительная информация о взаимодействии ${displaystyle I (дождь; темно; облако)}$ .

Пример информации о негативном взаимодействии

Случай с информацией о негативном взаимодействии кажется немного менее естественным. Типичный пример негатива ${displaystyle I (X; Y; Z)}$ имеет ${displaystyle X}$ как выход элемента XOR, к которому ${displaystyle Y}$ и ${displaystyle Z}$ являются независимыми случайными входами. В этом случае ${displaystyle I (Y; Z)}$ будет ноль, но ${displaystyle I (Y; Z | X)}$ будет положительным (1 кусочек ), поскольку один раз вывод ${displaystyle X}$ известно, значение на входе ${displaystyle Y}$ полностью определяет значение на входе ${displaystyle Z}$ . С ${displaystyle I (Y; Z | X)> I (Y; Z)}$ , результат - отрицательная информация о взаимодействии ${displaystyle I (X; Y; Z)}$ . Может показаться, что в этом примере используется своеобразное упорядочение ${displaystyle X, Y, Z}$ чтобы получить отрицательное взаимодействие, но симметрия определения для ${displaystyle I (X; Y; Z)}$ указывает, что результат одного и того же отрицательного взаимодействия не зависит от того, какую переменную мы считаем нарушитель или кондиционирующая переменная. Например, введите ${displaystyle Y}$ и вывод ${displaystyle X}$ также независимы до ввода ${displaystyle Z}$ фиксировано, и в этот момент они полностью зависят (очевидно), и у нас есть та же информация об отрицательном взаимодействии, что и раньше, ${displaystyle I (X; Y; Z) = I (X; Y) -I (X; Y | Z)}$ .

Эта ситуация является примером, когда исправление общий эффект ${displaystyle X}$ причин ${displaystyle Y}$ и ${displaystyle Z}$ вызывает зависимость между причинами, которых раньше не было. Такое поведение в просторечии называется объясняя и подробно обсуждается в Байесовская сеть литературе (например, Pearl 1988). Пример Перла - автоматическая диагностика: двигатель автомобиля может не заводиться. ${displaystyle (X)}$ либо из-за разряженной батареи ${displaystyle (Y)}$ или из-за заблокированного топливного насоса ${displaystyle (Z)}$ . Обычно мы предполагаем, что выход из строя аккумуляторной батареи и блокировка топливного насоса являются независимыми событиями из-за существенной модульности таких автомобильных систем. Таким образом, в отсутствие другой информации знание того, разрядился аккумулятор или нет, не дает нам информации о том, заблокирован ли топливный насос. Однако, если мы узнаем, что машина не заводится (т. Е. Исправляем общий эффект ${displaystyle X}$ ), эта информация вызывает зависимость между двумя причинами смерть батареи и засорение топлива. Таким образом, зная, что автомобиль не заводится, если проверка показывает, что аккумулятор находится в хорошем состоянии, мы можем сделать вывод, что топливный насос должен быть заблокирован.

Смерть батареи и засорение топлива таким образом зависят, обусловлены их общим действием запуск машины. Предыдущее обсуждение указывает на то, что очевидная направленность в графе общих эффектов противоречит глубокой информационной симметрии: если обусловленность общего эффекта увеличивает зависимость между двумя его родительскими причинами, то обусловливание одной из причин должно вызывать такое же усиление зависимости. между второй причиной и общим следствием. В автомобильном примере Перла, если машина заводится побуждает ${displaystyle I (X; Y; Z)}$ биты зависимости между двумя причинами батарея разряжена и топливо заблокировано, затем кондиционированиетопливо заблокировано должен побудить ${displaystyle I (X; Y; Z)}$ биты зависимости между батарея разряжена и машина заводится. Это может показаться странным, потому что батарея разряжена и машина заводится уже регулируются подтекстом батарея разряжена ${displaystyle ightarrow}$ машина не заводится. Однако эти переменные все еще не полностью коррелированы, потому что обратное неверно. Кондиционирование на топливо заблокировано устраняет главную альтернативную причину неудачного запуска и усиливает обратную связь и, следовательно, связь между батарея разряжена и машина заводится. В статье Tsujishita (1995) более подробно рассматривается взаимная информация третьего порядка.

Положительность для цепей Маркова

Если три переменные образуют цепь Маркова ${displaystyle X o Y o Z}$ , тогда ${displaystyle I (X; Z | Y) = 0}$ , но ${displaystyle I (X; Z) geq 0}$ . Отсюда мы сделали вывод, что

{displaystyle I (X; Y; Z) = I (X; Z) -I (X; Z | Y) = I (X; Z) geq 0.}

[1] "InfoTopo: Анализ топологической информации. Глубокое статистическое обучение без учителя и с учителем - Обмен файлами - Github". github.com/pierrebaudot/infotopopy/. Получено 26 сентября 2020.

[1]

Информация о взаимодействии - Interaction information

Содержание

Случай трех переменных

Пример информации о положительном взаимодействии

Пример информации о негативном взаимодействии

Положительность для цепей Маркова

Случай с четырьмя переменными

В п-переменный случай

Трудности с интерпретацией информации о взаимодействии

Использует

Рекомендации