Общая корреляция - Total correlation

В теория вероятности и в частности в теория информации, полная корреляция (Watanabe 1960) - одно из нескольких обобщений взаимная информация. Он также известен как многомерное ограничение (Гарнер 1962) или мультиинформация (Студены и Вейнарова, 1999). Он количественно определяет избыточность или зависимость между набором п случайные переменные.

Определение

Для данного набора п случайные переменные ${displaystyle {X_ {1}, X_ {2}, ldots, X_ {n}}}$ , общая корреляция ${displaystyle C (X_ {1}, X_ {2}, ldots, X_ {n})}$ определяется как Дивергенция Кульбака – Лейблера из совместного распределения ${displaystyle p (X_ {1}, ldots, X_ {n})}$ к независимому распределению ${displaystyle p (X_ {1}) p (X_ {2}) cdots p (X_ {n})}$ ,

{displaystyle C (X_ {1}, X_ {2}, ldots, X_ {n}) эквивалентное имя оператора {D_ {KL}} left [p (X_ {1}, ldots, X_ {n}) | p (X_ { 1}) p (X_ {2}) cdots p (X_ {n}) ight] ;.}

Это расхождение сводится к более простой разности энтропий:

{displaystyle C (X_ {1}, X_ {2}, ldots, X_ {n}) = left [сумма _ {i = 1} ^ {n} H (X_ {i}) ight] -H (X_ {1 }, X_ {2}, ldots, X_ {n})}

куда ${displaystyle H (X_ {i})}$ это информационная энтропия переменной ${displaystyle X_ {i},}$ , и ${displaystyle H (X_ {1}, X_ {2}, ldots, X_ {n})}$ это совместная энтропия набора переменных ${displaystyle {X_ {1}, X_ {2}, ldots, X_ {n}}}$ . В терминах дискретных распределений вероятностей переменных ${displaystyle {X_ {1}, X_ {2}, ldots, X_ {n}}}$ , общая корреляция определяется выражением

{displaystyle C (X_ {1}, X_ {2}, ldots, X_ {n}) = sum _ {x_ {1} in {mathcal {X}} _ {1}} sum _ {x_ {2} in { mathcal {X}} _ {2}} ldots sum _ {x_ {n} in {mathcal {X}} _ {n}} p (x_ {1}, x_ {2}, ldots, x_ {n}) log {frac {p (x_ {1}, x_ {2}, ldots, x_ {n})} {p (x_ {1}) p (x_ {2}) cdots p (x_ {n})}}.}.

Общая корреляция - это количество информации общий среди переменных в наборе. Сумма ${displaystyle {egin {matrix} sum _ {i = 1} ^ {n} H (X_ {i}) end {matrix}}}$ представляет количество информации в биты (при условии, что журналы базы 2), которыми переменные обладали бы, если бы они были полностью независимы друг от друга (без избыточности), или, что то же самое, средняя длина кода для передачи значений всех переменных, если бы каждая переменная (оптимально) была закодирована независимо . Период, термин ${displaystyle H (X_ {1}, X_ {2}, ldots, X_ {n})}$ это действительный количество информации, которую содержит набор переменных, или, что эквивалентно, средняя длина кода для передачи значений всех переменных, если набор переменных (оптимально) закодирован вместе. Таким образом, разница между этими терминами представляет собой абсолютную избыточность (в битах), присутствующую в данном наборе переменных, и, таким образом, обеспечивает общую количественную меруструктура или же организация воплощены в множестве переменных (Rothstein 1952). Полная корреляция также является Дивергенция Кульбака – Лейблера между фактическим распределением ${displaystyle p (X_ {1}, X_ {2}, ldots, X_ {n})}$ и приближение его максимального произведения энтропии ${displaystyle p (X_ {1}) p (X_ {2}) cdots p (X_ {n})}$ .

Общая корреляция количественно определяет степень зависимости между группой переменных. Почти нулевая общая корреляция указывает на то, что переменные в группе по существу статистически независимы; они совершенно не связаны между собой в том смысле, что знание значения одной переменной не дает никакого ключа к значениям других переменных. С другой стороны, максимальная полная корреляция (для фиксированного набора индивидуальных энтропий ${displaystyle H (X_ {1}), ..., H (X_ {n})}$ ) дан кем-то

{displaystyle C_ {max} = sum _ {i = 1} ^ {n} H (X_ {i}) - минимальные пределы _ {X_ {i}} H (X_ {i}),}

и возникает, когда одна из переменных определяет все других переменных. Затем переменные максимально связаны между собой в том смысле, что знание значения одной переменной дает полную информацию о значениях всех других переменных, а переменные можно образно рассматривать как винтики в котором положение одного винтика определяет положение всех остальных (Rothstein 1952).

Важно отметить, что общая корреляция имеет большое значение. все избыточность между набором переменных, но эта избыточность может быть распределена по набору переменных множеством сложных способов (Garner 1962). Например, некоторые переменные в наборе могут быть полностью взаимно избыточными, в то время как другие в наборе полностью независимы. Возможно, что более важно, избыточность может передаваться во взаимодействиях разной степени: группа переменных может не обладать какой-либо парной избыточностью, но может обладать более высоким порядком. взаимодействие избыточности, примером которых является функция четности. Разложение полной корреляции на составляющие ее дублирующие элементы исследуется в ряде источников (Mcgill 1954, Watanabe 1960, Garner 1962, Studeny & Vejnarova 1999, Jakulin & Bratko 2003a, Jakulin & Bratko 2003b, Nemenman 2004, Margolin et al. 2008, Han 1978, Хань 1980).

Условная общая корреляция

Условная общая корреляция определяется аналогично общей корреляции, но с добавлением условия к каждому члену. Условная полная корреляция аналогичным образом определяется как расхождение Кульбака-Лейблера между двумя условными распределениями вероятностей,

{displaystyle C (X_ {1}, X_ {2}, ldots, X_ {n} | Y = y) эквивалентное имя оператора {D_ {KL}} left [p (X_ {1}, ldots, X_ {n} | Y = y) | p (X_ {1} | Y = y) p (X_ {2} | Y = y) cdots p (X_ {n} | Y = y) ight] ;.}

По аналогии с вышеизложенным условная полная корреляция сводится к разности условных энтропий,

{displaystyle C (X_ {1}, X_ {2}, ldots, X_ {n} | Y = y) = сумма _ {i = 1} ^ {n} H (X_ {i} | Y = y) -H (X_ {1}, X_ {2}, ldots, X_ {n} | Y = y)}

Использование полной корреляции

Кластеризация и выбор функции алгоритмы, основанные на полной корреляции, были исследованы Ватанабе. Альфонсо и др. (2010) применили концепцию полной корреляции к оптимизации сетей мониторинга воды.

Общая корреляция - Total correlation

Содержание

Определение

Условная общая корреляция

Использование полной корреляции

Смотрите также

Рекомендации