Теория информации и теория меры - Information theory and measure theory

В этой статье рассказывается, как теория информации (раздел математики, изучающий передачу, обработку и хранение Информация ) относится к теория меры (раздел математики, связанный с интеграция и вероятность ).

Меры в теории информации

Многие концепции теории информации имеют отдельные определения и формулы для непрерывный и дискретный случаи. Например, энтропия ${displaystyle mathrm {H} (X)}$ обычно определяется для дискретных случайных величин, тогда как для непрерывных случайных величин родственное понятие дифференциальная энтропия, написано ${displaystyle h (X)}$, используется (см. Обложка и Томас, 2006, глава 8). Обе эти концепции являются математическими. ожидания, но ожидание определяется с помощью интеграл для непрерывного случая и сумма для дискретного случая.

Эти отдельные определения могут быть более тесно связаны с точки зрения теория меры. Для дискретных случайных величин функции вероятности и массы можно рассматривать как функции плотности по отношению к счетной мере. Думая об интеграле и сумме как об интегрировании в пространстве мер, можно использовать единый подход.

Рассмотрим формулу дифференциальной энтропии непрерывного случайная переменная ${displaystyle X}$ с диапазоном ${displaystyle mathbb {R}}$ и функция плотности вероятности ${displaystyle f (x)}$:

${displaystyle h (X) = - int _ {mathbb {R}} f (x) log f (x), dx.}$

Обычно это можно интерпретировать следующим образом. Интеграл Римана – Стилтьеса.:

${displaystyle h (X) = - int _ {mathbb {R}} f (x) log f (x), dmu (x),}$

куда ${displaystyle mu}$ это Мера Лебега.

Если вместо этого ${displaystyle X}$ дискретный, с диапазоном ${displaystyle Omega}$ конечное множество, ${displaystyle f}$ - функция массы вероятности на ${displaystyle Omega}$, и ${displaystyle u}$ это счетная мера на ${displaystyle Omega}$, мы можем написать:

${displaystyle mathrm {H} (X) = - sum _ {xin Omega} f (x) log f (x) = - int _ {Omega} f (x) log f (x), du (x).}$

Интегральное выражение и общая концепция в непрерывном случае идентичны; единственная разница - это используемая мера. В обоих случаях функция плотности вероятности ${displaystyle f}$ это Производная Радона – Никодима из вероятностная мера относительно меры, по которой берется интеграл.

Если ${displaystyle P}$ - вероятностная мера, индуцированная ${displaystyle X}$, то интеграл можно брать и непосредственно по ${displaystyle P}$:

${displaystyle h (X) = - int _ {X} log {frac {mathrm {d} P} {mathrm {d} mu}}, dP,}$

Если вместо основной меры μ взять другую вероятностную меру ${displaystyle Q}$, мы пришли к Дивергенция Кульбака – Лейблера: позволять ${displaystyle P}$ и ${displaystyle Q}$ - вероятностные меры в одном и том же пространстве. Тогда если ${displaystyle P}$ является абсолютно непрерывный относительно ${displaystyle Q}$, написано ${displaystyle Pll Q,}$ то Производная Радона – Никодима ${displaystyle {frac {mathrm {d} P} {mathrm {d} Q}}}$ существует и расхождение Кульбака – Лейблера может быть выражено в его полной общности:

${displaystyle D_ {operatorname {KL}} (P | Q) = int _ {operatorname {supp} P} {frac {mathrm {d} P} {mathrm {d} Q}} log {frac {mathrm {d} P } {mathrm {d} Q}}, dQ = int _ {operatorname {supp} P} log {frac {mathrm {d} P} {mathrm {d} Q}}, dP,}$

где интеграл пробегает поддерживать из ${displaystyle P.}$ Обратите внимание, что мы опустили отрицательный знак: расхождение Кульбака – Лейблера всегда неотрицательно из-за Неравенство Гиббса.

Энтропия как «мера»

Диаграмма Венна для различных информационных мер, связанных с коррелированными переменными Икс и Y. Площадь, содержащаяся в обоих кругах, является совместной энтропией ЧАС(Икс,Y). Круг слева (красный и голубой) - это индивидуальная энтропия. ЧАС(Икс), красным - условная энтропия ЧАС(Икс|Y). Круг справа (синий и голубой) - это ЧАС(Y), с синим существом ЧАС(Y|Икс). Голубой - это взаимная информация я(Икс;Y).

Эта секция нужны дополнительные цитаты для проверка. Пожалуйста помоги улучшить эту статью к добавление цитат в надежные источники. Материал, не полученный от источника, может быть оспорен и удален. (Апрель 2017 г.) (Узнайте, как и когда удалить этот шаблон сообщения)

Диаграмма Венна теоретико-информационных мер для трех переменных Икс, у, и z. Каждый круг представляет собой человека энтропия: ЧАС(Икс) - нижний левый кружок, ЧАС(у) в правом нижнем углу и ЧАС(z) - верхний круг. Пересечения любых двух кругов представляют собой взаимная информация для двух связанных переменных (например, я(Икс;z) желто-серый). Объединение любых двух кругов - это совместная энтропия для двух связанных переменных (например, ЧАС(Икс,у) все, кроме зеленого). Совместная энтропия ЧАС(Икс,у,z) всех трех переменных является объединением всех трех окружностей. Он разделен на 7 частей, красный, синий и зеленый - это условные энтропии ЧАС(Икс|у,z), ЧАС(у|Икс,z), ЧАС(z|Икс,у) соответственно, желтый, пурпурный и голубой - условная взаимная информация я(Икс;z|у), я(у;z|Икс) и я(Икс;у|z) соответственно, а серый - многомерная взаимная информация я(Икс;у;z). Многовариантная взаимная информация - единственное, что может быть отрицательным.

Есть аналогия между Шеннон основной "меры " из Информация содержание случайных величин и мера над наборами. А именно совместная энтропия, условная энтропия, и взаимная информация можно рассматривать как меру установить союз, установить разницу, и установить пересечение соответственно (Реза, с. 106–108).

Если связать существование абстрактных наборы ${displaystyle {ilde {X}}}$ и ${displaystyle {ilde {Y}}}$ произвольно дискретный случайные переменные Икс и Y, каким-то образом представляя Информация несет Икс и Yсоответственно такие, что:

• ${displaystyle mu ({ilde {X}} cap {ilde {Y}}) = 0}$ в любое время Икс и Y безусловно независимый, и
• ${displaystyle {ilde {X}} = {ilde {Y}}}$ в любое время Икс и Y таковы, что одно полностью определяется другим (т. е. биекцией);

куда ${displaystyle mu}$ это подписанная мера над этими наборами, и мы устанавливаем:

${displaystyle {egin {выровнено} mathrm {H} (X) & = mu ({ilde {X}}), mathrm {H} (Y) & = mu ({ilde {Y}}), mathrm {H } (X, Y) & = mu ({ilde {X}} чашка {ilde {Y}}), mathrm {H} (Xmid Y) & = mu ({ilde {X}} setminus {ilde {Y} }), operatorname {I} (X; Y) & = mu ({ilde {X}} cap {ilde {Y}}); конец {выровнено}}}$

мы находим, что Шеннон «мера» информационного содержания удовлетворяет всем постулатам и основным свойствам формального подписанная мера над наборами, как обычно информационная диаграмма. Это позволяет записать сумму двух измерений:

${displaystyle mu (A) + mu (B) = mu (Acup B) + mu (Acap B)}$

и аналог Теорема Байеса (${displaystyle mu (A) + mu (Bsetminus A) = mu (B) + mu (Asetminus B)}$) позволяет записать разность двух тактов:

${displaystyle mu (A) -mu (B) = mu (Asetminus B) -mu (Bsetminus A)}$

Это может быть удобно мнемоническое устройство в некоторых ситуациях, например

${displaystyle {egin {align} mathrm {H} (X, Y) & = mathrm {H} (X) + mathrm {H} (Ymid X) & mu ({ilde {X}} чашка {ilde {Y}}) & = mu ({ilde {X}}) + mu ({ilde {Y}} setminus {ilde {X}}) operatorname {I} (X; Y) & = mathrm {H} (X) -mathrm { H} (Xmid Y) & mu ({ilde {X}} cap {ilde {Y}}) & = mu ({ilde {X}}) - mu ({ilde {X}} setminus {ilde {Y}}) конец {выровнен}}}$

Обратите внимание, что меры (математические ожидания логарифма) истинных вероятностей называются «энтропией» и обычно обозначаются буквой ЧАС, в то время как другие показатели часто называют «информацией» или «корреляцией» и обычно обозначаются буквой я. Для простоты обозначений буква я иногда используется для всех мер.

Многомерная взаимная информация

Определенные расширения определений базовых мер информации Шеннона необходимы, чтобы иметь дело с σ-алгебра генерируется наборами, которые будут связаны с тремя или более произвольными случайными величинами. (См. Реза, стр. 106–108 для неформального, но довольно полного обсуждения.) А именно. ${displaystyle mathrm {H} (X, Y, Z, cdots)}$ должно быть определено очевидным образом как энтропия совместного распределения, а многомерное взаимная информация ${displaystyle operatorname {I} (X; Y; Z; cdots)}$ определены подходящим образом, чтобы мы могли установить:

${displaystyle {egin {align} mathrm {H} (X, Y, Z, cdots) & = mu ({ilde {X}} cup {ilde {Y}} cup {ilde {Z}} cdots cdots), operatorname {I} (X; Y; Z; cdots) & = mu ({ilde {X}} cap {ilde {Y}} cap {ilde {Z}} cap cdots); конец {выровнено}}}$

чтобы определить (знаковую) меру по всей σ-алгебре. Не существует единого общепринятого определения многовариантной взаимной информации, но то, которое здесь соответствует мере пересечения множеств, принадлежит Фано (1966: стр. 57-59). Определение рекурсивное. В качестве базового случая взаимная информация одной случайной величины определяется как ее энтропия: ${displaystyle operatorname {I} (X) = mathrm {H} (X)}$. Тогда для ${displaystyle ngeq 2}$ мы установили

${displaystyle operatorname {I} (X_ {1}; cdots; X_ {n}) = operatorname {I} (X_ {1}; cdots; X_ {n-1}) - имя оператора {I} (X_ {1}; cdots; X_ {n-1} mid X_ {n}),}$

где условная взаимная информация определяется как

${displaystyle operatorname {I} (X_ {1}; cdots; X_ {n-1} mid X_ {n}) = mathbb {E} _ {X_ {n}} {ig (} operatorname {I} (X_ {1 }; cdots; X_ {n-1}) mid X_ {n} {ig)}.}.$

Первый шаг в рекурсии дает определение Шеннона ${displaystyle operatorname {I} (X_ {1}; X_ {2}) = mathrm {H} (X_ {1}) - mathrm {H} (X_ {1} mid X_ {2}).}$ Многомерная взаимная информация (такая же, как информация о взаимодействии но для изменения знака) трех или более случайных величин могут быть как отрицательными, так и положительными: Пусть Икс и Y быть двумя независимыми справедливыми подбрасываниями монеты, и пусть Z быть их Эксклюзивный или. потом ${displaystyle operatorname {I} (X; Y; Z) = - 1}$ кусочек.

Для трех и более случайных величин возможны многие другие варианты: например, ${displaystyle operatorname {I} (X, Y; Z)}$ взаимная информация совместного распределения Икс и Y относительно Z, и может интерпретироваться как ${displaystyle mu (({ilde {X}} чашка {ilde {Y}}) cap {ilde {Z}}).}$ Таким образом можно построить множество более сложных выражений, которые все еще имеют значение, например ${displaystyle operatorname {I} (X, Y; Zmid W),}$ или же ${displaystyle mathrm {H} (X, Zmid W, Y).}$

Рекомендации

• Томас М. Кавер и Джой А. Томас. Элементы теории информации, второе издание, 2006 г. Нью-Джерси: Wiley and Sons. ISBN  978-0-471-24195-9.
• Фазлолла М. Реза. Введение в теорию информации. Нью-Йорк: Макгроу-Хилл 1961. Нью-Йорк: Довер 1994. ISBN  0-486-68210-2
• Фано, Р. М. (1966), Передача информации: статистическая теория коммуникации, MIT Press, ISBN  978-0-262-56169-3, OCLC  804123877
• R. W. Yeung, "Об энтропии, информационных неравенствах и группах". PS

Смотрите также

• Теория информации
• Теория меры
• Теория множеств