Информационная диаграмма - Information diagram

Диаграмма Венна показывая аддитивные и вычитающие отношения между различными информационные меры связана с коррелированные переменные X и Y. Площадь, содержащаяся в обоих кругах, является совместная энтропия H (X, Y). Круг слева (красный и фиолетовый) - это индивидуальная энтропия H (X), красный - условная энтропия H (X | Y). Круг справа (синий и фиолетовый) - это H (Y), а синий - H (Y | X). Фиолетовый - это взаимная информация Я (X; Y).

An информационная диаграмма это тип Диаграмма Венна используется в теория информации чтобы проиллюстрировать отношения между основными меры информации: энтропия, совместная энтропия, условная энтропия и взаимная информация.[1][2] Информационные диаграммы - полезный педагогический инструмент для обучения и изучения этих основных показателей информации, но использование таких диаграмм имеет некоторые нетривиальные последствия. Например, энтропия Шеннона в контексте информационной диаграммы должна рассматриваться как подписанная мера. (См. Статью Теория информации и теория меры для дополнительной информации.). Информационные диаграммы также применялись для решения конкретных задач, например, для отображения теоретическое подобие информации между наборами онтологические термины.[3]

Диаграмма Венна теоретико-информационных мер для трех переменных x, y и z. Каждый круг представляет собой человека энтропия: H (x) - нижний левый круг, H (y) - нижний правый, а H (z) - верхний круг. Пересечения любых двух кругов представляют собой взаимная информация для двух связанных переменных (например, I (x; z) желтый и серый). Объединение любых двух кругов - это совместная энтропия для двух связанных переменных (например, H (x, y) - все, кроме зеленого). Совместная энтропия H (x, y, z) всех трех переменных - это объединение всех трех окружностей. Он разделен на 7 частей, красный, синий и зеленый - это условные энтропии H (x | y, z), H (y | x, z), H (z | x, y) соответственно, желтый, пурпурный и голубой - это условная взаимная информация I (x; z | y), I (y; z | x) и I (x; y | z) соответственно, а серый цвет обозначает многомерная взаимная информация Я (х; у; z). Многовариантная взаимная информация - единственное, что может быть отрицательным.

Рекомендации

  1. ^ Фазлолла Реза. Введение в теорию информации. Нью-Йорк: McGraw-Hill 1961. Нью-Йорк: Dover 1994. ISBN  0-486-68210-2
  2. ^ Р. В. Юнг, Первый курс теории информации. Норуэлл, Массачусетс / Нью-Йорк: Kluwer / Пленум, 2002.
  3. ^ Гардо, Винсент; Halonen, H; Джексон, Д.; Martinez, FD; Люсье, Я. (1 июня 2015 г.). «На пути к тесту вирограммы PBMC» для прецизионной медицины: соответствие транскриптомов вирусной инфекции ex vivo и in vivo ». Журнал биомедицинской информатики. 1: 94–103. Дои:10.1016 / j.jbi.2015.03.003. ЧВК  4951181. PMID  25797143.