Вариация информации - Variation of information

В теория вероятности и теория информации, то изменение информации или же дистанция обмена информацией является мерой расстояния между двумя кластерами (перегородки элементов ). Это тесно связано с взаимная информация; действительно, это простое линейное выражение, включающее взаимную информацию. Однако, в отличие от взаимной информации, изменение информации является истинным метрика, в том, что он подчиняется неравенство треугольника.^[1][2][3]

Информационная диаграмма иллюстрируя связь между информационные энтропии, взаимная информация и изменение информации.

Определение

Предположим, у нас есть два перегородки ${ displaystyle X}$ и ${ displaystyle Y}$ из набор ${ displaystyle A}$ в непересекающийся подмножества, а именно ${ Displaystyle X = {X_ {1}, X_ {2}, .. ,, X_ {k} }}$ и ${ Displaystyle Y = {Y_ {1}, Y_ {2}, .. ,, Y_ {l} }}$. Позволять ${ displaystyle n = sum _ {i} | X_ {i} | = sum _ {j} | Y_ {j} | = | A |}$, ${ displaystyle p_ {i} = | X_ {i} | / n}$ , ${ displaystyle q_ {j} = | Y_ {j} | / n}$, ${ displaystyle r_ {ij} = | X_ {i} cap Y_ {j} | / n}$. Тогда разница в информации между двумя разделами будет:

${ displaystyle mathrm {VI} (X; Y) = - sum _ {i, j} r_ {ij} left [ log (r_ {ij} / p_ {i}) + log (r_ {ij } / q_ {j}) right]}$.

Это эквивалентно дистанция обмена информацией между случайными величинами я и j относительно равномерной вероятностной меры на ${ displaystyle A}$ определяется ${ Displaystyle му (В): = | В | / п}$ за ${ Displaystyle B substeq A}$.

Явное информационное содержание

Мы можем переписать это определение в терминах, которые явно выделяют информационное содержание этой метрики.

Множество всех перегородок множества образуют компактный Решетка где частичный порядок индуцирует две операции, встреча ${ Displaystyle клин}$ и присоединение ${ displaystyle vee}$, где максимум ${ displaystyle { overline { mathrm {1}}}}$ это раздел, состоящий только из одного блока, т. е. все элементы сгруппированы вместе, и минимум равен ${ displaystyle { overline { mathrm {0}}}}$, разбиение, состоящее из всех элементов как одиночных элементов. Встреча двух перегородок ${ displaystyle X}$ и ${ displaystyle Y}$ легко понять как это разбиение, образованное всеми парными пересечениями одного блока ${ displaystyle X_ {i}}$, из ${ displaystyle X}$ и один, ${ displaystyle Y_ {i}}$, из ${ displaystyle Y}$. Отсюда следует, что ${ Displaystyle X клин Y substeq X}$ и ${ Displaystyle X клин Y substeq Y}$.

Определим энтропию раздела ${ displaystyle X}$ в качестве

куда ${ displaystyle p_ {i} = | X_ {i} | / n}$. Четко, ${ Displaystyle Н ({ overline { mathrm {1}}}) = 0}$ и ${ Displaystyle Н ({ overline { mathrm {0}}}) = журнал , п}$. Энтропия разбиения - это монотонная функция на решетке разбиений в том смысле, что ${ Displaystyle X Subteq Y Rightarrow H (X) geq H (Y)}$.

Тогда расстояние VI между ${ displaystyle X}$ и ${ displaystyle Y}$ дан кем-то

Разница ${ Displaystyle d (X, Y) эквив | H влево (X вправо) -H влево (Y вправо) |}$ псевдометрика как ${ displaystyle d (X, Y) = 0}$ не обязательно означает, что ${ Displaystyle X = Y}$. Из определения ${ displaystyle { overline { mathrm {1}}}}$, это ${ Displaystyle mathrm {VI} (X, mathrm {1}) , = , H left (X right)}$.

Если в Диаграмма Хассе от каждой перегородки проводим ребро по максимуму ${ displaystyle { overline { mathrm {1}}}}$ и присвоить ему вес, равный расстоянию VI между данным разделом и ${ displaystyle { overline { mathrm {1}}}}$, мы можем интерпретировать расстояние VI как в основном среднее значение разницы весов ребер до максимума.

За ${ Displaystyle H (X)}$ как определено выше, считается, что общая информация двух разделов совпадает с энтропией встречи

и у нас также есть это ${ Displaystyle d (X, X клин Y) , = , H (X клин Y | X)}$ совпадает с условной энтропией встречи (пересечения) ${ Displaystyle X клин Y}$ относительно ${ displaystyle X}$.

Идентичности

Разнообразие информации удовлетворяет

${ Displaystyle mathrm {VI} (X; Y) = H (X) + H (Y) -2I (X, Y)}$,

куда ${ Displaystyle H (X)}$ это энтропия из ${ displaystyle X}$, и ${ Displaystyle I (X, Y)}$ является взаимная информация между ${ displaystyle X}$ и ${ displaystyle Y}$ относительно равномерной вероятностной меры на ${ displaystyle A}$. Это можно переписать как

${ Displaystyle mathrm {VI} (X; Y) = H (X, Y) -I (X, Y)}$,

куда ${ Displaystyle H (X, Y)}$ это совместная энтропия из ${ displaystyle X}$ и ${ displaystyle Y}$, или же

${ Displaystyle mathrm {VI} (X; Y) = H (X | Y) + H (Y | X)}$,

куда ${ Displaystyle H (X | Y)}$ и ${ Displaystyle H (Y | X)}$ соответствующие условные энтропии.

Разнообразие информации также может быть ограничено количеством элементов:

${ Displaystyle mathrm {VI} (X; Y) Leq log (п)}$,

Или относительно максимального количества кластеров, ${ displaystyle K ^ {*}}$:

${ Displaystyle mathrm {VI} (X; Y) Leq 2 log (K ^ {*})}$

Рекомендации

дальнейшее чтение

• Arabie, P .; Бурман, С. А. (1973). «Многомерное масштабирование мер расстояния между перегородками». Журнал математической психологии. 10 (2): 148–203. Дои:10.1016/0022-2496(73)90012-6.
• Мейла, Марина (2003). «Сравнение кластеризации по вариации информации». Теория обучения и машины ядра. Конспект лекций по информатике. 2777: 173–187. Дои:10.1007/978-3-540-45167-9_14. ISBN  978-3-540-40720-1.
• Мейла, М. (2007). «Сравнение кластеризации - расстояние, основанное на информации». Журнал многомерного анализа. 98 (5): 873–895. Дои:10.1016 / j.jmva.2006.11.013.
• Кингсфорд, Карл (2009). «Заметки по теории информации» (PDF). Получено 22 сентября 2009.
• Красков, Александр; Харальд Штегбауэр; Ральф Дж. Анджеяк; Питер Грассбергер (2003). «Иерархическая кластеризация на основе взаимной информации». arXiv:q-bio / 0311039.

внешняя ссылка

• Партанализатор включает в себя реализацию VI на C ++ и другие показатели и индексы для анализа разделов и кластеров
• Реализация C ++ с файлами MATLAB mex