Информационная метрика Fisher - Fisher information metric

В информационная геометрия, то Информационная метрика Fisher особый Риманова метрика который можно определить на гладком статистическое многообразие, т.е., а гладкое многообразие чьи точки вероятностные меры определены на общем вероятностное пространство. Его можно использовать для расчета информационной разницы между измерениями.

Метрика интересна в нескольких отношениях. К Теорема Ченцова, информационная метрика Фишера на статистических моделях является единственной римановой метрикой (с точностью до масштабирования), инвариантной относительно достаточная статистика.^[1]^[2]

Его также можно понимать как бесконечно малую форму относительной энтропии (т.е., то Дивергенция Кульбака – Лейблера ); в частности, это Гессен расхождения. С другой стороны, это можно понимать как метрику, индуцированную плоским пространством Евклидова метрика, после соответствующих изменений переменной. При расширении до сложного проективное гильбертово пространство, становится Метрика Фубини – Этюд; когда написано в терминах смешанные состояния, это квантовый Метрика Буреса.

Рассматриваемый исключительно как матрица, он известен как Информационная матрица Fisher. Рассматриваемый как метод измерения, когда он используется для оценки скрытых параметров с точки зрения наблюдаемых случайных величин, он известен как наблюдаемая информация.

Определение

Для статистического многообразия с координатами ${ displaystyle theta = ( theta _ {1}, theta _ {2}, ldots, theta _ {n})}$ , один пишет ${ Displaystyle р (х, тета)}$ для распределения вероятностей как функции ${ displaystyle theta}$ . Вот ${ displaystyle x}$ извлекается из пространства значений р для (дискретного или непрерывного) случайная переменная Икс. Вероятность нормирована на ${ Displaystyle int _ {X} п (х, тета) , dx = 1}$

Тогда информационная метрика Фишера принимает форму:

{ displaystyle g_ {jk} ( theta) = int _ {X} { frac { partial log p (x, theta)} { partial theta _ {j}}} { frac { частичный log p (x, theta)} { partial theta _ {k}}} p (x, theta) , dx.}

Интеграл проводится по всем значениям Икс в Икс. Переменная ${ displaystyle theta}$ теперь координата на Многообразие Римана. Этикетки j и k проиндексируйте локальные оси координат на коллекторе.

Когда вероятность выводится из Мера Гиббса, как это было бы для любого Марковский процесс, тогда ${ displaystyle theta}$ также можно понимать как Множитель Лагранжа; Множители Лагранжа используются для обеспечения ограничений, таких как удержание ожидаемое значение некоторой постоянной величины. Если есть п сдерживающие ограничения п различные математические ожидания постоянны, то размер многообразия равен п габариты меньше исходного пространства. В этом случае метрика может быть явно получена из функция распределения; вывод и обсуждение представлены там.

Подстановка ${ Displaystyle я (х, тета) = - журнал {} р (х, тета)}$ от теория информации, эквивалентная форма приведенного выше определения:

{ displaystyle g_ {jk} ( theta) = int _ {X} { frac { partial ^ {2} i (x, theta)} { partial theta _ {j} , partial theta _ {k}}} p (x, theta) , dx = mathrm {E} left [{ frac { partial ^ {2} i (x, theta)} { partial theta _ {j} , partial theta _ {k}}} right].}

Чтобы показать, что эквивалентная форма равна приведенному выше определению, обратите внимание, что

{ displaystyle mathrm {E} left [{ frac { partial log {} p (x, theta)} { partial theta _ {j}}} right] = 0}

и применить ${ displaystyle { frac { partial} { partial theta _ {k}}}}$ с обеих сторон.

Связь с расходимостью Кульбака – Лейблера.

В качестве альтернативы показатель может быть получен как вторая производная от относительная энтропия или Дивергенция Кульбака – Лейблера.^[3] Чтобы получить это, нужно рассмотреть два распределения вероятностей ${ Displaystyle Р ( тета)}$ и ${ Displaystyle P ( theta _ {0})}$ , бесконечно близкие друг к другу, так что

{ Displaystyle P ( theta) = P ( theta _ {0}) + sum _ {j} Delta theta ^ {j} left. { frac { partial P} { partial theta ^ {j}}} right | _ { theta _ {0}}}

с участием ${ displaystyle Delta theta ^ {j}}$ бесконечно малое изменение ${ displaystyle theta}$ в j направление. Тогда, поскольку расходимость Кульбака – Лейблера ${ Displaystyle D _ { mathrm {KL}} [P ( theta _ {0}) | P ( theta)]}$ имеет абсолютный минимум 0, когда ${ Displaystyle Р ( тета) = Р ( тета _ {0})}$ , есть расширение до второго порядка по ${ displaystyle theta = theta _ {0}}$ формы

{ displaystyle f _ { theta _ {0}} ( theta): = D _ { mathrm {KL}} [P ( theta _ {0}) | P ( theta)] = { frac {1 } {2}} sum _ {jk} Delta theta ^ {j} Delta theta ^ {k} g_ {jk} ( theta _ {0}) + mathrm {O} ( Delta theta ^ {3})}

.

Симметричная матрица ${ displaystyle g_ {jk}}$ положительно (полу) определен и является Матрица Гессе функции ${ displaystyle f _ { theta _ {0}} ( theta)}$ в точке экстремума ${ displaystyle theta _ {0}}$ . Интуитивно это можно представить как: «Расстояние между двумя бесконечно близкими точками на статистическом дифференциальном многообразии - это информационная разница между ними».

Связь с геометрией Руппайнера

В Метрика Руппайнера и Метрика Вайнхольда возникают как термодинамический предел информационной метрики Фишера.^[4]

Изменение свободной энтропии

В действие кривой на Риманово многообразие дан кем-то

{ displaystyle A = { frac {1} {2}} int _ {a} ^ {b} { frac { partial theta ^ {j}} { partial t}} g_ {jk} ( theta) { frac { partial theta ^ {k}} { partial t}} dt}

Параметр пути здесь время т; это действие можно понять как изменение свободная энтропия системы, поскольку она перемещается от времени а ко времени б.^[4] В частности, есть

{ Displaystyle Delta S = (б-а) А ,}

как изменение свободной энтропии. Это наблюдение привело к практическому применению в химический и обрабатывающая промышленность: чтобы минимизировать изменение свободной энтропии системы, нужно соблюдать минимум геодезический путь между желаемыми конечными точками процесса. Геодезическая минимизирует энтропию из-за Неравенство Коши – Шварца, который утверждает, что действие ограничено снизу длиной кривой в квадрате.

Связь с расхождением Дженсена – Шеннона

Метрика Фишера также позволяет связать действие и длину кривой с Расхождение Дженсена-Шеннона.^[4] В частности, есть

{ displaystyle (ba) int _ {a} ^ {b} { frac { partial theta ^ {j}} { partial t}} g_ {jk} { frac { partial theta ^ {k }} { partial t}} , dt = 8 int _ {a} ^ {b} dJSD}

где подынтегральное выражение dJSD под этим понимается бесконечно малое изменение расходимости Дженсена – Шеннона на выбранном пути. Аналогично для длина кривой, надо

{ displaystyle int _ {a} ^ {b} { sqrt {{ frac { partial theta ^ {j}} { partial t}} g_ {jk} { frac { partial theta ^ { k}} { partial t}}}} , dt = { sqrt {8}} int _ {a} ^ {b} { sqrt {dJSD}}}

То есть квадратный корень из дивергенции Дженсена – Шеннона - это просто метрика Фишера (деленная на квадратный корень из 8).

Как евклидова метрика

Для дискретное вероятностное пространство, то есть вероятностное пространство на конечном множестве объектов, метрику Фишера можно понимать просто как Евклидова метрика ограничивается положительным «квадрантом» единичной сферы после соответствующих изменений переменной.^[5]

Рассмотрим плоское евклидово пространство размерности $N +1$ , параметризованный точками ${ displaystyle y = (y_ {0}, cdots, y_ {n})}$ . Метрика для евклидова пространства определяется выражением

{ Displaystyle ч = сумма _ {я = 0} ^ {N} dy_ {я} ; dy_ {я}}

где ${ displaystyle textstyle dy_ {i}}$ находятся 1-формы; они являются базисными векторами для котангенс пространство. Письмо ${ displaystyle textstyle { frac { partial} { partial y_ {j}}}}$ как базисные векторы для касательное пространство, так что

{ displaystyle dy_ {j} left ({ frac { partial} { partial y_ {k}}} right) = delta _ {jk}}

,

евклидова метрика может быть записана как

{ displaystyle h_ {jk} ^ { mathrm {flat}} = h left ({ frac { partial} { partial y_ {j}}}, { frac { partial} { partial y_ {k }}} right) = delta _ {jk}}

Верхний индекс "плоский" служит для напоминания о том, что при записи в координатной форме эта метрика относится к координате плоского пространства ${ displaystyle y}$ .

An N-мерная единичная сфера, вложенная в (N + 1) -мерное евклидово пространство можно определить как

{ Displaystyle сумма _ {я = 0} ^ {N} y_ {я} ^ {2} = 1}

Это вложение индуцирует метрику на сфере, она наследуется непосредственно от евклидовой метрики на объемлющем пространстве. Он принимает точно такую же форму, что и выше, но гарантирует, что координаты должны лежать на поверхности сферы. Это можно сделать, например с техникой Множители Лагранжа.

Рассмотрим теперь замену переменной ${ displaystyle p_ {i} = y_ {i} ^ {2}}$ . Условие сферы теперь становится условием нормализации вероятности

{ Displaystyle сумма _ {я} р_ {я} = 1}

в то время как метрика становится

{ displaystyle { begin {align} h & = sum _ {i} dy_ {i} ; dy_ {i} = sum _ {i} d { sqrt {p_ {i}}} ; d { sqrt {p_ {i}}} & = { frac {1} {4}} sum _ {i} { frac {dp_ {i} ; dp_ {i}} {p_ {i}}} = { frac {1} {4}} sum _ {i} p_ {i} ; d ( log p_ {i}) ; d ( log p_ {i}) end {выровнено}}}

Последнее можно распознать как четверть информационной метрики Фишера. Чтобы завершить процесс, напомним, что вероятности - это параметрические функции от переменных многообразия ${ displaystyle theta}$ , то есть есть ${ Displaystyle р_ {я} = р_ {я} ( тета)}$ . Таким образом, сказанное выше индуцирует метрику на многообразии параметров:

{ Displaystyle { begin {align} h & = { frac {1} {4}} sum _ {i} p_ {i} ( theta) ; d ( log p_ {i} ( theta)) ; d ( log p_ {i} ( theta)) & = { frac {1} {4}} sum _ {jk} sum _ {i} p_ {i} ( theta) ; { frac { partial log p_ {i} ( theta)} { partial theta _ {j}}} { frac { partial log p_ {i} ( theta)} { partial тета _ {к}}} д тета _ {j} д тета _ {к} конец {выровнено}}}

или, в координатной форме, информационная метрика Фишера:

{ displaystyle { begin {align} g_ {jk} ( theta) = 4h_ {jk} ^ { mathrm {fisher}} & = 4h left ({ frac { partial} { partial theta _ { j}}}, { frac { partial} { partial theta _ {k}}} right) & = sum _ {i} p_ {i} ( theta) ; { frac { partial log p_ {i} ( theta)} { partial theta _ {j}}} ; { frac { partial log p_ {i} ( theta)} { partial theta _ { k}}} & = mathrm {E} left [{ frac { partial log p_ {i} ( theta)} { partial theta _ {j}}} ; { frac { partial log p_ {i} ( theta)} { partial theta _ {k}}} right] end {align}}}

где, как и раньше,

{ displaystyle d theta _ {j} left ({ frac { partial} { partial theta _ {k}}} right) = delta _ {jk}.}

Надстрочный индекс «рыбак» присутствует, чтобы напомнить, что это выражение применимо для координат ${ displaystyle theta}$ ; тогда как некоординатная форма такая же, как евклидова метрика (плоское пространство). Таким образом, информационная метрика Фишера на статистическом многообразии - это просто (четыре раза) евклидова метрика, ограниченная положительным квадрантом сферы после соответствующих изменений переменной.

Когда случайная величина ${ displaystyle p}$ не дискретно, а непрерывно, рассуждение остается в силе. Это можно увидеть двумя разными способами. Один из способов состоит в том, чтобы тщательно преобразовать все вышеперечисленные шаги в бесконечномерном пространстве, стараясь правильно определить пределы и т. Д., Чтобы убедиться, что все манипуляции четко определены, сходятся и т. Д. Другой способ, поскольку отмечено Громов,^[5] использовать теоретико-категориальный подход; то есть отметить, что описанные выше манипуляции остаются в силе в категории вероятностей. Здесь следует отметить, что такая категория имела бы Радон – Никодим свойство, это Теорема Радона – Никодима в этой категории. Это включает Гильбертовы пространства; они интегрируемы с квадратом, и в описанных выше манипуляциях этого достаточно, чтобы безопасно заменить суммирование по квадратам на интеграл по квадратам.

Как метрика Фубини – Штуди

Вышеупомянутые манипуляции с выводом метрики Фишера из евклидовой метрики можно распространить на комплексные проективные гильбертовы пространства. В этом случае получается Метрика Фубини – Этюд.^[6] Возможно, это не должно вызывать удивления, поскольку метрика Фубини – Штуди обеспечивает средства измерения информации в квантовой механике. В Метрика Буреса, также известный как Метрика Хельстрома, идентична метрике Фубини – Штуди,^[6] хотя последнее обычно пишется в терминах чистые состояния, как показано ниже, тогда как метрика Буреша написана для смешанные состояния. Установив фазу комплексной координаты равной нулю, можно получить ровно одну четвертую метрики информации Фишера, точно так же, как указано выше.

Начинают с того же трюка - построить амплитуда вероятности, написано в полярные координаты, так:

{ Displaystyle psi (х; theta) = { sqrt {p (x; theta)}} ; e ^ {i alpha (x; theta)}}

Вот, ${ Displaystyle psi (х; тета)}$ комплекснозначный амплитуда вероятности; ${ Displaystyle р (х; тета)}$ и ${ Displaystyle альфа (х; тета)}$ строго реальны. Предыдущие расчеты получены путем установки ${ Displaystyle альфа (х; тета) = 0}$ . Обычное условие, что вероятности лежат в пределах симплекс, а именно, что

{ Displaystyle int _ {X} п (х; тета) , dx = 1}

эквивалентно выражается идеей нормализации квадрата амплитуды:

{ displaystyle int _ {X} vert psi (x; theta) vert ^ {2} , dx = 1}

Когда ${ Displaystyle psi (х; тета)}$ реально, это поверхность сферы.

В Метрика Фубини – Этюд, записанный в бесконечно малой форме с использованием квантово-механических обозначение бюстгальтера, является

{ displaystyle ds ^ {2} = { frac { langle delta psi mid delta psi rangle} { langle psi mid psi rangle}} - { frac { langle delta psi mid psi rangle ; langle psi mid delta psi rangle} {{ langle psi mid psi rangle} ^ {2}}}.}.

В этих обозначениях ${ displaystyle langle x mid psi rangle = psi (x; theta)}$ и интеграция по всему пространству измерения Икс записывается как

{ Displaystyle langle phi mid psi rangle = int _ {X} phi ^ {*} (x; theta) psi (x; theta) , dx.}

Выражение ${ displaystyle vert delta psi rangle}$ можно понимать как бесконечно малую вариацию; эквивалентно, это можно понимать как 1-форма в котангенс пространство. Используя бесконечно малые обозначения, полярная форма вероятности выше просто

{ displaystyle delta psi = left ({ frac { delta p} {2p}} + i delta alpha right) psi}

Вставка вышеуказанного в метрику Фубини – Штуди дает:

{ displaystyle { begin {align} ds ^ {2} = {} & { frac {1} {4}} int _ {X} ( delta log p) ^ {2} ; p , dx [8pt] {} & + int _ {X} ( delta alpha) ^ {2} ; p , dx- left ( int _ {X} delta alpha ; p , dx right) ^ {2} [8pt] & {} - { frac {i} {2}} int _ {X} ( delta log p delta alpha - delta alpha дельта журнал р) ; р , dx конец {выровнено}}}

Параметр ${ Displaystyle дельта альфа = 0}$ в приведенном выше примере ясно, что первый член (одна четвертая) является метрикой информации Фишера. Полную форму вышеизложенного можно сделать немного более ясной, изменив обозначения на стандартную риманову геометрию, так что метрика станет симметричной. 2-форма действуя на касательное пространство. Изменение обозначений производится простой заменой ${ displaystyle delta to d}$ и ${ displaystyle ds ^ {2} to h}$ и отмечая, что интегралы - это просто математические ожидания; так:

{ displaystyle { begin {align} h = {} & { frac {1} {4}} mathrm {E} left [(d log p) ^ {2} right] + mathrm {E } left [(d alpha) ^ {2} right] - left ( mathrm {E} left [d alpha right] right) ^ {2} [8pt] {} & - { frac {i} {2}} mathrm {E} left [d log p wedge d alpha right] end {align}}}

Воображаемый термин - это симплектическая форма, это Ягодная фаза или геометрическая фаза. В индексной записи это показатель:

{ displaystyle { begin {align} h_ {jk} = {} & h left ({ frac { partial} { partial theta _ {j}}}, { frac { partial} { partial theta _ {k}}} right) [8pt] = {} & { frac {1} {4}} mathrm {E} left [{ frac { partial log p} { partial theta _ {j}}} { frac { partial log p} { partial theta _ {k}}} right] [8pt] {} & + mathrm {E} left [{ frac { partial alpha} { partial theta _ {j}}} { frac { partial alpha} { partial theta _ {k}}} right] - mathrm {E} left [{ frac { partial alpha} { partial theta _ {j}}} right] mathrm {E} left [{ frac { partial alpha} { partial theta _ {k} }} right] [8pt] & {} - { frac {i} {2}} mathrm {E} left [{ frac { partial log p} { partial theta _ {j }}} { frac { partial alpha} { partial theta _ {k}}} - { frac { partial alpha} { partial theta _ {j}}} { frac { partial log p} { partial theta _ {k}}} right] end {align}}}

Опять же, можно ясно увидеть, что первый член (одна четвертая) является метрикой информации Фишера, если установить ${ Displaystyle альфа = 0}$ . Эквивалентно, метрику Фубини – Штуди можно понимать как метрику комплексного проективного гильбертова пространства, индуцированную комплексным расширением плоской евклидовой метрики. Разница между этой метрикой и метрикой Буреса заключается в том, что метрика Буреса записывается в терминах смешанных состояний.

Непрерывные вероятности

Чуть более формальное, абстрактное определение можно дать следующим образом.^[7]

Позволять Икс быть ориентируемое многообразие, и разреши ${ displaystyle (X, Sigma, mu)}$ быть мера на Икс. Эквивалентно пусть ${ displaystyle ( Omega, { mathcal {F}}, P)}$ быть вероятностное пространство на ${ Displaystyle Omega = X}$ , с участием сигма-алгебра ${ Displaystyle { mathcal {F}} = Sigma}$ и вероятность ${ Displaystyle P = mu}$ .

В статистическое многообразие S(Икс) из Икс определяется как пространство всех мер ${ displaystyle mu}$ на Икс (с сигма-алгеброй ${ displaystyle Sigma}$ фиксируется). Обратите внимание, что это пространство бесконечномерно и обычно считается Fréchet space. Пункты S(Икс) - меры.

Выберите точку ${ Displaystyle му в S (X)}$ и рассмотрим касательное пространство ${ displaystyle T _ { mu} S}$ . Тогда информационная метрика Фишера представляет собой внутренний продукт на касательном пространстве. С некоторыми злоупотребление обозначениями, можно записать это как

{ displaystyle g ( sigma _ {1}, sigma _ {2}) = int _ {X} { frac {d sigma _ {1}} {d mu}} { frac {d сигма _ {2}} {д му}} д му}

Вот, ${ displaystyle sigma _ {1}}$ и ${ displaystyle sigma _ {2}}$ - векторы в касательном пространстве; то есть, ${ displaystyle sigma _ {1}, sigma _ {2} in T _ { mu} S}$ . Злоупотребление записью состоит в том, чтобы записывать касательные векторы, как если бы они были производными, и вставлять посторонние d при написании интеграла: предполагается, что интегрирование будет выполнено с использованием меры ${ displaystyle mu}$ по всему пространству Икс. Такое злоупотребление обозначениями на самом деле считается совершенно нормальным в теория меры; это стандартное обозначение Производная Радона – Никодима.

Чтобы интеграл был определен корректно, пространство S(Икс) должен иметь Радон – Никодим свойство, а более конкретно, касательное пространство ограничено теми векторами, которые квадратично интегрируемый. Квадратная интегрируемость эквивалентна тому, что Последовательность Коши сходится к конечному значению при слабая топология: пространство содержит свои предельные точки.Обратите внимание, что Гильбертовы пространства обладают этим свойством.

Можно увидеть, что это определение метрики эквивалентно предыдущему в несколько этапов. Сначала выбирается подмногообразие из S(Икс), учитывая только те меры ${ displaystyle mu}$ которые параметризуются некоторым плавно меняющимся параметром ${ displaystyle theta}$ . Тогда, если ${ displaystyle theta}$ конечномерно, то и подмногообразие тоже; аналогично, касательное пространство имеет ту же размерность, что и ${ displaystyle theta}$ .

С некоторыми дополнительными злоупотреблениями языком можно отметить, что экспоненциальная карта обеспечивает отображение векторов касательного пространства в точки лежащего в основе многообразия. Таким образом, если ${ displaystyle sigma in T _ { mu} S}$ вектор в касательном пространстве, то ${ Displaystyle р = ехр ( сигма)}$ - соответствующая вероятность, связанная с точкой ${ Displaystyle р в S (X)}$ (после параллельный транспорт экспоненциального отображения в ${ displaystyle mu}$ .) И наоборот, учитывая точку ${ Displaystyle р в S (X)}$ , логарифм дает точку в касательном пространстве (грубо говоря, как и снова, нужно перенести из начала в точку ${ displaystyle mu}$ ; подробности см. в первоисточниках). Таким образом, в более простом определении, данном ранее, появляется логарифм.

Смотрите также

Заметки

^ Амари, Шун-ичи; Нагаока, Хориши (2000). «Теорема Ченцова и некоторые исторические замечания». Методы информационной геометрии. Нью-Йорк: Издательство Оксфордского университета. С. 37–40. ISBN 0-8218-0531-2.
^ Даути, Джеймс Г. (2018). "Теорема Ченцова для экспоненциальных семейств". Информационная геометрия. 1 (1): 117–135. arXiv:1701.08895. Дои:10.1007 / s41884-018-0006-4.
^ Обложка, Томас М .; Томас, Джой А. (2006). Элементы теории информации (2-е изд.). Хобокен: Джон Уайли и сыновья. ISBN 0-471-24195-4.
^ ^а ^б ^c Крукс, Гэвин Э. (2009). «Измерение термодинамической длины». Письма с физическими проверками: 100602. arXiv:0706.0559. Дои:10.1103 / PhysRevLett.99.100602.
^ ^а ^б Громов, Миша (2012). «В поисках структуры, часть 1: об энтропии» (PDF). Цитировать журнал требует | журнал = (Помогите)
^ ^а ^б Факки, Паоло; и другие. (2010). "Классическая и квантовая информация Фишера в геометрической формулировке квантовой механики". Письма по физике. А 374: 4801. arXiv:1009.5219. Дои:10.1016 / j.physleta.2010.10.005.
^ Ито, Мицухиро; Шишидо, Юичи (2008). «Информационная метрика Фишера и ядра Пуассона». Дифференциальная геометрия и ее приложения. 26: 347–356. Дои:10.1016 / j.difgeo.2007.11.027. HDL:2241/100265.