Информация Fisher - Fisher information

В математическая статистика, то Информация Fisher (иногда просто называют Информация^[1]) - способ измерения количества Информация что наблюдаемый случайная переменная Икс несет в себе неизвестный параметр θ распределения, моделирующего Икс. Формально это отклонение из счет, или ожидаемое значение из наблюдаемая информация. В Байесовская статистика, то асимптотическое распределение из задний Режим зависит от информации Fisher, а не от прежний (согласно Теорема Бернштейна – фон Мизеса, чего ожидал Лаплас за экспоненциальные семейства ).^[2] Роль информации Фишера в асимптотической теории оценка максимального правдоподобия было подчеркнуто статистиком Рональд Фишер (после некоторых первоначальных результатов Фрэнсис Исидро Эджворт ). Информация Фишера также используется при вычислении Джеффрис приор, который используется в байесовской статистике.

Информационная матрица Фишера используется для расчета ковариационные матрицы связана с максимальная вероятность оценки. Его также можно использовать при составлении статистики тестов, например Тест Вальда.

Было показано, что статистические системы научного характера (физические, биологические и т. Д.), Функции правдоподобия которых подчиняются инвариантности сдвига, подчиняются максимальной информации Фишера.^[3] Уровень максимума зависит от характера ограничений системы.

Определение

Информация Фишера - это способ измерения количества информации, которую можно наблюдать. случайная переменная Икс несет о неизвестном параметр θ на котором вероятность Икс зависит от. Позволять ж(Икс; θ) быть функция плотности вероятности (или же функция массы вероятности ) за Икс зависит от стоимости θ. Он описывает вероятность того, что мы наблюдаем данный результат Икс, данный известная стоимость θ. Если ж резко пик по отношению к изменению θ, легко указать "правильное" значение θ из данных или, что то же самое, что данные Икс предоставляет много информации о параметре θ. Если вероятность ж плоский и разложенный, то потребуется много образцов Икс для оценки действительной «истинной» стоимости θ который бы быть полученным с использованием всей выборки. Это предполагает изучение некой дисперсии по отношению к θ.

Формально частная производная относительно θ из натуральный логарифм функции правдоподобия называется счет. При определенных условиях регулярности, если θ является истинным параметром (т.е. Икс фактически распространяется как ж(Икс; θ)), можно показать, что ожидаемое значение (первый момент ) оценки, оцененной при истинном значении параметра ${ displaystyle theta}$, равно 0:^[4]

${ displaystyle { begin {align} & operatorname {E} left [ left. { frac { partial} { partial theta}} log f (X; theta) right | theta справа] [3pt] = {} & int { frac {{ frac { partial} { partial theta}} f (x; theta)} {f (x; theta)}} f (x; theta) , dx [3pt] = {} & { frac { partial} { partial theta}} int f (x; theta) , dx [3pt] = {} & { frac { partial} { partial theta}} 1 = 0. end {align}}}$

В отклонение оценки определяется как Информация Fisher:^[5]

${ displaystyle { mathcal {I}} ( theta) = operatorname {E} left [ left. left ({ frac { partial} { partial theta}} log f (X; theta) right) ^ {2} right | theta right] = int left ({ frac { partial} { partial theta}} log f (x; theta) right) ^ {2} f (x; theta) , dx,}$

Обратите внимание, что ${ Displaystyle 0 Leq { mathcal {I}} ( theta)}$. Случайная величина, несущая высокую информацию Фишера, означает, что абсолютное значение оценки часто бывает высоким. Информация Фишера не является функцией конкретного наблюдения, поскольку случайная величина Икс был усреднен.

Если бревнож(Икс; θ) дважды дифференцируема по θ, а при определенных условиях регулярности^[4] тогда информация Фишера также может быть записана как^[6]

${ displaystyle { mathcal {I}} ( theta) = - operatorname {E} left [ left. { frac { partial ^ {2}} { partial theta ^ {2}}} log f (X; theta) right | theta right],}$

поскольку

${ displaystyle { frac { partial ^ {2}} { partial theta ^ {2}}} log f (X; theta) = { frac {{ frac { partial ^ {2}} { partial theta ^ {2}}} f (X; theta)} {f (X; theta)}} - left ({ frac {{ frac { partial} { partial theta}) } f (X; theta)} {f (X; theta)}} right) ^ {2} = { frac {{ frac { partial ^ {2}} { partial theta ^ {2 }}} f (X; theta)} {f (X; theta)}} - left ({ frac { partial} { partial theta}} log f (X; theta) right ) ^ {2}}$

и

${ displaystyle operatorname {E} left [ left. { frac {{ frac { partial ^ {2}} { partial theta ^ {2}}} f (X; theta)} {f (X; theta)}} right | theta right] = { frac { partial ^ {2}} { partial theta ^ {2}}} int f (x; theta) , dx = 0.}$

Таким образом, информацию Фишера можно рассматривать как кривизну кривая поддержки (график логарифма правдоподобия). Недалеко от максимальная вероятность оценка, поэтому низкая информация Фишера указывает на то, что максимум кажется «тупым», то есть максимум неглубоким и есть много близких значений с аналогичной логарифмической вероятностью. И наоборот, высокая информация Фишера указывает на резкость максимума.

Расхождение в определении

Эта секция может быть сбивает с толку или неясно читателям. Пожалуйста, помоги нам прояснить раздел. Возможно обсуждение этого вопроса на страница обсуждения. (Сентябрь 2019) (Узнайте, как и когда удалить этот шаблон сообщения)

Существует две версии определения информации Фишера. Некоторые книги и заметки определяют

${ displaystyle { cal {I}} ( theta): = operatorname {E} left [- { frac { partial ^ {2}} { partial theta ^ {2}}} log f (X mid theta) right]}$

куда ${ Displaystyle журнал е (Х середина тета)}$ является логарифмической вероятностью для одного наблюдения, тогда как другие определяют

${ displaystyle { cal {I}} ( theta): = operatorname {E} left [- { frac { partial ^ {2}} { partial theta ^ {2}}} ell ( X mid theta) right]}$ куда ${ displaystyle ell}$ - функция логарифма правдоподобия для всех наблюдений.

В некоторых учебниках может даже использоваться один и тот же символ ${ displaystyle { cal {I}} ( theta)}$ для обозначения обеих версий по разным темам (например, книга, которая определяет ${ displaystyle { cal {I}} ( theta)}$ быть версией с полным наблюдением при обсуждении нижней границы Крамера – Рао и может по-прежнему позволять тому же символу относиться к версии с одним наблюдением при представлении асимптотического нормального распределения оценки максимального правдоподобия). Следует быть осторожным со значением ${ displaystyle { cal {I}} ( theta)}$ в конкретном контексте; однако, если данные i.i.d. разница между двумя версиями просто фактор ${ displaystyle n}$, количество точек данных в выборке.

Неформальный вывод границы Крамера – Рао

В Граница Крамера – Рао^[7][8] утверждает, что инверсия информации Фишера является нижней границей дисперсии любого объективный оценщик из θ. H.L. Van Trees (1968) и Б. Рой Фриден (2004) предлагают следующий метод получения Граница Крамера – Рао, результат, который описывает использование информации Фишера.

Неформально мы начнем с рассмотрения объективный оценщик ${ displaystyle { hat { theta}} (X)}$. Математически «беспристрастный» означает, что

${ displaystyle operatorname {E} left [ left. { hat { theta}} (X) - theta right | theta right] = int left ({ hat { theta}} (x) - theta right) , f (x; theta) , dx = 0 { text {независимо от значения}} theta.}$

Это выражение равно нулю независимо от θ, поэтому его частная производная по θ также должен быть равен нулю. Посредством правило продукта, эта частная производная также равна

${ Displaystyle 0 = { гидроразрыва { partial} { partial theta}} int left ({ hat { theta}} (x) - theta right) , f (x; theta) , dx = int left ({ hat { theta}} (x) - theta right) { frac { partial f} { partial theta}} , dx- int f , dx.}$

Для каждого θ, функция правдоподобия является функцией плотности вероятности, и поэтому ${ Displaystyle int е , dx = 1}$. Базовое вычисление подразумевает, что

${ displaystyle { frac { partial f} { partial theta}} = f , { frac { partial log f} { partial theta}}.}$

Используя эти два факта выше, мы получаем

${ displaystyle int left ({ hat { theta}} - theta right) f , { frac { partial log f} { partial theta}} , dx = 1.}$

Факторизация подынтегральной функции дает

${ displaystyle int left ( left ({ hat { theta}} - theta right) { sqrt {f}} right) left ({ sqrt {f}} , { frac { partial log f} { partial theta}} right) , dx = 1.}$

Возводя выражение в интеграл в квадрат, Неравенство Коши – Шварца дает

${ displaystyle 1 = { biggl (} int left [ left ({ hat { theta}} - theta right) { sqrt {f}} right] cdot left [{ sqrt {f}} , { frac { partial log f} { partial theta}} right] , dx { biggr)} ^ {2} leq left [ int left ({ шляпа { theta}} - theta right) ^ {2} f , dx right] cdot left [ int left ({ frac { partial log f} { partial theta}} right) ^ {2} f , dx right].}$

Второй фактор в квадратных скобках определяется как информация Фишера, а первый фактор в квадратных скобках - это ожидаемая среднеквадратичная ошибка оценки. ${ displaystyle { hat { theta}}}$. Переставляя, неравенство говорит нам, что

${ displaystyle operatorname {Var} left ({ hat { theta}} right) geq { frac {1} {{ mathcal {I}} left ( theta right)}}.}$

Другими словами, точность, с которой мы можем оценить θ фундаментально ограничен информацией Фишера о функции правдоподобия.

Однопараметрический эксперимент Бернулли

А Бернулли суд случайная величина с двумя возможными исходами: «успех» и «неудача», при этом вероятность успеха составляет θ. Результат можно представить как результат подбрасывания монеты с вероятностью выпадения орла. θ и вероятность выпадения хвостов 1 − θ.

Позволять Икс быть судом Бернулли. Информация Fisher, содержащаяся в Икс можно рассчитать как

${ displaystyle { begin {align} { mathcal {I}} ( theta) & = - operatorname {E} left [ left. { frac { partial ^ {2}} { partial theta ^ {2}}} log left ( theta ^ {X} (1- theta) ^ {1-X} right) right | theta right] [5pt] & = - operatorname {E} left [ left. { Frac { partial ^ {2}} { partial theta ^ {2}}} left (X log theta + (1-X) log (1- theta) right) right | theta right] [5pt] & = operatorname {E} left [ left. { frac {X} { theta ^ {2}}} + { гидроразрыва {1-X} {(1- theta) ^ {2}}} right | theta right] [5pt] & = { frac { theta} { theta ^ {2}}} + { frac {1- theta} {(1- theta) ^ {2}}} [5pt] & = { frac {1} { theta (1- theta)}}. end {выровнено}}}$

Поскольку информация Fisher является аддитивной, информация Fisher, содержащаяся в п независимый Бернулли испытания следовательно является

${ displaystyle { mathcal {I}} ( theta) = { frac {n} { theta (1- theta)}}.}$

Это обратное отклонение среднего числа успехов в п Бернулли испытания, поэтому в данном случае оценка Крамера – Рао является равенством.

Матричная форма

Когда есть N параметры, так что θ является N × 1 вектор ${ displaystyle theta = { begin {bmatrix} theta _ {1} & theta _ {2} & dots & theta _ {N} end {bmatrix}} ^ { extf {T}}, }$ тогда информация Фишера принимает форму N × N матрица. Эта матрица называется Информационная матрица Фишера (FIM) и имеет типовой элемент

${ displaystyle { bigl [} { mathcal {I}} ( theta) { bigr]} _ {i, j} = operatorname {E} left [ left. left ({ frac { partial} { partial theta _ {i}}} log f (X; theta) right) left ({ frac { partial} { partial theta _ {j}}} log f ( X; theta) right) right | theta right].}$

FIM - это N × N положительно полуопределенная матрица. Если он положительно определен, то он определяет Риманова метрика на N-размерный пространство параметров. Тема информационная геометрия использует это для подключения информации Fisher к дифференциальная геометрия, и в этом контексте этот показатель известен как Информационная метрика Fisher.

При определенных условиях регулярности информационная матрица Фишера также может быть записана как

${ displaystyle { bigl [} { mathcal {I}} ( theta) { bigr]} _ {i, j} = - operatorname {E} left [ left. { frac { partial ^ {2}} { partial theta _ {i} , partial theta _ {j}}} log f (X; theta) right | theta right] ,.}$

Результат интересен в нескольких отношениях:

• Его можно получить как Гессен из относительная энтропия.
• Его можно понимать как метрику, индуцированную Евклидова метрика, после соответствующей замены переменной.
• В комплекснозначной форме это Метрика Фубини – Этюд.
• Это ключевая часть доказательства Теорема Уилкса, что позволяет оценить доверительную область для оценка максимального правдоподобия (для тех условий, для которых он применяется) без необходимости Принцип правдоподобия.
• В случаях, когда аналитические расчеты FIM выше затруднены, можно сформировать среднее из простых оценок Монте-Карло для Гессен функции отрицательного логарифма правдоподобия как оценки FIM.^[9][10][11] Оценки могут быть основаны на значениях функции отрицательного логарифмического правдоподобия или градиента функции отрицательного логарифма правдоподобия; не требуется аналитического вычисления гессиана функции отрицательного логарифмического правдоподобия.

Ортогональные параметры

Мы говорим, что два параметра θ_я и θ_j ортогональны, если элемент яй ряд и j-й столбец информационной матрицы Фишера равен нулю. С ортогональными параметрами легко иметь дело в том смысле, что их оценки максимального правдоподобия независимы и могут быть рассчитаны отдельно. При решении исследовательских задач исследователь часто тратит некоторое время на поиски ортогональной параметризации плотностей, задействованных в проблеме.^{[нужна цитата ]}

Сингулярная статистическая модель

Если информационная матрица Фишера положительно определена для всех θ, то соответствующий статистическая модель как говорят обычный; в противном случае говорят, что статистическая модель единственное число.^[12] Примеры сингулярных статистических моделей включают следующее: нормальные смеси, биномиальные смеси, полиномиальные смеси, байесовские сети, нейронные сети, радиальные базисные функции, скрытые марковские модели, стохастические контекстно-свободные грамматики, регрессии с пониженным рангом, машины Больцмана.

В машинное обучение, если статистическая модель разработана так, что она извлекает скрытую структуру из случайного явления, то она естественно становится сингулярной.^[13]

Многомерное нормальное распределение

FIM для N-variate многомерное нормальное распределение, ${ Displaystyle , Икс сим N влево ( му ( theta), , Sigma ( theta) right)}$ имеет особую форму. Пусть K-мерный вектор параметров быть ${ displaystyle theta = { begin {bmatrix} theta _ {1} & dots & theta _ {K} end {bmatrix}} ^ { extf {T}}}$ а вектор случайных нормальных величин равен ${ displaystyle X = { begin {bmatrix} X_ {1} & dots & X_ {N} end {bmatrix}} ^ { extf {T}}}$. Предположим, что средние значения этих случайных величин равны ${ displaystyle , mu ( theta) = { begin {bmatrix} mu _ {1} ( theta) & dots & mu _ {N} ( theta) end {bmatrix}} ^ { extf {T}}}$, и разреши ${ Displaystyle , Sigma ( theta)}$ быть ковариационная матрица. Тогда для ${ Displaystyle 1 Leq м, , п Leq K}$, (м, п) запись в FIM:^[14]

${ displaystyle { mathcal {I}} _ {m, n} = { frac { partial mu ^ { extf {T}}} { partial theta _ {m}}} Sigma ^ {- 1} { frac { partial mu} { partial theta _ {n}}} + { frac {1} {2}} operatorname {tr} left ( Sigma ^ {- 1} { frac { partial Sigma} { partial theta _ {m}}} Sigma ^ {- 1} { frac { partial Sigma} { partial theta _ {n}}} right),}$

куда ${ Displaystyle ( cdot) ^ { extf {T}}}$ обозначает транспонировать вектора, ${ Displaystyle OperatorName {tr} ( cdot)}$ обозначает след из квадратная матрица, и:

${ displaystyle { begin {align} { frac { partial mu} { partial theta _ {m}}} & = { begin {bmatrix} { frac { partial mu _ {1}} { partial theta _ {m}}} & { frac { partial mu _ {2}} { partial theta _ {m}}} & cdots & { frac { partial mu _ { N}} { partial theta _ {m}}} end {bmatrix}} ^ { extf {T}}; { frac { partial Sigma} { partial theta _ {m}} } & = { begin {bmatrix} { frac { partial Sigma _ {1,1}} { partial theta _ {m}}} & { frac { partial Sigma _ {1,2} } { partial theta _ {m}}} & cdots & { frac { partial Sigma _ {1, N}} { partial theta _ {m}}} [5pt] { frac { partial Sigma _ {2,1}} { partial theta _ {m}}} и { frac { partial Sigma _ {2,2}} { partial theta _ {m}}} & cdots & { frac { partial Sigma _ {2, N}} { partial theta _ {m}}} vdots & vdots & ddots & vdots { frac { partial Sigma _ {N, 1}} { partial theta _ {m}}} & { frac { partial Sigma _ {N, 2}} { partial theta _ {m}}} & cdots & { frac { partial Sigma _ {N, N}} { partial theta _ {m}}} end {bmatrix}}. end {align}}}$

Обратите внимание, что особый, но очень распространенный случай - это случай, когда${ Displaystyle Sigma ( theta) = Sigma}$, постоянная. потом

${ displaystyle { mathcal {I}} _ {m, n} = { frac { partial mu ^ { extf {T}}} { partial theta _ {m}}} Sigma ^ {- 1} { frac { partial mu} { partial theta _ {n}}}. }$

В этом случае информационная матрица Фишера может быть отождествлена ​​с матрицей коэффициентов нормальные уравнения из наименьших квадратов теория оценки.

Другой частный случай возникает, когда среднее значение и ковариация зависят от двух разных векторных параметров, скажем, β и θ. Это особенно популярно при анализе пространственных данных, который часто использует линейную модель с коррелированными остатками. В этом случае,^[15]

${ displaystyle { mathcal {I}} ( beta, theta) = operatorname {diag} left ({ mathcal {I}} ( beta), { mathcal {I}} ( theta) верно)}$

куда

${ Displaystyle { begin {align} { mathcal {I}} {( beta) _ {m, n}} & = { frac { partial mu ^ { extf {T}}} { partial beta _ {m}}} Sigma ^ {- 1} { frac { partial mu} { partial beta _ {n}}}, [5pt] { mathcal {I}} {( theta) _ {m, n}} & = { frac {1} {2}} operatorname {tr} left ( Sigma ^ {- 1} { frac { partial Sigma} { partial theta _ {m}}} { Sigma ^ {- 1}} { frac { partial Sigma} { partial theta _ {n}}} right) end {align}}}$

Характеристики

Правило цепи

Подобно энтропия или же взаимная информация, информация Фишера также обладает Правило цепи разложение. В частности, если Икс и Y являются совместно распределенными случайными величинами, отсюда следует, что:^[16]

${ displaystyle { mathcal {I}} _ {X, Y} ( theta) = { mathcal {I}} _ {X} ( theta) + { mathcal {I}} _ {Y mid X } ( theta),}$

куда ${ Displaystyle { mathcal {I}} _ {Y mid X} ( theta)}$ информация Фишера о Y относительно ${ displaystyle theta}$ рассчитывается относительно условной плотности Y учитывая конкретное значениеИкс = Икс.

Как особый случай, если две случайные величины равны независимый, информация, полученная от двух случайных величин, представляет собой сумму информации от каждой случайной величины отдельно:

${ displaystyle { mathcal {I}} _ {X, Y} ( theta) = { mathcal {I}} _ {X} ( theta) + { mathcal {I}} _ {Y} ( тета).}$

Следовательно, информация в случайной выборке п независимые и одинаково распределенные наблюдения п раз больше информации в выборке размером 1.

Достаточная статистика

Информация предоставлена достаточная статистика такой же, как у образца Икс. Это можно увидеть, используя Критерий факторизации Неймана для достаточной статистики. Если Т(Икс) достаточно для θ, тогда

${ Displaystyle е (Икс; тета) = г (Т (Х), тета) ч (Х)}$

для некоторых функций грамм и час. Независимость час(Икс) из θ подразумевает

${ Displaystyle { frac { partial} { partial theta}} log left [е (X; theta) right] = { frac { partial} { partial theta}} log слева [g (T (X); theta) right],}$

тогда равенство информации следует из определения информации Фишера. В более общем смысле, если Т = т(Икс) это статистика, тогда

${ Displaystyle { mathcal {I}} _ {T} ( theta) leq { mathcal {I}} _ {X} ( theta)}$

с равенством если и только если Т это достаточная статистика.^[17]

Репараметризация

Информация Фишера зависит от параметризации проблемы. Если θ и η - две скалярные параметризации задачи оценивания, и θ это непрерывно дифференцируемый функция η, тогда

${ Displaystyle { mathcal {I}} _ { eta} ( eta) = { mathcal {I}} _ { theta} ( theta ( eta)) left ({ frac {d theta } {d eta}} right) ^ {2}}$

куда ${ displaystyle { mathcal {I}} _ { eta}}$ и ${ displaystyle { mathcal {I}} _ { theta}}$ информационные меры Фишера η и θ, соответственно.^[18]

В векторном случае предположим ${ displaystyle { boldsymbol { theta}}}$ и ${ displaystyle { boldsymbol { eta}}}$ находятся k-векторы, которые параметризуют задачу оценивания, и предположим, что ${ displaystyle { boldsymbol { theta}}}$ является непрерывно дифференцируемой функцией от ${ displaystyle { boldsymbol { eta}}}$, тогда,^[19]

${ displaystyle { mathcal {I}} _ { boldsymbol { eta}} ({ boldsymbol { eta}}) = { boldsymbol {J}} ^ { extf {T}} { mathcal {I }} _ { boldsymbol { theta}} ({ boldsymbol { theta}} ({ boldsymbol { eta}})) { boldsymbol {J}}}$

где (я, j) th элемент k × k Матрица якобиана ${ displaystyle { boldsymbol {J}}}$ определяется

${ displaystyle J_ {ij} = { frac { partial theta _ {i}} { partial eta _ {j}}},}$

и где ${ displaystyle { boldsymbol {J}} ^ { extf {T}}}$ транспонированная матрица ${ displaystyle { boldsymbol {J}}.}$

В информационная геометрия, это видится как изменение координат на Риманово многообразие, а внутренние свойства кривизны не изменяются при различной параметризации. В общем случае информационная матрица Фишера обеспечивает риманову метрику (точнее, метрику Фишера – Рао) для многообразия термодинамических состояний и может использоваться в качестве меры информационно-геометрической сложности для классификации фазовые переходы Например, скалярная кривизна термодинамического метрического тензора расходится в (и только в) точке фазового перехода.^[20]

В термодинамическом контексте информационная матрица Фишера напрямую связана со скоростью изменения соответствующего параметры заказа.^[21] В частности, такие соотношения идентифицируют фазовые переходы второго рода через расхождения отдельных элементов информационной матрицы Фишера.

Приложения

Оптимальный план экспериментов

Информация Fisher широко используется в оптимальный экспериментальный план. Из-за взаимности оценки дисперсии и информации Фишера, сведение к минимуму то отклонение соответствует максимизация то Информация.

Когда линейный (или же линеаризованный ) статистическая модель имеет несколько параметры, то иметь в виду оценщика параметров является вектор и это отклонение это матрица. Обратная матрица дисперсии называется «информационной матрицей». Поскольку дисперсия средства оценки вектора параметров является матрицей, проблема «минимизации дисперсии» усложняется. С помощью статистическая теория, статистики сжимают информационную матрицу, используя действительные значения сводные статистические данные; будучи функциями с действительным знаком, эти «информационные критерии» могут быть максимизированы.

Традиционно статистики оценивают оценки и планы, рассматривая некоторые сводная статистика ковариационной матрицы (несмещенной оценки), обычно с положительными действительными значениями (например, детерминант или же матричный след ). Работа с положительными действительными числами дает несколько преимуществ: если оценка одного параметра имеет положительную дисперсию, тогда и дисперсия, и информация Фишера являются положительными действительными числами; следовательно, они являются членами выпуклого конуса неотрицательных действительных чисел (ненулевые члены которого имеют обратные значения в этом же конусе).

Ковариационные и информационные матрицы для нескольких параметров являются элементами выпуклого конуса неотрицательно-определенных симметричных матриц в частично упорядоченное векторное пространство, под Loewner (Лёвнер) заказ. Этот конус замкнут при сложении и обращении матриц, а также при умножении положительных действительных чисел и матриц. Изложение теории матриц и порядка Лёвнера появляется в Пукельсхайме.^[22]

Традиционными критериями оптимальности являются Информация матричные инварианты в смысле теория инвариантов; алгебраически традиционные критерии оптимальности функционалы из собственные значения информационной матрицы (Фишера) (см. оптимальный дизайн ).

Джеффрис приор в байесовской статистике

В Байесовская статистика, информация Фишера используется для расчета Джеффрис приор, который является стандартным неинформативным априорным методом для параметров непрерывного распределения.^[23]

Вычислительная нейробиология

Информация Фишера использовалась для определения границ точности нейронных кодов. В таком случае, Икс обычно являются совместными ответами многих нейронов, представляющими низкоразмерную переменную θ (например, параметр стимула). В частности, изучалась роль корреляций в шуме нервных реакций.^[24]

Вывод физических законов

Информация Фишера играет центральную роль в противоречивом принципе, выдвинутом Frieden как основание физических законов, требование, которое было оспорено.^[25]

Машинное обучение

Информация Фишера используется в таких методах машинного обучения, как упругое уплотнение веса,^[26] что уменьшает катастрофическое забывание в искусственные нейронные сети.

Отношение к относительной энтропии

Информация Fisher связана с относительная энтропия.^[27] Относительная энтропия, или Дивергенция Кульбака – Лейблера, между двумя распределениями ${ displaystyle p}$ и ${ displaystyle q}$ можно записать как

${ Displaystyle KL (p: q) = int p (x) log { frac {p (x)} {q (x)}} dx.}$

Теперь рассмотрим семейство вероятностных распределений ${ Displaystyle е (х; тета)}$ параметризовано ${ displaystyle theta in Theta}$. Тогда Дивергенция Кульбака – Лейблера, между двумя распределениями в семействе можно записать как

${ Displaystyle D ( theta, theta ') = KL (p (.; theta): p (.; theta')) = int f (x; theta) log { frac {f ( x; theta)} {f (x; theta ')}} dx.}$

Если ${ displaystyle theta}$ фиксировано, то относительная энтропия между двумя распределениями одного и того же семейства минимизируется на ${ displaystyle theta '= theta}$. За ${ displaystyle theta '}$ рядом с ${ displaystyle theta}$, можно расширить предыдущее выражение в ряду до второго порядка:

${ Displaystyle D ( theta, theta ') = { frac {1} {2}} ( theta' - theta) ^ { extf {T}} left ({ frac { partial ^ { 2}} { partial theta '_ {i} , partial theta' _ {j}}} D ( theta, theta ') right) _ { theta' = theta} ( theta '- theta) + o left (( theta' - theta) ^ {2} right)}$

Но производную второго порядка можно записать как

${ displaystyle left ({ гидроразрыва { partial ^ {2}} { partial theta '_ {i} , partial theta' _ {j}}} D ( theta, theta ') справа) _ { theta '= theta} = - int f (x; theta) left ({ frac { partial ^ {2}} { partial theta' _ {i} , partial theta '_ {j}}} log (f (x; theta')) right) _ { theta '= theta} dx = [{ mathcal {I}} ( theta)] _ { i, j}.}$

Таким образом, информация Фишера представляет собой кривизна относительной энтропии.

Schervish (1995: §2.3) говорит следующее.

Одним из преимуществ информации Кульбака-Лейблера перед информацией Фишера является то, что на нее не влияют изменения параметризации. Другое преимущество состоит в том, что информацию Кульбака-Лейблера можно использовать, даже если рассматриваемые распределения не все являются членами параметрического семейства.

...

Еще одно преимущество информации Кульбака-Лейблера заключается в том, что условия гладкости для плотностей ... не требуются.

История

Информация Фишера обсуждалась несколькими ранними статистиками, в частности Ф. Я. Эджворт.^[28] Например, Savage^[29] говорит: «В нем [информация Фишера] он [Фишер] был в некоторой степени предвиден (Эджворт 1908–199, особенно 502, 507–8, 662, 677–8, 82–5 и ссылки, которые он [Эджворт] цитирует, включая Пирсона). и Филон 1898 [...]) ". Есть ряд ранних исторических источников^[30] и ряд обзоров этой ранней работы.^[31][32][33]

Смотрите также

• Эффективность (статистика)
• Наблюдаемая информация
• Информационная метрика Fisher
• Матрица формирования
• Информационная геометрия
• Джеффрис приор
• Граница Крамера – Рао
• Минимальная информация Fisher

Другие меры, применяемые в теория информации:

• Энтропия (теория информации)
• Дивергенция Кульбака – Лейблера
• Самоинформация

Примечания

Рекомендации

• Крамер, Харальд (1946). Математические методы статистики. Принстонский математический ряд. Принстон: Издательство Принстонского университета. ISBN  0691080046.

• Эджворт, Ф. (Июнь 1908 г.). «О вероятных ошибках частотных постоянных». Журнал Королевского статистического общества. 71 (2): 381–397. Дои:10.2307/2339461. JSTOR  2339461.
• Эджворт, Ф. (Сентябрь 1908 г.). "О вероятных ошибках частотных постоянных (продолжение)". Журнал Королевского статистического общества. 71 (3): 499–512. Дои:10.2307/2339293. JSTOR  2339293.
• Эджворт, Ф. (Декабрь 1908 г.). "О вероятных ошибках частотных постоянных (продолжение)". Журнал Королевского статистического общества. 71 (4): 651–678. Дои:10.2307/2339378. JSTOR  2339378.

• Фишер, Р.А. (1922-01-01). «О математических основах теоретической статистики». Философские труды Лондонского королевского общества. А. 222 (594–604): 309–368. Дои:10.1098 / рста.1922.0009. Получено 2020-08-12.

• Frieden, B.R. (2004) Наука от информации Фишера: объединение. Cambridge Univ. Нажмите. ISBN  0-521-00911-1.
• Frieden, B. Roy; Гейтенби, Роберт А. (2013). «Принцип максимума информации Фишера из аксиом Харди применительно к статистическим системам». Физический обзор E. 88 (4): 042144. arXiv:1405.0007. Bibcode:2013PhRvE..88d2144F. Дои:10.1103 / PhysRevE.88.042144. ЧВК  4010149. PMID  24229152.
• Халд, А. (май 1999 г.). «К истории максимума правдоподобия по отношению к обратной вероятности и наименьшим квадратам». Статистическая наука. 14 (2): 214–222. Дои:10.1214 / сс / 1009212248. JSTOR  2676741.
• Халд, А. (1998). История математической статистики с 1750 по 1930 гг.. Нью-Йорк: Вили. ISBN  978-0-471-17912-2.
• Леманн, Э.; Казелла, Г. (1998). Теория точечного оценивания (2-е изд.). Springer. ISBN  978-0-387-98502-2.
• Ле Кам, Люсьен (1986). Асимптотические методы в статистической теории принятия решений. Springer-Verlag. ISBN  978-0-387-96307-5.
• Пратт, Джон В. (май 1976 г.). "Ф. И. Эджворт и Р. А. Фишер об эффективности оценки максимального правдоподобия". Анналы статистики. 4 (3): 501–514. Дои:10.1214 / aos / 1176343457. JSTOR  2958222.

• Рао, Ч. Радхакришна (1945). «Информация и достижимая точность при оценке статистических параметров». Бюллетень Калькуттского математического общества. 37: 81–91. Дои:10.1007/978-1-4612-0919-5_16.

• Сэвидж, Л. Дж. (Май 1976 г.). «О перечитывании Р. А. Фишера». Анналы статистики. 4 (3): 441–500. Дои:10.1214 / aos / 1176343456. JSTOR  2958221.
• Шервиш, Марк Дж. (1995). Теория статистики. Нью-Йорк: Спрингер. ISBN  978-0-387-94546-0.
• Стиглер, С.М. (1986). История статистики: измерение неопределенности до 1900 г.. Издательство Гарвардского университета. ISBN  978-0-674-40340-6.^{[страница нужна ]}
• Стиглер, С.М. (1978). "Фрэнсис Исидро Эджворт, статистик". Журнал Королевского статистического общества, серия A. 141 (3): 287–322. Дои:10.2307/2344804. JSTOR  2344804.
• Стиглер, С.М. (1999). Статистика на столе: история статистических концепций и методов. Издательство Гарвардского университета. ISBN  978-0-674-83601-3.^{[страница нужна ]}
• Ван Трис, Х. Л. (1968). Обнаружение, оценка и теория модуляции, часть I. Нью-Йорк: Вили. ISBN  978-0-471-09517-0.