Достаточная статистика - Sufficient statistic

В статистика, а статистика является достаточно по отношению к статистическая модель и связанные с ним неизвестные параметр если "нет другой статистики, которая может быть рассчитана на основе того же образец предоставляет любую дополнительную информацию о значении параметра ".^[1] В частности, статистика достаточно для семья из распределения вероятностей если выборка, по которой она рассчитана, не дает дополнительной информации, кроме статистики, то какое из этих распределений вероятностей является выборочное распределение.

Связанная концепция - это концепция линейная достаточность, что слабее, чем достаточность но может применяться в некоторых случаях, когда нет достаточной статистики, хотя и ограничивается линейными оценками.^[2] В Структурная функция Колмогорова имеет дело с отдельными конечными данными; с этим связано понятие алгоритмической достаточной статистики.

Концепция обусловлена Сэр Рональд Фишер в 1920 году. Стивен Стиглер в 1973 году отметил, что концепция достаточности потеряла популярность в описательная статистика из-за сильной зависимости от предположения о форме распределения (см. Теорема Питмана – Купмана – Дармуа. ниже), но оставался очень важным в теоретической работе.^[3]

Задний план

Примерно, учитывая набор ${ displaystyle mathbf {X}}$ из независимые одинаково распределенные данные, обусловленные неизвестным параметром ${ displaystyle theta}$, достаточной статистикой является функция ${ Displaystyle Т ( mathbf {X})}$ значение которого содержит всю информацию, необходимую для вычисления любой оценки параметра (например, максимальная вероятность оценить). По теореме факторизации (см. ниже ), для достаточной статистики ${ Displaystyle Т ( mathbf {X})}$, плотность вероятности можно записать как ${ Displaystyle е _ { mathbf {X}} (х) = час (х) , г ( тета, Т (х))}$. Из этой факторизации легко увидеть, что оценка максимального правдоподобия ${ displaystyle theta}$ будет взаимодействовать с ${ displaystyle mathbf {X}}$ только через ${ Displaystyle Т ( mathbf {X})}$. Обычно достаточная статистика является простой функцией данных, например сумма всех точек данных.

В более общем смысле «неизвестный параметр» может представлять собой вектор неизвестных величин или может представлять все о модели, что неизвестно или не полностью определено. В таком случае достаточной статистикой может быть набор функций, называемых совместно достаточная статистика. Обычно функций столько, сколько параметров. Например, для Гауссово распределение с неизвестным значить и отклонение, совместно достаточная статистика, из которой могут быть оценены оценки максимального правдоподобия обоих параметров, состоит из двух функций, суммы всех точек данных и суммы всех квадратов точек данных (или, что эквивалентно, выборочное среднее и выборочная дисперсия ).

Эта концепция эквивалентна утверждению, что, условный от значения достаточной статистики для параметра, совместное распределение вероятностей данных не зависит от этого параметра. И статистика, и базовый параметр могут быть векторами.

Математическое определение

Статистика т = Т(Икс) является достаточно для базового параметра θ именно если условное распределение вероятностей данных Икс, учитывая статистику т = Т(Икс), не зависит от параметра θ.^[4]

пример

Например, выборочного среднего достаточно для среднего (μ) из нормальное распределение с известной дисперсией. Как только среднее значение выборки известно, никакой дополнительной информации о μ можно получить из самого образца. С другой стороны, для произвольного распределения медиана недостаточно для среднего значения: даже если известно среднее значение выборки, знание самой выборки предоставит дополнительную информацию о среднем значении генеральной совокупности. Например, если наблюдения, которые меньше медианы, лишь немного меньше, но наблюдения, превышающие медианное значение, значительно превышают ее, то это будет иметь отношение к выводу о среднем населении.

Теорема факторизации Фишера – Неймана

Фишера теорема факторизации или критерий факторизации обеспечивает удобный характеристика достаточной статистики. Если функция плотности вероятности является ƒ_θ(Икс), тогда Т достаточно для θ если и только если неотрицательные функции г и час можно найти так, что

${ Displaystyle е _ { тета} (х) = час (х) , г _ { тета} (Т (х)),}$

т.е. плотность ƒ может быть разложена на продукт так, что один фактор, час, не зависит от θ и другой фактор, который зависит от θ, зависит от Икс только через Т(Икс).

Легко видеть, что если F(т) является взаимно однозначной функцией и Т является достаточной статистикой, то F(Т) является достаточной статистикой. В частности, мы можем умножить достаточную статистику на ненулевую константу и получить другую достаточную статистику.

Интерпретация принципа правдоподобия

Смысл теоремы заключается в том, что при использовании вывода на основе правдоподобия два набора данных дают одно и то же значение для достаточной статистики. Т(Икс) всегда будет приводить к одним и тем же выводам о θ. По критерию факторизации зависимость правдоподобия от θ только в сочетании с Т(Икс). Поскольку в обоих случаях это одно и то же, зависимость от θ будет таким же, что приведет к идентичным выводам.

Доказательство

Из-за Хогга и Крейга.^[5] Позволять ${ Displaystyle X_ {1}, X_ {2}, ldots, X_ {n}}$, обозначают случайную выборку из распределения, имеющего pdf ж(Икс, θ) для ι < θ < δ. Позволять Y₁ = ты₁(Икс₁, Икс₂, ..., Икс_п) - статистика, pdf которой г₁(y₁; θ). Мы хотим доказать, что Y₁ = ты₁(Икс₁, Икс₂, ..., Икс_п) является достаточной статистикой для θ тогда и только тогда, когда для некоторой функции ЧАС,

${ displaystyle prod _ {i = 1} ^ {n} f (x_ {i}; theta) = g_ {1} left [u_ {1} (x_ {1}, x_ {2}, dots , x_ {n}); theta right] H (x_ {1}, x_ {2}, dots, x_ {n}).}$

Сначала предположим, что

${ displaystyle prod _ {i = 1} ^ {n} f (x_ {i}; theta) = g_ {1} left [u_ {1} (x_ {1}, x_ {2}, dots , x_ {n}); theta right] H (x_ {1}, x_ {2}, dots, x_ {n}).}$

Мы сделаем преобразование y_я = ты_я(Икс₁, Икс₂, ..., Икс_п), для я = 1, ..., п, имеющий обратные функции Икс_я = ш_я(y₁, y₂, ..., y_п), для я = 1, ..., п, и Якобиан ${ displaystyle J = left [w_ {i} / y_ {j} right]}$. Таким образом,

${ displaystyle prod _ {i = 1} ^ {n} f left [w_ {i} (y_ {1}, y_ {2}, dots, y_ {n}); theta right] = | J | g_ {1} (y_ {1}; theta) H left [w_ {1} (y_ {1}, y_ {2}, dots, y_ {n}), dots, w_ {n} (y_ {1}, y_ {2}, dots, y_ {n}) right].}$

Левая часть - это совместный pdf г(y₁, y₂, ..., y_п; θ) из Y₁ = ты₁(Икс₁, ..., Икс_п), ..., Y_п = ты_п(Икс₁, ..., Икс_п). В правом члене ${ displaystyle g_ {1} (y_ {1}; theta)}$ это PDF-файл ${ displaystyle Y_ {1}}$, так что ${ Displaystyle H [w_ {1}, dots, w_ {n}] | J |}$ является частным от ${ displaystyle g (y_ {1}, dots, y_ {n}; theta)}$ и ${ displaystyle g_ {1} (y_ {1}; theta)}$; то есть это условный pdf ${ displaystyle h (y_ {2}, dots, y_ {n} mid y_ {1}; theta)}$ из ${ displaystyle Y_ {2}, dots, Y_ {n}}$ данный ${ displaystyle Y_ {1} = y_ {1}}$.

Но ${ Displaystyle H (x_ {1}, x_ {2}, dots, x_ {n})}$, и поэтому ${ displaystyle H left [w_ {1} (y_ {1}, dots, y_ {n}), dots, w_ {n} (y_ {1}, dots, y_ {n})) right ]}$, дано не зависеть от ${ displaystyle theta}$. поскольку ${ displaystyle theta}$ не был введен в преобразование и, соответственно, не в якобиан ${ displaystyle J}$, это следует из того ${ displaystyle h (y_ {2}, dots, y_ {n} mid y_ {1}; theta)}$ не зависит от ${ displaystyle theta}$ и это ${ displaystyle Y_ {1}}$ достаточная статистика для ${ displaystyle theta}$.

Обратное доказывается следующим образом:

${ displaystyle g (y_ {1}, dots, y_ {n}; theta) = g_ {1} (y_ {1}; theta) h (y_ {2}, dots, y_ {n} середина года_ {1}),}$

где ${ displaystyle h (y_ {2}, dots, y_ {n} mid y_ {1})}$ не зависит от ${ displaystyle theta}$ потому что ${ displaystyle Y_ {2} ... Y_ {n}}$ зависеть только от ${ displaystyle X_ {1} ... X_ {n}}$, которые не зависят от ${ displaystyle Theta}$ когда обусловлено ${ displaystyle Y_ {1}}$Достаточная статистика по гипотезе. Теперь разделите оба члена на абсолютное значение ненулевого якобиана. ${ displaystyle J}$и заменить ${ displaystyle y_ {1}, dots, y_ {n}}$ по функциям ${ displaystyle u_ {1} (x_ {1}, dots, x_ {n}), dots, u_ {n} (x_ {1}, dots, x_ {n})}$ в ${ displaystyle x_ {1}, dots, x_ {n}}$. Это дает

${ displaystyle { frac {g left [u_ {1} (x_ {1}, dots, x_ {n}), dots, u_ {n} (x_ {1}, dots, x_ {n}) ); theta right]} {| J ^ {*} |}} = g_ {1} left [u_ {1} (x_ {1}, dots, x_ {n}); theta right] { frac {h (u_ {2}, dots, u_ {n} mid u_ {1})} {| J ^ {*} |}}}$

где ${ displaystyle J ^ {*}}$ это якобиан с ${ displaystyle y_ {1}, dots, y_ {n}}$ заменены их стоимостью в терминах ${ displaystyle x_ {1}, dots, x_ {n}}$. Левый член обязательно является объединенным pdf ${ displaystyle f (x_ {1}; theta) cdots f (x_ {n}; theta)}$ из ${ Displaystyle X_ {1}, точки, X_ {n}}$. поскольку ${ displaystyle h (y_ {2}, dots, y_ {n} mid y_ {1})}$, и поэтому ${ Displaystyle ч (и_ {2}, точки, и_ {п} середина и_ {1})}$, не зависит от ${ displaystyle theta}$, тогда

${ Displaystyle H (x_ {1}, dots, x_ {2}) = { frac {h (u_ {2}, dots, u_ {n} mid u_ {1})} {| J ^ { *} |}}}$

это функция, которая не зависит от ${ displaystyle theta}$.

Еще одно доказательство

Более простое и наглядное доказательство состоит в следующем, хотя оно применимо только в дискретном случае.

Мы используем сокращенные обозначения для обозначения совместной плотности вероятности ${ Displaystyle (Х, Т (Х))}$ от ${ Displaystyle е _ { тета} (х, т)}$. поскольку ${ displaystyle T}$ является функцией ${ displaystyle X}$, у нас есть ${ Displaystyle е _ { тета} (х, т) = е _ { тета} (х)}$, так долго как ${ Displaystyle т = Т (х)}$ и ноль в противном случае. Следовательно:

${ displaystyle { begin {align} f _ { theta} (x) & = f _ { theta} (x, t) [5pt] & = f _ { theta} (x mid t) f _ { theta} (t) [5pt] & = f (x mid t) f _ { theta} (t) end {выровнено}}}$

причем последнее равенство верно по определению достаточной статистики. Таким образом ${ Displaystyle е _ { тета} (х) = а (х) Ь _ { тета} (т)}$ с участием ${ Displaystyle а (х) = е_ {х середина т} (х)}$ и ${ Displaystyle б _ { тета} (т) = е _ { тета} (т)}$.

Наоборот, если ${ Displaystyle е _ { тета} (х) = а (х) Ь _ { тета} (т)}$, у нас есть

${ Displaystyle { begin {align} е _ { theta} (t) & = sum _ {x: T (x) = t} f _ { theta} (x, t) [5pt] & = sum _ {x: T (x) = t} f _ { theta} (x) [5pt] & = sum _ {x: T (x) = t} a (x) b _ { theta} ( t) [5pt] & = left ( sum _ {x: T (x) = t} a (x) right) b _ { theta} (t). end {align}}}$

При первом равенстве определение PDF для нескольких переменных, второй - по замечанию выше, третий - по гипотезе, а четвертый - потому что суммирование не окончено ${ displaystyle t}$.

Позволять ${ displaystyle f_ {X mid t} (x)}$ обозначим условную плотность вероятности ${ displaystyle X}$ данный ${ Displaystyle T (X)}$. Тогда мы можем получить явное выражение для этого:

${ displaystyle { begin {align} f_ {X mid t} (x) & = { frac {f _ { theta} (x, t)} {f _ { theta} (t)}} [ 5pt] & = { frac {f _ { theta} (x)} {f _ { theta} (t)}} [5pt] & = { frac {a (x) b _ { theta} (t )} { left ( sum _ {x: T (x) = t} a (x) right) b _ { theta} (t)}} [5pt] & = { frac {a (x )} { sum _ {x: T (x) = t} a (x)}}. end {выравнивается}}}$

Первое равенство по определению условной плотности вероятности, второе - по замечанию выше, третье - по доказанному выше равенству, а четвертое - по упрощению. Это выражение не зависит от ${ displaystyle theta}$ и поэтому ${ displaystyle T}$ это достаточная статистика.^[6]

Минимальная достаточность

Достаточная статистика минимально достаточный если он может быть представлен как функция любой другой достаточной статистики. Другими словами, S(Икс) является минимально достаточный если и только если^[7]

1. S(Икс) достаточно, и
2. если Т(Икс) достаточно, то существует функция ж такой, что S(Икс) = ж(Т(Икс)).

Интуитивно минимальная достаточная статистика наиболее эффективно фиксирует всю возможную информацию о параметре θ.

Полезной характеристикой минимальной достаточности является то, что когда плотность ж_θ существуют, S(Икс) является минимально достаточный если и только если

${ Displaystyle { гидроразрыва {е _ { theta} (x)} {е _ { theta} (y)}}}$ не зависит от θ :${ displaystyle Longleftrightarrow}$ S(Икс) = S(y)

Это следует как следствие из Теорема факторизации Фишера указано выше.

Случай, в котором нет минимально достаточной статистики, был показан Бахадуром, 1954.^[8] Однако в мягких условиях всегда существует минимальная достаточная статистика. В частности, в евклидовом пространстве эти условия всегда выполняются, если случайные величины (связанные с ${ displaystyle P _ { theta}}$ ) все дискретны или все непрерывны.

Если существует минимальная достаточная статистика, а это обычно так, то каждый полный достаточная статистика обязательно минимальная достаточная^[9](обратите внимание, что это утверждение не исключает вариант патологического случая, когда существует полное достаточное количество, а минимально достаточная статистика отсутствует). Хотя трудно найти случаи, когда отсутствует минимальная достаточная статистика, не так сложно найти случаи, в которых нет полной статистики.

Сборник отношений правдоподобия ${ displaystyle left {{ frac {L ( theta _ {1} mid X)} {L ( theta _ {2} mid X)}} right }}$ является минимальной достаточной статистикой, если ${ Displaystyle Р (Х середина тета)}$ дискретна или имеет функцию плотности.

Примеры

Распределение Бернулли

Если Икс₁, ...., Икс_п независимы Распределенный по Бернулли случайные величины с ожидаемым значением п, то сумма Т(Икс) = Икс₁ + ... + Икс_п является достаточной статистикой для п (здесь "успех" соответствует Икс_я = 1 и 'отказ' до Икс_я = 0; так Т это общее количество успехов)

Это видно при рассмотрении совместного распределения вероятностей:

${ displaystyle Pr {X = x } = Pr {X_ {1} = x_ {1}, X_ {2} = x_ {2}, ldots, X_ {n} = x_ {n} }.}$

Поскольку наблюдения независимы, это можно записать как

${ displaystyle p ^ {x_ {1}} (1-p) ^ {1-x_ {1}} p ^ {x_ {2}} (1-p) ^ {1-x_ {2}} cdots p ^ {x_ {n}} (1-p) ^ {1-x_ {n}}}$

и, собирая полномочия п и 1 -п, дает

${ displaystyle p ^ { sum x_ {i}} (1-p) ^ {n- sum x_ {i}} = p ^ {T (x)} (1-p) ^ {nT (x)} }$

которое удовлетворяет критерию факторизации, при этом час(Икс) = 1 является просто константой.

Обратите внимание на важную особенность: неизвестный параметр п взаимодействует с данными Икс только по статистике Т(Икс) = ΣИкс_я.

В качестве конкретного приложения это дает процедуру различения честная монета из смещенной монеты.

Равномерное распределение

Если Икс₁, ...., Икс_п независимы и равномерно распределены на интервале [0,θ], тогда Т(Икс) = макс (Икс₁, ..., Икс_п) достаточно для θ - максимум выборки - достаточная статистика для максимума популяции.

Чтобы убедиться в этом, рассмотрим сустав функция плотности вероятности из Икс  (Икс₁,...,Икс_п). Поскольку наблюдения независимы, pdf можно записать как произведение индивидуальных плотностей

${ displaystyle { begin {align} f_ {X} (x_ {1}, ldots, x_ {n}) & = { frac {1} { theta}} mathbf {1} _ { {0 leq x_ {1} leq theta }} cdots { frac {1} { theta}} mathbf {1} _ { {0 leq x_ {n} leq theta }} [5pt] & = { frac {1} { theta ^ {n}}} mathbf {1} _ { {0 leq min {x_ {i} } }} mathbf {1 } _ { { max {x_ {i} } leq theta }} конец {выровнено}}}$

где 1_{...} это индикаторная функция. Таким образом, плотность принимает форму, требуемую теоремой Фишера – Неймана о факторизации, где час(Икс) = 1_{{min {Икся}≥0}}, а остальная часть выражения является функцией только θ и Т(Икс) = max {Икс_я}.

Фактически, несмещенная оценка с минимальной дисперсией (MVUE) для θ является

${ displaystyle { frac {n + 1} {n}} T (X).}$

Это максимум выборки, масштабированный с поправкой на предвзятость, и является MVUE по Теорема Лемана – Шеффе. Максимум непересчитанной выборки Т(Икс) это оценщик максимального правдоподобия для θ.

Равномерное распределение (с двумя параметрами)

Если ${ displaystyle X_ {1}, ..., X_ {n}}$ независимы и равномерно распределены на интервале ${ Displaystyle [ альфа, бета]}$ (где ${ displaystyle alpha}$ и ${ displaystyle beta}$ - неизвестные параметры), то ${ Displaystyle T (X_ {1} ^ {n}) = left ( min _ {1 leq i leq n} X_ {i}, max _ {1 leq i leq n} X_ {i }правильно)}$ - двумерная достаточная статистика для ${ Displaystyle ( альфа ,, , бета)}$.

Чтобы убедиться в этом, рассмотрим сустав функция плотности вероятности из ${ Displaystyle X_ {1} ^ {n} = (X_ {1}, ldots, X_ {n})}$. Поскольку наблюдения независимы, PDF может быть записан как произведение индивидуальных плотностей, т.е.

${ displaystyle { begin {align} f_ {X_ {1} ^ {n}} (x_ {1} ^ {n}) & = prod _ {i = 1} ^ {n} left ({1 над beta - alpha} right) mathbf {1} _ { { alpha leq x_ {i} leq beta }} = left ({1 over beta - alpha} right ) ^ {n} mathbf {1} _ { { alpha leq x_ {i} leq beta, , forall , i = 1, ldots, n }} & = left ({1 over beta - alpha} right) ^ {n} mathbf {1} _ { { alpha , leq , min _ {1 leq i leq n} X_ {i } }} mathbf {1} _ { { max _ {1 leq i leq n} X_ {i} , leq , beta }}. end {align}}}$

Совместная плотность образца принимает форму, требуемую теоремой Фишера – Неймана о факторизации, если позволить

${ displaystyle { begin {align} h (x_ {1} ^ {n}) = 1, quad g _ {( alpha, beta)} (x_ {1} ^ {n}) = left ({ 1 over beta - alpha} right) ^ {n} mathbf {1} _ { { alpha , leq , min _ {1 leq i leq n} X_ {i} }} mathbf {1} _ { { max _ {1 leq i leq n} X_ {i} , leq , beta }}. end {выравнивается}}}$

поскольку ${ displaystyle h (x_ {1} ^ {n})}$ не зависит от параметра ${ Displaystyle ( альфа, бета)}$ и ${ Displaystyle г _ {( альфа ,, , бета)} (х_ {1} ^ {п})}$ зависит только от ${ displaystyle x_ {1} ^ {n}}$ через функцию ${ Displaystyle T (X_ {1} ^ {n}) = left ( min _ {1 leq i leq n} X_ {i}, max _ {1 leq i leq n} X_ {i }правильно),}$

из теоремы факторизации Фишера – Неймана следует ${ Displaystyle T (X_ {1} ^ {n}) = left ( min _ {1 leq i leq n} X_ {i}, max _ {1 leq i leq n} X_ {i }правильно)}$ является достаточной статистикой для ${ Displaystyle ( альфа ,, , бета)}$.

распределение Пуассона

Если Икс₁, ...., Икс_п независимы и имеют распределение Пуассона с параметром λ, то сумма Т(Икс) = Икс₁ + ... + Икс_п является достаточной статистикой дляλ.

Чтобы увидеть это, рассмотрим совместное распределение вероятностей:

${ displaystyle Pr (X = x) = P (X_ {1} = x_ {1}, X_ {2} = x_ {2}, ldots, X_ {n} = x_ {n}).}$

Поскольку наблюдения независимы, это можно записать как

${ displaystyle {e ^ {- lambda} lambda ^ {x_ {1}} over x_ {1}!} cdot {e ^ {- lambda} lambda ^ {x_ {2}} over x_ {2}!} Cdots {e ^ {- lambda} lambda ^ {x_ {n}} over x_ {n}!}}$

который можно записать как

${ displaystyle e ^ {- n lambda} lambda ^ {(x_ {1} + x_ {2} + cdots + x_ {n})} cdot {1 over x_ {1}! x_ {2} ! cdots x_ {n}!}}$

что показывает выполнение критерия факторизации, где час(Икс) является обратной величиной произведения факториалов. Обратите внимание, что параметр λ взаимодействует с данными только через свою сумму Т(Икс).

Нормальное распределение

Если ${ Displaystyle X_ {1}, ldots, X_ {n}}$ независимы и нормально распределенный с ожидаемой стоимостью ${ displaystyle theta}$ (параметр) и известная конечная дисперсия ${ displaystyle sigma ^ {2},}$ тогда

${ displaystyle T (X_ {1} ^ {n}) = { overline {x}} = { frac {1} {n}} sum _ {i = 1} ^ {n} X_ {i}}$

является достаточной статистикой для ${ displaystyle theta.}$

Чтобы убедиться в этом, рассмотрим сустав функция плотности вероятности из ${ Displaystyle X_ {1} ^ {n} = (X_ {1}, точки, X_ {n})}$. Поскольку наблюдения независимы, PDF может быть записан как произведение индивидуальных плотностей, т.е.

${ displaystyle { begin {align} f_ {X_ {1} ^ {n}} (x_ {1} ^ {n}) & = prod _ {i = 1} ^ {n} { frac {1} { sqrt {2 pi sigma ^ {2}}}} exp left (- { frac {(x_ {i} - theta) ^ {2}} {2 sigma ^ {2}}} right) [6pt] & = (2 pi sigma ^ {2}) ^ {- { frac {n} {2}}} exp left (- sum _ {i = 1} ^ {n} { frac {(x_ {i} - theta) ^ {2}} {2 sigma ^ {2}}} right) [6pt] & = (2 pi sigma ^ {2 }) ^ {- { frac {n} {2}}} exp left (- sum _ {i = 1} ^ {n} { frac { left ( left (x_ {i} - { overline {x}} right) - left ( theta - { overline {x}} right) right) ^ {2}} {2 sigma ^ {2}}} right) [ 6pt] & = (2 pi sigma ^ {2}) ^ {- { frac {n} {2}}} exp left (- {1 over 2 sigma ^ {2}} left ( sum _ {i = 1} ^ {n} (x_ {i} - { overline {x}}) ^ {2} + sum _ {i = 1} ^ {n} ( theta - { overline {x}}) ^ {2} -2 sum _ {i = 1} ^ {n} (x_ {i} - { overline {x}}) ( theta - { overline {x}}) right) right) [6pt] & = (2 pi sigma ^ {2}) ^ {- { frac {n} {2}}} exp left (- {1 over 2 sigma ^ {2}} left ( sum _ {i = 1} ^ {n} (x_ {i} - { overline {x}}) ^ {2} + n ( theta - { overline {x}) }) ^ {2} right) right) && sum _ {i = 1} ^ {n} (x_ {i} - { overline {x}}) ( theta - { overline {x}} ) = 0 [6pt] & = (2 pi sigma ^ {2 }) ^ {- { frac {n} {2}}} exp left (- {1 over 2 sigma ^ {2}} sum _ {i = 1} ^ {n} (x_ {i } - { overline {x}}) ^ {2} right) exp left (- { frac {n} {2 sigma ^ {2}}} ( theta - { overline {x}}) ) ^ {2} right) end {выравнивается}}}$

Совместная плотность образца принимает форму, требуемую теоремой Фишера – Неймана о факторизации, если позволить

${ displaystyle { begin {align} h (x_ {1} ^ {n}) & = (2 pi sigma ^ {2}) ^ {- { frac {n} {2}}} exp left (- {1 over 2 sigma ^ {2}} sum _ {i = 1} ^ {n} (x_ {i} - { overline {x}}) ^ {2} right) [6pt] g _ { theta} (x_ {1} ^ {n}) & = exp left (- { frac {n} {2 sigma ^ {2}}} ( theta - { overline { x}}) ^ {2} right) end {align}}}$

поскольку ${ displaystyle h (x_ {1} ^ {n})}$ не зависит от параметра ${ displaystyle theta}$ и ${ displaystyle g _ { theta} (x_ {1} ^ {n})}$ зависит только от ${ displaystyle x_ {1} ^ {n}}$ через функцию

${ displaystyle T (X_ {1} ^ {n}) = { overline {x}} = { frac {1} {n}} sum _ {i = 1} ^ {n} X_ {i}, }$

из теоремы факторизации Фишера – Неймана следует ${ displaystyle T (X_ {1} ^ {n})}$ является достаточной статистикой для ${ displaystyle theta}$.

Если ${ displaystyle sigma ^ {2}}$ неизвестно и с тех пор ${ displaystyle s ^ {2} = { frac {1} {n-1}} sum _ {i = 1} ^ {n} left (x_ {i} - { overline {x}} right ) ^ {2}}$, указанная выше вероятность может быть переписана как

${ displaystyle { begin {align} f_ {X_ {1} ^ {n}} (x_ {1} ^ {n}) = (2 pi sigma ^ {2}) ^ {- n / 2} exp left (- { frac {n-1} {2 sigma ^ {2}}} s ^ {2} right) exp left (- { frac {n} {2 sigma ^ {2 }}} ( theta - { overline {x}}) ^ {2} right). end {выравнивается}}}$

Теорема факторизации Фишера – Неймана все еще верна и влечет, что ${ displaystyle ({ overline {x}}, s ^ ​​{2})}$ является совместной достаточной статистикой для ${ Displaystyle ( тета, sigma ^ {2})}$.

Экспоненциальное распределение

Если ${ Displaystyle X_ {1}, точки, X_ {n}}$ независимы и экспоненциально распределенный с ожидаемой стоимостью θ (неизвестный положительный параметр с действительным знаком), то ${ Displaystyle T (X_ {1} ^ {n}) = sum _ {i = 1} ^ {n} X_ {i}}$ является достаточной статистикой для θ.

Чтобы убедиться в этом, рассмотрим сустав функция плотности вероятности из ${ Displaystyle X_ {1} ^ {n} = (X_ {1}, точки, X_ {n})}$. Поскольку наблюдения независимы, PDF может быть записан как произведение индивидуальных плотностей, т.е.

${ Displaystyle { begin {выровнен} f_ {X_ {1} ^ {n}} (x_ {1} ^ {n}) & = prod _ {i = 1} ^ {n} {1 over theta } , e ^ {{- 1 over theta} x_ {i}} = {1 over theta ^ {n}} , e ^ {{- 1 over theta} sum _ {i = 1} ^ {n} x_ {i}}. End {выровнено}}}$

Совместная плотность образца принимает форму, требуемую теоремой Фишера – Неймана о факторизации, если позволить

${ displaystyle { begin {align} h (x_ {1} ^ {n}) = 1, , , , g _ { theta} (x_ {1} ^ {n}) = {1 over theta ^ {n}} , e ^ {{- 1 over theta} sum _ {i = 1} ^ {n} x_ {i}}. end {выравнивается}}}$

поскольку ${ displaystyle h (x_ {1} ^ {n})}$ не зависит от параметра ${ displaystyle theta}$ и ${ displaystyle g _ { theta} (x_ {1} ^ {n})}$ зависит только от ${ displaystyle x_ {1} ^ {n}}$ через функцию ${ Displaystyle T (X_ {1} ^ {n}) = sum _ {i = 1} ^ {n} X_ {i}}$

из теоремы факторизации Фишера – Неймана следует ${ Displaystyle T (X_ {1} ^ {n}) = sum _ {i = 1} ^ {n} X_ {i}}$ является достаточной статистикой для ${ displaystyle theta}$.

Гамма-распределение

Если ${ Displaystyle X_ {1}, точки, X_ {n}}$ независимы и распределены как ${ Displaystyle Гамма ( альфа ,, , бета)}$, где ${ displaystyle alpha}$ и ${ displaystyle beta}$ неизвестные параметры Гамма-распределение, тогда ${ Displaystyle T (X_ {1} ^ {n}) = left ( prod _ {i = 1} ^ {n} {X_ {i}}, sum _ {i = 1} ^ {n} X_ {Я прав)}$ - двумерная достаточная статистика для ${ Displaystyle ( альфа, бета)}$.

Чтобы убедиться в этом, рассмотрим сустав функция плотности вероятности из ${ Displaystyle X_ {1} ^ {n} = (X_ {1}, точки, X_ {n})}$. Поскольку наблюдения независимы, PDF может быть записан как произведение индивидуальных плотностей, т.е.

${ displaystyle { begin {align} f_ {X_ {1} ^ {n}} (x_ {1} ^ {n}) & = prod _ {i = 1} ^ {n} left ({1 над Gamma ( alpha) beta ^ { alpha}} right) x_ {i} ^ { alpha -1} e ^ {(- 1 / beta) x_ {i}} [5pt] & = left ({1 over Gamma ( alpha) beta ^ { alpha}} right) ^ {n} left ( prod _ {i = 1} ^ {n} x_ {i} right ) ^ { alpha -1} e ^ {{- 1 over beta} sum _ {i = 1} ^ {n} x_ {i}}. end {align}}}$

Совместная плотность образца принимает форму, требуемую теоремой Фишера – Неймана о факторизации, если позволить

${ Displaystyle { begin {align} h (x_ {1} ^ {n}) = 1, , , , g _ {( alpha ,, , beta)} (x_ {1} ^ { n}) = left ({1 over Gamma ( alpha) beta ^ { alpha}} right) ^ {n} left ( prod _ {i = 1} ^ {n} x_ {i } right) ^ { alpha -1} e ^ {{- 1 over beta} sum _ {i = 1} ^ {n} x_ {i}}. end {align}}}$

поскольку ${ displaystyle h (x_ {1} ^ {n})}$ не зависит от параметра ${ Displaystyle ( альфа ,, , бета)}$ и ${ Displaystyle г _ {( альфа ,, , бета)} (х_ {1} ^ {п})}$ зависит только от ${ displaystyle x_ {1} ^ {n}}$ через функцию ${ Displaystyle T (x_ {1} ^ {n}) = left ( prod _ {i = 1} ^ {n} x_ {i}, sum _ {i = 1} ^ {n} x_ {i }правильно),}$

из теоремы факторизации Фишера – Неймана следует ${ displaystyle T (X_ {1} ^ {n}) = left ( prod _ {i = 1} ^ {n} X_ {i}, sum _ {i = 1} ^ {n} X_ {i }правильно)}$ является достаточной статистикой для ${ Displaystyle ( альфа ,, , бета).}$

Теорема Рао – Блэквелла

Достаточность находит полезное применение в Теорема Рао – Блэквелла, который гласит, что если г(Икс) - это любая оценка θ, то обычно условное ожидание г(Икс) при достаточной статистике Т(Икс) лучше^{[расплывчатый ]} оценщик θ, и хуже не бывает. Иногда очень легко построить очень грубую оценку г(Икс), а затем оценить это условное ожидаемое значение, чтобы получить оценку, которая является оптимальной в различных смыслах.

Экспоненциальная семья

Согласно Теорема Питмана – Купмана – Дармуа, среди семейств вероятностных распределений, область определения которых не меняется в зависимости от оцениваемого параметра, только в экспоненциальные семейства существует ли достаточная статистика, размерность которой остается ограниченной по мере увеличения размера выборки.

Менее кратко, предположим ${ displaystyle X_ {n}, n = 1,2,3, точки}$ находятся независимые одинаково распределенные случайные величины, распределение которых, как известно, принадлежит некоторому семейству вероятностных распределений с фиксированной поддержкой. Только если эта семья экспоненциальный семья имеется достаточная статистика (возможно, векторная) ${ Displaystyle T (X_ {1}, точки, X_ {n})}$ чье количество скалярных компонентов не увеличивается с увеличением размера выборки п увеличивается.

Эта теорема показывает, что достаточность (или, скорее, наличие скалярной или векторной достаточной статистики ограниченной размерности) резко ограничивает возможные формы распределения.

Другие виды достаточности

Байесовская достаточность

Альтернативная формулировка условия достаточности статистики, заданная в байесовском контексте, включает апостериорные распределения, полученные с использованием полного набора данных и с использованием только статистики. Таким образом, требуется, чтобы почти для каждого Икс,

${ Displaystyle Pr ( theta mid X = x) = Pr ( theta mid T (X) = t (x)).}$

В более общем плане, не предполагая параметрической модели, мы можем сказать, что статистика Т является предсказуемо достаточно если

${ Displaystyle Pr (X '= x' mid X = x) = Pr (X '= x' mid T (X) = t (x)).}$

Оказывается, эта «байесовская достаточность» является следствием приведенной выше формулировки:^[10] однако они не эквивалентны прямо в бесконечномерном случае.^[11] Доступен ряд теоретических результатов для достаточности в байесовском контексте.^[12]

Линейная достаточность

Концепция, называемая «линейная достаточность», может быть сформулирована в байесовском контексте,^[13] и вообще.^[14] Сначала определите лучший линейный предиктор вектора Y на основе Икс так как ${ displaystyle { hat {E}} [Y mid X]}$. Тогда линейная статистика Т(Икс) линейно достаточно^[15] если

${ displaystyle { hat {E}} [ theta mid X] = { hat {E}} [ theta mid T (X)].}$

Смотрите также

• Полнота статистики
• Теорема Басу о независимости полной достаточной и вспомогательной статистики
• Теорема Лемана – Шеффе: полная достаточная оценка - лучшая оценка ее ожидания
• Теорема Рао – Блэквелла
• Достаточное уменьшение размеров
• Дополнительная статистика

Заметки

использованная литература

• Холево, А. (2001) [1994], «Достаточная статистика», Энциклопедия математики, EMS Press
• Lehmann, E. L .; Казелла, Г. (1998). Теория точечного оценивания (2-е изд.). Springer. Глава 4. ISBN  0-387-98502-6.
• Додж, Ю. (2003) Оксфордский словарь статистических терминов, ОУП. ISBN  0-19-920613-9