Монотонное отношение правдоподобия - Monotone likelihood ratio

Монотонное отношение правдоподобия в распределениях

{displaystyle f (x)}

и

{displaystyle g (x)}

Соотношение функции плотности выше увеличивается по параметру ${displaystyle x}$ , так ${displaystyle f (x) / g (x)}$ удовлетворяет монотонное отношение правдоподобия свойство.

В статистика, то свойство монотонного отношения правдоподобия является свойством отношения двух функции плотности вероятности (PDF-файлы). Формально раздачи ƒ(Икс) и г(Икс) нести собственность, если

{displaystyle {ext {for every}} x_ {1}> x_ {0}, quad {frac {f (x_ {1})} {g (x_ {1})}} geq {frac {f (x_ {0}) })} {g (x_ {0})}}}

то есть, если отношение не убывает в аргументе ${displaystyle x}$ .

Если функции дифференцируемы по первому признаку, свойство иногда может быть указано

{displaystyle {frac {partial} {partial x}} left ({frac {f (x)} {g (x)}} ight) geq 0}

Для двух распределений, удовлетворяющих определению относительно некоторого аргумента x, мы говорим, что они "имеют MLRP в Икс. "Для семейства распределений, которые все удовлетворяют определению в отношении некоторой статистики Т(Икс), мы говорим, что у них "есть MLR в Т(Икс)."

Интуиция

MLRP используется для представления процесса генерации данных, в котором существует прямая связь между величиной некоторой наблюдаемой переменной и распределением, из которого она извлекается. Если ${displaystyle f (x)}$ удовлетворяет требованиям MLRP относительно ${displaystyle g (x)}$ , тем выше наблюдаемое значение ${displaystyle x}$ , тем больше вероятность, что он был взят из раздачи ${displaystyle f}$ скорее, чем ${displaystyle g}$ . Как обычно для монотонных отношений, монотонность отношения правдоподобия пригодится в статистике, особенно при использовании максимальная вероятность предварительный расчет. Кроме того, семейства распределений с MLR имеют ряд хороших стохастических свойств, таких как стохастическое доминирование первого порядка и увеличение коэффициенты опасности. К сожалению, как это обычно бывает, сила этого предположения достигается ценой реализма. Многие процессы в мире не демонстрируют монотонного соответствия между вводом и выводом.

Пример: усердно работать или расслабляться.

Предположим, вы работаете над проектом и можете усердно работать или бездельничать. Назовите свой выбор усилия ${displaystyle e}$ и качество полученного проекта ${displaystyle q}$ . Если MLRP выполняется для распределения q зависит от ваших усилий ${displaystyle e}$ , чем выше качество, тем больше вероятность, что вы много работали. И наоборот, чем ниже качество, тем больше вероятность, что вы ослабили.

Выберите усилие ${displaystyle ein {H, L}}$ где H означает высокий, L означает низкий
Наблюдать ${displaystyle q}$ срисованный с ${displaystyle f (qmid e)}$ . От Закон Байеса с форменным приором,
${displaystyle Pr [e = Hmid q] = {frac {f (qmid H)} {f (qmid H) + f (qmid L)}}}$
Предположим ${displaystyle f (qmid e)}$ удовлетворяет требованиям MLRP. Переставляя, вероятность того, что рабочий много работал, равна

{displaystyle {frac {1} {1 + f (qmid L) / f (qmid H)}}}

который благодаря MLRP монотонно возрастает по

{displaystyle q}

(потому что

{displaystyle f (qmid L) / f (qmid H)}

уменьшается в

{displaystyle q}

). Следовательно, если какой-либо работодатель проводит «анализ эффективности», он может сделать вывод о поведении своего сотрудника по достоинствам его работы.

Семейства распределений, удовлетворяющих MLR

Статистические модели часто предполагают, что данные генерируются распределением из некоторого семейства распределений, и стремятся определить это распределение. Эта задача упрощается, если семейство имеет свойство монотонного отношения правдоподобия (MLRP).

Семейство функций плотности ${displaystyle {f_ {heta} (x)} _ {heta in Theta}}$ индексируется параметром ${displaystyle heta}$ получение значений в упорядоченном наборе ${displaystyle Theta}$ говорят, что имеет монотонное отношение правдоподобия (MLR) в статистика ${displaystyle T (X)}$ если для любого ${displaystyle heta _ {1}$ ,

{displaystyle {frac {f_ {heta _ {2}} (X = x_ {1}, x_ {2}, x_ {3}, dots)} {f_ {heta _ {1}} (X = x_ {1}) , x_ {2}, x_ {3}, точки)}}}

- неубывающая функция от

{displaystyle T (X)}

.

Тогда мы говорим, что семейство распределений "имеет MLR в ${displaystyle T (X)}$ ".

Список семей

Семья	${displaystyle T (X)}$ в котором ${displaystyle f_ {heta} (X)}$ имеет MLR
Экспоненциальный ${displaystyle [лямбда]}$	${displaystyle sum x_ {i}}$ наблюдения
Биномиальный ${displaystyle [n, p]}$	${displaystyle sum x_ {i}}$ наблюдения
Пуассон ${displaystyle [лямбда]}$	${displaystyle sum x_ {i}}$ наблюдения
Нормальный ${displaystyle [mu, sigma]}$	если ${displaystyle sigma}$ известный, ${displaystyle sum x_ {i}}$ наблюдения

Проверка гипотезы

Если семейство случайных величин имеет MLRP в ${displaystyle T (X)}$ , а равномерно самый мощный тест легко определяется для гипотезы ${displaystyle H_ {0}: heta leq heta _ {0}}$ против ${displaystyle H_ {1}: heta> heta _ {0}}$ .

Пример: усилия и результат

Пример: пусть ${displaystyle e}$ быть входом в стохастическую технологию - например, усилия рабочего - и ${displaystyle y}$ его выход, вероятность которого описывается функцией плотности вероятности ${displaystyle f (y; e).}$ Тогда свойство монотонного отношения правдоподобия (MLRP) семейства ${displaystyle f}$ выражается следующим образом: для любого ${displaystyle e_ {1}, e_ {2}}$ , дело в том, что ${displaystyle e_ {2}> e_ {1}}$ следует, что отношение ${displaystyle f (y; e_ {2}) / f (y; e_ {1})}$ увеличивается в ${displaystyle y}$ .

Связь с другими статистическими свойствами

Монотонные вероятности используются в нескольких областях статистической теории, включая точечная оценка и проверка гипотезы, а также в вероятностные модели.

Экспоненциальные семьи

Однопараметрический экспоненциальные семейства имеют монотонные функции правдоподобия. В частности, одномерное экспоненциальное семейство функции плотности вероятности или вероятностные массовые функции с участием

{displaystyle f_ {heta} (x) = c (heta) h (x) exp (pi (heta) T (x))}

имеет монотонное неубывающее отношение правдоподобия в достаточная статистика Т(Икс), при условии, что ${displaystyle pi (heta)}$ не убывает.

Самые мощные тесты: теорема Карлина – Рубина

Монотонные функции правдоподобия используются для построения равномерно самые мощные тесты, согласно Теорема Карлина – Рубина.^[1] Рассмотрим скалярное измерение, имеющее функцию плотности вероятности, параметризованную скалярным параметром θ, и определим отношение правдоподобия ${displaystyle ell (x) = f_ {heta _ {1}} (x) / f_ {heta _ {0}} (x)}$ .Если ${displaystyle ell (x)}$ монотонно неубывает, в ${displaystyle x}$ , для любой пары ${displaystyle heta _ {1} geq heta _ {0}}$ (это означает, что чем больше ${displaystyle x}$ есть, более вероятно ${displaystyle H_ {1}}$ есть), то пороговая проверка:

{displaystyle varphi (x) = {egin {case} 1 & {ext {if}} x> x_ {0} 0 & {ext {if}} x

где

{displaystyle x_ {0}}

выбирается так, чтобы

{displaystyle operatorname {E} _ {heta _ {0}} varphi (X) = alpha}

это тест размера UMP α для тестирования ${displaystyle H_ {0}: heta leq heta _ {0} {ext {vs.}} H_ {1}: heta> heta _ {0}.}$

Обратите внимание, что точно такой же тест также является UMP для тестирования. ${displaystyle H_ {0}: heta = heta _ {0} {ext {vs.}} H_ {1}: heta> heta _ {0}.}$

Медианная объективная оценка

Монотонные функции правдоподобия используются для построения средне-несмещенные оценки, используя методы, указанные Иоганном Пфанцаглом и другими.^[2]^[3] Одна такая процедура является аналогом Рао – Блэквелл процедура для несмещенные оценки: Процедура выполняется для меньшего класса вероятностных распределений, чем процедура Рао – Блэквелла для несмещенного среднего оценивания, но для большего класса функции потерь.^[3]^(p713)

Анализ срока службы: анализ выживаемости и надежность

Если семейство дистрибутивов ${displaystyle f_ {heta} (x)}$ обладает свойством монотонного отношения правдоподобия в ${displaystyle T (X)}$ ,

в семье монотонно убывает уровень опасности в ${displaystyle heta}$ (но не обязательно в ${displaystyle T (X)}$ )
семейство демонстрирует первый (и, следовательно, второй порядок) стохастическое доминирование в ${displaystyle x}$ , и лучшее байесовское обновление ${displaystyle heta}$ увеличивается в ${displaystyle T (X)}$ .

Но не наоборот: ни монотонная степень риска, ни стохастическое доминирование не подразумевают MLRP.

Доказательства

Пусть распределительная семья ${displaystyle f_ {heta}}$ удовлетворить MLR в Икс, так что для ${displaystyle heta _ {1}> heta _ {0}}$ и ${displaystyle x_ {1}> x_ {0}}$ :

{displaystyle {frac {f_ {heta _ {1}} (x_ {1})} {f_ {heta _ {0}} (x_ {1})}} geq {frac {f_ {heta _ {1}} ( x_ {0})} {f_ {heta _ {0}} (x_ {0})}},}

или эквивалентно:

{displaystyle f_ {heta _ {1}} (x_ {1}) f_ {heta _ {0}} (x_ {0}) geq f_ {heta _ {1}} (x_ {0}) f_ {heta _ { 0}} (x_ {1}).,}

Дважды интегрировав это выражение, получим:

1. Чтобы

{displaystyle x_ {1}}

относительно

{displaystyle x_ {0}}

{displaystyle {egin {align} & int _ {min _ {x} in X} ^ {x_ {1}} f_ {heta _ {1}} (x_ {1}) f_ {heta _ {0}} (x_ { 0}), dx_ {0} [6pt] geq {} & int _ {min _ {x} in X} ^ {x_ {1}} f_ {heta _ {1}} (x_ {0}) f_ {heta _ {0}} (x_ {1}), dx_ {0} конец {выровнено}}}

интегрировать и переставлять, чтобы получить

{displaystyle {frac {f_ {heta _ {1}}} {f_ {heta _ {0}}}} (x) geq {frac {F_ {heta _ {1}}} {F_ {heta _ {0}}) }}(Икс)}

2. От

{displaystyle x_ {0}}

относительно

{displaystyle x_ {1}}

{displaystyle {egin {align} & int _ {x_ {0}} ^ {max _ {x} in X} f_ {heta _ {1}} (x_ {1}) f_ {heta _ {0}} (x_ { 0}), dx_ {1} [6pt] geq {} & int _ {x_ {0}} ^ {max _ {x} in X} f_ {heta _ {1}} (x_ {0}) f_ {heta _ {0}} (x_ {1}), dx_ {1} конец {выровнено}}}

интегрировать и переставлять, чтобы получить

{displaystyle {frac {1-F_ {heta _ {1}} (x)} {1-F_ {heta _ {0}} (x)}} geq {frac {f_ {heta _ {1}}} {f_ {heta _ {0}}}} (x)}

Стохастическое доминирование первого порядка

Объедините два приведенных выше неравенства, чтобы получить доминирование первого порядка:

{displaystyle F_ {heta _ {1}} (x) leq F_ {heta _ {0}} (x) forall x}

Монотонная степень опасности

Используйте только второе неравенство, приведенное выше, чтобы получить монотонную степень риска:

{displaystyle {frac {f_ {heta _ {1}} (x)} {1-F_ {heta _ {1}} (x)}} leq {frac {f_ {heta _ {0}} (x)} { 1-F_ {heta _ {0}} (x)}} для всех x}

Использует

Экономика

MLR является важным условием распределения типов агентов в конструкция механизма.^{[нужна цитата ]} Большинство решений для моделей проектирования механизмов предполагают распределение типов, удовлетворяющее MLR, чтобы воспользоваться преимуществом общего метода решения.^{[нужна цитата ]}

использованная литература

^ Casella, G .; Бергер, Р.Л. (2008), Статистические выводы, Брукс / Коул. ISBN 0-495-39187-5 (Теорема 8.3.17)
^ Пфанцагль, Иоганн (1979). «Об оптимальных медианных несмещенных оценках при наличии мешающих параметров». Анналы статистики. 7 (1): 187–193. Дои:10.1214 / aos / 1176344563.
^ ^а ^б Браун, Л.Д.; Коэн, Артур; Strawderman, W. E. (1976). "Теорема о полном классе для строгого монотонного отношения правдоподобия с приложениями". Анна. Статист. 4 (4): 712–722. Дои:10.1214 / aos / 1176343543.

[1] Casella, G .; Бергер, Р.Л. (2008), Статистические выводы, Брукс / Коул. ISBN 0-495-39187-5 (Теорема 8.3.17)

[2] Пфанцагль, Иоганн (1979). «Об оптимальных медианных несмещенных оценках при наличии мешающих параметров». Анналы статистики. 7 (1): 187–193. Дои:10.1214 / aos / 1176344563.

[BrownEtAl1976-3] а ^б Браун, Л.Д.; Коэн, Артур; Strawderman, W. E. (1976). "Теорема о полном классе для строгого монотонного отношения правдоподобия с приложениями". Анна. Статист. 4 (4): 712–722. Дои:10.1214 / aos / 1176343543.

[1]

[2]

[3]

Теория распределения вероятностей
функция массы вероятности (pmf) функция плотности вероятности (pdf) кумулятивная функция распределения (cdf) квантильная функция
грубый момент центральный момент значить отклонение среднеквадратичное отклонение перекос эксцесс L-момент
момент-производящая функция (мгс) характеристическая функция функция, генерирующая вероятность (пгф) кумулянт комбинант