Оценка Джеймса – Стейна - Википедия - James–Stein estimator

Эта статья может быть слишком техническим для большинства читателей, чтобы понять. Пожалуйста помогите улучшить это к сделать понятным для неспециалистов, не снимая технических деталей. (Ноябрь 2017 г.) (Узнайте, как и когда удалить этот шаблон сообщения)

В Оценка Джеймса – Стейна это пристрастный оценщик из иметь в виду, ${ displaystyle { boldsymbol { theta}}}$, из (возможно) коррелированный Гауссово распределенное случайные векторы ${ Displaystyle Y = {Y_ {1}, Y_ {2}, ..., Y_ {m} }}$ неизвестными средствами ${ displaystyle {{ boldsymbol { theta}} _ {1}, { boldsymbol { theta}} _ {2}, ..., { boldsymbol { theta}} _ {m} }}$.

Она возникла последовательно в двух основных опубликованных статьях, более ранняя версия оценки была разработана Чарльз Штайн в 1956 г.,^[1] который пришел к относительно шокирующему выводу, что тогда как обычная оценка среднего или выборочного среднего, записанная Штейном и Джеймсом как ${ displaystyle { boldsymbol { hat { theta}}} (Y_ {i}) = { boldsymbol { theta}}}$, является допустимый когда ${ displaystyle m leq 2}$, однако это недопустимый когда ${ displaystyle m geq 3}$ и предложил возможное улучшение оценщика, которое сжимается образец означает ${ displaystyle {{ boldsymbol { theta}} _ {i}}}$ к более центральному среднему вектору ${ displaystyle { boldsymbol { nu}}}$ (который можно выбрать априори или обычно «среднее среднее значение» выборки означает, что все выборки имеют одинаковый размер), обычно называют Пример или парадокс Штейна. Этот более ранний результат был улучшен позже Уиллардом Джеймсом и Чарльзом Штейном в 1961 году путем упрощения исходного процесса.^[2]

Можно показать, что оценка Джеймса – Стейна доминирует "обычный" наименьших квадратов подход, означающий, что оценка Джеймса-Стейна имеет меньшую или равную среднеквадратичная ошибка чем "обычная" оценка методом наименьших квадратов.

Параметр

Позволять ${ displaystyle { mathbf {Y}} sim N_ {m} ({ boldsymbol { theta}}, sigma ^ {2} I), ,}$где вектор ${ displaystyle { boldsymbol { theta}}}$ неизвестно иметь в виду из ${ displaystyle { mathbf {Y}}}$, который ${ displaystyle m}$-вариант нормально распределенный и с известными ковариационная матрица ${ displaystyle sigma ^ {2} I}$.

Мы заинтересованы в получении сметы, ${ displaystyle { widehat { boldsymbol { theta}}}}$, из ${ displaystyle { boldsymbol { theta}}}$, основываясь на одном наблюдении, ${ displaystyle { mathbf {y}}}$, из ${ displaystyle { mathbf {Y}}}$.

В реальных приложениях это обычная ситуация, когда выполняется выборка набора параметров, а выборки искажаются независимыми Гауссов шум. Поскольку этот шум имеет нулевое среднее значение, может быть разумным использовать сами выборки в качестве оценки параметров. Такой подход является наименьших квадратов оценщик, который ${ displaystyle { widehat { boldsymbol { theta}}} _ {LS} = { mathbf {y}}}$.

Штейн продемонстрировал, что с точки зрения среднеквадратичная ошибка ${ displaystyle operatorname {E} left [ left | { boldsymbol { theta}} - { widehat { boldsymbol { theta}}} right | ^ {2} right]}$, оценка методом наименьших квадратов, ${ displaystyle { widehat { boldsymbol { theta}}} _ {LS}}$, является субоптимальным для оценок на основе усадки, таких как Оценка Джеймса – Стейна, ${ displaystyle { widehat { boldsymbol { theta}}} _ {JS}}$.^[1] Парадоксальный результат, что существует (возможно) лучшая и никогда не худшая оценка ${ displaystyle { boldsymbol { theta}}}$ в среднеквадратичной ошибке по сравнению со средним по выборке, стала известна как Феномен Штейна.

Оценка Джеймса – Стейна

MSE (R) оценки наименьших квадратов (ML) по сравнению с оценкой Джеймса – Стейна (JS). Оценка Джеймса – Стейна дает наилучшую оценку, когда норма фактического вектора параметров θ близка к нулю.

Если ${ displaystyle sigma ^ {2}}$ известно, оценка Джеймса – Стейна дается формулой

${ displaystyle { widehat { boldsymbol { theta}}} _ {JS} = left (1 - { frac {(m-2) sigma ^ {2}} { | { mathbf {y}) } | ^ {2}}} right) { mathbf {y}}.}$

Джеймс и Стейн показали, что указанная выше оценка доминирует ${ displaystyle { widehat { boldsymbol { theta}}} _ {LS}}$ для любого ${ displaystyle m geq 3}$, что означает, что оценка Джеймса – Стейна всегда среднеквадратичная ошибка (MSE), чем максимальная вероятность оценщик.^[2][3] По определению, это делает оценку методом наименьших квадратов недопустимый когда ${ displaystyle m geq 3}$.

Обратите внимание, что если ${ Displaystyle (м-2) sigma ^ {2} < | { mathbf {y}} | ^ {2}}$ тогда эта оценка просто берет естественную оценку ${ displaystyle mathbf {y}}$ и сжимает его к началу 0. На самом деле это не единственное направление усадка это работает. Позволять ν - произвольный фиксированный вектор длины ${ displaystyle m}$. Тогда существует оценка типа Джеймса-Стейна, стягивающаяся к ν, а именно

${ displaystyle { widehat { boldsymbol { theta}}} _ {JS} = left (1 - { frac {(m-2) sigma ^ {2}} { | { mathbf {y}) } - { boldsymbol { nu}} | ^ {2}}} right) ({ mathbf {y}} - { boldsymbol { nu}}) + { boldsymbol { nu}}, qquad m geq 3.}$

Оценка Джеймса – Стейна доминирует над обычной оценкой для любого ν. Возникает естественный вопрос: не зависит ли улучшение по сравнению с обычной оценкой от выбора ν. Ответ - нет. Улучшение невелико, если ${ displaystyle | {{ boldsymbol { theta}} - { boldsymbol { nu}}} |}$ большой. Таким образом, чтобы получить очень большое улучшение, нужно знать местоположение θ необходимо. Конечно, это количество, которое мы пытаемся оценить, поэтому у нас нет этого знания. априори. Но мы можем иметь некоторое предположение относительно того, что такое средний вектор. Это можно считать недостатком оценщика: выбор необъективен, так как он может зависеть от убеждений исследователя.

Интерпретация

Рассматривая оценку Джеймса – Стейна как эмпирический метод Байеса дает некоторую интуицию к этому результату: предполагается, что θ сама по себе является случайной величиной с предварительное распространение ${ displaystyle sim N (0, A)}$, куда А оценивается на основании самих данных. Оценка А только дает преимущество по сравнению с оценщик максимального правдоподобия когда размер ${ displaystyle m}$ достаточно большой; следовательно, это не работает для ${ displaystyle m leq 2}$. Оценщик Джеймса – Стейна является членом класса байесовских оценщиков, которые доминируют над оценщиком максимального правдоподобия.^[4]

Следствием приведенного выше обсуждения является следующий противоречивый результат: когда измеряются три или более несвязанных параметра, их общая MSE может быть уменьшена с помощью комбинированного оценщика, такого как оценщик Джеймса – Стейна; тогда как, когда каждый параметр оценивается отдельно, оценка методом наименьших квадратов (LS) допустимый. Причудливый пример - это оценка скорости света, потребления чая на Тайване и веса свиньи в Монтане, все вместе. Оценка Джеймса – Стейна всегда улучшает общий MSE, то есть сумма ожидаемых ошибок каждого компонента. Таким образом, общая MSE при измерении скорости света, потребления чая и веса свиньи улучшится при использовании оценщика Джеймса – Стейна. Однако любой конкретный компонент (например, скорость света) улучшится для одних значений параметров и ухудшится для других. Таким образом, хотя оценщик Джеймса – Стейна доминирует над оценщиком LS, когда оцениваются три или более параметров, любой отдельный компонент не доминирует над соответствующим компонентом оценщика LS.

Вывод из этого гипотетического примера состоит в том, что измерения должны быть объединены, если кто-то заинтересован в минимизации их общего MSE. Например, в телекоммуникации установка, целесообразно совместить канал измерения в оценка канала сценарий, так как цель состоит в том, чтобы минимизировать общую ошибку оценки канала. И наоборот, могут возникать возражения против объединения оценок каналов разных пользователей, поскольку ни один пользователь не хочет, чтобы оценка их канала ухудшалась, чтобы улучшить среднюю производительность сети.^{[нужна цитата ]}

Оценка Джеймса-Стейна также нашла применение в фундаментальной квантовой теории, где оценка использовалась для улучшения теоретических оценок принципа энтропийной неопределенности (недавнее развитие теории Гейзенберга). принцип неопределенности ) для более чем трех измерений.^[5]

Улучшения

Базовая оценка Джеймса – Стейна обладает тем особенным свойством, что при малых значениях ${ displaystyle | { mathbf {y}} - { boldsymbol { nu}} |,}$ множитель на ${ displaystyle { mathbf {y}} - { boldsymbol { nu}}}$ на самом деле отрицательно. Это легко исправить, заменив этот множитель на ноль, когда он отрицательный. Полученная оценка называется положительная часть оценки Джеймса – Стейна и дается

${ displaystyle { widehat { boldsymbol { theta}}} _ {JS +} = left (1 - { frac {(m-3) sigma ^ {2}} { | { mathbf {y}) } - { boldsymbol { nu}} | ^ {2}}} right) ^ {+} ({ mathbf {y}} - { boldsymbol { nu}}) + { boldsymbol { nu }}, m geq 4.}$

Эта оценка имеет меньший риск, чем базовая оценка Джеймса – Стейна. Отсюда следует, что основная оценка Джеймса – Стейна сама по себе недопустимый.^[6]

Однако оказывается, что оценка положительной части также недопустима.^[3] Это следует из общего результата, который требует, чтобы допустимые оценки были гладкими.

Расширения

На первый взгляд может показаться, что оценка Джеймса – Стейна является результатом какой-то особенности постановки задачи. Фактически, оценщик демонстрирует очень широкий эффект; а именно тот факт, что "обычная" оценка или оценка методом наименьших квадратов часто недопустимый для одновременной оценки нескольких параметров.^{[нужна цитата ]} Этот эффект получил название Феномен Штейна, и был продемонстрирован для нескольких различных настроек проблемы, некоторые из которых кратко описаны ниже.

• Джеймс и Стейн продемонстрировали, что представленная выше оценка все еще может использоваться, когда дисперсия ${ displaystyle sigma ^ {2}}$ неизвестно, заменив его стандартной оценкой дисперсии, ${ displaystyle { widehat { sigma}} ^ {2} = { frac {1} {n}} sum (y_ {i} - { overline {y}}) ^ {2}}$. Результат о преобладании сохраняется при тех же условиях, а именно, ${ displaystyle m> 2}$.^[2]
• Результаты в этой статье относятся к случаю, когда только один вектор наблюдения у доступен. Для более общего случая, когда ${ displaystyle n}$ векторы доступны, результаты аналогичны:^{[нужна цитата ]}

${ displaystyle { widehat { boldsymbol { theta}}} _ {JS} = left (1 - { frac {(m-2) { frac { sigma ^ {2}} {n}}} { | { overline { mathbf {y}}} | ^ {2}}} right) { overline { mathbf {y}}},}$

куда ${ displaystyle { overline { mathbf {y}}}}$ это ${ displaystyle m}$-средняя длина ${ displaystyle n}$ наблюдения.

• Работа Джеймса и Стейна была распространена на случай общей ковариационной матрицы измерений, то есть когда измерения могут быть статистически зависимыми и иметь разные дисперсии.^[7] Можно построить аналогичную доминирующую оценку с подходящим обобщенным условием доминирования. Это можно использовать для построения линейная регрессия метод, который превосходит стандартное приложение оценки LS.^[7]
• Результат Стейна был распространен на широкий класс распределений и функций потерь. Однако эта теория обеспечивает только результат существования, поскольку явные доминирующие оценки фактически не выставлялись.^[8] Довольно сложно получить явные оценки, улучшающие обычную оценку, без конкретных ограничений на лежащие в основе распределения.^[3]

Смотрите также

• Допустимое правило принятия решения
• Оценщик Ходжеса
• Оценка усадки

Рекомендации

дальнейшее чтение

• Судья, Джордж Г .; Бок, М. Э. (1978). Статистическое значение предварительных оценок и оценок по правилу Штейна в эконометрике. Нью-Йорк: Северная Голландия. С. 229–257. ISBN  0-7204-0729-X.