Пример доказательства Штейнса - Википедия - Proof of Steins example

Эта статья нужны дополнительные цитаты для проверка. Пожалуйста помоги улучшить эту статью к добавление цитат в надежные источники. Материал, не полученный от источника, может быть оспорен и удален Найдите источники: «Доказательство примера Штейна»  – Новости  · газеты  · книги  · ученый  · JSTOR (Декабрь 2006 г.) (Узнайте, как и когда удалить этот шаблон сообщения)

Пример Штейна важный результат в теория принятия решений что можно сформулировать как

Обычное решающее правило для оценки среднего многомерного распределения Гаусса недопустимо при среднеквадратическом риске ошибки в размерности не менее 3.

Ниже приводится схема его доказательства.^[1] Читателя отсылаем к основная статья для дополнительной информации.

Набросал доказательство

В функция риска правила принятия решения ${ Displaystyle д ( mathbf {x}) = mathbf {x}}$ является

${ Displaystyle R ( theta, d) = operatorname {E} _ { theta} [| mathbf { theta -X} | ^ {2}]}$

${ displaystyle = int ( mathbf { theta -x}) ^ {T} ( mathbf { theta -x}) left ({ frac {1} {2 pi}} right) ^ { n / 2} e ^ {(- 1/2) ( mathbf { theta -x}) ^ {T} ( mathbf { theta -x})} m (dx)}$

${ Displaystyle = п.}$

Теперь рассмотрим правило принятия решения

${ displaystyle d '( mathbf {x}) = mathbf {x} - { frac { alpha} {| mathbf {x} | ^ {2}}} mathbf {x}}$

куда ${ Displaystyle альфа = п-2}$. Мы покажем, что ${ displaystyle d '}$ это лучшее решение, чем ${ displaystyle d}$. Функция риска

${ Displaystyle R ( theta, d ') = operatorname {E} _ { theta} left [ left | mathbf { theta -X} + { frac { alpha} {| mathbf {X } | ^ {2}}} mathbf {X} right | ^ {2} right]}$

${ displaystyle = operatorname {E} _ { theta} left [| mathbf { theta -X} | ^ {2} +2 ( mathbf { theta -X}) ^ {T} { frac { alpha} {| mathbf {X} | ^ {2}}} mathbf {X} + { frac { alpha ^ {2}} {| mathbf {X} | ^ {4}}} | mathbf {X} | ^ {2} right]}$

${ displaystyle = operatorname {E} _ { theta} left [| mathbf { theta -X} | ^ {2} right] +2 alpha operatorname {E} _ { theta} left [{ frac { mathbf {( theta -X) ^ {T} X}} {| mathbf {X} | ^ {2}}} right] + alpha ^ {2} operatorname {E} _ { theta} left [{ frac {1} {| mathbf {X} | ^ {2}}} right]}$

- квадратичный по ${ displaystyle alpha}$. Мы можем упростить средний термин, рассмотрев общую функцию "хорошего поведения" ${ displaystyle h: mathbf {x} mapsto h ( mathbf {x}) in mathbb {R}}$ и используя интеграция по частям. За ${ Displaystyle 1 Leq я Leq п}$, для любого непрерывно дифференцируемого ${ displaystyle h}$ растет достаточно медленно для больших ${ displaystyle x_ {i}}$ у нас есть:

${ displaystyle operatorname {E} _ { theta} [( theta _ {i} -X_ {i}) h ( mathbf {X}) | X_ {j} = x_ {j} (j neq i )] = int ( theta _ {i} -x_ {i}) h ( mathbf {x}) left ({ frac {1} {2 pi}} right) ^ {n / 2} e ^ {- (1/2) mathbf {(x- theta)} ^ {T} mathbf {(x- theta)}} m (dx_ {i})}$

${ displaystyle = left [час ( mathbf {x}) left ({ frac {1} {2 pi}} right) ^ {n / 2} e ^ {- (1/2) mathbf {(x- theta)} ^ {T} mathbf {(x- theta)}} right] _ {x_ {i} = - infty} ^ { infty} - int { frac { частичный h} { partial x_ {i}}} ( mathbf {x}) left ({ frac {1} {2 pi}} right) ^ {n / 2} e ^ {- (1 / 2) mathbf {(x- theta)} ^ {T} mathbf {(x- theta)}} m (dx_ {i})}$

${ displaystyle = - operatorname {E} _ { theta} left [{ frac { partial h} { partial x_ {i}}} ( mathbf {X}) | X_ {j} = x_ { j} (j neq i) right].}$

Следовательно,

${ displaystyle operatorname {E} _ { theta} [( theta _ {i} -X_ {i}) h ( mathbf {X})] = - operatorname {E} _ { theta} left [{ frac { partial h} { partial x_ {i}}} ( mathbf {X}) right].}$

(Этот результат известен как Лемма Штейна.)

Теперь выбираем

${ displaystyle h ( mathbf {x}) = { frac {x_ {i}} {| mathbf {x} | ^ {2}}}.}$

Если ${ displaystyle h}$ соответствует условию "хорошего поведения" (это не так, но это можно исправить - см. ниже), мы бы

${ displaystyle { frac { partial h} { partial x_ {i}}} = { frac {1} {| mathbf {x} | ^ {2}}} - { frac {2x_ {i} ^ {2}} {| mathbf {x} | ^ {4}}}}$

и так

${ displaystyle operatorname {E} _ { theta} left [{ frac { mathbf {( theta -X) ^ {T} X}} {| mathbf {X} | ^ {2}}} right] = sum _ {i = 1} ^ {n} operatorname {E} _ { theta} left [( theta _ {i} -X_ {i}) { frac {X_ {i} } {| mathbf {X} | ^ {2}}} right]}$

${ displaystyle = - sum _ {i = 1} ^ {n} operatorname {E} _ { theta} left [{ frac {1} {| mathbf {X} | ^ {2}}} - { frac {2X_ {i} ^ {2}} {| mathbf {X} | ^ {4}}} right]}$

${ displaystyle = - (n-2) operatorname {E} _ { theta} left [{ frac {1} {| mathbf {X} | ^ {2}}} right].}$

Затем возвращаясь к функции риска ${ displaystyle d '}$:

${ Displaystyle R ( theta, d ') = п-2 альфа (п-2) operatorname {E} _ { theta} left [{ frac {1} {| mathbf {X} | ^ {2}}} right] + alpha ^ {2} operatorname {E} _ { theta} left [{ frac {1} {| mathbf {X} | ^ {2}}} right ].}$

Эта квадратичная по ${ displaystyle alpha}$ сводится к минимуму

${ Displaystyle альфа = п-2,}$

давая

${ Displaystyle R ( theta, d ') = R ( theta, d) - (n-2) ^ {2} operatorname {E} _ { theta} left [{ frac {1} {| mathbf {X} | ^ {2}}} right]}$

что, конечно, удовлетворяет

${ Displaystyle R ( theta, d ')$

изготовление ${ displaystyle d}$ недопустимое решение.

Осталось обосновать использование

${ displaystyle h ( mathbf {X}) = { frac { mathbf {X}} {| mathbf {X} | ^ {2}}}.}$

Эта функция не является непрерывно дифференцируемой, так как она сингулярна на ${ displaystyle mathbf {x} = 0}$. Однако функция

${ displaystyle h ( mathbf {X}) = { frac { mathbf {X}} { varepsilon + | mathbf {X} | ^ {2}}}}$

непрерывно дифференцируема, и, проследив алгебру и допуская ${ displaystyle varepsilon to 0}$, получаем тот же результат.

Рекомендации