Оценка (статистика) - Score (statistics)

В статистика, то счет (или же информатор^[1]) это градиент из функция логарифмического правдоподобия с уважением к вектор параметров. Оценка, оцениваемая в определенной точке вектора параметров, указывает крутизна функции логарифма правдоподобия и, следовательно, чувствительности к бесконечно малый изменяет значения параметров. Если функция логарифма правдоподобия непрерывный над пространство параметров, счет будет исчезнуть на местном максимум или минимум; этот факт используется в оценка максимального правдоподобия чтобы найти значения параметров, которые максимизируют функцию правдоподобия.

Поскольку оценка является функцией наблюдения которые подлежат ошибка выборки, он поддается статистика теста известный как оценка теста в котором параметр удерживается на определенном значении. Далее отношение двух функций правдоподобия оцениваемый при двух различных значениях параметра, можно понимать как определенный интеграл функции оценки.^[2]

Определение

Оценка градиент (вектор частные производные ) из ${ Displaystyle журнал { mathcal {L}} ( theta)}$ , то натуральный логарифм из функция правдоподобия, относительно м-мерный вектор параметров ${ displaystyle theta}$ .

{ Displaystyle s ( theta) Equiv { frac { partial log { mathcal {L}} ( theta)} { partial theta}}}

Таким образом, дифференцирование дает ${ Displaystyle (1 раз м)}$ вектор-строка, и указывает чувствительность правдоподобия (его производная, нормированная на его значение).

В более старой литературе^{[нужна цитата ]} «линейный счет» может относиться к счету относительно бесконечно малого перевода данной плотности. Это соглашение возникло из того времени, когда основным интересующим параметром было среднее или медианное значение распределения. В этом случае вероятность наблюдения определяется плотностью вида ${ Displaystyle { mathcal {L}} ( theta; X) = е (X + theta)}$ . "Линейная оценка" тогда определяется как

{ displaystyle s _ { rm {linear}} = { frac { partial} { partial X}} log f (X)}

Характеристики

Иметь в виду

Хотя счет является функцией ${ displaystyle theta}$ , это также зависит от наблюдений ${ Displaystyle mathbf {x} = (x_ {1}, x_ {2}, ldots x_ {T})}$ при котором оценивается функция правдоподобия, и ввиду случайного характера выборки можно взять ее ожидаемое значение над пространство образца. При определенных условиях регулярности функций плотности случайных величин^[3]^[4] ожидаемое значение оценки, оцененное при истинном значении параметра ${ displaystyle theta}$ , равно нулю. Чтобы увидеть это, перепишите функцию правдоподобия ${ Displaystyle { mathcal {L}}}$ как функция плотности вероятности ${ Displaystyle { mathcal {L}} ( theta; x) = f (x; theta)}$ , и обозначим пространство образца ${ displaystyle { mathcal {X}}}$ . Потом:

{ Displaystyle { begin {align} operatorname {E} (s mid theta) & = int _ { mathcal {X}} f (x; theta) { frac { partial} { partial theta}} log { mathcal {L}} ( theta; x) , dx [6pt] & = int _ { mathcal {X}} f (x; theta) { frac { 1} {f (x; theta)}} { frac { partial f (x; theta)} { partial theta}} , dx = int _ { mathcal {X}} { frac { partial f (x; theta)} { partial theta}} , dx end {align}}}

Предполагаемые условия регулярности допускают замену производной и интеграла (см. Интегральное правило Лейбница ), поэтому приведенное выше выражение можно переписать как

{ Displaystyle { frac { partial} { partial theta}} int _ { mathcal {X}} f (x; theta) , dx = { frac { partial} { partial theta }} 1 = 0.}

Приведенный выше результат стоит перефразировать словами: ожидаемое значение оценки равно нулю. Таким образом, если бы кто-то неоднократно брал выборку из некоторого распределения и многократно вычислял балл, то среднее значение баллов стремилось бы к нулю. асимптотически.

Дисперсия

В отклонение партитуры, ${ displaystyle operatorname {Var} (s ( theta)) = operatorname {E} (s ( theta) s ( theta) ^ { mathsf {T}})}$ может быть получено из приведенного выше выражения для ожидаемого значения.

{ displaystyle { begin {align} 0 & = { frac { partial} { partial theta ^ { mathsf {T}}}} operatorname {E} (s mid theta) [6pt] & = { frac { partial} { partial theta ^ { mathsf {T}}}} int _ { mathcal {X}} { frac { partial log { mathcal {L}} ( theta; X)} { partial theta}} f (x; theta) , dx [6pt] & = int _ { mathcal {X}} { frac { partial} { partial theta ^ { mathsf {T}}}} left {{ frac { partial log { mathcal {L}} ( theta; X)} { partial theta}} f (x; theta) right } , dx [6pt] & = int _ { mathcal {X}} left {{ frac { partial ^ {2} log { mathcal {L}} ( theta; X)} { partial theta partial theta ^ { mathsf {T}}}} f (x; theta) + { frac { partial log { mathcal {L}} ( theta; X)} { partial theta}} { frac { partial f (x; theta)} { partial theta ^ { mathsf {T}}}} right } , dx [6pt] & = int _ { mathcal {X}} { frac { partial ^ {2} log { mathcal {L}} ( theta; X)} { partial theta partial theta ^ { mathsf {T}}}} f (x; theta) , dx + int _ { mathcal {X}} { frac { partial log { mathcal {L}} ( theta; X )} { partial theta}} { frac { partia l { mathcal {L}} ( theta; X)} { partial theta ^ { mathsf {T}}}} , dx [6pt] & = int _ { mathcal {X}} { frac { partial ^ {2} log { mathcal {L}} ( theta; X)} { partial theta partial theta ^ { mathsf {T}}}} f (x; theta) , dx + int _ { mathcal {X}} { frac { partial log { mathcal {L}} ( theta; X)} { partial theta}} { frac { partial log { mathcal {L}} ( theta; X)} { partial theta ^ { mathsf {T}}}} f (x; theta) , dx [6pt] & = operatorname {E} left ({ frac { partial ^ {2} log { mathcal {L}} ( theta; X)} { partial theta partial theta ^ { mathsf {T}}} } right) + operatorname {E} left ({ frac { partial log { mathcal {L}} ( theta; X)} { partial theta}} left [{ frac { частичный log { mathcal {L}} ( theta; X)} { partial theta}} right] ^ { mathsf {T}} right) end {выравнивается}}}

Следовательно, дисперсия оценки равна отрицательному ожидаемому значению Матрица Гессе логарифмической вероятности.^[5]

{ displaystyle operatorname {E} (s ( theta) s ( theta) ^ { mathsf {T}}) = - operatorname {E} left ({ frac { partial ^ {2} log { mathcal {L}}} { partial theta partial theta ^ { mathsf {T}}}} right)}

Последний известен как Информация Fisher и написано ${ Displaystyle { mathcal {I}} ( theta)}$ . Обратите внимание, что информация Фишера не является функцией какого-либо конкретного наблюдения, поскольку случайная величина ${ displaystyle X}$ был усреднен. Эта концепция информации полезна при сравнении двух методов наблюдения за некоторыми случайный процесс.

Примеры

Процесс Бернулли

Рассмотрите возможность наблюдения за первым п испытания Процесс Бернулли, и увидев это А из них успехи, а остальные B неудачи, где вероятность успехаθ.

Тогда вероятность ${ Displaystyle { mathcal {L}}}$ является

{ displaystyle { mathcal {L}} ( theta; A, B) = { frac {(A + B)!} {A! B!}} theta ^ {A} (1- theta) ^ {B},}

так что оценка s является

{ displaystyle s = { frac {1} { mathcal {L}}} { frac { partial { mathcal {L}}} { partial theta}} = { frac {A} { theta }} - { frac {B} {1- theta}}.}

Теперь мы можем проверить, что ожидание результата равно нулю. Отмечая, что ожидание А является nθ и ожидание B является п(1 − θ) [Напомним, что А и B случайные величины], мы видим, что математическое ожидание s является

{ displaystyle E (s) = { frac {n theta} { theta}} - { frac {n (1- theta)} {1- theta}} = n-n = 0.}

Мы также можем проверить дисперсию ${ displaystyle s}$ . Мы знаем это А + B = п (так B = п − А) и дисперсия А является nθ(1 − θ), поэтому дисперсия s является

{ displaystyle { begin {align} operatorname {var} (s) & = operatorname {var} left ({ frac {A} { theta}} - { frac {nA} {1- theta }} right) = operatorname {var} left (A left ({ frac {1} { theta}} + { frac {1} {1- theta}} right) right) & = left ({ frac {1} { theta}} + { frac {1} {1- theta}} right) ^ {2} operatorname {var} (A) = { frac {n} { theta (1- theta)}}. end {выравнивается}}}

Модель двоичного результата

За модели с бинарными исходами (Y = 1 или 0) модель может быть оценена с помощью логарифма прогнозов

{ Displaystyle S = Y журнал (р) + (1-Y) ( журнал (1-р))}

куда п - вероятность оцениваемой модели и S это оценка.^[6]

Приложения

Алгоритм подсчета очков

Алгоритм оценки - это итерационный метод для численно определение максимальная вероятность оценщик.

Оценка теста

Обратите внимание, что ${ displaystyle s}$ является функцией ${ displaystyle theta}$ и наблюдение ${ Displaystyle mathbf {x} = (x_ {1}, x_ {2}, ldots x_ {T})}$ , так что, в общем, это не статистика. Однако в некоторых приложениях, таких как оценка теста, оценка оценивается по определенному значению ${ displaystyle theta}$ (например, значение нулевой гипотезы), и в этом случае результатом является статистика. Интуитивно понятно, что если ограниченная оценка близка к максимуму функции правдоподобия, оценка не должна отличаться от нуля более чем на ошибка выборки. В 1948 г. К. Р. Рао впервые доказал, что квадрат оценки, деленный на информационную матрицу, следует асимптотической χ²-распределение при нулевой гипотезе.^[7]

Далее обратите внимание, что критерий отношения правдоподобия дан кем-то

{ displaystyle -2 left [ log { mathcal {L}} ( theta _ {0}) - log { mathcal {L}} ({ hat { theta}}) right] = 2 int _ { theta _ {0}} ^ { hat { theta}} { frac {d , log { mathcal {L}} ( theta)} {d theta}} , d theta = 2 int _ { theta _ {0}} ^ { hat { theta}} s ( theta) , d theta}

это означает, что критерий отношения правдоподобия можно понимать как область под функцией оценки между ${ displaystyle theta _ {0}}$ и ${ displaystyle { hat { theta}}}$ .^[8]

Смотрите также

Примечания

^ Информатор в энциклопедии математики
^ Пиклз, Эндрю (1985). Введение в анализ правдоподобия. Норвич: W. H. Hutchins & Sons. стр.24–29. ISBN 0-86094-190-6.
^ Серфлинг, Роберт Дж. (1980). Аппроксимационные теоремы математической статистики. Нью-Йорк: Джон Вили и сыновья. п.145. ISBN 0-471-02403-1.
^ Гринберг, Эдвард; Вебстер, Чарльз Э. младший (1983). Продвинутая эконометрика: мост к литературе. Нью-Йорк: Джон Вили и сыновья. п. 25. ISBN 0-471-09077-8.
^ Сарган, Денис (1988). Лекции по продвинутой эконометрике. Оксфорд: Бэзил Блэквелл. С. 16–18. ISBN 0-631-14956-2.
^ Steyerberg, E.W .; Vickers, A.J .; Cook, N.R .; Гердс, Т .; Gonen, M .; Obuchowski, N .; Pencina, M. J .; Каттан, М. В. (2010). «Оценка эффективности моделей прогнозирования. Рамки для традиционных и новых мер». Эпидемиология. 21 (1): 128–138. Дои:10.1097 / EDE.0b013e3181c30fb2. ЧВК 3575184. PMID 20010215.
^ Рао, К. Радхакришна (1948). «Большая выборка тестов статистических гипотез относительно нескольких параметров с приложениями к задачам оценивания». Математические труды Кембриджского философского общества. 44 (1): 50–57. Дои:10.1017 / S0305004100023987.
^ Бузе, А. (1982). «Отношение правдоподобия, тесты множителей Вальда и Лагранжа: пояснительная записка». Американский статистик. 36 (3a): 153–157. Дои:10.1080/00031305.1982.10482817.