Тест Вальда - Wald test

В статистика, то Тест Вальда (названный в честь Авраам Вальд ) оценивает ограничения на статистические параметры на основе взвешенного расстояния между неограниченная оценка и его предполагаемое значение при нулевая гипотеза, где вес точность оценки.[1][2] Интуитивно понятно, что чем больше это взвешенное расстояние, тем меньше вероятность того, что ограничение истинно. В то время конечные выборочные распределения тестов Вальда вообще неизвестны,[3] он имеет асимптотику χ2-распространение при нулевой гипотезе факт, который можно использовать для определения Статистическая значимость.[4]

Вместе с Множитель Лагранжа и критерий отношения правдоподобия, тест Вальда - один из трех классических подходов к проверка гипотезы. Преимущество теста Вальда перед двумя другими заключается в том, что он требует только оценки неограниченной модели, что снижает вычислительная нагрузка по сравнению с тестом отношения правдоподобия. Однако основным недостатком является то, что (в конечных выборках) он не инвариантен к изменениям в представлении нулевой гипотезы; другими словами, алгебраически эквивалентные выражения ограничения нелинейного параметра могут привести к разным значениям тестовой статистики.[5][6] Это потому, что статистика Вальда выводится из Расширение Тейлора,[7] а различные способы записи эквивалентных нелинейных выражений приводят к нетривиальным различиям в соответствующих коэффициентах Тейлора.[8] Другая аберрация, известная как эффект Хаука – Доннера, может возникать в биномиальные модели когда оцениваемый (безусловный) параметр близок к граница из пространство параметров - например, подобранная вероятность очень близка к нулю или единице - в результате чего тест Вальда больше не монотонно возрастающий в расстоянии между параметром без ограничений и параметром ограничения.[9][10]

Математические детали

По тесту Вальда оценочная это было найдено как максимизация аргумента неограниченного функция правдоподобия сравнивается с предполагаемым значением . В частности, квадрат разности взвешивается по кривизне функции логарифмического правдоподобия.

Тест по одному параметру

Если гипотеза включает ограничение только на один параметр, то статистика Вальда принимает следующий вид:

которое при нулевой гипотезе следует асимптотике χ2-распределение с одной степенью свободы. Квадратный корень из статистики Вальда с одним ограничением можно понимать как (псевдо) т-отношение это, однако, не совсем т-распределенный за исключением особого случая линейной регрессии с нормально распределенный ошибки.[11] В общем случае следует асимптотика z распространение.[12]

где это стандартная ошибка оценки максимального правдоподобия (MLE), квадратного корня из дисперсии. Есть несколько способов последовательно оценивать то матрица отклонений что в конечных выборках приводит к альтернативным оценкам стандартных ошибок и связанной с ними тестовой статистики и п-ценности.[13]

Тест (ы) по нескольким параметрам

Тест Вальда можно использовать для проверки одной гипотезы по нескольким параметрам, а также для совместной проверки нескольких гипотез по одному / нескольким параметрам. Позволять наша выборочная оценка параметров P (т. е. это P 1 вектор), который должен асимптотически следовать нормальному распределению с ковариационная матрица V, .Проверка гипотез Q о параметрах P выражается с помощью Q P матрица R:

Статистика теста:

где является оценкой ковариационной матрицы.[14]

Доказательство

Предположим . Затем по Теорема Слуцкого и по свойствам нормальное распределение, умножение на R имеет распределение:

Вспоминая, что квадратичная форма нормального распределения имеет Распределение хи-квадрат:

Перестановка в итоге дает:

Что делать, если ковариационная матрица неизвестна априори и ее нужно оценивать на основе данных? Если у нас есть согласованная оценка из , то в силу независимости оценки ковариации и приведенного выше уравнения имеем:

Нелинейная гипотеза

В стандартной форме тест Вальда используется для проверки линейных гипотез, которые могут быть представлены одной матрицей R. Если кто-то желает проверить нелинейную гипотезу формы:

Статистика теста становится:

где это производная of c оценивается в оценщике выборки. Этот результат получен с использованием дельта-метод, в котором используется первое приближение дисперсии.

Неинвариантность к повторным параметризациям

Тот факт, что кто-то использует аппроксимацию дисперсии, имеет недостаток, заключающийся в том, что статистика Вальда не инвариантна по отношению к нелинейному преобразованию / репараметризации гипотезы: она может давать разные ответы на один и тот же вопрос, в зависимости от того, как вопрос сформулирован. .[15][5] Например, спрашивая, р = 1 - это то же самое, что спросить,р = 0; но статистика Вальда для р = 1 не то же самое, что статистика Вальда для журналар = 0 (потому что, как правило, нет четкой связи между стандартными ошибками р и журналр, поэтому его нужно приблизить).[16]

Альтернативы тесту Вальда

Существует несколько альтернатив тесту Вальда, а именно: критерий отношения правдоподобия и Тест множителя Лагранжа (также известный как оценочный тест). Роберт Ф. Энгл показали, что эти три теста, тест Вальда, критерий отношения правдоподобия и Тест множителя Лагранжа находятся асимптотически эквивалентный.[17] Хотя они асимптотически эквивалентны, в конечных выборках они могут достаточно расходиться, чтобы привести к различным выводам.

Есть несколько причин, чтобы предпочесть тест отношения правдоподобия или множитель Лагранжа тесту Вальда:[18][19][20]

  • Неинвариантность: как указывалось выше, тест Вальда не инвариантен к репараметризации, тогда как тесты отношения правдоподобия дадут точно такой же ответ, работаем ли мы с р, журналр или любой другой монотонный преобразованиер.[5]
  • Другая причина заключается в том, что в тесте Вальда используются два приближения (мы знаем стандартную ошибку и что распределение χ2 ), тогда как в тесте отношения правдоподобия используется одно приближение (распределение χ2).[нужна цитата ]
  • Тест Вальда требует оценки альтернативной гипотезы, соответствующей «полной» модели. В некоторых случаях модель проще при нулевой гипотезе, поэтому можно предпочесть использовать оценка теста (также называемый тестом множителя Лагранжа), преимущество которого состоит в том, что его можно сформулировать в ситуациях, когда вариативность трудно оценить; например то Тест Кокрана – Мантеля – Хензеля это оценочный тест.[21]

Смотрите также

использованная литература

  1. ^ Фармейр, Людвиг; Кнейб, Томас; Ланг, Стефан; Маркс, Брайан (2013). Регрессия: модели, методы и приложения. Берлин: Springer. п. 663. ISBN  978-3-642-34332-2.
  2. ^ Уорд, Майкл Д.; Алквист, Джон С. (2018). Максимальное правдоподобие для социальных наук: стратегии анализа. Издательство Кембриджского университета. п. 36. ISBN  978-1-316-63682-4.
  3. ^ Мартин, Вэнс; Херн, Стэн; Харрис, Дэвид (2013). Эконометрическое моделирование с использованием временных рядов: спецификация, оценка и тестирование. Издательство Кембриджского университета. п. 138. ISBN  978-0-521-13981-6.
  4. ^ Дэвидсон, Рассел; Маккиннон, Джеймс Г. (1993). «Метод максимального правдоподобия: основные понятия и обозначения». Оценка и вывод в эконометрике. Нью-Йорк: Издательство Оксфордского университета. п. 89. ISBN  0-19-506011-3.
  5. ^ а б c Грегори, Аллан В .; Велл, Майкл Р. (1985). «Формулировка критериев Вальда нелинейных ограничений». Econometrica. 53 (6): 1465–1468. JSTOR  1913221.
  6. ^ Филлипс, П. С. Б.; Пак, Джун Ю. (1988). «О постановке критериев Вальда нелинейных ограничений». Econometrica. 56 (5): 1065–1083. JSTOR  1911359.
  7. ^ Хаяси, Фумио (2000). Эконометрика. Принстон: Издательство Принстонского университета. С. 489–491. ISBN  1-4008-2383-8.,
  8. ^ Лафонтен, Франсин; Уайт, Кеннет Дж. (1986). «Получение любой статистики Вальда, которую вы хотите». Письма по экономике. 21 (1): 35–40. Дои:10.1016/0165-1765(86)90117-5.
  9. ^ Hauck, Walter W., Jr .; Доннер, Аллан (1977). «Тест Вальда применительно к гипотезам в логит-анализе». Журнал Американской статистической ассоциации. 72 (360a): 851–853. Дои:10.1080/01621459.1977.10479969.
  10. ^ King, Maxwell L .; Го, Ким-Ленг (2002). «Усовершенствования теста Вальда». Справочник по прикладной эконометрике и статистическому выводу. Нью-Йорк: Марсель Деккер. С. 251–276. ISBN  0-8247-0652-8.
  11. ^ Кэмерон, А. Колин; Триведи, Правин К. (2005). Микроэконометрика: методы и приложения. Нью-Йорк: Издательство Кембриджского университета. п. 137. ISBN  0-521-84805-9.
  12. ^ Дэвидсон, Рассел; Маккиннон, Джеймс Г. (1993). «Метод максимального правдоподобия: основные понятия и обозначения». Оценка и вывод в эконометрике. Нью-Йорк: Издательство Оксфордского университета. п. 89. ISBN  0-19-506011-3.
  13. ^ Мартин, Вэнс; Херн, Стэн; Харрис, Дэвид (2013). Эконометрическое моделирование с использованием временных рядов: спецификация, оценка и тестирование. Нью-Йорк: Издательство Кембриджского университета. п. 129. ISBN  978-0-521-13981-6.
  14. ^ Харрелл, Фрэнк Э., младший (2001). «Раздел 9.3.1». Стратегии регрессионного моделирования. Нью-Йорк: Springer-Verlag. ISBN  0387952322.
  15. ^ Страхи, Томас Р .; Бенишу, Жак; Гейл, Митчелл Х. (1996). «Напоминание об ошибочности статистики Вальда». Американский статистик. 50 (3): 226–227. Дои:10.1080/00031305.1996.10474384.
  16. ^ Кричли, Фрэнк; Marriott, Пол; Лосось, Марк (1996). «О дифференциальной геометрии теста Вальда с нелинейными ограничениями». Econometrica. 64 (5): 1213–1222. JSTOR  2171963.
  17. ^ Энгл, Роберт Ф. (1983). «Тесты Вальда, отношения правдоподобия и множителя Лагранжа в эконометрике». В Intriligator, M.D .; Грилихес, З. (ред.). Справочник по эконометрике. II. Эльзевир. С. 796–801. ISBN  978-0-444-86185-6.
  18. ^ Харрелл, Фрэнк Э., младший (2001). «Раздел 9.3.3». Стратегии регрессионного моделирования. Нью-Йорк: Springer-Verlag. ISBN  0387952322.
  19. ^ Коллетт, Дэвид (1994). Моделирование данных о выживаемости в медицинских исследованиях. Лондон: Чепмен и Холл. ISBN  0412448807.
  20. ^ Павитан, Юди (2001). По всей вероятности. Нью-Йорк: Издательство Оксфордского университета. ISBN  0198507658.
  21. ^ Агрести, Алан (2002). Категориальный анализ данных (2-е изд.). Вайли. п.232. ISBN  0471360937.

дальнейшее чтение

внешние ссылки