Обобщенный метод моментов - Generalized method of moments

В эконометрика и статистика, то обобщенный метод моментов (GMM) - это общий метод оценки параметры в статистические модели. Обычно это применяется в контексте полупараметрические модели, где интересующий параметр является конечномерным, тогда как полная форма функции распределения данных может быть неизвестна, и, следовательно, оценка максимального правдоподобия не применимо.

Метод требует, чтобы определенное количество моментные условия указывается для модели. Эти моментные условия являются функциями параметров модели и данных, так что их ожидание равен нулю при истинных значениях параметров. Затем метод GMM сводит к минимуму некоторые норма выборочных средних моментов, и поэтому может рассматриваться как особый случай из оценка минимального расстояния.^[1]

GMM оценщики известны как последовательный, асимптотически нормальный, и эффективный в классе всех оценщиков, не использующих никакой дополнительной информации, кроме содержащейся в моментных условиях. GMM выступали Ларс Питер Хансен в 1982 г. как обобщение метод моментов,^[2] представлен Карл Пирсон в 1894 г. Однако эти оценки математически эквивалентны оценкам, основанным на «условиях ортогональности» (Sargan, 1958, 1959) или «уравнениях несмещенной оценки» (Huber, 1967; Wang et al., 1997).

Описание

Предположим, что доступные данные состоят из Т наблюдения {Y_т }_{т = 1,...,Т}, где каждое наблюдение Y_т является п-размерный многомерная случайная величина. Мы предполагаем, что данные поступают из определенного статистическая модель, определяется с точностью до неизвестного параметр θ ∈ Θ. Задача оценки - найти «истинное» значение этого параметра, θ₀, или, по крайней мере, достаточно близкая оценка.

Общее предположение GMM состоит в том, что данные Y_т быть порожденным слабо стационарный эргодический случайный процесс. (Случай независимые и одинаково распределенные (iid) переменные Y_т является частным случаем этого условия.)

Чтобы применить GMM, нам нужны «моментные условия», то есть нам нужно знать вектор-функция грамм(Y,θ) такие, что

{ Displaystyle м ( тета _ {0}) Equiv OperatorName {E} [, g (Y_ {t}, theta _ {0}) ,] = 0,}

где E обозначает ожидание, и Y_т является общим наблюдением. Кроме того, функция м(θ) должен отличаться от нуля для θ ≠ θ₀, иначе параметр θ не будет смысла-идентифицированный.

Основная идея GMM состоит в том, чтобы заменить теоретическое ожидаемое значение E [⋅] его эмпирическим аналогом - выборочным средним:

{ displaystyle { hat {m}} ( theta) Equiv { frac {1} {T}} sum _ {t = 1} ^ {T} g (Y_ {t}, theta)}

а затем минимизировать норму этого выражения относительно θ. Минимизирующее значение θ наша оценка для θ₀.

Посредством закон больших чисел, ${ Displaystyle scriptstyle { шляпа {m}} ( theta) , приблизительно ; OperatorName {E} [g (Y_ {t}, theta)] , = , m ( theta)}$ для больших значений Т, поэтому мы ожидаем, что ${ displaystyle scriptstyle { hat {m}} ( theta _ {0}) ; приблизительно ; m ( theta _ {0}) ; = ; 0}$ . Обобщенный метод моментов ищет число ${ displaystyle scriptstyle { hat { theta}}}$ что сделало бы ${ displaystyle scriptstyle { hat {m}} (; ! { hat { theta}} ; !)}$ как можно ближе к нулю. Математически это эквивалентно минимизации определенной нормы ${ displaystyle scriptstyle { hat {m}} ( theta)}$ (норма м, обозначается как ||м||, измеряет расстояние между м и ноль). Свойства полученной оценки будут зависеть от конкретного выбора функции нормы, и поэтому теория GMM рассматривает все семейство норм, определяемое как

{ displaystyle | { hat {m}} ( theta) | _ {W} ^ {2} = { hat {m}} ( theta) ^ { mathsf {T}} , W { hat {m}} ( theta),}

куда W это положительно определенный матрица весов, и ${ Displaystyle м ^ { mathsf {T}}}$ обозначает транспозиция. На практике матрица весов W вычисляется на основе доступного набора данных, который будет обозначен как ${ displaystyle scriptstyle { hat {W}}}$ . Таким образом, оценка GMM может быть записана как

{ displaystyle { hat { theta}} = operatorname {arg} min _ { theta in Theta} { bigg (} { frac {1} {T}} sum _ {t = 1 } ^ {T} g (Y_ {t}, theta) { bigg)} ^ { mathsf {T}} { hat {W}} { bigg (} { frac {1} {T}} sum _ {t = 1} ^ {T} g (Y_ {t}, theta) { bigg)}}

При подходящих условиях эта оценка последовательный, асимптотически нормальный, и при правильном выборе весовой матрицы ${ displaystyle scriptstyle { hat {W}}}$ также асимптотически эффективный.

Характеристики

Последовательность

Последовательность статистическое свойство оценщика, утверждающее, что, имея достаточное количество наблюдений, оценщик будет сходятся по вероятности к истинному значению параметра:

{ displaystyle { hat { theta}} { xrightarrow {p}} theta _ {0} { text {as}} T to infty.}

Достаточные условия для согласованности оценки GMM следующие:

${ displaystyle { hat {W}} _ {T} { xrightarrow {p}} W,}$ куда W это положительная полуопределенная матрица,
${ Displaystyle , W OperatorName {E} [, g (Y_ {t}, theta) ,] = 0}$ только для ${ displaystyle , theta = theta _ {0},}$
В Космос возможных параметров ${ Displaystyle Theta subset mathbb {R} ^ {k}}$ является компактный,
${ Displaystyle , г (Y, theta)}$ непрерывна на каждом θ с вероятностью один,
${ displaystyle operatorname {E} [, textstyle sup _ { theta in Theta} lVert g (Y, theta) rVert ,] < infty.}$

Второе условие здесь (т.н. Глобальная идентификация состояние) часто бывает особенно трудно проверить. Существуют более простые необходимые, но недостаточные условия, которые можно использовать для обнаружения проблемы неидентификации:

Условие заказа. Размерность моментной функции м (θ) должен быть не меньше размерности вектора параметров θ.
Местная идентификация. Если g (Y, θ) непрерывно дифференцируема в окрестности точки ${ displaystyle theta _ {0}}$ , то матрица ${ displaystyle W operatorname {E} [ nabla _ { theta} g (Y_ {t}, theta _ {0})]}$ должен иметь полный ранг столбца.

На практике эконометристы-прикладники часто просто предполагать эта глобальная идентификация верна, но на самом деле это не доказано.^[3]^:2127

Асимптотическая нормальность

Асимптотическая нормальность является полезным свойством, так как позволяет нам создавать полосы уверенности для оценщика и провести различные тесты. Прежде чем мы сможем сделать утверждение об асимптотическом распределении оценки GMM, нам необходимо определить две вспомогательные матрицы:

{ Displaystyle G = OperatorName {E} [, nabla _ {! theta} , g (Y_ {t}, theta _ {0}) ,], qquad Omega = operatorname { E} [, g (Y_ {t}, theta _ {0}) g (Y_ {t}, theta _ {0}) ^ { mathsf {T}} ,]}

Тогда при условиях 1–6, перечисленных ниже, оценка GMM будет асимптотически нормальной с ограничение распространения:

${ displaystyle { sqrt {T}} { big (} { hat { theta}} - theta _ {0} { big)} { xrightarrow {d}} { mathcal {N} } { big [} 0, (G ^ { mathsf {T}} WG) ^ {- 1} G ^ { mathsf {T}} W Omega W ^ { mathsf {T}} G (G ^ { mathsf {T}} W ^ { mathsf {T}} G) ^ {- 1} { big]}.}$

Условия:

${ displaystyle { hat { theta}}}$ согласован (см. предыдущий раздел),
Набор возможных параметров ${ Displaystyle Theta subset mathbb {R} ^ {k}}$ является компактный,
${ Displaystyle , г (Y, theta)}$ непрерывно дифференцируема в некоторой окрестности N из ${ displaystyle theta _ {0}}$ с вероятностью один,
${ Displaystyle OperatorName {E} [, lVert g (Y_ {t}, theta) rVert ^ {2} ,] < infty,}$
${ displaystyle operatorname {E} [, textstyle sup _ { theta in N} lVert nabla _ { theta} g (Y_ {t}, theta) rVert ,] < infty ,}$
матрица ${ displaystyle G'WG}$ неособое.

Эффективность

Пока мы ничего не сказали о выборе матрицы W, за исключением того, что он должен быть положительным полуопределенным. Фактически, любая такая матрица будет давать непротиворечивую и асимптотически нормальную оценку GMM, единственная разница будет заключаться в асимптотической дисперсии этой оценки. Можно показать, что принимая

{ Displaystyle W propto Omega ^ {- 1}}

приведет к наиболее эффективной оценке в классе всех асимптотически нормальных оценок. Эффективность в этом случае означает, что такая оценка будет иметь наименьшую возможную дисперсию (мы говорим, что матрица А меньше матрицы B если B – A положительно полуопределенный).

В этом случае формула для асимптотического распределения оценки GMM упрощается до

{ displaystyle { sqrt {T}} { big (} { hat { theta}} - theta _ {0} { big)} { xrightarrow {d}} { mathcal {N} } { big [} 0, (G ^ { mathsf {T}} , Omega ^ {- 1} G) ^ {- 1} { big]}}

Доказательство того, что такой выбор весовой матрицы действительно является оптимальным, часто принимается с небольшими изменениями при установлении эффективности других оценок. Как показывает опыт, матрица взвешивания является оптимальной, когда она превращает «формулу сэндвича» для сжатия дисперсии в более простое выражение.

Доказательство. Мы рассмотрим разницу между асимптотической дисперсией с произвольным W и асимптотическая дисперсия с ${ Displaystyle W = Omega ^ {- 1}}$ . Если мы можем разложить эту разницу на симметричное произведение вида CC ' для какой-то матрицы C, то это будет гарантировать, что эта разность неотрицательно определена, и, следовательно, ${ Displaystyle W = Omega ^ {- 1}}$ будет оптимальным по определению.
${ Displaystyle , V (W) -V ( Omega ^ {- 1})}$	${ displaystyle , = (G ^ { mathsf {T}} WG) ^ {- 1} G ^ { mathsf {T}} W Omega WG (G ^ { mathsf {T}} WG) ^ { -1} - (G ^ { mathsf {T}} Omega ^ {- 1} G) ^ {- 1}}$
	${ Displaystyle , = (G ^ { mathsf {T}} WG) ^ {- 1} { Big (} G ^ { mathsf {T}} W Omega WG-G ^ { mathsf {T} } WG (G ^ { mathsf {T}} Omega ^ {- 1} G) ^ {- 1} G ^ { mathsf {T}} WG { Big)} (G ^ { mathsf {T} } WG) ^ {- 1}}$
	${ Displaystyle , = (G ^ { mathsf {T}} WG) ^ {- 1} G ^ { mathsf {T}} W Omega ^ {1/2} { Big (} I- Omega ^ {- 1/2} G (G ^ { mathsf {T}} Omega ^ {- 1} G) ^ {- 1} G ^ { mathsf {T}} Omega ^ {- 1/2} { Big)} Omega ^ {1/2} WG (G ^ { mathsf {T}} WG) ^ {- 1}}$
	${ Displaystyle , = А (I-В) А ^ { mathsf {T}},}$
где мы ввели матрицы А и B чтобы немного упростить обозначения; я является единичная матрица. Мы видим, что матрица B вот симметричный и идемпотент: ${ displaystyle B ^ {2} = B}$ . Это означает I − B симметрична и идемпотентна: ${ Displaystyle I-B = (I-B) (I-B) ^ { mathsf {T}}}$ . Таким образом, мы можем продолжить факторизацию предыдущего выражения как
	${ Displaystyle , = A (IB) (IB) ^ { mathsf {T}} A ^ { mathsf {T}} = { Big (} A (IB) { Big)} { Big (} A (IB) { Big)} ^ { mathsf {T}} geq 0}$

Выполнение

Одна из трудностей с реализацией изложенного метода заключается в том, что мы не можем W = Ω⁻¹ потому что по определению матрицы Ω нам нужно знать значение θ₀ чтобы вычислить эту матрицу, и θ₀ это как раз то количество, которое мы не знаем и пытаемся оценить в первую очередь. В случае Y_т будучи iid мы можем оценить W в качестве

{ displaystyle { hat {W}} _ {T} ({ hat { theta}}) = { bigg (} { frac {1} {T}} sum _ {t = 1} ^ { T} g (Y_ {t}, { hat { theta}}) g (Y_ {t}, { hat { theta}}) ^ { mathsf {T}} { bigg)} ^ {- 1}.}

Существует несколько подходов к решению этой проблемы, первый из которых является наиболее популярным:

Двухступенчатый возможный GMM:
- Шаг 1: Брать W = I (в единичная матрица ) или другую положительно определенную матрицу и вычислить предварительную оценку GMM ${ displaystyle scriptstyle { hat { theta}} _ {(1)}}$ . Эта оценка совместима для θ₀, хотя и неэффективно.
- Шаг 2: ${ displaystyle { hat {W}} _ {T} ({ hat { theta}} _ {(1)})}$ сходится по вероятности к Ω⁻¹ и поэтому, если мы вычислим ${ displaystyle scriptstyle { hat { theta}}}$ с этой матрицей весов оценка будет асимптотически эффективный.
Итерированный GMM. По сути та же процедура, что и двухэтапный GMM, за исключением того, что матрица ${ displaystyle { hat {W}} _ {T}}$ пересчитывается несколько раз. То есть оценка, полученная на шаге 2, используется для вычисления весовой матрицы для шага 3 и так далее, пока не будет выполнен некоторый критерий сходимости.
${ displaystyle { hat { theta}} _ {(i + 1)} = operatorname {arg} min _ { theta in Theta} { bigg (} { frac {1} {T} } sum _ {t = 1} ^ {T} g (Y_ {t}, theta) { bigg)} ^ { mathsf {T}} { hat {W}} _ {T} ({ шляпа { theta}} _ {(i)}) { bigg (} { frac {1} {T}} sum _ {t = 1} ^ {T} g (Y_ {t}, theta) { bigg)}}$
Асимптотически никакое улучшение не может быть достигнуто с помощью таких итераций, хотя некоторые эксперименты Монте-Карло предполагают, что свойства конечной выборки этой оценки немного лучше.^{[нужна цитата ]}
Постоянное обновление GMM (CUGMM или CUE). Оценки ${ displaystyle scriptstyle { hat { theta}}}$ одновременно с оценкой весовой матрицы W:
${ displaystyle { hat { theta}} = operatorname {arg} min _ { theta in Theta} { bigg (} { frac {1} {T}} sum _ {t = 1 } ^ {T} g (Y_ {t}, theta) { bigg)} ^ { mathsf {T}} { hat {W}} _ {T} ( theta) { bigg (} { гидроразрыв {1} {T}} sum _ {t = 1} ^ {T} g (Y_ {t}, theta) { bigg)}}$
В экспериментах Монте-Карло этот метод продемонстрировал лучшую производительность, чем традиционный двухэтапный GMM: оценка имеет меньшее медианное смещение (хотя и более широкие хвосты), а J-тест для переопределения ограничений во многих случаях был более надежным.^[4]

Еще одна важная проблема в реализации процедуры минимизации заключается в том, что функция должна перебирать (возможно, многомерное) пространство параметров. Θ и найти значение θ что минимизирует целевую функцию. Общей рекомендации по такой процедуре не существует, это предмет отдельной области, численная оптимизация.

Сарган – Хансен J-тест

Когда количество моментов больше, чем размерность вектора параметров θ, модель называется чрезмерно идентифицированный. Сарган (1958) предложил тесты для чрезмерной идентификации ограничений, основанные на оценках инструментальных переменных, которые распределяются в больших выборках как переменные хи-квадрат со степенями свободы, которые зависят от количества чрезмерно идентифицируемых ограничений. Впоследствии Хансен (1982) применил этот тест к математически эквивалентной формулировке оценок GMM. Обратите внимание, однако, что такая статистика может быть отрицательной в эмпирических приложениях, где модели указаны неправильно, и тесты отношения правдоподобия могут дать понимание, поскольку модели оцениваются как при нулевой, так и при альтернативной гипотезе (Bhargava and Sargan, 1983).

Концептуально мы можем проверить, ${ displaystyle { hat {m}} ({ hat { theta}})}$ достаточно близко к нулю, чтобы предположить, что модель хорошо соответствует данным. Затем метод GMM заменил задачу решения уравнения ${ Displaystyle { шляпа {м}} ( тета) = 0}$ , который выбирает ${ displaystyle theta}$ чтобы точно соответствовать ограничениям, вычислением минимизации. Минимизацию всегда можно провести, даже если нет ${ displaystyle theta _ {0}}$ существует такое, что ${ Displaystyle м ( тета _ {0}) = 0}$ . Это то, что делает J-test. J-тест также называется тест на переопределение ограничений.

Формально мы рассматриваем два гипотезы:

${ displaystyle H_ {0}: m ( theta _ {0}) = 0}$ (в нулевая гипотеза что модель «действительна»), и
${ Displaystyle H_ {1}: м ( theta) neq 0, forall theta in Theta}$ (в Альтернативная гипотеза эта модель «недействительна»; данные не соответствуют ограничениям)

Под гипотезой ${ displaystyle H_ {0}}$ , следующая так называемая J-статистика асимптотически хи-квадрат распространяется с k – l степени свободы. Определять J быть:

{ Displaystyle J Equiv T cdot { bigg (} { frac {1} {T}} sum _ {t = 1} ^ {T} g (Y_ {t}, { hat { theta} }) { bigg)} ^ { mathsf {T}} { hat {W}} _ {T} { bigg (} { frac {1} {T}} sum _ {t = 1} ^ {T} g (Y_ {t}, { hat { theta}}) { bigg)} { xrightarrow {d}} chi _ {k- ell} ^ {2}}

под

{ displaystyle H_ {0},}

куда ${ displaystyle { hat { theta}}}$ - оценка GMM параметра ${ displaystyle theta _ {0}}$ , k - количество моментных условий (размерность вектора грамм), и л - количество оцениваемых параметров (размерность вектора θ). Матрица ${ displaystyle { hat {W}} _ {T}}$ должен сходиться по вероятности к ${ displaystyle Omega ^ {- 1}}$ , эффективная матрица весов (обратите внимание, что ранее мы требовали только, чтобы W быть пропорциональным ${ displaystyle Omega ^ {- 1}}$ чтобы оценщик был эффективным; однако для проведения J-теста W должен быть точно равен ${ displaystyle Omega ^ {- 1}}$ , а не просто пропорционально).

По альтернативной гипотезе ${ displaystyle H_ {1}}$ , J-статистика асимптотически неограничена:

{ Displaystyle J { xrightarrow {p}} infty}

под

{ displaystyle H_ {1}}

Для проведения теста вычисляем значение J из данных. Это неотрицательное число. Мы сравниваем его (например) с 0,95 квантиль из ${ displaystyle chi _ {k- ell} ^ {2}}$ распределение:

${ displaystyle H_ {0}}$ отклоняется с доверительной вероятностью 95%, если ${ Displaystyle J> q_ {0,95} ^ { chi _ {k- ell} ^ {2}}}$
${ displaystyle H_ {0}}$ не может быть отклонен с доверительной вероятностью 95%, если ${ Displaystyle J$

Объем

Многие другие популярные методы оценки можно применить с точки зрения оптимизации GMM:

Обычный метод наименьших квадратов (OLS) эквивалентно GMM с моментными условиями:
${ displaystyle operatorname {E} [, x_ {t} (y_ {t} -x_ {t} ^ { mathsf {T}} beta) ,] = 0}$
Взвешенный метод наименьших квадратов (WLS)
${ displaystyle operatorname {E} [, x_ {t} (y_ {t} -x_ {t} ^ { mathsf {T}} beta) / sigma ^ {2} (x_ {t}) ,] = 0}$
Инструментальные переменные регрессия (IV)
${ displaystyle operatorname {E} [, z_ {t} (y_ {t} -x_ {t} ^ { mathsf {T}} beta) ,] = 0}$
Нелинейный метод наименьших квадратов (NLLS):
${ Displaystyle OperatorName {E} [, nabla _ {! beta} , g (x_ {t}, beta) cdot (y_ {t} -g (x_ {t}, beta) ) ,] = 0}$
Максимальная вероятность оценка (MLE):
${ Displaystyle OperatorName {E} [, nabla _ {! theta} ln f (x_ {t}, theta) ,] = 0}$

Реализации

Смотрите также

дальнейшее чтение

Хубер, П. (1967). Поведение оценок максимального правдоподобия в нестандартных условиях. Труды Пятого симпозиума Беркли по математической статистике и вероятности 1, 221-233.

Ньюи В., Макфадден Д. (1994). Оценка большой выборки и проверка гипотез, Справочник по эконометрике, глава 36. Elsevier Science.

Имбенс, Гвидо В.; Spady, Ричард Х .; Джонсон, Филлип (1998). "Теоретико-информационные подходы к выводу в моделях моментных состояний" (PDF). Econometrica. 66 (2): 333–357. Дои:10.2307/2998561. JSTOR 2998561.CS1 maint: ref = harv (связь)

Сарган, Дж. Д. (1958). Оценка экономических отношений с использованием инструментальных переменных. Econometrica, 26, 393-415.

Сарган, Дж. Д. (1959). Оценка взаимосвязи с автокоррелированными остатками с использованием инструментальных переменных. Журнал Королевского статистического общества B, 21, 91-105.

Ван, С.Ю., Ван, С., и Кэрролл, Р. (1997). Оценка при выборке на основе выбора с ошибкой измерения и бутстрап-анализом. Journal of Econometrics, 77, 65-86.

Бхаргава А. и Сарган Дж. Д. (1983).Оценка динамических случайных эффектов на основе панельных данных за короткие периоды времени. Econometrica, 51, 6, 1635–1659.

Хаяси, Фумио (2000). Эконометрика. Принстон: Издательство Принстонского университета. ISBN 0-691-01018-8.
Хансен, Ларс Питер (2002). «Метод моментов». В Смелзер, Н. Дж.; Бейтс, П. Б. (ред.). Международная энциклопедия социальных и поведенческих наук. Оксфорд: Пергамон.
Холл, Аластер Р. (2005). Обобщенный метод моментов. Продвинутые тексты по эконометрике. Издательство Оксфордского университета. ISBN 0-19-877520-2.
Faciane, Кирби Адам младший (2006). Статистика для эмпирических и количественных финансов. Статистика для эмпирических и количественных финансов. H.C. Бэрд. ISBN 0-9788208-9-4.
Специальные выпуски журнала Business and Economic Statistics: т. 14, вып. 3 и т. 20, нет. 4.

[1] Хаяси, Фумио (2000). Эконометрика. Издательство Принстонского университета. п. 206. ISBN 0-691-01018-8.

[2] Хансен, Ларс Питер (1982). «Свойства большой выборки обобщенного метода оценщиков моментов». Econometrica. 50 (4): 1029–1054. Дои:10.2307/1912775. JSTOR 1912775.

[3] Newey, W .; Макфадден, Д. (1994). «Оценка большой выборки и проверка гипотез». Справочник по эконометрике. 4. Elsevier Science. С. 2111–2245. CiteSeerX 10.1.1.724.4480. Дои:10.1016 / S1573-4412 (05) 80005-4. ISBN 9780444887665.

[4] Хансен, Ларс Питер; Хитон, Джон; Ярон, Амир (1996). «Конечно-выборочные свойства некоторых альтернативных оценок GMM» (PDF). Журнал деловой и экономической статистики. 14 (3): 262–280. Дои:10.1080/07350015.1996.10524656. JSTOR 1392442.CS1 maint: ref = harv (связь)

[1]

[2]

[3]

[4]