Стандартные ошибки, согласованные с гетероскедастичностью - Heteroscedasticity-consistent standard errors

Тема согласованный с гетероскедастичностью (HC) стандартные ошибки возникает в статистика и эконометрика в контексте линейная регрессия и анализ временных рядов. Они также известны как Стандартные ошибки Эйкера – Хубера – Уайта (также Стандартные ошибки Хубера – Уайта или же Стандартные ошибки белого цвета),^[1] признать вклад Фридхельм Эйкер,^[2] Питер Дж. Хубер,^[3] и Халберт Уайт.^[4]

При моделировании регрессии и временных рядов в базовых формах моделей используется предположение, что ошибки или возмущения ты_я имеют одинаковую дисперсию для всех точек наблюдения. Когда это не так, ошибки считаются гетероскедастическими или имеют гетероскедастичность, и это поведение отразится на невязках ${displaystyle {widehat {u}} _ {i}}$ оценивается по подобранной модели. Стандартные ошибки, согласующиеся с гетероскедастичностью, используются для подбора модели, содержащей гетероскедастические остатки. Первый такой подход был предложен Хубером (1967), и с тех пор были разработаны дальнейшие усовершенствованные процедуры для поперечных данных, Временные ряды данные и Оценка GARCH.

Стандартные ошибки, согласующиеся с гетероскедастичностью, которые отличаются от классических стандартных ошибок, являются показателем неправильной спецификации модели. Эта ошибка спецификации не исправляется простой заменой классического стандартными ошибками, согласованными с гетероскедастичностью; для всех количеств, представляющих интерес, кроме нескольких, неправильная спецификация может привести к смещению. В большинстве случаев проблему следует найти и устранить.^[5] Другие типы корректировок стандартных ошибок, такие как кластерные стандартные ошибки, можно рассматривать как расширение стандартных ошибок HC.

История

Стандартные ошибки, согласующиеся с гетероскедастичностью, вводятся Фридхельм Эйкер^[6],^[7] и популяризирован в эконометрике Халберт Уайт.

Проблема

Предположим, что мы изучаем модель линейной регрессии

${displaystyle Y = X eta + U ,,}$

куда Икс - вектор независимых переменных и β это k × 1 вектор-столбец параметров для оценки.

В обыкновенный метод наименьших квадратов (OLS) оценка

${displaystyle {widehat {eta}} _ {ext {OLS}} = (mathbb {X} 'mathbb {X}) ^ {- 1} mathbb {X}' mathbb {Y}.,}$

куда ${displaystyle mathbb {X}}$ обозначает матрицу сложенных ${displaystyle X_ {i} '}$ значения, наблюдаемые в данных.

Если ошибки выборки иметь равную дисперсию σ² и есть некоррелированный, то оценка методом наименьших квадратов β является СИНИЙ (лучшая линейная несмещенная оценка), и ее дисперсия легко оценивается с помощью

${displaystyle v_ {ext {OLS}} left [{widehat {eta}} _ {ext {OLS}} ight] = s ^ {2} (mathbb {X} 'mathbb {X}) ^ {- 1}, quad s ^ {2} = {гидроразрыв {сумма _ {i} {widehat {u}} _ {i} ^ {2}} {nk}}}$

куда ${displaystyle {widehat {u}} _ {i} = Y_ {i} -X_ {i} {widehat {eta}} _ {ext {OLS}}}$ - остатки регрессии.

Когда предположения ${displaystyle operatorname {E} [uu '] = sigma ^ {2} I_ {n}}$ нарушаются, оценщик OLS теряет свои желаемые свойства. В самом деле,

${displaystyle Vleft [{widehat {eta}} _ {ext {OLS}} ight] = V [(mathbb {X} 'mathbb {X}) ^ {- 1} mathbb {X}' mathbb {Y}] = ( mathbb {X} 'mathbb {X}) ^ {- 1} mathbb {X}' Сигма mathbb {X} (mathbb {X} 'mathbb {X}) ^ {- 1}}$

куда ${displaystyle Sigma = V [u].}$

Хотя точечная оценка OLS остается несмещенной, она не «лучшая» в смысле наличия минимальной среднеквадратичной ошибки, а оценка дисперсии OLS ${displaystyle v_ {ext {OLS}} left [{widehat {eta}} _ {ext {OLS}} ight]}$ не дает последовательной оценки дисперсии оценок OLS.

Для любой нелинейной модели (например логит и пробит моделей), однако гетероскедастичность имеет более серьезные последствия: оценки максимального правдоподобия параметров будут смещены (в неизвестном направлении), а также непоследовательны (если функция правдоподобия не будет изменена для правильного учета точной формы гетероскедастичности).^[8][9] Как указал Грин, «Простое вычисление устойчивой ковариационной матрицы для несовместимой в остальном оценки не дает ей выгоды».^[10]

Решение

Если ошибки регрессии ${displaystyle u_ {i}}$ независимы, но имеют различные вариации σ_я², тогда ${displaystyle Sigma = operatorname {diag} (sigma _ {1} ^ {2}, ldots, sigma _ {n} ^ {2})}$ который можно оценить с помощью ${displaystyle {widehat {sigma}} _ {i} ^ {2} = {widehat {u}} _ {i} ^ {2}})$. Это дает оценку Уайта (1980), которую часто называют HCE (оценка, согласованная с гетероскедастичностью):

${displaystyle {egin {align} v_ {ext {HCE}} left [{widehat {eta}} _ {ext {OLS}} ight] & = {frac {1} {n}} left ({frac {1} { n}} sum _ {i} X_ {i} X_ {i} 'ight) ^ {- 1} left ({frac {1} {n}} sum _ {i} X_ {i} X_ {i}' { widehat {u}} _ {i} ^ {2} ight) left ({frac {1} {n}} sum _ {i} X_ {i} X_ {i} 'ight) ^ {- 1} & = (mathbb {X} 'mathbb {X}) ^ {- 1} (mathbb {X}' имя оператора {diag} ({widehat {u}} _ {1} ^ {2}, ldots, {widehat {u}} _ {n} ^ {2}) mathbb {X}) (mathbb {X} 'mathbb {X}) ^ {- 1}, конец {выровнен}}}$

где как указано выше ${displaystyle mathbb {X}}$ обозначает матрицу сложенных ${displaystyle X_ {i} '}$ значения из данных. Оценка может быть получена в терминах обобщенный метод моментов (GMM).

Обратите внимание, что также часто обсуждается в литературе (в том числе в самой статье Уайта) ковариационная матрица ${displaystyle {widehat {Omega}} _ {n}}$ из ${displaystyle {sqrt {n}}}$-согласованное предельное распределение:

${displaystyle {sqrt {n}} ({widehat {eta}} _ {n} - eta), {xrightarrow {d}}, N (0, Omega),})$

куда

${displaystyle Omega = имя оператора {E} [XX '] ^ {- 1} имя оператора {Var} [Xu] имя оператора {E} [XX'] ^ {- 1},}$

и

${displaystyle {egin {align} {widehat {Omega}} _ {n} & = left ({frac {1} {n}} sum _ {i} X_ {i} X_ {i} 'ight) ^ {- 1 } left ({frac {1} {n}} sum _ {i} X_ {i} X_ {i} '{widehat {u}} _ {i} ^ {2} ight) left ({frac {1} { n}} сумма _ {i} X_ {i} X_ {i} 'ight) ^ {- 1} & = n (mathbb {X}' mathbb {X}) ^ {- 1} (mathbb {X} ' OperatorName {diag} ({widehat {u}} _ {1} ^ {2}, ldots, {widehat {u}} _ {n} ^ {2}) mathbb {X}) (mathbb {X} 'mathbb { X}) ^ {- 1} конец {выровнено}}}$

Таким образом,

${displaystyle {widehat {Omega}} _ {n} = ncdot v_ {ext {HCE}} [{widehat {eta}} _ {ext {OLS}}]}$

и

${displaystyle {widehat {operatorname {Var}}} [Xu] = {frac {1} {n}} sum _ {i} X_ {i} X_ {i} '{widehat {u}} _ {i} ^ { 2} = {frac {1} {n}} mathbb {X} 'имя оператора {diag} ({widehat {u}} _ {1} ^ {2}, ldots, {widehat {u}} _ {n} ^ {2}) mathbb {X}.}$

Какая именно ковариационная матрица вызывает озабоченность, зависит от контекста.

Альтернативные оценки были предложены в MacKinnon & White (1985), которые корректируют неравные дисперсии остатков регрессии из-за различных использовать.^[11] В отличие от асимптотической оценки Уайта, их оценки несмещены, когда данные гомоскедастичны.

Смотрите также

Программного обеспечения

• EViews: EViews версии 8 предлагает три различных метода для робастных наименьших квадратов: M-оценка (Huber, 1973), S-оценка (Rousseeuw and Yohai, 1984) и MM-оценка (Yohai 1987).^[12]
• MATLAB: См. hac в панели инструментов Эконометрика.^[13]
• Python: Пакет Statsmodel предлагает различные надежные стандартные оценки ошибок, см. statsmodels.regression.linear_model.RegressionResults для дальнейших описаний
• р: the vcovHC () команда из бутерброд упаковка.^[14][15]
• КРЫСЫ: робастеры опция доступна во многих командах регрессии и оптимизации (Линрег, nlls, так далее.).
• Stata: крепкий вариант, применимый во многих процедурах, основанных на псевдо-правдоподобии.^[16]
• Гретл: опция --крепкий к нескольким командам оценки (таким как олы) в контексте набора данных сечения дает устойчивые стандартные ошибки.^[17]

Рекомендации

дальнейшее чтение

• Фридман, Дэвид А. (2006). «О так называемой« сэндвичевой оценке Хубера »и« робастных стандартных ошибках »'". Американский статистик. 60 (4): 299–302. Дои:10.1198 / 000313006X152207.
• Хардин, Джеймс У. (2003). «Оценка дисперсии сэндвича». В Fomby, Thomas B .; Хилл, Р. Картер (ред.). Оценка максимальной вероятности моделей с ошибками: двадцать лет спустя. Амстердам: Эльзевир. С. 45–74. ISBN  0-7623-1075-8.
• Хейс, Эндрю Ф .; Цай, Ли (2007). "Использование согласованных с гетероскедастичностью оценок стандартной ошибки в регрессии OLS: введение и программная реализация". Методы исследования поведения. 39 (4): 709–722. Дои:10.3758 / BF03192961. PMID  18183883.
• Кинг, Гэри; Робертс, Маргарет Э. (2015). «Как надежные стандартные ошибки выявляют методологические проблемы, которые они не исправляют, и что с этим делать». Политический анализ. 23 (2): 159–179. Дои:10.1093 / pan / mpu015.
• Вулдридж, Джеффри М. (2009). "Гетероскедастичность-робастный вывод после оценки OLS". Вводная эконометрика: современный подход (Четвертое изд.). Мейсон: Юго-Западный. С. 265–271. ISBN  978-0-324-66054-8.