Алгоритм Берндта – Холла – Холла – Хаусмана - Berndt–Hall–Hall–Hausman algorithm

В Берндт – Холл – Холл – Хаусман (BHHH) алгоритм это численная оптимизация алгоритм аналогично Алгоритм Ньютона – Рафсона, но заменяет наблюдаемый отрицательный Матрица Гессе с внешний продукт из градиент. Это приближение основано на информационная матрица равенство и поэтому действует только при максимальном функция правдоподобия.^[1] Алгоритм BHHH назван в честь четырех создателей: Эрнст Р. Берндт, Бронвин Холл, Роберт Холл, и Джерри Хаусман.^[2]

использование

Если нелинейный модель приспособлена к данные часто нужно оценить коэффициенты через оптимизация. Ряд алгоритмов оптимизации имеют следующую общую структуру. Предположим, что оптимизируемая функция Q(β). Тогда алгоритмы являются итерационными, определяя последовательность приближений, β_k данный

${displaystyle eta _ {k + 1} = eta _ {k} -lambda _ {k} A_ {k} {frac {partial Q} {partial eta}} (eta _ {k}),}$,

куда ${displaystyle eta _ {k}}$ - оценка параметра на шаге k, а ${displaystyle lambda _ {k}}$ - параметр (называемый размером шага), который частично определяет конкретный алгоритм. Для алгоритма BHHH λ_k определяется расчетами в рамках данного итеративного шага, включая линейный поиск до точки β_k+1 удовлетворяет определенным критериям. Кроме того, для алгоритма BHHH, Q имеет форму

${displaystyle Q = сумма _ {i = 1} ^ {N} Q_ {i}}$

и А рассчитывается с использованием

${displaystyle A_ {k} = left [сумма _ {i = 1} ^ {N} {frac {partial ln Q_ {i}} {partial eta}} (eta _ {k}) {frac {partial ln Q_ {i }} {partial eta}} (eta _ {k}) 'ight] ^ {- 1}.}$

В других случаях, например, Ньютон – Рафсон, ${displaystyle A_ {k}}$ могут иметь другие формы. Алгоритм BHHH имеет то преимущество, что при выполнении определенных условий сходимость итерационной процедуры гарантируется.^{[нужна цитата ]}

Смотрите также

• Алгоритм Дэвидона – Флетчера – Пауэлла (DFP)
• Алгоритм Бройдена – Флетчера – Гольдфарба – Шанно (BFGS)

Рекомендации

дальнейшее чтение

• Амемия, Такеши (1985). Продвинутая эконометрика. Кембридж: Издательство Гарвардского университета. стр.137–138. ISBN  0-674-00560-0.
• Gill, P .; Мюррей, В .; Райт, М. (1981). Практическая оптимизация. Лондон: Харкорт Брейс.
• Гурье, Кристиан; Монфорт, Ален (1995). "Градиентные методы и оценка ML". Статистика и эконометрические модели. Нью-Йорк: Издательство Кембриджского университета. С. 452–458. ISBN  0-521-40551-3.
• Харви, А. С. (1990). Эконометрический анализ временных рядов (Второе изд.). Кембридж: MIT Press. С. 137–138. ISBN  0-262-08189-X.