Алгоритм GHK - GHK algorithm

В Алгоритм GHK (Гевеке, Хадживассилиу и Кин)^[1] является выборка по важности метод моделирования вероятностей выбора в многомерная пробит модель. Эти смоделированные вероятности можно использовать для восстановления оценок параметров из уравнения максимального правдоподобия с использованием любого из обычных хорошо известных методов максимизации (Метод Ньютона, BFGS, так далее.). Тренироваться^[2] имеет хорошо задокументированные шаги для реализации этого алгоритма для полиномиальной пробит-модели. Дальнейшее здесь применимо к бинарной многомерной пробит-модели.

Рассмотрим случай, когда кто-то пытается оценить вероятность выбора ${ Displaystyle Pr ( mathbf {Y_ {i}} | mathbf {X_ {i} beta}, Sigma)}$ куда ${ displaystyle mathbf {y_ {i}} = (y_ {1}, ..., y_ {J}), (i = 1, ..., N)}$ и где мы можем взять ${ displaystyle j}$ как выбор и ${ displaystyle i}$ как отдельные лица или наблюдения, ${ displaystyle mathbf {X_ {i} beta}}$ это среднее и ${ displaystyle Sigma}$ - ковариационная матрица модели. Вероятность соблюдения выбора ${ displaystyle mathbf {y_ {i}}}$ является

${ Displaystyle { begin {align} Pr ( mathbf {y_ {i}} | mathbf {X_ {i} beta}, Sigma) = & int _ {A_ {J}} cdots int _ {A_ {1}} f_ {N} ( mathbf {y} _ {i} ^ {*} | mathbf {X_ {i} beta}, Sigma) dy_ {1} ^ {*} точки dy_ {J} ^ {*} Pr ( mathbf {y_ {i}} | mathbf {X_ {i} beta}, Sigma) = & int mathbb {1} _ {y ^ { *} in A} f_ {N} ( mathbf {y} _ {i} ^ {*} | mathbf {X_ {i} beta}, Sigma) d mathbf {y} _ {i} ^ {*} конец {выровнено}}}$

Где ${ Displaystyle А = А_ {1} раз cdots раз А_ {J}}$ и,

${ displaystyle A_ {j} = { begin {cases} (- infty, 0] & y_ {j} = 0 (0, infty) & y_ {j} = 1 end {cases}}}$

Пока не ${ displaystyle J}$ мало (меньше или равно 2), нет решения в закрытой форме для интегралов, определенных выше (некоторая работа была проделана с ${ displaystyle J = 3}$^[3]). Альтернативой вычислению этих интегралов в замкнутой форме или квадратурными методами является использование моделирования. GHK - это метод моделирования для моделирования указанной выше вероятности с использованием методов выборки по важности.

Оценка ${ displaystyle Pr ( mathbf {y_ {i}} | mathbf {X_ {i} beta}, Sigma) = int mathbb {1} _ {y ^ {*} in A} f_ { N} ( mathbf {y} _ {i} ^ {*} | mathbf {X_ {i} beta}, Sigma) d mathbf {y} _ {i} ^ {*}}$ упрощается за счет признания того, что скрытая модель данных ${ displaystyle mathbf {y_ {i} ^ {*}} = mathbf {X_ {i} beta} + epsilon}$ можно переписать с использованием факторизации Холецкого, ${ Displaystyle Sigma = CC '}$. Это дает ${ displaystyle mathbf {y_ {i} ^ {*}} = mathbf {X_ {i} beta} + C eta _ {i}}$ где ${ displaystyle eta _ {i}}$ условия распространяются ${ Displaystyle N (0, mathbf {I})}$.

Используя эту факторизацию и тот факт, что ${ displaystyle eta _ {i}}$ распределены независимо, можно смоделировать вытяжки из усеченного многомерного нормального распределения, используя вытяжки из одномерного случайного нормального.

Например, если область усечения ${ displaystyle mathbf {A}}$ имеет нижний и верхний пределы, равные ${ Displaystyle [а, б]}$ (включая a, b = ${ displaystyle pm infty}$) тогда задача становится

${ displaystyle { begin {array} {lcl} a <& y_ {1} ^ {*} &$

Примечание: ${ displaystyle mathbf {y_ {i} ^ {*}} = mathbf {X_ {i} beta} + C eta _ {i}}$, заменяя:

${ displaystyle { begin {array} {lcl} a <& x_ {1} beta _ {1} + c_ {11} eta _ {1} &$

Переставив выше,

${ displaystyle { begin {array} {ccc} { frac {a-x_ {1} beta _ {1}} {c_ {11}}} & < eta _ {1} <& { frac { b-x_ {1} beta _ {1}} {c_ {11}}} { frac {a- (x_ {2} beta _ {2} + c_ {21} eta _ {1} )} {c_ {22}}} & < eta _ {2} <& { frac {b- (x_ {2} beta _ {2} + c_ {21} eta _ {1})} { c_ {22}}} vdots & vdots & vdots { frac {a- (x_ {J} beta _ {J} + sum _ {k = 1} ^ {J-1}) c_ {J, k})} {c_ {J, J}}} & < eta _ {k} <& { frac {b- (x_ {J} beta _ {J} + sum _ {k = 1} ^ {J-1} c_ {J, k})} {c_ {J, J}}} end {array}}}$

Теперь все, что нужно сделать, это итеративно извлечь из усеченного одномерного нормального распределения с указанными выше границами. Это можно сделать с помощью метода обратного CDF, и, учитывая усеченное нормальное распределение,

${ displaystyle u = { frac { Phi ({ frac {x- mu} { sigma}}) - Phi ({ frac {a- mu} { sigma}})} { Phi ({ frac {b- mu} { sigma}}) - Phi ({ frac {a- mu} { sigma}})}}}$

Где ${ displaystyle u}$ будет числом от 0 до 1, потому что это CDF. Это предлагает генерировать случайные ничьи из усеченного распределения, которое нужно решить для ${ displaystyle x}$ давая

${ Displaystyle х = сигма F ^ {- 1} (и * (F ( бета) -F ( альфа)) + F ( альфа)) + му}$

куда ${ displaystyle alpha = { frac {a- mu} { sigma}}}$ и ${ displaystyle beta = { frac {b- mu} { sigma}}}$ и ${ displaystyle F}$ стандартный нормальный CDF. С помощью таких рисунков можно реконструировать ${ Displaystyle mathbf {у_ {я} ^ {*}}}$ его упрощенным уравнением с использованием факторизации Холецкого. Эти отрисовки будут зависеть от предшествующих отрисовок, и с использованием свойств нормалей произведение условных PDF-файлов будет совместным распределением ${ Displaystyle mathbf {у_ {я} ^ {*}}}$,

${ displaystyle q ( mathbf {y_ {i} ^ {*}} | mathbf {X_ {1} beta}, Sigma) = q (y_ {1} ^ {*} | mathbf {X_ {1) } beta}, Sigma) q (y_ {2} ^ {*} | y_ {1} ^ {*}, mathbf {X_ {1} beta}, Sigma) dots q (y_ {J} ^ {*} | y_ {1} ^ {*}, dots, y_ {J-1} ^ {*}, mathbf {X_ {1} beta}, Sigma)}$

Где ${ Displaystyle д ( cdot)}$ - многомерное нормальное распределение.

Потому что ${ displaystyle y_ {j} ^ {*}}$ при условии ${ displaystyle y_ {k}, k$ ограничен набором ${ displaystyle A}$ установив факторизацию Холецкого, мы знаем, что ${ Displaystyle д ( cdot)}$ - усеченная многомерная нормаль. Функция распределения усеченный нормальный является,

${ displaystyle { frac { phi ({ frac {x- mu} { sigma}})} { sigma ( Phi ({ frac {b- mu} { sigma}}) - Фи ({ frac {a- mu} { sigma}}))}}}$

Следовательно, ${ displaystyle y_ {j} ^ {*}}$ имеет распространение,

${ displaystyle { begin {align} q ( mathbf {y_ {i} ^ {*}} | mathbf {X_ {i} beta}, Sigma) & = { frac {{ frac {1}) {c_ {11}}} phi _ {1} { Big (} { frac {y_ {j} ^ {*} - x_ {1} beta} {c_ {11}}} { Big)} } {{ Big (} Phi _ {1} { Big (} { frac {b-x_ {1} beta} {c_ {11}}} { Big)} - Phi _ {1} { Big (} { frac {a-x_ {1} beta} {c_ {11}}} { Big)} { Big)}}} times dots times { frac {{ frac {1} {c_ {JJ}}} phi _ {J} { Big (} { frac {y_ {J} ^ {*} - (x_ {J} beta + c_ {J1} eta _ { 1} + c_ {J2} eta _ {2} + dots + c_ {JJ-1} eta _ {J-1})} {c_ {JJ}}} { Big)}} {{ Big (} Phi _ {J} { Big (} { frac {b- (x_ {J} beta + c_ {J1} eta _ {1} + c_ {J2} eta _ {2} + точки + c_ {JJ-1} eta _ {J-1})} {c_ {JJ}}} { Big)} - Phi _ {J} { Big (} { frac {a- (x_ {J} beta + c_ {J1} eta _ {1} + c_ {J2} eta _ {2} + dots + c_ {JJ-1} eta _ {J-1}} {c_ {JJ }}} { Big)} { Big)}}} & = { frac { prod _ {j = 1} ^ {J} { frac {1} {c_ {jj}}} phi _ {j} { Big (} { frac {y_ {j} ^ {*} - sum _ {k = 1} ^ {k$

куда ${ displaystyle phi _ {j}}$ стандартный нормальный pdf для выбора ${ displaystyle j}$.

Потому что ${ displaystyle y_ {j | {y_ {k$ Вышеупомянутая стандартизация делает каждый термин средним 0, дисперсия 1.

Пусть знаменатель ${ Displaystyle prod _ {j = 1} ^ {J} Phi _ {j} { Big (} { frac {b- sum _ {k = 1} ^ {k$ и числитель ${ displaystyle prod _ {j = 1} ^ {J} { frac {1} {c_ {jj}}} phi _ {j} { Big (} { frac {y_ {j} ^ {* } - sum _ {k = 1} ^ {k$ куда ${ displaystyle f_ {N} ( cdot)}$ - многомерный нормальный PDF.

Возвращаясь к исходной цели, чтобы оценить

${ displaystyle { begin {align} Pr ( mathbf {y_ {i}} | mathbf {X_ {i} beta}, Sigma) = & int _ {A_ {j}} f_ {N} ( mathbf {y} _ {i} ^ {*} | mathbf {X_ {i} beta}, Sigma) dy_ {j} ^ {*} конец {выровнено}}}$

Используя выборку по важности, мы можем оценить этот интеграл,

${ displaystyle { begin {align} Pr ( mathbf {y_ {i}} | mathbf {X_ {i} beta}, Sigma) = & int _ {A_ {j}} f_ {N} ( mathbf {y} _ {i} ^ {*} | mathbf {X_ {i} beta}, Sigma) dy_ {j} ^ {*} = & int _ {A_ {j}} { frac {f_ {N} ( mathbf {y} _ {i} ^ {*} | mathbf {X_ {i} beta}, Sigma)} {q ( mathbf {y_ {i} ^ { *}} | mathbf {X_ {i} beta}, Sigma)}} q ( mathbf {y_ {i} ^ {*}} | mathbf {X_ {i} beta}, Sigma) dy_ {j} ^ {*} = & int _ {A_ {j}} { frac {f_ {N} ( mathbf {y} _ {i} ^ {*} | mathbf {X_ {i}) beta}, Sigma)} { frac {f_ {N} ( mathbf {y} _ {i} ^ {*} | mathbf {X_ {i} beta}, Sigma)} { prod _ {j = 1} ^ {J} l_ {jj}}}} q ( mathbf {y_ {i} ^ {*}} | mathbf {X_ {i} beta}, Sigma) dy_ {j} ^ {*} = & mathbb {E} _ { mathbf {q}} { Big (} prod _ {j = 1} ^ {J} l_ {jj} { Big)} конец {выровнено}}}$

Это хорошо аппроксимируется ${ displaystyle { frac {1} {S}} sum _ {s = 1} ^ {S} prod _ {j = 1} ^ {J} l_ {jj}}$.

Рекомендации