G-Prior - Википедия - g-prior

В статистика, то г-приор является объективный предварительный для коэффициентов регрессии множественная регрессия. Он был представлен Арнольд Зеллнер.^[1]Это ключевой инструмент в Байесовский и эмпирический байесовский выбор переменных.^[2][3]

Определение

Рассмотрим набор данных ${ Displaystyle (x_ {1}, y_ {1}), ldots, (x_ {n}, y_ {n})}$, где ${ displaystyle x_ {i}}$ находятся Евклидовы векторы и ${ displaystyle y_ {i}}$ находятся скаляры Модель множественной регрессии формулируется как

${ displaystyle y_ {i} = x_ {i} ^ { top} beta + varepsilon _ {i}.}$

где ${ Displaystyle varepsilon _ {я}}$ случайные ошибки. g-Prior Зеллнера для ${ displaystyle beta}$ это многомерное нормальное распределение с ковариационной матрицей, пропорциональной обратной Информация Fisher матрица для ${ displaystyle beta}$.

Предположим, что ${ Displaystyle varepsilon _ {я}}$ находятся я нормальный с нулевым средним и дисперсией ${ displaystyle psi ^ {- 1}}$. Позволять ${ displaystyle X}$ быть матрицей с ${ displaystyle i}$-я строка равна ${ displaystyle x_ {i} ^ { top}}$.Тогда г-приор для ${ displaystyle beta}$ - многомерное нормальное распределение с априорным средним гиперпараметром. ${ displaystyle beta _ {0}}$ и ковариационная матрица, пропорциональная ${ displaystyle psi ^ {- 1} (X ^ { top} X) ^ {- 1}}$, т.е.

${ displaystyle beta | psi sim { text {N}} [ beta _ {0}, g psi ^ {- 1} (X ^ { top} X) ^ {- 1}].}$

где g - положительный скалярный параметр.

Заднее распространение ${ displaystyle beta}$

Апостериорное распределение ${ displaystyle beta}$ дается как

${ displaystyle beta | psi, x, y sim { text {N}} { Big [} q { hat { beta}} + (1-q) beta _ {0}, { frac {q} { psi}} (X ^ { top} X) ^ {- 1} { Big]}.}$

куда ${ Displaystyle д = г / (1 + г)}$ и

${ displaystyle { hat { beta}} = (X ^ { top} X) ^ {- 1} X ^ { top} y.}$

- оценка максимального правдоподобия (наименьших квадратов) ${ displaystyle beta}$. Вектор коэффициентов регрессии ${ displaystyle beta}$ можно оценить по его апостериорному среднему значению при g-априорности, то есть как средневзвешенное значение оценки максимального правдоподобия и ${ displaystyle beta _ {0}}$,

${ displaystyle { tilde { beta}} = q { hat { beta}} + (1-q) beta _ {0}.}$

Ясно, что при g → ∞ апостериорное среднее сходится к оценке максимального правдоподобия.

Выбор г

Оценка g несколько менее прямолинейна, чем оценка ${ displaystyle beta}$Было предложено множество методов, включая байесовские и эмпирические байесовские оценки.^[3]

Рекомендации