Байесовская линейная регрессия - Bayesian linear regression

Часть серии по
Байесовская статистика
Теория
Допустимое правило принятия решения Байесовская эффективность Байесовская вероятность Вероятностные интерпретации Теорема Байеса Фактор Байеса Байесовский вывод Байесовская сеть Приор Задний Вероятность Конъюгировать приор Задний прогностический Гиперпараметр Hyperprior Принцип безразличия Принцип максимальной энтропии Эмпирический метод Байеса Правило Кромвеля Теорема Бернштейна – фон Мизеса Критерий Шварца Достоверный интервал Максимальная апостериорная оценка Радикальный вероятности
Методы
Байесовская линейная регрессия Байесовская оценка Приближенное байесовское вычисление Цепь Маркова Монте-Карло
Математический портал

Часть серии по
Регрессивный анализ
Модели
Линейная регрессия Простая регрессия Полиномиальная регрессия Общая линейная модель
Обобщенная линейная модель Дискретный выбор Биномиальная регрессия Бинарная регрессия Логистическая регрессия Полиномиальный логит Смешанный логит Пробит Полиномиальный пробит Заказал логит Заказал пробит Пуассон
Многоуровневая модель Фиксированные эффекты Случайные эффекты Линейная модель смешанных эффектов Нелинейная модель смешанных эффектов
Нелинейная регрессия Непараметрический Полупараметрический Надежный Квантиль Изотонический Основные компоненты Наименьший угол Местный Сегментированный
Ошибки в переменных
Предварительный расчет
Наименьших квадратов Линейный Нелинейный
Обыкновенный Взвешенный Обобщенный
Частичное Всего Неотрицательный Регрессия хребта Регулярный
Наименьшие абсолютные отклонения Итеративно переназначенный Байесовский Байесовский многомерный
Задний план
Проверка регрессии Средний и прогнозируемый ответ Ошибки и остатки Доброту соответствия Студентизованный остаток Теорема Гаусса – Маркова
Математический портал

В статистика, Байесовская линейная регрессия это подход к линейная регрессия в котором статистический анализ проводится в контексте Байесовский вывод. Когда регрессионная модель ошибки у которых есть нормальное распределение, и если конкретная форма предварительное распространение предполагается, явные результаты доступны для апостериорные вероятностные распределения параметров модели.

Настройка модели

Рассмотрим стандартный линейная регрессия проблема, в которой для ${displaystyle i = 1, ldots, n}$ мы указываем среднее значение условное распределение из ${displaystyle y_ {i}}$ учитывая ${displaystyle k imes 1}$ предиктор вектор ${displaystyle mathbf {x} _ {i}}$:

${displaystyle y_ {i} = mathbf {x} _ {i} ^ {m {T}} {oldsymbol {eta}} + varepsilon _ {i},}$

где ${displaystyle {oldsymbol {eta}}}$ это ${displaystyle k imes 1}$ вектор, и ${displaystyle varepsilon _ {i}}$ находятся независимый и идентичный нормально распределенный случайные переменные:

${displaystyle varepsilon _ {i} sim N (0, sigma ^ {2}).}$

Это соответствует следующему функция правдоподобия:

${displaystyle ho (mathbf {y} mid mathbf {X}, {oldsymbol {eta}}, sigma ^ {2}) propto (sigma ^ {2}) ^ {- n / 2} exp left (- {frac {1 } {2sigma ^ {2}}} (mathbf {y} -mathbf {X} {oldsymbol {eta}}) ^ {m {T}} (mathbf {y} -mathbf {X} {oldsymbol {eta}}) ight).}$

В обыкновенный метод наименьших квадратов решение используется для оценки вектора коэффициентов с помощью Псевдообратная матрица Мура – ​​Пенроуза:

${displaystyle {hat {oldsymbol {eta}}} = (mathbf {X} ^ {m {T}} mathbf {X}) ^ {- 1} mathbf {X} ^ {m {T}} mathbf {y}}$

где ${displaystyle mathbf {X}}$ это ${displaystyle n imes k}$ матрица дизайна, каждая строка которого является вектором-предиктором ${displaystyle mathbf {x} _ {i} ^ {m {T}}}$; и ${displaystyle mathbf {y}}$ столбец ${displaystyle n}$-вектор ${displaystyle [y_ {1}; cdots; y_ {n}] ^ {m {T}}}$.

Это частотник подход, и он предполагает, что существует достаточно измерений, чтобы сказать что-то значимое о ${displaystyle {oldsymbol {eta}}}$. в Байесовский подход, данные дополняются дополнительной информацией в виде априорное распределение вероятностей. Априорное мнение о параметрах сочетается с функцией правдоподобия данных в соответствии с Теорема Байеса дать последующее убеждение о параметрах ${displaystyle {oldsymbol {eta}}}$ и ${displaystyle sigma}$. Предварительная версия может принимать различные функциональные формы в зависимости от домена и доступной информации. априори.

С сопряженными приорами

Сопряженное предварительное распределение

Для произвольного априорного распределения не может быть аналитического решения для апостериорное распределение. В этом разделе мы рассмотрим так называемый сопряженный предшествующий для которого апостериорное распределение может быть получено аналитически.

Предыдущий ${displaystyle ho ({oldsymbol {eta}}, sigma ^ {2})}$ является сопрягать к этой функции правдоподобия, если она имеет такую ​​же функциональную форму относительно ${displaystyle {oldsymbol {eta}}}$ и ${displaystyle sigma}$. Поскольку логарифмическое правдоподобие квадратично по ${displaystyle {oldsymbol {eta}}}$, логарифм правдоподобия переписывается таким образом, что вероятность становится нормальной в ${displaystyle ({oldsymbol {eta}} - {hat {oldsymbol {eta}}})}$. Написать

${displaystyle (mathbf {y} -mathbf {X} {oldsymbol {eta}}) ^ {m {T}} (mathbf {y} -mathbf {X} {oldsymbol {eta}}) = (mathbf {y} - mathbf {X} {hat {oldsymbol {eta}}}) ^ {m {T}} (mathbf {y} -mathbf {X} {hat {oldsymbol {eta}}}) + ({oldsymbol {eta}} - {hat {oldsymbol {eta}}}) ^ {m {T}} (mathbf {X} ^ {m {T}} mathbf {X}) ({oldsymbol {eta}} - {hat {oldsymbol {eta}}) }).}$

Вероятность теперь переписывается как

${displaystyle ho (mathbf {y} | mathbf {X}, {oldsymbol {eta}}, sigma ^ {2}) propto (sigma ^ {2}) ^ {- {frac {v} {2}}} exp left (- {frac {vs ^ {2}} {2 {sigma} ^ {2}}} ight) (sigma ^ {2}) ^ {- {frac {nv} {2}}} exp left (- {frac {1} {2 {сигма} ^ {2}}} ({oldsymbol {eta}} - {hat {oldsymbol {eta}}}) ^ {m {T}} (mathbf {X} ^ {m {T} } mathbf {X}) ({oldsymbol {eta}} - {hat {oldsymbol {eta}}}) ight),}$

где

${displaystyle vs ^ {2} = (mathbf {y} -mathbf {X} {hat {oldsymbol {eta}}}) ^ {m {T}} (mathbf {y} -mathbf {X} {hat {oldsymbol { eta}}}) quad {ext {and}} quad v = nk,}$

где ${displaystyle k}$ - количество коэффициентов регрессии.

Это предполагает форму для приора:

${displaystyle ho ({oldsymbol {eta}}, sigma ^ {2}) = ho (sigma ^ {2}) ho ({oldsymbol {eta}} mid sigma ^ {2}),}$

где ${displaystyle ho (сигма ^ {2})}$ является обратное гамма-распределение

${displaystyle ho (sigma ^ {2}) propto (sigma ^ {2}) ^ {- {frac {v_ {0}} {2}} - 1} exp left (- {frac {v_ {0} s_ {0 } ^ {2}} {2sigma ^ {2}}} ight).}$

В обозначениях, введенных в обратное гамма-распределение статья, это плотность ${displaystyle {ext {Inv-Gamma}} (a_ {0}, b_ {0})}$ распространение с ${displaystyle a_ {0} = {frac {v_ {0}} {2}}}$ и ${displaystyle b_ {0} = {frac {1} {2}} v_ {0} s_ {0} ^ {2}}$ с участием ${displaystyle v_ {0}}$ и ${displaystyle s_ {0} ^ {2}}$ как предыдущие значения ${displaystyle v}$ и ${displaystyle s ^ {2}}$соответственно. Эквивалентно его также можно описать как масштабированное обратное распределение хи-квадрат, ${displaystyle {ext {Scale-inv -}} чи ^ {2} (v_ {0}, s_ {0} ^ {2}).}$

Далее условная априорная плотность ${displaystyle ho ({oldsymbol {eta}} | сигма ^ {2})}$ это нормальное распределение,

${displaystyle ho ({oldsymbol {eta}} mid sigma ^ {2}) propto (sigma ^ {2}) ^ {- k / 2} exp left (- {frac {1} {2sigma ^ {2}}} ( {oldsymbol {eta}} - {oldsymbol {mu}} _ {0}) ^ {m {T}} mathbf {Lambda} _ {0} ({oldsymbol {eta}} - {oldsymbol {mu}} _ {0 }) ight).}$

В обозначениях нормальное распределение, условное априорное распределение ${displaystyle {mathcal {N}} left ({oldsymbol {mu}} _ {0}, sigma ^ {2} mathbf {Lambda} _ {0} ^ {- 1} ight).}$

Заднее распространение

С указанием предыдущего момента апостериорное распределение может быть выражено как

${displaystyle {egin {align} ho ({oldsymbol {eta}}, sigma ^ {2} mid mathbf {y}, mathbf {X}) и propto ho (mathbf {y} mid mathbf {X}, {oldsymbol {eta}) }, sigma ^ {2}) ho ({oldsymbol {eta}} mid sigma ^ {2}) ho (sigma ^ {2}) & propto (sigma ^ {2}) ^ {- n / 2} exp left ( - {frac {1} {2 {sigma} ^ {2}}} (mathbf {y} -mathbf {X} {oldsymbol {eta}}) ^ {m {T}} (mathbf {y} -mathbf {X } {oldsymbol {eta}}) ight) (sigma ^ {2}) ^ {- k / 2} exp left (- {frac {1} {2sigma ^ {2}}} ({oldsymbol {eta}} - { oldsymbol {mu}} _ {0}) ^ {m {T}} {oldsymbol {Lambda}} _ {0} ({oldsymbol {eta}} - {oldsymbol {mu}} _ {0}) ight) (сигма ^ {2}) ^ {- (a_ {0} +1)} exp left (- {frac {b_ {0}} {sigma ^ {2}}} ight) end {выровнено}}}$

С некоторой переделкой,^[1] апостериор можно переписать так, чтобы апостериорное среднее ${displaystyle {oldsymbol {mu}} _ {n}}$ вектора параметров ${displaystyle {oldsymbol {eta}}}$ можно выразить через оценку наименьших квадратов ${displaystyle {hat {oldsymbol {eta}}}}$ и априорное среднее ${displaystyle {oldsymbol {mu}} _ {0}}$, с силой априорной, указанной в матрице априорной точности ${displaystyle {oldsymbol {Lambda}} _ {0}}$

${displaystyle {oldsymbol {mu}} _ {n} = (mathbf {X} ^ {m {T}} mathbf {X} + {oldsymbol {Lambda}} _ {0}) ^ {- 1} (mathbf {X } ^ {m {T}} mathbf {X} {hat {oldsymbol {eta}}} + {oldsymbol {Lambda}} _ {0} {oldsymbol {mu}} _ {0}).}$

Чтобы оправдать это ${displaystyle {oldsymbol {mu}} _ {n}}$ действительно является апостериорным средним, квадратичные члены в экспоненте могут быть переставлены как квадратичная форма в ${displaystyle {oldsymbol {eta}} - {oldsymbol {mu}} _ {n}}$.^[2]

${displaystyle (mathbf {y} -mathbf {X} {oldsymbol {eta}}) ^ {m {T}} (mathbf {y} -mathbf {X} {oldsymbol {eta}}) + ({oldsymbol {eta} } - {oldsymbol {mu}} _ {0}) ^ {m {T}} {oldsymbol {Lambda}} _ {0} ({oldsymbol {eta}} - {oldsymbol {mu}} _ {0}) = ({oldsymbol {eta}} - {oldsymbol {mu}} _ {n}) ^ {m {T}} (mathbf {X} ^ {m {T}} mathbf {X} + {oldsymbol {Lambda}} _ {0}) ({oldsymbol {eta}} - {oldsymbol {mu}} _ {n}) + mathbf {y} ^ {m {T}} mathbf {y} - {oldsymbol {mu}} _ {n} ^ {m {T}} (mathbf {X} ^ {m {T}} mathbf {X} + {oldsymbol {Lambda}} _ {0}) {oldsymbol {mu}} _ {n} + {oldsymbol {mu }} _ {0} ^ {m {T}} {oldsymbol {Lambda}} _ {0} {oldsymbol {mu}} _ {0}.}$

Теперь апостериор можно выразить как нормальное распределение раз и обратное гамма-распределение:

${displaystyle ho ({oldsymbol {eta}}, sigma ^ {2} mid mathbf {y}, mathbf {X}) propto (sigma ^ {2}) ^ {- k / 2} exp left (- {frac {1 } {2 {сигма} ^ {2}}} ({oldsymbol {eta}} - {oldsymbol {mu}} _ {n}) ^ {m {T}} (mathbf {X} ^ {m {T}} mathbf {X} + mathbf {Lambda} _ {0}) ({oldsymbol {eta}} - {oldsymbol {mu}} _ {n}) ight) (sigma ^ {2}) ^ {- {frac {n + 2a_ {0}} {2}} - 1} exp осталось (- {frac {2b_ {0} + mathbf {y} ^ {m {T}} mathbf {y} - {oldsymbol {mu}} _ {n} ^ {m {T}} (mathbf {X} ^ {m {T}} mathbf {X} + {oldsymbol {Lambda}} _ {0}) {oldsymbol {mu}} _ {n} + {oldsymbol {mu }} _ {0} ^ {m {T}} {oldsymbol {Lambda}} _ {0} {oldsymbol {mu}} _ {0}} {2sigma ^ {2}}} ight).}$

Следовательно, апостериорное распределение можно параметризовать следующим образом.

${displaystyle ho ({oldsymbol {eta}}, sigma ^ {2} mid mathbf {y}, mathbf {X}) propto ho ({oldsymbol {eta}} mid sigma ^ {2}, mathbf {y}, mathbf { X}) ho (sigma ^ {2} mid mathbf {y}, mathbf {X}),}$

где два фактора соответствуют плотности ${displaystyle {mathcal {N}} left ({oldsymbol {mu}} _ {n}, sigma ^ {2} {oldsymbol {Lambda}} _ {n} ^ {- 1} ight),}$ и ${displaystyle {ext {Inv-Gamma}} left (a_ {n}, b_ {n} ight)}$ распределений, параметры которых задаются

${displaystyle {oldsymbol {Lambda}} _ {n} = (mathbf {X} ^ {m {T}} mathbf {X} + mathbf {Lambda} _ {0}), quad {oldsymbol {mu}} _ {n } = ({oldsymbol {Lambda}} _ {n}) ^ {- 1} (mathbf {X} ^ {m {T}} mathbf {X} {hat {oldsymbol {eta}}} + {oldsymbol {Lambda} } _ {0} {oldsymbol {mu}} _ {0}),}$

${displaystyle a_ {n} = a_ {0} + {frac {n} {2}}, qquad b_ {n} = b_ {0} + {frac {1} {2}} (mathbf {y} ^ {m {T}} mathbf {y} + {oldsymbol {mu}} _ {0} ^ {m {T}} {oldsymbol {Lambda}} _ {0} {oldsymbol {mu}} _ {0} - {oldsymbol { mu}} _ {n} ^ {m {T}} {oldsymbol {Lambda}} _ {n} {oldsymbol {mu}} _ {n}).}$

Это можно интерпретировать как байесовское обучение, при котором параметры обновляются в соответствии со следующими уравнениями.

${displaystyle {oldsymbol {mu}} _ {n} = (mathbf {X} ^ {m {T}} mathbf {X} + {oldsymbol {Lambda}} _ {0}) ^ {- 1} ({oldsymbol { Лямбда}} _ {0} {oldsymbol {mu}} _ {0} + mathbf {X} ^ {m {T}} mathbf {X} {hat {oldsymbol {eta}}}),}$

${displaystyle {oldsymbol {Lambda}} _ {n} = (mathbf {X} ^ {m {T}} mathbf {X} + {oldsymbol {Lambda}} _ {0}),}$

${displaystyle a_ {n} = a_ {0} + {frac {n} {2}},}$

${displaystyle b_ {n} = b_ {0} + {frac {1} {2}} (mathbf {y} ^ {m {T}} mathbf {y} + {oldsymbol {mu}} _ {0} ^ { m {T}} {oldsymbol {Lambda}} _ {0} {oldsymbol {mu}} _ {0} - {oldsymbol {mu}} _ {n} ^ {m {T}} {oldsymbol {Lambda}} _ {n} {oldsymbol {mu}} _ {n}).}$

Типовое свидетельство

В модельное свидетельство ${displaystyle p (mathbf {y} mid m)}$ вероятность того, что данные данной модели ${displaystyle m}$. Он также известен как предельная вероятность, и как предварительная прогнозируемая плотность. Здесь модель определяется функцией правдоподобия ${displaystyle p (mathbf {y} mid mathbf {X}, {oldsymbol {eta}}, sigma)}$ и априорное распределение по параметрам, т.е. ${displaystyle p ({oldsymbol {eta}}, sigma)}$. Свидетельства модели фиксируют одним числом, насколько хорошо такая модель объясняет наблюдения. Модельное свидетельство модели байесовской линейной регрессии, представленное в этом разделе, можно использовать для сравнения конкурирующих линейных моделей с помощью Сравнение байесовских моделей. Эти модели могут различаться по количеству и значениям переменных-предикторов, а также по своим априорным значениям для параметров модели. Сложность модели уже учтена в свидетельствах модели, поскольку она ограничивает параметры путем интеграции ${displaystyle p (mathbf {y}, {oldsymbol {eta}}, sigma mid mathbf {X})}$ по всем возможным значениям ${displaystyle {oldsymbol {eta}}}$ и ${displaystyle sigma}$.

${displaystyle p (mathbf {y} | m) = int p (mathbf {y} mid mathbf {X}, {oldsymbol {eta}}, sigma), p ({oldsymbol {eta}}, sigma), d {oldsymbol {eta}}, dsigma}$

Этот интеграл можно вычислить аналитически, и решение дается в следующем уравнении.^[3]

${displaystyle p (mathbf {y} mid m) = {frac {1} {(2pi) ^ {n / 2}}} {sqrt {frac {det ({oldsymbol {Lambda}} _ {0})} {det ({oldsymbol {Lambda}} _ {n})}}} cdot {frac {b_ {0} ^ {a_ {0}}} {b_ {n} ^ {a_ {n}}}} cdot {frac {Gamma (a_ {n})} {Гамма (a_ {0})}}}$

Вот ${displaystyle Gamma}$ обозначает гамма-функция. Поскольку мы выбрали априорное сопряжение, предельное правдоподобие также можно легко вычислить, оценив следующее равенство для произвольных значений ${displaystyle {oldsymbol {eta}}}$ и ${displaystyle sigma}$.

${displaystyle p (mathbf {y} mid m) = {frac {p ({oldsymbol {eta}}, sigma | m), p (mathbf {y} mid mathbf {X}, {oldsymbol {eta}}, sigma, m)} {p ({oldsymbol {eta}}, sigma mid mathbf {y}, mathbf {X}, m)}}}$

Обратите внимание, что это уравнение - не что иное, как перестановка Теорема Байеса. Вставка формул для априорной, вероятностной и апостериорной и упрощение результирующего выражения приводит к аналитическому выражению, приведенному выше.

Другие случаи

В общем, аналитический вывод апостериорного распределения может оказаться невозможным или непрактичным. Однако можно аппроксимировать апостериор приблизительный байесовский вывод метод, такой как Отбор проб Монте-Карло^[4] или вариационный байесовский.

Особый случай ${displaystyle {oldsymbol {mu}} _ {0} = 0, mathbf {Lambda} _ {0} = cmathbf {I}}$ называется регресс гребня.

Аналогичный анализ может быть проведен для общего случая многомерной регрессии, и отчасти это обеспечивает байесовский анализ. оценка ковариационных матриц: увидеть Байесовская многомерная линейная регрессия.

Смотрите также

• Линейная статистика Байеса
• Регуляризованный метод наименьших квадратов
• Тихоновская регуляризация
• Выбор переменных шипа и плиты
• Байесовская интерпретация регуляризации ядра

Эта статья включает в себя список общих использованная литература, но он остается в основном непроверенным, потому что ему не хватает соответствующих встроенные цитаты. Пожалуйста, помогите улучшить эта статья введение более точные цитаты. (Август 2011 г.) (Узнайте, как и когда удалить этот шаблон сообщения)

Заметки

использованная литература

• Бокс, Г. Э. П.; Тяо, Г. К. (1973). Байесовский вывод в статистическом анализе. Вайли. ISBN  0-471-57428-7.
• Карлин, Брэдли П.; Луи, Томас А. (2008). Байесовские методы анализа данных, третье издание. Бока-Ратон, Флорида: Чепмен и Холл / CRC. ISBN  1-58488-697-8.
• Fahrmeir, L .; Кнейб, Т .; Ланг, С. (2009). Регресс. Modelle, Methoden und Anwendungen (Второе изд.). Гейдельберг: Springer. Дои:10.1007/978-3-642-01837-4. ISBN  978-3-642-01836-7.
• Форнальски К.В .; Парзыч Г .; Пылак М .; Satuła D .; Добжиньски Л. (2010). «Применение байесовских рассуждений и метода максимальной энтропии к некоторым задачам реконструкции». Acta Physica Polonica A. 117 (6): 892–899. Дои:10.12693 / APhysPolA.117.892.
• Форнальский, Кшиштоф В. (2015). «Приложения робастного байесовского регрессионного анализа». Международный журнал науки о системах общества. 7 (4): 314–333. Дои:10.1504 / IJSSS.2015.073223.
• Гельман, Андрей; Карлин, Джон Б .; Стерн, Хэл С .; Рубин, Дональд Б. (2003). Байесовский анализ данных, второе издание. Бока-Ратон, Флорида: Чепмен и Холл / CRC. ISBN  1-58488-388-X.
• Гольдштейн, Майкл; Wooff, Дэвид (2007). Линейная статистика, теория и методы Байеса. Вайли. ISBN  978-0-470-01562-9.
• Минка, Томас П. (2001) Байесовская линейная регрессия, Веб-страница исследования Microsoft
• Росси, Питер Э .; Алленби, Грег М .; Маккалок, Роберт (2006). Байесовская статистика и маркетинг. Джон Вили и сыновья. ISBN  0470863676.
• О'Хаган, Энтони (1994). Байесовский вывод. Продвинутая теория статистики Кендалла. 2B (Первое изд.). Холстед. ISBN  0-340-52922-9.
• Sivia, D.S .; Скиллинг, Дж. (2006). Анализ данных - байесовское руководство (Второе изд.). Издательство Оксфордского университета.
• Уолтер, Геро; Августин, Томас (2009). «Байесовская линейная регрессия - различные сопряженные модели и их (не) чувствительность к конфликту предшествующих данных» (PDF). Технический отчет № 069, Департамент статистики, Мюнхенский университет.

внешние ссылки

• Байесовское оценивание линейных моделей (вики-книга по программированию на языке R). Байесовская линейная регрессия, реализованная в р.