Обобщенная линейная модель - Generalized linear model

Часть серии по
Регрессивный анализ
Модели
Линейная регрессия Простая регрессия Полиномиальная регрессия Общая линейная модель
Обобщенная линейная модель Дискретный выбор Биномиальная регрессия Бинарная регрессия Логистическая регрессия Полиномиальный логит Смешанный логит Пробит Полиномиальный пробит Заказал логит Заказал пробит Пуассон
Многоуровневая модель Фиксированные эффекты Случайные эффекты Линейная модель смешанных эффектов Нелинейная модель смешанных эффектов
Нелинейная регрессия Непараметрический Полупараметрический Крепкий Квантиль Изотонический Основные компоненты Наименьший угол Местный Сегментированный
Ошибки в переменных
Оценка
Наименьших квадратов Линейный Нелинейный
Обычный Взвешенный Обобщенный
Частичное Общий Неотрицательный Регрессия хребта Регулярный
Наименьшие абсолютные отклонения Итеративно переназначенный Байесовский Байесовский многомерный
Фон
Проверка регрессии Средний и прогнозируемый ответ Ошибки и остатки Доброту соответствия Студентизованный остаток Теорема Гаусса – Маркова
Математический портал

В статистика, то обобщенная линейная модель (GLM) является гибким обобщением обычных линейная регрессия что позволяет переменные ответа которые имеют модели распределения ошибок, отличные от нормальное распределение. GLM обобщает линейную регрессию, позволяя связать линейную модель с переменной отклика через функция ссылки и позволяя величине дисперсии каждого измерения быть функцией его предсказанного значения.

Обобщенные линейные модели были сформулированы Джон Нелдер и Роберт Веддерберн как способ объединения различных других статистических моделей, включая линейная регрессия, логистическая регрессия и Регрессия Пуассона.^[1] Они предложили методом наименьших квадратов с повторным взвешиванием метод за максимальная вероятность оценка параметров модели. Оценка максимального правдоподобия остается популярной и является методом по умолчанию во многих пакетах статистических вычислений. Другие подходы, включая Байесовские подходы и наименьших квадратов подходит для дисперсия стабилизирована ответы, были разработаны.

Интуиция

Обычная линейная регрессия предсказывает ожидаемое значение заданной неизвестной величины ( переменная ответа, а случайная переменная ) как линейная комбинация набора наблюдаемых значений (предсказатели). Это означает, что постоянное изменение предиктора приводит к постоянному изменению переменной отклика (т.е. модель линейного отклика). Это уместно, когда переменная отклика может изменяться в хорошем приближении бесконечно в любом направлении или, в более общем смысле, для любой величины, которая изменяется только на относительно небольшую величину по сравнению с изменением прогнозных переменных, например человеческий рост.

Однако эти предположения не подходят для некоторых типов переменных отклика. Например, в случаях, когда ожидается, что переменная отклика всегда будет положительной и варьируется в широком диапазоне, постоянные входные изменения приводят к геометрическим (то есть экспоненциально) изменяющимся, а не постоянным изменениям выходных изменений. В качестве примера предположим, что модель линейного прогнозирования учится на некоторых данных (возможно, в основном взятых с больших пляжей), что снижение температуры на 10 градусов приведет к тому, что пляж будет посещать на 1000 человек меньше. Эта модель вряд ли применима к пляжам разного размера. В частности, проблема заключается в том, что если вы используете модель для прогнозирования новой посещаемости с падением температуры на 10 для пляжа, который регулярно принимает 50 посетителей пляжа, вы бы предсказали невозможное значение посещаемости -950. По логике, более реалистичная модель вместо этого предсказывала бы постоянную ставка увеличения посещаемости пляжа (например, увеличение на 10 градусов приводит к удвоению посещаемости пляжа, а падение на 10 градусов ведет к снижению посещаемости вдвое). Такая модель называется модель экспоненциального отклика (или же лог-линейная модель, поскольку логарифм отклика будет изменяться линейно).

Аналогичным образом модель, которая прогнозирует вероятность выбора да / нет ( Переменная Бернулли ) еще менее подходит в качестве модели линейного отклика, поскольку вероятности ограничены на обоих концах (они должны быть между 0 и 1). Представьте, например, модель, которая предсказывает вероятность того, что конкретный человек пойдет на пляж, в зависимости от температуры. Разумная модель может предсказать, например, что изменение на 10 градусов делает человека в два раза более или менее вероятным, чтобы пойти на пляж. Но что означает «вдвое больше вероятности» с точки зрения вероятности? Буквально это не может означать удвоение значения вероятности (например, 50% становится 100%, 75% становится 150% и т. Д.). Скорее, это шансы удваиваются: от 2: 1 до 4: 1, до 8: 1 и т. д. логарифм или логистика модель.

Обобщенные линейные модели охватывают все эти ситуации, учитывая переменные отклика, которые имеют произвольное распределение (а не просто нормальные распределения ), а для произвольной функции переменной отклика ( функция ссылки), чтобы изменяться линейно с предсказанными значениями (вместо того, чтобы предполагать, что сам ответ должен изменяться линейно). Например, приведенный выше случай прогнозируемого количества посетителей пляжа обычно моделируется с помощью распределение Пуассона и ссылку на журнал, в то время как случай прогнозируемой вероятности посещения пляжа обычно моделируется с помощью Распределение Бернулли (или же биномиальное распределение, в зависимости от того, как именно сформулирована проблема) и логарифмических коэффициентов (или логит ) функция ссылки.

Обзор

В обобщенной линейной модели (GLM) каждый результат Y из зависимые переменные предполагается, что они генерируются из определенного распределение в экспоненциальная семья, большой класс распределения вероятностей это включает нормальный, биномиальный, Пуассон и гамма дистрибутивов, среди прочего. Значение, μ, распределения зависит от независимых переменных, Икс, через:

${ displaystyle operatorname {E} ( mathbf {Y} | mathbf {X}) = { boldsymbol { mu}} = g ^ {- 1} ( mathbf {X} { boldsymbol { beta} })}$

где E (Y|Икс) это ожидаемое значение из Y условный на Икс; Иксβ это линейный предсказатель, линейная комбинация неизвестных параметров β; грамм это функция ссылки.

В этой структуре дисперсия обычно является функцией, V, среднего:

${ displaystyle operatorname {Var} ( mathbf {Y} | mathbf {X}) = operatorname {V} ({ boldsymbol { mu}}) = operatorname {V} (g ^ {- 1} ( mathbf {X} { boldsymbol { beta}})).}$

Это удобно, если V следует из экспоненциального семейства распределений, но может быть просто, что дисперсия является функцией предсказанного значения.

Неизвестные параметры, β, обычно оцениваются с помощью максимальная вероятность, максимум квази-правдоподобие, или же Байесовский техники.

Компоненты модели

GLM состоит из трех элементов:^[2]

1. Экспоненциальное семейство вероятностных распределений.

2. Линейный предсказатель ${ displaystyle eta = X beta}$

3. Функция ссылки ${ displaystyle g}$ такой, что ${ Displaystyle Е (Y середина X) = му = г ^ {- 1} ( eta)}$

Распределение вероятностей

An сверхдисперсная экспоненциальная семья распределений является обобщением экспоненциальная семья и модель экспоненциальной дисперсии распределений и включает те семейства распределений вероятностей, параметризованные ${ displaystyle { boldsymbol { theta}}}$ и ${ Displaystyle тау}$, функции плотности которого ж (или же функция массы вероятности, для случая дискретное распределение ) можно выразить в виде

${ displaystyle f_ {Y} ( mathbf {y} mid { boldsymbol { theta}}, tau) = h ( mathbf {y}, tau) exp left ({ frac { mathbf {b} ({ boldsymbol { theta}}) ^ { rm {T}} mathbf {T} ( mathbf {y}) -A ({ boldsymbol { theta}})} {d ( tau)}} right). , !}$

В параметр дисперсии, ${ Displaystyle тау}$, как правило, известно и обычно связано с дисперсией распределения. Функции ${ Displaystyle ч ( mathbf {у}, тау)}$, ${ displaystyle mathbf {b} ({ boldsymbol { theta}})}$, ${ Displaystyle mathbf {T} ( mathbf {y})}$, ${ Displaystyle А ({ boldsymbol { theta}})}$, и ${ Displaystyle д ( тау)}$ известны. В это семейство входят многие общие распределения, включая нормальное, экспоненциальное, гамма, Пуассона, Бернулли и (для фиксированного количества испытаний) биномиальное, полиномиальное и отрицательное биномиальное.

Для скаляра ${ displaystyle mathbf {y}}$ и ${ displaystyle { boldsymbol { theta}}}$ (обозначен ${ displaystyle y}$ и ${ displaystyle theta}$ в данном случае), это сводится к

${ Displaystyle F_ {Y} (Y mid theta, tau) = h (y, tau) exp left ({ frac {b ( theta) T (y) -A ( theta)}) {d ( tau)}} right). , !}$

${ displaystyle { boldsymbol { theta}}}$ связано со средним значением распределения. Если ${ displaystyle mathbf {b} ({ boldsymbol { theta}})}$ - тождественная функция, то говорят, что распределение находится в каноническая форма (или же естественная форма). Обратите внимание, что любой дистрибутив можно преобразовать в каноническую форму, переписав ${ displaystyle { boldsymbol { theta}}}$ в качестве ${ displaystyle { boldsymbol { theta}} '}$ а затем применив преобразование ${ displaystyle { boldsymbol { theta}} = mathbf {b} ({ boldsymbol { theta}} ')}$. Всегда можно конвертировать ${ Displaystyle А ({ boldsymbol { theta}})}$ с точки зрения новой параметризации, даже если ${ displaystyle mathbf {b} ({ boldsymbol { theta}} ')}$ это не индивидуальная функция; см. комментарии на странице экспоненциальные семейства. Если, кроме того, ${ Displaystyle mathbf {T} ( mathbf {y})}$ это личность и ${ Displaystyle тау}$ известно, то ${ displaystyle { boldsymbol { theta}}}$ называется канонический параметр (или же естественный параметр) и связано со средним через

${ displaystyle { boldsymbol { mu}} = operatorname {E} ( mathbf {y}) = nabla A ({ boldsymbol { theta}}). , !}$

Для скаляра ${ displaystyle mathbf {y}}$ и ${ displaystyle { boldsymbol { theta}}}$, это сводится к

${ displaystyle mu = operatorname {E} (y) = A '( theta).}$

В этом сценарии можно показать, что дисперсия распределения равна^[3]

${ displaystyle operatorname {Var} ( mathbf {y}) = nabla ^ {2} A ({ boldsymbol { theta}}) d ( tau). , !}$

Для скаляра ${ displaystyle mathbf {y}}$ и ${ displaystyle { boldsymbol { theta}}}$, это сводится к

${ displaystyle operatorname {Var} (y) = A '' ( theta) d ( tau). , !}$

Линейный предсказатель

Линейный предиктор - это величина, которая включает информацию о независимых переменных в модель. Символ η (Греческий "эта ") обозначает линейный предиктор. Он связан с ожидаемое значение данных через функцию ссылки.

η выражается как линейные комбинации (таким образом, «линейные») неизвестных параметров β. Коэффициенты линейной комбинации представлены в виде матрицы независимых переменных Икс. η таким образом можно выразить как

${ displaystyle eta = mathbf {X} { boldsymbol { beta}}. ,}$

Функция ссылки

Функция связи обеспечивает связь между линейным предсказателем и иметь в виду функции распределения. Существует много часто используемых функций ссылок, и их выбор обусловлен несколькими соображениями. Всегда есть четко определенный канонический функция связи, которая выводится из экспоненты ответа функция плотности. Однако в некоторых случаях имеет смысл попытаться сопоставить домен функции связи с классифицировать среднего значения функции распределения или использовать неканоническую функцию связи для алгоритмических целей, например Байесовская пробит регрессия.

При использовании функции распределения с каноническим параметром ${ displaystyle theta}$, каноническая функция ссылки - это функция, которая выражает ${ displaystyle theta}$ с точки зрения ${ displaystyle mu}$, т.е. ${ Displaystyle тета = Ь ( му)}$. Для наиболее распространенных распределений среднее значение ${ displaystyle mu}$ является одним из параметров стандартной формы распределения функция плотности, а потом ${ Displaystyle б ( му)}$ - это функция, как определено выше, которая отображает функцию плотности в ее каноническую форму. При использовании функции канонической ссылки ${ Displaystyle b ( mu) = theta = mathbf {X} { boldsymbol { beta}}}$, который позволяет ${ Displaystyle mathbf {X} ^ { rm {T}} mathbf {Y}}$ быть достаточная статистика за ${ displaystyle { boldsymbol { beta}}}$.

Ниже приводится таблица нескольких широко используемых распределений экспоненциального семейства и данных, для которых они обычно используются, а также канонических функций связи и их обратных (иногда называемых функцией среднего, как это сделано здесь).

Распространенные дистрибутивы с типичным использованием и каноническими функциями ссылки

Распределение	Сопровождение распространения	Типичное использование	Название ссылки	Функция ссылки, ${ Displaystyle mathbf {X} { boldsymbol { beta}} = г ( му) , !}$	Средняя функция
Нормальный	настоящий: ${ Displaystyle (- infty, + infty)}$	Данные линейного отклика	Личность	${ displaystyle mathbf {X} { boldsymbol { beta}} = mu , !}$	${ displaystyle mu = mathbf {X} { boldsymbol { beta}} , !}$
Экспоненциальный	настоящий: ${ displaystyle (0, + infty)}$	Данные экспоненциального отклика, параметры шкалы	Отрицательный обратный	${ displaystyle mathbf {X} { boldsymbol { beta}} = - mu ^ {- 1} , !}$	${ displaystyle mu = - ( mathbf {X} { boldsymbol { beta}}) ^ {- 1} , !}$
Гамма
Обратный Гауссовский	настоящий: ${ displaystyle (0, + infty)}$		Обратный в квадрате	${ displaystyle mathbf {X} { boldsymbol { beta}} = mu ^ {- 2} , !}$	${ displaystyle mu = ( mathbf {X} { boldsymbol { beta}}) ^ {- 1/2} , !}$
Пуассон	целое число: ${ Displaystyle 0,1,2, ldots}$	количество вхождений в фиксированное время / пространство	Бревно	${ displaystyle mathbf {X} { boldsymbol { beta}} = ln ( mu) , !}$	${ Displaystyle му = ехр ( mathbf {X} { boldsymbol { beta}}) , !}$
Бернулли	целое число: ${ displaystyle {0,1 }}$	результат единичного появления да / нет	Logit	${ displaystyle mathbf {X} { boldsymbol { beta}} = ln left ({ frac { mu} {1- mu}} right) , !}$	${ displaystyle mu = { frac { exp ( mathbf {X} { boldsymbol { beta}})} {1+ exp ( mathbf {X} { boldsymbol { beta}})}} = { frac {1} {1+ exp (- mathbf {X} { boldsymbol { beta}})}} , !}$
Биномиальный	целое число: ${ Displaystyle 0,1, ldots, N}$	количество # случаев "да" из N случаев "да / нет"		${ displaystyle mathbf {X} { boldsymbol { beta}} = ln left ({ frac { mu} {n- mu}} right) , !}$
Категоричный	целое число: ${ displaystyle [0, К)}$	результат единичного появления K-образного пути		${ displaystyle mathbf {X} { boldsymbol { beta}} = ln left ({ frac { mu} {1- mu}} right) , !}$
	K-вектор целого числа: ${ displaystyle [0,1]}$, где ровно один элемент вектора имеет значение 1
Полиномиальный	K-вектор целого числа: ${ displaystyle [0, N]}$	количество вхождений разного типа (1 .. K) снаружи N общий Kпобочные явления

В случаях экспоненциального и гамма-распределений область значений функции канонической связи не совпадает с допустимым диапазоном среднего значения. В частности, линейный предиктор может быть положительным, что приведет к невозможному отрицательному среднему значению. При максимальном увеличении вероятности необходимо принять меры, чтобы этого избежать. Альтернативой является использование функции неканонической ссылки.

В случае распределений Бернулли, биномиальных, категориальных и полиномиальных распределений поддержка распределений не является тем же типом данных, что и прогнозируемый параметр. Во всех этих случаях прогнозируемый параметр представляет собой одну или несколько вероятностей, то есть действительные числа в диапазоне ${ displaystyle [0,1]}$. Полученная модель известна как логистическая регрессия (или же полиномиальная логистическая регрессия в случае, если прогнозируются K-образные, а не двоичные значения).

Для распределений Бернулли и биномиального распределения параметр представляет собой единую вероятность, указывающую вероятность возникновения единственного события. Бернулли по-прежнему удовлетворяет основному условию обобщенной линейной модели в том, что, даже если единичный результат всегда будет либо 0, либо 1, ожидаемое значение тем не менее, это будет реальная вероятность, то есть вероятность появления «да» (или 1) результата. Точно так же в биномиальном распределении математическое ожидание равно Np, т. е. ожидаемая доля результатов «да» будет вероятностью, которая будет предсказана.

Для категориальных и полиномиальных распределений прогнозируемым параметром является K-вектор вероятностей, с дополнительным ограничением, что все вероятности должны составлять в сумме 1. Каждая вероятность указывает вероятность появления одного из K возможные значения. Для полиномиального распределения и для векторной формы категориального распределения ожидаемые значения элементов вектора могут быть связаны с предсказанными вероятностями аналогично биномиальному распределению и распределению Бернулли.

Установка

Максимальная вероятность

В максимальная вероятность оценки можно найти с помощью методом наименьших квадратов с повторным взвешиванием алгоритм или Метод Ньютона с обновлениями формы:

${ displaystyle { boldsymbol { beta}} ^ {(t + 1)} = { boldsymbol { beta}} ^ {(t)} + { mathcal {J}} ^ {- 1} ({ boldsymbol { beta}} ^ {(t)}) u ({ boldsymbol { beta}} ^ {(t)}),}$

куда ${ displaystyle { mathcal {J}} ({ boldsymbol { beta}} ^ {(t)})}$ это наблюдаемая информационная матрица (негатив Матрица Гессе ) и ${ Displaystyle и ({ boldsymbol { бета}} ^ {(т)})}$ это функция оценки; или Оценка Фишера метод:

${ displaystyle { boldsymbol { beta}} ^ {(t + 1)} = { boldsymbol { beta}} ^ {(t)} + { mathcal {I}} ^ {- 1} ({ boldsymbol { beta}} ^ {(t)}) u ({ boldsymbol { beta}} ^ {(t)}),}$

куда ${ displaystyle { mathcal {I}} ({ boldsymbol { beta}} ^ {(t)})}$ это Информация Fisher матрица. Обратите внимание, что если используется функция канонических ссылок, то они одинаковы.^[4]

Байесовские методы

В целом апостериорное распределение нельзя найти в закрытая форма и поэтому должен быть приближен, обычно используя Аппроксимации Лапласа или какой-то тип Цепь Маркова Монте-Карло метод, такой как Выборка Гиббса.

Примеры

Общие линейные модели

Возможная путаница связана с различием между обобщенными линейными моделями и общие линейные модели, две широкие статистические модели. Соучредитель Джон Нелдер выразил сожаление по поводу этой терминологии.^[5]

Общую линейную модель можно рассматривать как частный случай обобщенной линейной модели с тождественной связью и нормально распределенными ответами. Поскольку наиболее точные представляющие интерес результаты получены только для общей линейной модели, общая линейная модель претерпела несколько более длительное историческое развитие. Результаты для обобщенной линейной модели с нетождественной связью: асимптотический (как правило, хорошо работает с большими выборками).

Линейная регрессия

Простой, очень важный пример обобщенной линейной модели (также пример общей линейной модели): линейная регрессия. В линейной регрессии использование наименьших квадратов оценка оправдана Теорема Гаусса – Маркова, что не предполагает нормального распределения.

Однако с точки зрения обобщенных линейных моделей полезно предположить, что функция распределения - это нормальное распределение с постоянной дисперсией, а функция связи - это тождество, которое является канонической связью, если дисперсия известна.

Для нормального распределения обобщенная линейная модель имеет закрытая форма выражение для оценок максимального правдоподобия, что удобно. Большинство других GLM не имеют закрытая форма оценки.

Двоичные данные

Когда данные ответа, Y, являются двоичными (принимают только значения 0 и 1), функция распределения обычно выбирается как Распределение Бернулли и интерпретация μ_я тогда вероятность, п, из Y_я принимая значение один.

Есть несколько популярных функций связи для биномиальных функций.

Функция логит-связи

Наиболее типичная функция ссылки - каноническая логит связь:

${ displaystyle g (p) = ln left ({p over 1-p} right).}$

GLM с этой настройкой логистическая регрессия модели (или модели logit).

Функция пробит-линка как популярный выбор обратной кумулятивной функции распределения

Альтернативно, обратное любой непрерывной кумулятивная функция распределения (CDF) можно использовать для ссылки, поскольку диапазон CDF ${ displaystyle [0,1]}$, диапазон биномиального среднего. В нормальный CDF ${ displaystyle Phi}$ является популярным выбором и дает пробит модель. Его ссылка

${ Displaystyle г (р) = Phi ^ {- 1} (р). , !}$

Причина использования пробит-модели заключается в том, что постоянное масштабирование входной переменной до нормального CDF (которое может быть поглощено посредством эквивалентного масштабирования всех параметров) дает функцию, которая практически идентична логит-функции, но пробит в некоторых ситуациях модели более податливы, чем модели логита. (В байесовской среде, в которой нормально распределенные предыдущие распределения помещаются в параметры, связь между нормальными априорными и нормальной функцией ссылки CDF означает, что пробит модель можно вычислить, используя Выборка Гиббса, в то время как логит-модель обычно не может.)

Дополнительный журнал-журнал (cloglog)

Также может использоваться дополнительная функция журнала регистрации:

${ displaystyle g (p) = log (- log (1-p)).}$

Эта функция связи является асимметричной и часто дает разные результаты от функций логической и пробитной связи.^[6] Модель Cloglog соответствует приложениям, в которых мы наблюдаем либо ноль событий (например, дефекты), либо одно или несколько событий, где предполагается, что количество событий соответствует распределение Пуассона.^[7] Предположение Пуассона означает, что

${ Displaystyle Pr (0) = ехр (- му),}$

куда μ - положительное число, обозначающее ожидаемое количество событий. Если п представляет собой долю наблюдений хотя бы с одним событием, его дополнение

${ Displaystyle (1-р) = Pr (0) = ехр (- му),}$

а потом

${ Displaystyle (- журнал (1-p)) = mu.}$

Линейная модель требует, чтобы переменная отклика принимала значения по всей реальной линии. С μ должно быть положительным, мы можем добиться этого, взяв логарифм и позволив log (μ) быть линейной моделью. Это производит преобразование "клоглог"

${ displaystyle log (- log (1-p)) = log ( mu).}$

Идентификационная ссылка

Ссылка на личность g (p) = p также иногда используется для биномиальных данных, чтобы получить линейная вероятностная модель. Однако идентификационная ссылка может предсказывать бессмысленные «вероятности» меньше нуля или больше единицы. Этого можно избежать, используя такие преобразования, как cloglog, probit или logit (или любую обратную кумулятивную функцию распределения). Основное достоинство идентификационной ссылки состоит в том, что ее можно оценить с помощью линейной математики, а другие стандартные функции связи приблизительно линейно соответствуют идентификационной связи вблизи п = 0.5.

Функция дисперсии

В функция дисперсии за "квазибиномиальный"данные:

${ displaystyle operatorname {Var} (Y_ {i}) = tau mu _ {i} (1- mu _ {i}) , !}$

где параметр дисперсии τ равно 1 для биномиального распределения. Действительно, стандартное биномиальное правдоподобие не учитывает τ. Когда он присутствует, модель называется «квазибиномиальной», а модифицированное правдоподобие называется квази-правдоподобие, поскольку обычно это правдоподобие не соответствует никакому реальному семейству распределений вероятностей. Если τ превышает 1, говорят, что модель демонстрирует чрезмерная дисперсия.

Полиномиальная регрессия

Биномиальный случай можно легко расширить, чтобы учесть полиномиальное распределение в качестве ответа (также, Обобщенная линейная модель для подсчетов с ограниченной суммой). Обычно это делается двумя способами:

Заказанный ответ

Если переменная ответа порядковый, то можно подобрать модельную функцию вида:

${ displaystyle g ( mu _ {m}) = eta _ {m} = beta _ {0} + X_ {1} beta _ {1} + cdots + X_ {p} beta _ {p } + gamma _ {2} + cdots + gamma _ {m} = eta _ {1} + gamma _ {2} + cdots + gamma _ {m} { text {where}} mu _ {m} = operatorname {P} (Y leq m). ,}$

за м > 2. Разные ссылки грамм привести к порядковая регрессия такие модели, как модели пропорциональных шансов или же заказал пробит модели.

Неупорядоченный ответ

Если переменная ответа - это номинальное измерение, или данные не удовлетворяют предположениям упорядоченной модели, можно подобрать модель следующего вида:

${ displaystyle g ( mu _ {m}) = eta _ {m} = beta _ {m, 0} + X_ {1} beta _ {m, 1} + cdots + X_ {p} beta _ {m, p} { text {where}} mu _ {m} = mathrm {P} (Y = m mid Y in {1, m }). ,}$

за м > 2. Разные ссылки грамм привести к полиномиальный логит или же полиномиальный пробит модели. Они являются более общими, чем модели упорядоченного отклика, и оцениваются больше параметров.

Данные подсчета

Другой пример обобщенных линейных моделей включает: Регрессия Пуассона какие модели подсчитывать данные с использованием распределение Пуассона. Ссылка обычно представляет собой логарифм, каноническую ссылку.

Функция дисперсии пропорциональна среднему значению.

${ displaystyle operatorname {var} (Y_ {i}) = tau mu _ {i}, ,}$

где параметр дисперсии τ обычно устанавливается ровно на единицу. Когда это не так, в результате квази-правдоподобие модель часто описывается как модель Пуассона с чрезмерная дисперсия или же квазипуассоновский.

Расширения

Коррелированные или сгруппированные данные

Стандартный GLM предполагает, что наблюдения некоррелированный. Были разработаны расширения, позволяющие корреляция между наблюдениями, как, например, в лонгитюдные исследования и кластерные дизайны:

• Обобщенные оценочные уравнения (GEE) допускают корреляцию между наблюдениями без использования явной вероятностной модели для происхождения корреляций, поэтому нет явного вероятность. Они подходят, когда случайные эффекты и их отклонения не представляют внутреннего интереса, поскольку они допускают корреляцию, не объясняя ее происхождения. Основное внимание уделяется оценке среднего отклика по совокупности («усредненные по совокупности» эффекты), а не параметрам регрессии, которые позволят прогнозировать эффект изменения одного или нескольких компонентов Икс на данного человека. GEE обычно используются вместе с Стандартные ошибки Хубера – Уайта.^[8][9]
• Обобщенные линейные смешанные модели (GLMM) - это расширение GLM, которое включает случайные эффекты в линейном предикторе, что дает явную вероятностную модель, объясняющую происхождение корреляций. Полученные в результате оценки параметров «по конкретному предмету» подходят, когда основное внимание уделяется оценке эффекта изменения одного или нескольких компонентов Икс на данного человека. GLMM также называют многоуровневые модели и, как смешанная модель. В общем, подгонка GLMM является более сложной и трудоемкой с точки зрения вычислений, чем подгонка GEE.

Обобщенные аддитивные модели

Обобщенные аддитивные модели (GAM) - это еще одно расширение GLM, в котором линейный предиктор η не ограничивается линейностью по ковариатам Икс но это сумма сглаживающие функции применяется к Икс_яs:

${ displaystyle eta = beta _ {0} + f_ {1} (x_ {1}) + f_ {2} (x_ {2}) + cdots , !}$

Сглаживающие функции ж_я оцениваются по данным. Как правило, это требует большого количества точек данных и требует больших вычислительных ресурсов.^[10][11]

Смотрите также

• Сравнение общих и обобщенных линейных моделей
• Дробная модель
• Обобщенная модель линейного массива
• GLIM (программное обеспечение)
• Квази-дисперсия
• Естественная экспоненциальная семья
• Распределения твиди
• Функции дисперсии
• Векторная обобщенная линейная модель (VGLM)

Рекомендации

Цитаты

Библиография

дальнейшее чтение

• Данн, П.К .; Смит, Г.К. (2018). Обобщенные линейные модели с примерами на R. Нью-Йорк: Спрингер. Дои:10.1007/978-1-4419-0118-7. ISBN  978-1-4419-0118-7.
• Добсон, А.Дж .; Барнетт, А.Г. (2008). Введение в обобщенные линейные модели (3-е изд.). Бока-Ратон, Флорида: Чепмен и Холл / CRC. ISBN  978-1-58488-165-0.
• Хардин, Джеймс; Хильбе, Джозеф (2007). Обобщенные линейные модели и расширения (2-е изд.). Колледж-Стейшн: Stata Press. ISBN  978-1-59718-014-6.

внешняя ссылка

• СМИ, связанные с Обобщенные линейные модели в Wikimedia Commons