Средний и прогнозируемый ответ - Mean and predicted response

Эта статья включает список литературы, связанное чтение или внешние ссылки, но его источники остаются неясными, потому что в нем отсутствует встроенные цитаты. Пожалуйста, помогите улучшить эта статья введение более точные цитаты. (Ноябрь 2010 г.) (Узнайте, как и когда удалить этот шаблон сообщения)

Часть серии по
Регрессивный анализ
Модели
Линейная регрессия Простая регрессия Полиномиальная регрессия Общая линейная модель
Обобщенная линейная модель Дискретный выбор Биномиальная регрессия Бинарная регрессия Логистическая регрессия Полиномиальный логит Смешанный логит Пробит Полиномиальный пробит Заказал логит Заказал пробит Пуассон
Многоуровневая модель Фиксированные эффекты Случайные эффекты Линейная модель смешанных эффектов Нелинейная модель смешанных эффектов
Нелинейная регрессия Непараметрический Полупараметрический Надежный Квантиль Изотонический Основные компоненты Наименьший угол Местный Сегментированный
Ошибки в переменных
Предварительный расчет
Наименьших квадратов Линейный Нелинейный
Обыкновенный Взвешенный Обобщенный
Частичное Всего Неотрицательный Регрессия хребта Регулярный
Наименьшие абсолютные отклонения Итеративно переназначенный Байесовский Байесовский многомерный
Задний план
Проверка регрессии Средний и прогнозируемый ответ Ошибки и остатки Доброту соответствия Студентизованный остаток Теорема Гаусса – Маркова
Математический портал

В линейная регрессия, средний ответ и предсказанный ответ - значения зависимой переменной, рассчитанные на основе параметров регрессии и заданного значения независимой переменной. Значения этих двух ответов одинаковы, но их расчетные отклонения различаются.

Задний план

При прямой подгонке модель

${displaystyle y_ {i} = alpha + eta x_ {i} + varepsilon _ {i},}$

где ${displaystyle y_ {i}}$ это переменная ответа, ${displaystyle x_ {i}}$ это объясняющая переменная, ε_я - случайная ошибка, а ${displaystyle alpha}$ и ${displaystyle eta}$ параметры. Среднее и прогнозируемое значение отклика для данного объяснительного значения, Икс_d, дан кем-то

${displaystyle {hat {y}} _ {d} = {hat {alpha}} + {hat {eta}} x_ {d},}$

в то время как фактический ответ будет

${displaystyle y_ {d} = alpha + eta x_ {d} + varepsilon _ {d},}$

Выражения для значений и дисперсий ${displaystyle {hat {alpha}}}$ и ${displaystyle {hat {eta}}}$ даны в линейная регрессия.

Средний ответ

Поскольку данные в этом контексте определены как (Икс, y) пар для каждого наблюдения средний ответ при заданной стоимости Икс, сказать Икс_d, является оценкой среднего значения y значения в популяции на Икс ценность Икс_d, это ${displaystyle {hat {E}} (ymid x_ {d}) Equiv {hat {y}} _ {d}!}$. Дисперсия среднего отклика определяется выражением

${displaystyle operatorname {Var} left ({hat {alpha}} + {hat {eta}} x_ {d} ight) = operatorname {Var} left ({hat {alpha}} ight) + left (имя оператора {Var} { hat {eta}} ight) x_ {d} ^ {2} + 2x_ {d} operatorname {Cov} left ({hat {alpha}}, {hat {eta}} ight).}$

Это выражение можно упростить до

${displaystyle operatorname {Var} left ({hat {alpha}} + {hat {eta}} x_ {d} ight) = sigma ^ {2} left ({frac {1} {m}} + {frac {left ( x_ {d} - {ar {x}} ight) ^ {2}} {sum (x_ {i} - {ar {x}}) ^ {2}}} ight),}$

где м - количество точек данных.

Чтобы продемонстрировать это упрощение, можно использовать тождество

${displaystyle sum (x_ {i} - {ar {x}}) ^ {2} = sum x_ {i} ^ {2} - {frac {1} {m}} left (sum x_ {i} ight) ^ {2}.}$

Прогнозируемый ответ

В предсказанный ответ распределение - это прогнозируемое распределение остатков в данной точке Икс_d. Таким образом, дисперсия определяется выражением

${displaystyle {egin {выровнено} имя оператора {Var} left (y_ {d} -left [{hat {alpha}} + {hat {eta}} x_ {d} ight] ight) & = operatorname {Var} (y_ { d}) + имя оператора {Var} left ({hat {alpha}} + {hat {eta}} x_ {d} ight) -2 имя оператора {Cov} left (y_ {d}, left [{hat {alpha}} + {hat {eta}} x_ {d} ight] ight) & = operatorname {Var} (y_ {d}) + operatorname {Var} left ({hat {alpha}} + {hat {eta}} x_ {d } ight) .end {выровнено}}}$

Вторая строка следует из того, что ${displaystyle operatorname {Cov} left (y_ {d}, left [{hat {alpha}} + {hat {eta}} x_ {d} ight] ight)}$ равен нулю, потому что новая точка прогноза не зависит от данных, используемых для соответствия модели. Кроме того, термин ${displaystyle operatorname {Var} left ({hat {alpha}} + {hat {eta}} x_ {d} ight)}$ был рассчитан ранее для среднего ответа.

поскольку ${displaystyle operatorname {Var} (y_ {d}) = sigma ^ {2}}$ (фиксированный, но неизвестный параметр, который можно оценить), дисперсия прогнозируемого отклика определяется выражением

${displaystyle {egin {align} operatorname {Var} left (y_ {d} -left [{hat {alpha}} + {hat {eta}} x_ {d} ight] ight) & = sigma ^ {2} + sigma ^ {2} left ({frac {1} {m}} + {frac {left (x_ {d} - {ar {x}} ight) ^ {2}} {sum (x_ {i} - {ar { x}}) ^ {2}}} ight) [4pt] & = sigma ^ {2} left (1+ {frac {1} {m}} + {frac {(x_ {d} - {ar {x }}) ^ {2}} {sum (x_ {i} - {ar {x}}) ^ {2}}} ight) .end {выровнено}}}$

Доверительные интервалы

В ${displaystyle 100 (1-альфа) \%}$ доверительные интервалы вычисляются как ${displaystyle y_ {d} pm t _ {{frac {alpha} {2}}, m-n-1} {sqrt {operatorname {Var}}}}$. Таким образом, доверительный интервал для предсказанного ответа шире, чем интервал для среднего ответа. Это ожидается интуитивно - дисперсия популяции ${displaystyle y}$ значения не сжимаются при выборке из него, потому что случайная величина ε_я не уменьшается, но дисперсия среднего значения ${displaystyle y}$ сокращается при увеличении выборки, потому что дисперсия в ${displaystyle {hat {alpha}}}$ и ${displaystyle {hat {eta}}}$ уменьшаются, поэтому средний отклик (прогнозируемое значение отклика) становится ближе к ${displaystyle alpha + eta x_ {d}}$.

Это аналогично разнице между дисперсией генеральной совокупности и дисперсией выборочного среднего для генеральной совокупности: дисперсия генеральной совокупности является параметром и не изменяется, но дисперсия выборочного среднего уменьшается с увеличением выборки.

Общая линейная регрессия

Общая линейная модель может быть записана как

${displaystyle y_ {i} = sum _ {j = 1} ^ {n} X_ {ij} eta _ {j} + varepsilon _ {i},}$

Следовательно, поскольку ${displaystyle y_ {d} = sum _ {j = 1} ^ {n} X_ {dj} {hat {eta}} _ {j}}$ общее выражение для дисперсии среднего отклика:

${displaystyle operatorname {Var} left (sum _ {j = 1} ^ {n} X_ {dj} {hat {eta}} _ {j} ight) = sum _ {i = 1} ^ {n} sum _ { j = 1} ^ {n} X_ {di} S_ {ij} X_ {dj},}$

где S это ковариационная матрица параметров, задаваемых

${displaystyle mathbf {S} = sigma ^ {2} left (mathbf {X ^ {mathsf {T}} X} ight) ^ {- 1}.}$

использованная литература

• Draper, N.R .; Смит, Х. (1998). Прикладной регрессионный анализ (3-е изд.). Джон Вили. ISBN  0-471-17082-8.