Матрица проекции - Projection matrix

В статистика, то матрица проекции ${displaystyle (mathbf {P})}$,^[1] иногда также называют матрица влияния^[2] или же шляпа матрица ${displaystyle (mathbf {H})}$, отображает вектор значения ответа (значения зависимой переменной) в вектор подогнанные значения (или прогнозируемые значения). Он описывает влияние каждое значение ответа соответствует каждому подобранному значению.^[3][4] Диагональные элементы матрицы проекции - это рычаги, которые описывают влияние каждого значения ответа на подобранное значение для того же наблюдения.

Обзор

Если вектор значения ответа обозначается ${displaystyle mathbf {y}}$ и вектор подобранных значений ${displaystyle mathbf {шляпа {y}}}$,

${displaystyle mathbf {hat {y}} = mathbf {P} mathbf {y}.}$

В качестве ${displaystyle mathbf {шляпа {y}}}$ обычно произносится как «у-шляпа», матрица проекции ${displaystyle mathbf {P}}$ также называется шляпа матрица как это "ставит шляпа на ${displaystyle mathbf {y}}$". Формула для вектора остатки ${displaystyle mathbf {r}}$ можно также компактно выразить с помощью матрицы проекции:

${displaystyle mathbf {r} = mathbf {y} -mathbf {hat {y}} = mathbf {y} -mathbf {P} mathbf {y} = left (mathbf {I} -mathbf {P} ight) mathbf {y }.}$

куда ${displaystyle mathbf {I}}$ это единичная матрица. Матрица ${displaystyle mathbf {M} Equiv left (mathbf {I} -mathbf {P} ight)}$ иногда называют остаточная матрица производителя. Более того, элемент в яй ряд и j-й столбец ${displaystyle mathbf {P}}$ равно ковариация между jзначение ответа и я-ое подобранное значение, деленное на отклонение из первых:

${displaystyle {egin {align} p_ {ij} = OperatorName {Cov} left [{hat {y}} _ {i}, y_ {j} ight] / operatorname {Var} left [y_ {j} ight] end { выровнено}}}$

Следовательно ковариационная матрица остатков ${displaystyle mathbf {r}}$, к распространение ошибки, равно

${displaystyle mathbf {Sigma} _ {mathbf {r}} = left (mathbf {I} -mathbf {P} ight) ^ {mathsf {T}} mathbf {Sigma} left (mathbf {I} -mathbf {P} ight )}$,

куда ${displaystyle mathbf {Sigma}}$ это ковариационная матрица вектора ошибок (и, соответственно, вектора отклика). Для линейных моделей с независимые и одинаково распределенные ошибки, в которых ${displaystyle mathbf {Sigma} = sigma ^ {2} mathbf {I}}$, это сводится к:^[3]

${displaystyle mathbf {Sigma} _ {mathbf {r}} = left (mathbf {I} -mathbf {P} ight) sigma ^ {2}}$.

Интуиция

Матрица, ${displaystyle mathbf {A}}$ пространство столбца обозначено зеленой линией. Проекция некоторого вектора ${displaystyle mathbf {b}}$ на пространство столбцов ${displaystyle mathbf {A}}$ это вектор ${displaystyle mathbf {x}}$

Из рисунка видно, что ближайшая точка от вектора ${displaystyle mathbf {b}}$ на пространство столбцов ${displaystyle mathbf {A}}$, является ${displaystyle mathbf {Ax}}$, и это тот, где мы можем нарисовать линию, ортогональную пространству столбцов ${displaystyle mathbf {A}}$. Вектор, который ортогонален пространству столбцов матрицы, находится в нулевом пространстве транспонированной матрицы, поэтому

${displaystyle mathbf {A} ^ {T} (mathbf {b} -mathbf {Ax}) = 0}$

Оттуда меняют, так что

${displaystyle mathbf {A} ^ {T} mathbf {b} -mathbf {A} ^ {T} mathbf {Ax} = 0}$

${displaystyle mathbf {A} ^ {T} mathbf {b} = mathbf {A} ^ {T} mathbf {Ax}}$

${displaystyle mathbf {x} = (mathbf {A} ^ {T} mathbf {A}) ^ {- 1} mathbf {A} ^ {T} mathbf {b}}$

Следовательно, поскольку ${displaystyle mathbf {x}}$ находится в пространстве столбцов ${displaystyle mathbf {A}}$матрица проекции, отображающая ${displaystyle mathbf {b}}$ на ${displaystyle mathbf {x}}$ просто ${displaystyle mathbf {Ax}}$, или же ${displaystyle mathbf {A} (mathbf {A} ^ {T} mathbf {A}) ^ {- 1} mathbf {A} ^ {T} mathbf {b}}$

Линейная модель

Предположим, что мы хотим оценить линейную модель с помощью линейных наименьших квадратов. Модель можно записать как

${displaystyle mathbf {y} = mathbf {X} {oldsymbol {eta}} + {oldsymbol {varepsilon}},}$

куда ${displaystyle mathbf {X}}$ это матрица объясняющие переменные (в матрица дизайна ), β - вектор неизвестных параметров, подлежащих оценке, и ε - вектор ошибок.

Этой формулировке подлежат многие типы моделей и методов. Вот несколько примеров линейный метод наименьших квадратов, сглаживающие шлицы, регрессионные сплайны, локальная регрессия, регрессия ядра, и линейная фильтрация.

Обычный метод наименьших квадратов

Когда веса для каждого наблюдения идентичны и ошибки некоррелированы, расчетные параметры равны

${displaystyle {hat {oldsymbol {eta}}} = left (mathbf {X} ^ {mathsf {T}} mathbf {X} ight) ^ {- 1} mathbf {X} ^ {mathsf {T}} mathbf {y },}$

поэтому подогнанные значения

${displaystyle {hat {mathbf {y}}} = mathbf {X} {hat {oldsymbol {eta}}} = mathbf {X} left (mathbf {X} ^ {mathsf {T}} mathbf {X} ight) ^ {-1} mathbf {X} ^ {mathsf {T}} mathbf {y}.}$

Следовательно, матрица проекции (и матрица шляпы) имеет вид

${displaystyle mathbf {P} Equiv mathbf {X} left (mathbf {X} ^ {mathsf {T}} mathbf {X} ight) ^ {- 1} mathbf {X} ^ {mathsf {T}}.}$

Взвешенные и обобщенные методы наименьших квадратов

Вышеизложенное можно обобщить на случаи, когда веса не идентичны и / или ошибки коррелированы. Предположим, что ковариационная матрица ошибок составляет. Тогда, поскольку

${displaystyle {hat {mathbf {eta}}} _ {ext {GLS}} = left (mathbf {X} ^ {mathsf {T}} mathbf {Psi} ^ {- 1} mathbf {X} ight) ^ {- 1} mathbf {X} ^ {mathsf {T}} mathbf {Psi} ^ {- 1} mathbf {y}}$.

матрица шляпы, таким образом,

${displaystyle H = mathbf {X} left (mathbf {X} ^ {mathsf {T}} mathbf {Psi} ^ {- 1} mathbf {X} ight) ^ {- 1} mathbf {X} ^ {mathsf {T }} mathbf {Psi} ^ {- 1}}$

и снова можно увидеть, что ${displaystyle H ^ {2} = Hcdot H = H}$, хотя теперь он уже не симметричен.

Характеристики

Матрица проекции обладает рядом полезных алгебраических свойств.^[5][6] На языке линейная алгебра матрица проекции - это ортогональная проекция на пространство столбца матрицы проектирования ${displaystyle mathbf {X}}$.^[4](Обратите внимание, что ${displaystyle left (mathbf {X} ^ {mathsf {T}} mathbf {X} ight) ^ {- 1} mathbf {X} ^ {mathsf {T}}}$ это псевдообратная к X.) Некоторые факты о матрице проекции в этой настройке резюмируются следующим образом:^[4]

• ${displaystyle mathbf {u} = (mathbf {I} -mathbf {P}) mathbf {y},}$ и ${displaystyle mathbf {u} = mathbf {y} -mathbf {P} mathbf {y} perp mathbf {X}.}$
• ${displaystyle mathbf {P}}$ симметричен, и поэтому ${displaystyle mathbf {M} Equiv left (mathbf {I} -mathbf {P} ight)}$.
• ${displaystyle mathbf {P}}$ идемпотентно: ${displaystyle mathbf {P} ^ {2} = mathbf {P}}$, и так ${displaystyle mathbf {M}}$.
• Если ${displaystyle mathbf {X}}$ является п × р матрица с ${displaystyle operatorname {rank} (mathbf {X}) = r}$, тогда ${displaystyle operatorname {rank} (mathbf {P}) = r}$
• В собственные значения из ${displaystyle mathbf {P}}$ состоит из р те и п − р нулей, а собственные значения ${displaystyle mathbf {M}}$ состоит из п − р те и р нули.^[7]
• ${displaystyle mathbf {X}}$ инвариантен относительно ${displaystyle mathbf {P}}$ : ${displaystyle mathbf {PX} = mathbf {X},}$ следовательно ${displaystyle left (mathbf {I} -mathbf {P} ight) mathbf {X} = mathbf {0}}$.
• ${displaystyle left (mathbf {I} -mathbf {P} ight) mathbf {P} = mathbf {P} left (mathbf {I} -mathbf {P} ight) = mathbf {0}.}$
• ${displaystyle mathbf {P}}$ уникален для некоторых подпространств.

Матрица проекции, соответствующая линейная модель является симметричный и идемпотент, то есть, ${displaystyle mathbf {P} ^ {2} = mathbf {P}}$. Тем не менее, это не всегда так; в локально взвешенное сглаживание диаграммы рассеяния (LOESS), например, матрица шляпы в общем случае не является ни симметричной, ни идемпотентной.

За линейные модели, то след матрицы проекции равна классифицировать из ${displaystyle mathbf {X}}$- количество независимых параметров линейной модели.^[8] Для других моделей, таких как LOESS, которые по-прежнему линейны в наблюдениях ${displaystyle mathbf {y}}$матрицу проекции можно использовать для определения эффективные степени свободы модели.

Практические применения матрицы проекции в регрессионном анализе включают: использовать и Расстояние повара, которые связаны с идентификацией влиятельные наблюдения, т.е. наблюдения, которые имеют большое влияние на результаты регрессии.

Блочная формула

Предположим, что матрица дизайна ${displaystyle X}$ можно разложить по столбцам как ${displaystyle X = [A ~~~ B]}$. Определите шляпу или оператор проекции как ${displaystyle P {X} = Xleft (X ^ {mathsf {T}} Xight) ^ {- 1} X ^ {mathsf {T}}}$. Аналогично определим оператор невязки как ${displaystyle M {X} = I-P {X}}$.Тогда матрицу проекции можно разложить следующим образом:^[9]

${displaystyle P {X} = P {A} + P {M {A} B},}$

где, например, ${displaystyle P {A} = Aleft (A ^ {mathsf {T}} Aight) ^ {- 1} A ^ {mathsf {T}}}$ и ${displaystyle M {A} = I-P {A}}$.Существует ряд приложений такой декомпозиции. В классическом приложении ${displaystyle A}$ представляет собой столбец всех единиц, который позволяет анализировать эффекты добавления члена перехвата к регрессии. Другое использование - в модель с фиксированными эффектами, куда ${displaystyle A}$ большой разреженная матрица фиктивных переменных для условий с фиксированным эффектом. Это разбиение можно использовать для вычисления шляпной матрицы ${displaystyle X}$ без явного формирования матрицы ${displaystyle X}$, который может быть слишком большим, чтобы поместиться в памяти компьютера.

Смотрите также

• Проекция (линейная алгебра)
• Студентизированные остатки
• Эффективные степени свободы
• Средний и прогнозируемый ответ

Рекомендации