Неподходящая сумма квадратов - Lack-of-fit sum of squares

В статистика, а сумма квадратов из-за отсутствия подгонки, или короче несоответствующая сумма квадратов, является одним из компонентов разбиения сумма квадратов остатков в дисперсионный анализ, используемый в числитель в F-тест из нулевая гипотеза это говорит о том, что предложенная модель подходит. Другой компонент - это сумма квадратов чистой ошибки.

Сумма квадратов чистой ошибки - это сумма квадратов отклонений каждого значения зависимая переменная от среднего значения по всем наблюдениям, разделяющим его независимая переменная ценности). Это ошибки, которых нельзя было бы избежать с помощью какого-либо прогнозного уравнения, которое назначало прогнозируемое значение для зависимой переменной как функцию значения (значений) независимой переменной (переменных). Оставшаяся часть остаточной суммы квадратов объясняется недостаточным соответствием модели, поскольку было бы математически возможно полностью устранить эти ошибки.

Набросок идеи

Чтобы сумма квадратов несовпадения отличалась от сумма квадратов остатков, должно быть больше одного ценность переменная ответа по крайней мере для одного из значений набора переменных-предикторов. Например, подобрать линию

{ Displaystyle у = альфа х + бета ,}

методом наименьших квадратов. В качестве оценок принимаются α и β значения, которые минимизируют сумму квадратов остатков, то есть сумму квадратов разностей между наблюдаемыми у-значение и подогнанный у-ценность. Чтобы получить неадекватную сумму квадратов, которая отличается от остаточной суммы квадратов, необходимо наблюдать более одного у-значение для каждого из одного или нескольких Икс-ценности. Затем делят «сумму квадратов из-за ошибки», то есть сумму квадратов остатков, на два компонента:

сумма квадратов из-за ошибки = (сумма квадратов из-за "чистой" ошибки) + (сумма квадратов из-за отсутствия соответствия).

Сумма квадратов из-за "чистой" ошибки - это сумма квадратов различий между каждым наблюдаемым у-значение и среднее значение всех у-значения, соответствующие тем же Икс-ценность.

Сумма квадратов из-за отсутствия подгонки равна взвешенный сумма квадратов разностей между каждым средним у-значения, соответствующие тем же Икс-значение и соответствующий установленный у-значение, вес в каждом случае просто количество наблюдаемых у-значения для этого Икс-ценность.^[1]^[2] Поскольку свойство регрессии наименьших квадратов состоит в том, что вектор, компоненты которого являются "чистыми ошибками", и вектор компонентов несовпадения ортогональны друг другу, выполняется следующее равенство:

{ displaystyle { begin {align} & sum ({ text {наблюдаемое значение}} - { text {установленное значение}}) ^ {2} && { text {(error)}} & qquad = sum ({ text {наблюдаемое значение}} - { text {среднее локальное}}) ^ {2} && { text {(чистая ошибка)}} & qquad qquad {} + sum { text {weight}} times ({ text {среднее локальное}} - { text {подходящее значение}}) ^ {2} && { text {(не соответствует)}} end {выравнивается}}}

Следовательно, остаточная сумма квадратов полностью разложена на две составляющие.

Математические детали

Рассмотрите возможность подгонки строки с одной переменной-предиктором. Определить я в качестве индекса каждого из п отчетливый Икс ценности, j как индекс наблюдений переменной ответа для данного Икс значение и п_я как количество у ценности, связанные с я ^th Икс ценность. Значение каждого наблюдения переменной ответа может быть представлено как

{ displaystyle Y_ {ij} = alpha x_ {i} + beta + varepsilon _ {ij}, qquad i = 1, dots, n, quad j = 1, dots, n_ {i}. }

Позволять

{ displaystyle { widehat { alpha}}, { widehat { beta}} ,}

быть наименьших квадратов оценки ненаблюдаемых параметров α и β исходя из наблюдаемых значений Икс_я и Y_{я j}.

Позволять

{ displaystyle { widehat {Y}} _ {i} = { widehat { alpha}} x_ {i} + { widehat { beta}} ,}

быть подобранными значениями переменной ответа. потом

{ displaystyle { widehat { varepsilon}} _ {ij} = Y_ {ij} - { widehat {Y}} _ {i} ,}

являются остатки, которые представляют собой наблюдаемые оценки ненаблюдаемых значений члена ошибкиε_ij. Из-за природы метода наименьших квадратов весь вектор невязок с

{ Displaystyle N = сумма _ {я = 1} ^ {п} п_ {я}}

скалярные компоненты, обязательно удовлетворяет двум ограничениям

{ displaystyle sum _ {i = 1} ^ {n} sum _ {j = 1} ^ {n_ {i}} { widehat { varepsilon}} _ {ij} = 0 ,}

{ displaystyle sum _ {i = 1} ^ {n} left (x_ {i} sum _ {j = 1} ^ {n_ {i}} { widehat { varepsilon}} _ {ij} вправо) = 0. ,}

Таким образом, он вынужден находиться в (N - 2) -мерное подпространство р^N, т.е. есть N − 2 "степени свободы за ошибку ».

Теперь позвольте

{ displaystyle { overline {Y}} _ {i bullet} = { frac {1} {n_ {i}}} sum _ {j = 1} ^ {n_ {i}} Y_ {ij}}

быть средним из всех Y-значения, связанные с я ^th Икс-ценность.

Мы разделим сумму квадратов из-за ошибки на две составляющие:

{ displaystyle { begin {align} & sum _ {i = 1} ^ {n} sum _ {j = 1} ^ {n_ {i}} { widehat { varepsilon}} _ {ij} ^ {, ​​2} = sum _ {i = 1} ^ {n} sum _ {j = 1} ^ {n_ {i}} left (Y_ {ij} - { widehat {Y}} _ { i} right) ^ {2} & = underbrace { sum _ {i = 1} ^ {n} sum _ {j = 1} ^ {n_ {i}} left (Y_ {ij} - { overline {Y}} _ {i bullet} right) ^ {2}} _ { text {(сумма квадратов из-за чистой ошибки)}} + underbrace { sum _ {i = 1} ^ {n} n_ {i} left ({ overline {Y}} _ {i bullet} - { widehat {Y}} _ {i} right) ^ {2}.} _ { text { (сумма квадратов из-за несовпадения)}} end {align}}}

Распределения вероятностей

Суммы квадратов

Предположим, что условия ошибки ε_{я j} находятся независимый и нормально распределенный с участием ожидаемое значение 0 и отклонение σ². Мы лечим Икс_я как постоянный, а не случайный. Тогда переменные ответа Y_{я j} случайны только потому, что ошибки ε_{я j} случайны.

Можно показать, что, если прямолинейная модель верна, то сумма квадратов из-за ошибки деленное на дисперсию ошибки,

{ displaystyle { frac {1} { sigma ^ {2}}} sum _ {i = 1} ^ {n} sum _ {j = 1} ^ {n_ {i}} { widehat { varepsilon}} _ {ij} ^ {, 2}}

имеет распределение хи-квадрат с участием N - 2 степени свободы.

Причем, учитывая общее количество наблюдений N, количество уровней независимой переменной п, и количество параметров в модели п:

Сумма квадратов чистой ошибки, деленная на дисперсию ошибки σ², имеет распределение хи-квадрат с N − п степени свободы;
Сумма квадратов из-за отсутствия подгонки, деленная на дисперсию ошибки σ², имеет распределение хи-квадрат с п − п степени свободы (здесь п = 2, так как в линейной модели есть два параметра);
Две суммы квадратов вероятностно независимы.

Статистика теста

Отсюда следует, что статистика

{ displaystyle { begin {align} F & = { frac {{ text {несоответствующая сумма квадратов}} / { text {степени свободы}}} {{ text {чистая сумма ошибок квадраты}} / { text {степени свободы}}}} [8pt] & = { frac { left. sum _ {i = 1} ^ {n} n_ {i} left ({ overline {Y}} _ {i bullet} - { widehat {Y}} _ {i} right) ^ {2} right / (np)} { left. sum _ {i = 1} ^ {n} sum _ {j = 1} ^ {n_ {i}} left (Y_ {ij} - { overline {Y}} _ {i bullet} right) ^ {2} right / ( Nn)}} end {выровнено}}}

имеет F-распределение с соответствующим числом степеней свободы в числителе и знаменателе, при условии, что модель верна. Если модель неверна, то распределение вероятностей знаменателя остается таким, как указано выше, а числитель и знаменатель по-прежнему независимы. Но тогда в числителе есть нецентральное распределение хи-квадрат, и, следовательно, частное в целом имеет нецентральное F-распределение.

Эту F-статистику используют для проверки нулевая гипотеза что линейная модель верна. Поскольку нецентральное F-распределение стохастически больше чем (центральное) F-распределение, отвергают нулевую гипотезу, если F-статистика больше критического значения F. Критическое значение соответствует кумулятивная функция распределения из F распределение с участием Икс равный желаемому уровень уверенности, и степени свободы d₁ = (п − п) и d₂ = (N − п).

Предположения нормальное распределение ошибок и независимость можно показать, что это тест на неподготовленность это критерий отношения правдоподобия этой нулевой гипотезы.

Смотрите также

Заметки

^ Брук, Ричард Дж .; Арнольд, Грегори С. (1985). Прикладной регрессионный анализ и экспериментальный дизайн. CRC Press. стр.48–49. ISBN 0824772520.
^ Нетер, Джон; Катнер, Майкл Х .; Nachstheim, Christopher J .; Вассерман, Уильям (1996). Прикладные линейные статистические модели (Четвертое изд.). Чикаго: Ирвин. С. 121–122. ISBN 0256117365.

[1] Брук, Ричард Дж .; Арнольд, Грегори С. (1985). Прикладной регрессионный анализ и экспериментальный дизайн. CRC Press. стр.48–49. ISBN 0824772520.

[2] Нетер, Джон; Катнер, Майкл Х .; Nachstheim, Christopher J .; Вассерман, Уильям (1996). Прикладные линейные статистические модели (Четвертое изд.). Чикаго: Ирвин. С. 121–122. ISBN 0256117365.

[1]

[2]