Полупараметрическая регрессия - Semiparametric regression

В статистика, полупараметрическая регрессия включает в себя регресс модели, сочетающие параметрический и непараметрический модели. Они часто используются в ситуациях, когда полностью непараметрическая модель может не работать, или когда исследователь хочет использовать параметрическую модель, но функциональная форма по отношению к подмножеству регрессоров или плотность ошибок неизвестны. Полупараметрические регрессионные модели представляют собой особый тип полупараметрическое моделирование и, поскольку полупараметрические модели содержат параметрический компонент, они полагаются на параметрические допущения и могут быть неправильно указан и непоследовательный, как и полностью параметрическая модель.

Методы

Было предложено и разработано множество различных методов полупараметрической регрессии. Наиболее популярными методами являются частично линейные, индексные и вариативные модели коэффициентов.

Частично линейные модели

А частично линейная модель дан кем-то

{displaystyle Y_ {i} = X '_ {i} eta + gleft (Z_ {i} ight) + u_ {i} ,, quad i = 1, ldots, n ,,}

где ${displaystyle Y_ {i}}$ зависимая переменная, ${displaystyle X_ {i}}$ это ${displaystyle p imes 1}$ вектор независимых переменных, ${displaystyle eta}$ это ${displaystyle p imes 1}$ вектор неизвестных параметров и ${displaystyle Z_ {i} в операторе {R} ^ {q}}$ . Параметрическая часть частично линейной модели задается вектором параметров ${displaystyle eta}$ а непараметрическая часть - это неизвестная функция ${displaystyle gleft (Z_ {i} ight)}$ . Предполагается, что данные являются i.i.d. с ${displaystyle Eleft (u_ {i} | X_ {i}, Z_ {i} ight) = 0}$ и модель позволяет условно гетероскедастический процесс ошибки ${displaystyle Eleft (u_ {i} ^ {2} | x, zight) = sigma ^ {2} left (x, zight)}$ неизвестной формы. Этот тип модели был предложен Робинсоном (1988) и расширен для обработки категориальных ковариатов Расином и Ли (2007).

Этот метод реализуется путем получения ${displaystyle {sqrt {n}}}$ последовательная оценка ${displaystyle eta}$ а затем получить оценку ${displaystyle gleft (Z_ {i} ight)}$ от непараметрическая регрессия из ${displaystyle Y_ {i} -X '_ {i} {hat {eta}}}$ на ${displaystyle z}$ используя соответствующий метод непараметрической регрессии.^[1]

Индексные модели

Единая индексная модель принимает вид

{displaystyle Y = gleft (X 'eta _ {0} ight) + u ,,}

где ${displaystyle Y}$ , ${displaystyle X}$ и ${displaystyle eta _ {0}}$ определены как раньше, а термин ошибки ${displaystyle u}$ удовлетворяет ${displaystyle Eleft (u | Xight) = 0}$ . Модель с одним индексом получила свое название от параметрической части модели. ${displaystyle x 'eta}$ который является скаляр единый индекс. Непараметрическая часть - это неизвестная функция ${displaystyle gleft (cdot ight)}$ .

Метод Ичимуры

Метод единой индексной модели, разработанный Ичимурой (1993), заключается в следующем. Рассмотрим ситуацию, в которой ${displaystyle y}$ непрерывно. Учитывая известный вид функции ${displaystyle gleft (cdot ight)}$ , ${displaystyle eta _ {0}}$ можно оценить с помощью нелинейный метод наименьших квадратов метод минимизации функции

{displaystyle sum _ {i = 1} left (Y_ {i} -gleft (X '_ {i} eta ight) ight) ^ {2}.}

Поскольку функциональная форма ${displaystyle gleft (cdot ight)}$ неизвестно, нам нужно его оценить. Для данного значения для ${displaystyle eta}$ оценка функции

{displaystyle Gleft (X '_ {i} eta ight) = Eleft (Y_ {i} | X' _ {i} eta ight) = Eleft [gleft (X '_ {i} eta _ {o} ight) | X '_ {i} eta ight]}

с помощью ядро метод. Ичимура (1993) предлагает оценить ${displaystyle gleft (X '_ {i} eta ight)}$ с

{displaystyle {hat {G}} _ {- i} left (X '_ {i} eta ight) ,,}

то исключение-разовое непараметрическое ядро оценщик ${displaystyle Gleft (X '_ {i} eta ight)}$ .

Оценка Клейна и Спади

Если зависимая переменная ${displaystyle y}$ бинарный и ${displaystyle X_ {i}}$ и ${displaystyle u_ {i}}$ считаются независимый, Klein and Spady (1993) предлагают метод оценки ${displaystyle eta}$ с помощью максимальная вероятность методы. Функция логарифмического правдоподобия определяется выражением

{displaystyle Lleft (eta ight) = sum _ {i} left (1-Y_ {i} ight) ln left (1- {hat {g}} _ {- i} left (X '_ {i} eta ight) ight) + sum _ {i} Y_ {i} ln left ({hat {g}} _ {- i} left (X '_ {i} eta ight) ight),}

где ${displaystyle {hat {g}} _ {- i} left (X '_ {i} eta ight)}$ это исключение-разовое оценщик.

Модели с гладкими / переменными коэффициентами

Хасти и Тибширани (1993) предлагают модель сглаженных коэффициентов, определяемую

{displaystyle Y_ {i} = alpha left (Z_ {i} ight) + X '_ {i} eta left (Z_ {i} ight) + u_ {i} = left (1 + X' _ {i} ight) left ({egin {array} {c} alpha left (Z_ {i} ight) eta left (Z_ {i} ight) end {array}} ight) + u_ {i} = W '_ {i} gamma left (Z_ {i} ight) + u_ {i},}

где ${displaystyle X_ {i}}$ это ${displaystyle k imes 1}$ вектор и ${displaystyle eta left (zight)}$ - вектор неопределенных гладких функций от ${displaystyle z}$ .