Непараметрическая регрессия - Nonparametric regression

Часть серии по
Регрессивный анализ
Модели
Линейная регрессия Простая регрессия Полиномиальная регрессия Общая линейная модель
Обобщенная линейная модель Дискретный выбор Биномиальная регрессия Бинарная регрессия Логистическая регрессия Полиномиальный логит Смешанный логит Пробит Полиномиальный пробит Заказал логит Заказал пробит Пуассон
Многоуровневая модель Фиксированные эффекты Случайные эффекты Линейная модель смешанных эффектов Нелинейная модель смешанных эффектов
Нелинейная регрессия Непараметрический Полупараметрический Надежный Квантиль Изотонический Основные компоненты Наименьший угол Местный Сегментированный
Ошибки в переменных
Предварительный расчет
Наименьших квадратов Линейный Нелинейный
Обыкновенный Взвешенный Обобщенный
Частичное Всего Неотрицательный Регрессия хребта Регулярный
Наименьшие абсолютные отклонения Итеративно переназначенный Байесовский Байесовский многомерный
Фон
Проверка регрессии Средний и прогнозируемый ответ Ошибки и остатки Доброту соответствия Студентизованный остаток Теорема Гаусса – Маркова
Математический портал

Непараметрическая регрессия это категория регрессивный анализ в котором предсказатель не принимает заранее заданную форму, а строится в соответствии с информацией, полученной из данных. То есть не предполагается параметрической формы отношения между предикторами и зависимой переменной. Непараметрическая регрессия требует большего размера выборки, чем регрессия на основе параметрические модели потому что данные должны предоставлять структуру модели, а также оценки модели.

Определение

В непараметрической регрессии у нас есть случайные величины ${displaystyle X}$ и ${displaystyle Y}$ и предположим следующие отношения:

${displaystyle mathbb {E} [Ymid X = x] = m (x),}$

где ${displaystyle m (x)}$ - некоторая детерминированная функция. Линейная регрессия является ограниченным случаем непараметрической регрессии, где ${displaystyle m (x)}$ считается аффиенным. некоторые авторы используют немного более сильное предположение об аддитивном шуме:

${displaystyle Y = m (X) + U,}$

где случайная величина ${displaystyle U}$ - это "шумовой член" со средним значением 0. Без предположения, что ${displaystyle m}$ принадлежит конкретному параметрическому семейству функций, поэтому получить несмещенную оценку для ${displaystyle m}$, однако большинство оценок последовательный при подходящих условиях.

Список универсальных алгоритмов непараметрической регрессии

Это неполный список алгоритмов, подходящих для задач непараметрической регрессии.

• ближайшие соседи, см. интерполяция ближайшего соседа и алгоритм k-ближайших соседей
• деревья регрессии
• регрессия ядра
• локальная регрессия
• многомерные сплайны адаптивной регрессии
• нейронные сети
• опорная векторная регрессия
• сглаживающие шлицы

Примеры

Регрессия гауссовского процесса или кригинг

В регрессии гауссовского процесса, также известной как кригинг, для кривой регрессии предполагается гауссовский априор. Предполагается, что ошибки имеют многомерное нормальное распределение а кривая регрессии оценивается по ее задний режим. Гауссовский априор может зависеть от неизвестных гиперпараметров, которые обычно оцениваются через эмпирический байесовский. Гиперпараметры обычно определяют ядро ​​предшествующей ковариации. В случае, если ядро ​​также должно быть выведено непараметрически из данных, критический фильтр может быть использован.

Сглаживание сплайнов имеют интерпретацию как апостериорную моду регрессии гауссовского процесса.

Регрессия ядра

Пример кривой (красная линия), соответствующей небольшому набору данных (черные точки) с непараметрической регрессией с использованием сглаживания ядра Гаусса. Розовая заштрихованная область иллюстрирует функцию ядра, применяемую для получения оценки y для заданного значения x. Функция ядра определяет вес, присвоенный каждой точке данных при оценке целевой точки.

Регрессия ядра оценивает непрерывную зависимую переменную из ограниченного набора точек данных с помощью свертывание расположение точек данных с функция ядра - грубо говоря, функция ядра определяет, как «размыть» влияние точек данных, чтобы их значения можно было использовать для прогнозирования значения для ближайших местоположений.

Деревья регрессии

Алгоритмы обучения дерева решений могут применяться, чтобы научиться предсказывать зависимую переменную на основе данных.^[1] Хотя исходная формулировка дерева классификации и регрессии (CART) применялась только для прогнозирования одномерных данных, эту структуру можно использовать для прогнозирования многомерных данных, включая временные ряды.^[2]

Смотрите также

• Лассо (статистика)
• Локальная регрессия
• Непараметрическая статистика
• Полупараметрическая регрессия
• Изотоническая регрессия
• Многомерные сплайны адаптивной регрессии

Рекомендации

дальнейшее чтение

• Bowman, A. W .; Аззалини, А. (1997). Прикладные методы сглаживания для анализа данных. Оксфорд: Clarendon Press. ISBN  0-19-852396-3.
• Fan, J .; Гиджбельс, И. (1996). Локальное полиномиальное моделирование и его приложения. Бока-Ратон: Чепмен и Холл. ISBN  0-412-98321-4.
• Хендерсон, Д. Дж .; Парметр, К. Ф. (2015). Прикладная непараметрическая эконометрика. Нью-Йорк: Издательство Кембриджского университета. ISBN  978-1-107-01025-3.
• Li, Q .; Расин, Дж. (2007). Непараметрическая эконометрика: теория и практика. Принстон: Издательство Принстонского университета. ISBN  978-0-691-12161-1.
• Паган, А.; Уллах, А. (1999). Непараметрическая эконометрика. Нью-Йорк: Издательство Кембриджского университета. ISBN  0-521-35564-8.

внешняя ссылка

• HyperNiche, программа для непараметрической мультипликативной регрессии.
• Масштабная непараметрическая регрессия (с программным обеспечением Matlab).