Регрессия ядра - Википедия - Kernel regression

В статистика, Регрессия ядра это непараметрический метод оценки условное ожидание из случайная переменная. Цель состоит в том, чтобы найти нелинейную связь между парой случайных величин. Икс и Y.

В любом непараметрическая регрессия, то условное ожидание переменной ${ displaystyle Y}$ относительно переменной ${ displaystyle X}$ можно написать:

${ Displaystyle OperatorName {E} (Y | X) = m (X)}$

куда ${ displaystyle m}$ неизвестная функция.

Регрессия ядра Надарая – Ватсона

Надарая и Watson, оба в 1964 г., предложили оценить ${ displaystyle m}$ в качестве локально взвешенного среднего с использованием ядро как весовая функция.^[1][2][3] Оценка Надарая – Ватсона:

${ displaystyle { widehat {m}} _ {h} (x) = { frac { sum _ {i = 1} ^ {n} K_ {h} (x-x_ {i}) y_ {i} } { sum _ {j = 1} ^ {n} K_ {h} (x-x_ {j})}}}$

куда ${ displaystyle K_ {h}}$ это ядро ​​с пропускной способностью ${ displaystyle h}$. Знаменатель - это весовой член с суммой 1.

Вывод

${ Displaystyle OperatorName {E} (Y | X = x) = int yf (y | x) dy = int y { frac {f (x, y)} {f (x)}} dy}$

С использованием оценка плотности ядра для совместного распространения f (x, y) и f (x) с ядром K,

${ displaystyle { hat {f}} (x, y) = { frac {1} {n}} sum _ {i = 1} ^ {n} K_ {h} left (x-x_ {i } right) K_ {h} left (y-y_ {i} right)}$,
${ displaystyle { hat {f}} (x) = { frac {1} {n}} sum _ {i = 1} ^ {n} K_ {h} left (x-x_ {i} верно)}$,

мы получили

${ displaystyle { begin {align} operatorname { hat {E}} (Y | X = x) & = int { frac {y sum _ {i = 1} ^ {n} K_ {h} left (x-x_ {i} right) K_ {h} left (y-y_ {i} right)} { sum _ {j = 1} ^ {n} K_ {h} left (x -x_ {j} right)}} dy, & = { frac { sum _ {i = 1} ^ {n} K_ {h} left (x-x_ {i} right) int y , K_ {h} left (y-y_ {i} right) dy} { sum _ {j = 1} ^ {n} K_ {h} left (x-x_ {j} right) }}, & = { frac { sum _ {i = 1} ^ {n} K_ {h} left (x-x_ {i} right) y_ {i}} { sum _ {j = 1} ^ {n} K_ {h} left (x-x_ {j} right)}}, end {выравнивается}}}$

что является оценкой Надарая – Ватсона.

Оценка ядра Пристли – Чао

${ displaystyle { widehat {m}} _ {PC} (x) = h ^ {- 1} sum _ {i = 2} ^ {n} (x_ {i} -x_ {i-1}) K left ({ frac {x-x_ {i}} {h}} right) y_ {i}}$

куда ${ displaystyle h}$ - полоса пропускания (или параметр сглаживания).

Оценка ядра Гассера – Мюллера

${ displaystyle { widehat {m}} _ {GM} (x) = h ^ {- 1} sum _ {i = 1} ^ {n} left [ int _ {s_ {i-1}} ^ {s_ {i}} K left ({ frac {xu} {h}} right) du right] y_ {i}}$

куда ${ displaystyle s_ {i} = { frac {x_ {i-1} + x_ {i}} {2}}}$

Пример

Предполагаемая функция регрессии.

Этот пример основан на данных о заработной плате в Канаде, состоящих из случайной выборки, взятой из Канадских кассет общественного пользования 1971 года для мужчин, имеющих общее образование (13 класс). Всего 205 наблюдений.

На рисунке справа показана оцененная функция регрессии с использованием гауссова ядра второго порядка вместе с границами асимптотической изменчивости.

Скрипт например

Следующие команды Язык программирования R использовать npreg () функция для обеспечения оптимального сглаживания и создания фигуры, указанной выше. Эти команды можно ввести в командной строке с помощью вырезания и вставки.

install.packages("нп")библиотека(нп) # непараметрическая библиотекаданные(cps71)прикреплять(cps71)м <- НПРЕГ(журнал~возраст)участок(м, plot.errors.method=«асимптотический»,     plot.errors.style="группа",     Илим=c(11, 15.2))точки(возраст, журнал, cex=.25)

Связанный

В соответствии с Дэвид Салсбург, алгоритмы, используемые в регрессии ядра, были независимо разработаны и использовались в нечеткие системы: «Создавая почти одинаковый компьютерный алгоритм, нечеткие системы и регрессии на основе плотности ядра, кажется, были разработаны полностью независимо друг от друга».^[4]

Статистическая реализация

• GNU Octave пакет математических программ
• Юля: KernelEstimator.jl
• MATLAB: Бесплатный набор инструментов MATLAB с реализацией регрессии ядра, оценкой плотности ядра, оценкой ядра функции риска и многими другими доступен на эти страницы (этот набор инструментов является частью книги ^[5]).
• Python: the KernelReg класс для смешанных типов данных в statsmodels.nonparametric подпакет (включает другие классы, связанные с плотностью ядра), пакет kernel_regression как продолжение Sklearn (неэффективно с точки зрения памяти, полезно только для небольших наборов данных)
• р: функция НПРЕГ из нп пакет может выполнять регрессию ядра.^[6][7]
• Stata: npregress, kernreg2

Смотрите также

• Ядро более гладкое
• Локальная регрессия

Рекомендации

дальнейшее чтение

• Хендерсон, Дэниел Дж .; Парметр, Кристофер Ф. (2015). Прикладная непараметрическая эконометрика. Издательство Кембриджского университета. ISBN  978-1-107-01025-3.
• Ли, Ци; Расин, Джеффри С. (2007). Непараметрическая эконометрика: теория и практика. Издательство Принстонского университета. ISBN  0-691-12161-3.
• Pagan, A .; Уллах, А. (1999). Непараметрическая эконометрика. Издательство Кембриджского университета. ISBN  0-521-35564-8.
• Симонов, Джеффри С. (1996). Методы сглаживания в статистике. Springer. ISBN  0-387-94716-7.

внешняя ссылка

• Масштабируемая регрессия ядра (с программным обеспечением Matlab).
• Учебник по регрессии ядра с использованием электронной таблицы (с Майкрософт Эксель ).
• Онлайн-демонстрация регрессии ядра Требуется .NET 3.0 или новее.
• Регрессия ядра с автоматическим выбором полосы пропускания (с Python)