Сглаживание ядра - Википедия - Kernel smoother

А ядро более гладкое это статистический метод оценки реальной стоимости функция ${ displaystyle f: mathbb {R} ^ {p} to mathbb {R}}$ как средневзвешенное значение соседних наблюдаемых данных. Вес определяется ядром, поэтому более близким точкам присваиваются более высокие веса. Оцениваемая функция является гладкой, и ее уровень задается одним параметром.

Этот метод наиболее подходит, когда размерность предиктора низкая (п <3), например для визуализации данных.

Определения

Позволять ${ displaystyle K_ {ч _ { lambda}} (X_ {0}, X)}$ быть ядром, определенным

${ displaystyle K_ {h _ { lambda}} (X_ {0}, X) = D left ({ frac { left | X-X_ {0} right |} {h _ { lambda} ( X_ {0})}} вправо)}$

куда:

• ${ displaystyle X, X_ {0} in mathbb {R} ^ {p}}$
• ${ Displaystyle влево | CDOT вправо |}$ это Евклидова норма
• ${ displaystyle h _ { lambda} (X_ {0})}$ параметр (радиус ядра)
• D(т) обычно является положительной вещественной функцией, значение которой уменьшается (или не увеличивается) с увеличением расстояния между Икс и Икс₀.

Популярный ядра для сглаживания используются параболические (Епанечникова), Tricube и Гауссовский ядра.

Позволять ${ Displaystyle Y (X): mathbb {R} ^ {p} to mathbb {R}}$ быть непрерывной функцией Икс. Для каждого ${ Displaystyle X_ {0} in mathbb {R} ^ {p}}$, средневзвешенное по ядру Надарая-Ватсона (гладкое Y(Икс) оценка) определяется как

${ displaystyle { hat {Y}} (X_ {0}) = { frac { sum limits _ {i = 1} ^ {N} {K_ {h _ { lambda}} (X_ {0}, X_ {i}) Y (X_ {i})}} { sum limits _ {i = 1} ^ {N} {K_ {h _ { lambda}} (X_ {0}, X_ {i})} }}}$

куда:

• N это количество наблюдаемых точек
• Y(Икс_я) - наблюдения на Икс_я точки.

В следующих разделах мы описываем некоторые частные случаи сглаживания ядра.

Более гладкое ядро ​​Гаусса

В Гауссово ядро является одним из наиболее широко используемых ядер и выражается приведенным ниже уравнением.

${ Displaystyle К (х ^ {*}, x_ {i}) = exp left (- { frac {(x ^ {*} - x_ {i}) ^ {2}} {2b ^ {2} }}верно)}$

Здесь b - масштаб длины для входного пространства.

Ближайший сосед более плавный

Идея ближайший сосед более плавный заключается в следующем. Для каждой точки Икс₀, возьмем m ближайших соседей и оценим значение Y(Икс₀) путем усреднения значений этих соседей.

Формально, ${ displaystyle h_ {m} (X_ {0}) = left | X_ {0} -X _ {[m]} right |}$, куда ${ displaystyle X _ {[m]}}$ это мth ближайший к Икс₀ сосед, и

${ displaystyle D (t) = { begin {cases} 1 / m & { text {if}} | t | leq 1 0 & { text {else}} end {cases}}}$

Пример:

В этом примере Икс одномерно. Для каждого X₀, то ${ displaystyle { hat {Y}} (X_ {0})}$ это среднее значение 16, ближайшее к Икс₀ точки (обозначены красным). Результат получился недостаточно плавным.

Ядро в среднем более гладкое

Идея среднего сглаживания ядра заключается в следующем. Для каждой точки данных Икс₀, выберите постоянный размер расстояния λ (радиус ядра или ширина окна для п = 1 измерение) и вычислить средневзвешенное значение для всех точек данных, находящихся ближе чем ${ displaystyle lambda}$ к Икс₀ (чем ближе к Икс₀ баллы получают больший вес).

Формально, ${ displaystyle h _ { lambda} (X_ {0}) = lambda = { text {constant}},}$ и D(т) - одно из популярных ядер.

Пример:

Для каждого Икс₀ ширина окна постоянна, а вес каждой точки в окне схематично обозначен желтой цифрой на графике. Видно, что оценка гладкая, но граничные точки смещены. Причина тому - неравное количество баллов (справа и слева направо). Икс₀) в окне, когда Икс₀ достаточно близко к границе.

Локальная линейная регрессия

В двух предыдущих разделах мы предполагали, что основная функция Y (X) является локально постоянной, поэтому мы смогли использовать средневзвешенное значение для оценки. Идея локальной линейной регрессии состоит в том, чтобы локально соответствовать прямой линии (или гиперплоскости для более высоких измерений), а не постоянной (горизонтальной линии). После подгонки линии оценка ${ displaystyle { hat {Y}} (X_ {0})}$ обеспечивается значением этой строки в Икс₀ точка. Повторяя эту процедуру для каждого Икс₀, можно получить оценочную функцию ${ Displaystyle { шляпа {Y}} (X)}$. Как и в предыдущем разделе, ширина окна постоянна. ${ displaystyle h _ { lambda} (X_ {0}) = lambda = { text {constant}}.}.$Формально локальная линейная регрессия вычисляется путем решения взвешенной задачи наименьших квадратов.

Для одного измерения (п = 1):

${ Displaystyle { begin {align} & min _ { alpha (X_ {0}), beta (X_ {0})} sum limits _ {i = 1} ^ {N} {K_ {h_ { lambda}} (X_ {0}, X_ {i}) left (Y (X_ {i}) - alpha (X_ {0}) - beta (X_ {0}) X_ {i} right ) ^ {2}} & , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,,,,Кнопка "Стрелка вниз &,,,,,,,,,,,,,,,,,,, , , , , , , { hat {Y}} (X_ {0}) = alpha (X_ {0}) + beta (X_ {0}) X_ {0} конец {выровнен}}}$

Решение в закрытой форме определяется следующим образом:

${ Displaystyle { Hat {Y}} (X_ {0}) = left (1, X_ {0} right) left (B ^ {T} W (X_ {0}) B right) ^ { -1} B ^ {T} W (X_ {0}) y}$

куда:

• ${ displaystyle y = left (Y (X_ {1}), dots, Y (X_ {N}) right) ^ {T}}$
• ${ displaystyle W (X_ {0}) = operatorname {diag} left (K_ {h _ { lambda}} (X_ {0}, X_ {i}) right) _ {N times N}}$
• ${ displaystyle B ^ {T} = left ({ begin {matrix} 1 & 1 & dots & 1 X_ {1} & X_ {2} & dots & X_ {N} end {matrix}} right) }$

Пример:

Полученная функция является гладкой, и задача со смещенными граничными точками решена.

Локальная линейная регрессия может быть применена к пространству любого измерения, хотя вопрос о том, что такое локальная окрестность, становится более сложным. Обычно для соответствия локальной линейной регрессии используются k ближайших обучающих точек к контрольной точке. Это может привести к большим отклонениям от установленной функции. Чтобы ограничить дисперсию, набор обучающих точек должен содержать контрольную точку в их выпуклой оболочке (см. Ссылку Гупта и др.).

Локальная полиномиальная регрессия

Вместо подгонки локально линейных функций можно подбирать полиномиальные функции.

При p = 1 следует минимизировать:

${ Displaystyle { underset { alpha (X_ {0}), beta _ {j} (X_ {0}), j = 1, ..., d} { mathop { min}}} , sum limits _ {i = 1} ^ {N} {K_ {h _ { lambda}} (X_ {0}, X_ {i}) left (Y (X_ {i}) - alpha (X_ { 0}) - sum limits _ {j = 1} ^ {d} { beta _ {j} (X_ {0}) X_ {i} ^ {j}} right) ^ {2}}}$

с ${ displaystyle { hat {Y}} (X_ {0}) = alpha (X_ {0}) + sum limits _ {j = 1} ^ {d} { beta _ {j} (X_ { 0}) X_ {0} ^ {j}}}$

В общем случае (p> 1) следует минимизировать:

${ displaystyle { begin {align} & { hat { beta}} (X_ {0}) = { underset { beta (X_ {0})} { mathop { arg min}}} , sum limits _ {i = 1} ^ {N} {K_ {h _ { lambda}} (X_ {0}, X_ {i}) left (Y (X_ {i}) - b (X_ { i}) ^ {T} beta (X_ {0}) right)} ^ {2} & b (X) = left ({ begin {matrix} 1, & X_ {1}, & X_ {2} , ... & X_ {1} ^ {2}, & X_ {2} ^ {2}, ... & X_ {1} X_ {2} , , , ... end {matrix}} right) & { hat {Y}} (X_ {0}) = b (X_ {0}) ^ {T} { hat { beta}} (X_ {0}) end { выровнено}}}$

Смотрите также

• Фильтр Савицкого – Голея
• Методы ядра
• Оценка плотности ядра
• Локальная регрессия
• Регрессия ядра

Рекомендации

• Ли, К. и Дж. Расин. Непараметрическая эконометрика: теория и практика. Издательство Принстонского университета, 2007 г., ISBN  0-691-12161-3.
• Т. Хасти, Р. Тибширани и Дж. Фридман, Элементы статистического обучения, Глава 6, Springer, 2001. ISBN  0-387-95284-5 (сайт-компаньон ).
• М. Гупта, Э. Гарсия и Э. Чин, «Адаптивная локальная линейная регрессия с приложением к управлению цветом принтера», IEEE Trans. Обработка изображений 2008.