Ядро радиальной базисной функции - Radial basis function kernel

В машинное обучение, то радиальная базисная функция ядро, или Ядро RBF, популярный функция ядра используется в различных ядровый алгоритмы обучения. В частности, он обычно используется в Машина опорных векторов классификация.^[1]

Ядро RBF на двух образцах Икс и Икс', представленные как векторы признаков в некоторых входное пространство, определяется как^[2]

{ Displaystyle К ( mathbf {x}, mathbf {x '}) = exp left (- { frac { | mathbf {x} - mathbf {x'} | ^ {2}} {2 sigma ^ {2}}} right)}

${ displaystyle textstyle | mathbf {x} - mathbf {x '} | ^ {2}}$ может быть признан квадрат евклидова расстояния между двумя векторами признаков. ${ displaystyle sigma}$ - свободный параметр. Эквивалентное определение включает параметр ${ Displaystyle textstyle gamma = { tfrac {1} {2 sigma ^ {2}}}}$ :

{ Displaystyle К ( mathbf {x}, mathbf {x '}) = exp (- gamma | mathbf {x} - mathbf {x'} | ^ {2})}

Поскольку значение ядра RBF уменьшается с расстоянием и колеблется от нуля (в пределе) до единицы (когда $Икс = Икс'$ ), имеет готовую интерпретацию как мера сходства.^[2]В пространство функций ядра имеет бесконечное количество размерностей; для ${ Displaystyle sigma = 1}$ , его расширение:^[3]

{ displaystyle { begin {alignat} {2} exp left (- { frac {1} {2}} | mathbf {x} - mathbf {x '} | ^ {2} right ) & = sum _ {j = 0} ^ { infty} { frac {( mathbf {x} ^ { top} mathbf {x '}) ^ {j}} {j!}} exp left (- { frac {1} {2}} | mathbf {x} | ^ {2} right) exp left (- { frac {1} {2}} | mathbf {x '} | ^ {2} right) & = sum _ {j = 0} ^ { infty} sum _ { sum n_ {i} = j} exp left (- { frac {1} {2}} | mathbf {x} | ^ {2} right) { frac {x_ {1} ^ {n_ {1}} cdots x_ {k} ^ {n_ { k}}} { sqrt {n_ {1}! cdots n_ {k}!}}} exp left (- { frac {1} {2}} | mathbf {x '} | ^ {2} right) { frac {{x '} _ {1} ^ {n_ {1}} cdots {x'} _ {k} ^ {n_ {k}}} { sqrt {n_ {1 }! cdots n_ {k}!}}} end {alignat}}}

Приближения

Поскольку поддержка векторных машин и других моделей, использующих трюк с ядром плохо масштабируются для большого количества обучающих выборок или большого количества функций во входном пространстве, было введено несколько приближений к ядру RBF (и аналогичным ядрам).^[4]Обычно они имеют форму функции z который отображает один вектор в вектор более высокой размерности, аппроксимируя ядро:

{ displaystyle langle z ( mathbf {x}), z ( mathbf {x '}) rangle приблизительно langle varphi ( mathbf {x}), varphi ( mathbf {x'}) rangle = K ( mathbf {x}, mathbf {x '})}

где ${ displaystyle textstyle varphi}$ - это неявное отображение, встроенное в ядро RBF.

Один из способов построить такой z это случайная выборка из Преобразование Фурье ядра.^[5] Другой подход использует Метод Нистрома приблизить собственное разложение из Матрица Грама K, используя только случайную выборку обучающего набора.^[6]

Смотрите также

использованная литература

^ Чанг, Инь-Вэнь; Се, Чо-Джуй; Чанг, Кай-Вэй; Ринггаард, Майкл; Линь, Чи-Джен (2010). «Обучение и тестирование полиномиальных отображений данных низкой степени с помощью линейной SVM». Журнал исследований в области машинного обучения. 11: 1471–1490.
^ ^а ^б Жан-Филипп Верт, Коджи Цуда и Бернхард Шёлкопф (2004). «Учебник по ядерным методам». Ядерные методы в вычислительной биологии.
^ Шашуа, Амнон (2009). «Введение в машинное обучение: заметки 67577». arXiv:0904.3664v1 [cs.LG ].
^ Андреас Мюллер (2012). Аппроксимация ядра для эффективных SVM (и другие методы извлечения признаков).
^ Али Рахими и Бенджамин Рехт (2007). «Случайные функции для крупномасштабных ядерных машин». Системы обработки нейронной информации.
^ C.K.I. Уильямс и М. Сигер (2001). «Использование метода Нистрома для ускорения ядерных машин». Достижения в системах обработки нейронной информации.CS1 maint: использует параметр авторов (ссылка на сайт)

[Chang2010-1] Чанг, Инь-Вэнь; Се, Чо-Джуй; Чанг, Кай-Вэй; Ринггаард, Майкл; Линь, Чи-Джен (2010). «Обучение и тестирование полиномиальных отображений данных низкой степени с помощью линейной SVM». Журнал исследований в области машинного обучения. 11: 1471–1490.

[primer-2] а ^б Жан-Филипп Верт, Коджи Цуда и Бернхард Шёлкопф (2004). «Учебник по ядерным методам». Ядерные методы в вычислительной биологии.

[3] Шашуа, Амнон (2009). «Введение в машинное обучение: заметки 67577». arXiv:0904.3664v1 [cs.LG ].

[4] Андреас Мюллер (2012). Аппроксимация ядра для эффективных SVM (и другие методы извлечения признаков).

[5] Али Рахими и Бенджамин Рехт (2007). «Случайные функции для крупномасштабных ядерных машин». Системы обработки нейронной информации.

[6] C.K.I. Уильямс и М. Сигер (2001). «Использование метода Нистрома для ускорения ядерных машин». Достижения в системах обработки нейронной информации.CS1 maint: использует параметр авторов (ссылка на сайт)

[1]

[2]

[3]

[4]

[5]

[6]