Оценка плотности переменного ядра - Variable kernel density estimation

В статистика, адаптивный или же оценка плотности ядра "переменной полосы пропускания" это форма оценка плотности ядра в котором размер ядер, используемых в оценке, варьируется в зависимости от местоположения образцов или местоположения контрольной точки. Это особенно эффективный метод, когда пространство выборки является многомерным.^[1]

Обоснование

Учитывая набор образцов, ${ displaystyle lbrace { vec {x}} _ {i} rbrace}$, мы хотим оценить плотность, ${ Displaystyle P ({ vec {x}})}$, в контрольной точке, ${ displaystyle { vec {x}}}$:

${ Displaystyle P ({ vec {x}}) приблизительно { гидроразрыва {W} {nh ^ {D}}}}$

${ Displaystyle W = сумма _ {я = 1} ^ {п} ш_ {я}}$

${ displaystyle w_ {i} = K left ({ frac {{ vec {x}} - { vec {x}} _ {i}} {h}} right)}$

куда п количество образцов, K это "ядро", час это его ширина и D это количество измерений в ${ displaystyle { vec {x}}}$.Ядро можно рассматривать как простое, линейный фильтр.

Использование фиксированной ширины фильтра может означать, что в областях с низкой плотностью все выборки попадут в хвосты фильтра с очень низким весом, в то время как в областях с высокой плотностью будет обнаружено избыточное количество выборок в центральной области с весом, близким к единице. Чтобы решить эту проблему, мы изменяем ширину ядра в разных областях пространства выборки. Для этого есть два метода: балочная и точечная оценка. В баллистической оценке ширина ядра изменяется в зависимости от местоположения контрольной точки. В точечной оценке ширина ядра варьируется в зависимости от местоположения образца.^[1]

Для многомерных оценок параметр, час, можно обобщить, чтобы варьировать не только размер, но и форму ядра. Этот более сложный подход здесь не рассматривается.

Баллонные оценщики

Распространенный метод изменения ширины ядра - сделать ее обратно пропорциональной плотности в контрольной точке:

${ displaystyle h = { frac {k} { left [nP ({ vec {x}}) right] ^ {1 / D}}}}$

куда k является константой. Если мы сделаем обратную замену оцененного PDF и предположим, что гауссов функция ядра, мы можем показать, что W постоянная:^[2]

${ Displaystyle W = к ^ {D} (2 pi) ^ {D / 2}}$

Аналогичный вывод справедлив для любого ядра, нормализующая функция которого имеет порядок час^D, хотя с другим постоянным множителем вместо (2 π)^{D / 2} срок. Это дает обобщение алгоритм k-ближайшего соседа То есть униформа функция ядра вернет технику KNN.^[2]

У ошибки есть два компонента: член дисперсии и член смещения. Срок дисперсии определяется как:^[1]

${ displaystyle e_ {1} = { frac {P int K ^ {2}} {nh ^ {D}}}}$.

Член смещения находится путем оценки приближенной функции в пределе, когда ширина ядра становится намного больше, чем интервал выборки. При использовании разложения Тейлора для реальной функции член смещения выпадает:

${ displaystyle e_ {2} = { frac {h ^ {2}} {n}} nabla ^ {2} P}$

Таким образом, может быть получена оптимальная ширина ядра, которая минимизирует ошибку каждой оценки.

Использование для статистической классификации

Метод особенно эффективен при применении статистическая классификация Мы можем действовать двумя способами: первый - вычислить PDF-файлы каждого класса отдельно, используя разные параметры полосы пропускания, а затем сравнить их, как в случае Тейлора.^[3]В качестве альтернативы мы можем разделить сумму в зависимости от класса каждого образца:

${ displaystyle P (j, { vec {x}}) приблизительно { frac {1} {n}} sum _ {i = 1, c_ {i} = j} ^ {n} w_ {i} }$

куда c_я это класс я-й образец. Класс контрольной точки можно оценить через максимальная вероятность.

Многие ядра, например гауссовские, гладкие. Следовательно, оценки совместных или условных вероятностей являются как непрерывными, так и дифференцируемыми, что упрощает поиск границы между двумя классами путем обнуления разницы между условными вероятностями:

${ Displaystyle R ({ vec {x}}) = P (2 | { vec {x}}) - P (1 | { vec {x}}) = { frac {P (2, { vec {x}}) - P (1, { vec {x}})} {P (1, { vec {x}}) + P (2, { vec {x}})}}}$

Например, мы можем использовать одномерный алгоритм поиска корней к нулюр по линии между двумя образцами, которые пересекают границу класса. Таким образом, границу можно отбирать столько раз, сколько необходимо. Образцы границы вместе с оценками градиентов ропределить класс контрольной точки через скалярное произведение:

${ displaystyle j = arg { underset {i} { min}} | { vec {b_ {i}}} - { vec {x}} | ,}$

${ displaystyle p = ({ vec {x}} - { vec {b_ {j}}}) cdot nabla _ { vec {x}} R | _ {{ vec {x}} = { vec {b_ {j}}}} ,}$

${ Displaystyle с = (3 + р / | р |) / 2 ,}$

куда ${ Displaystyle lbrace { vec {b_ {i}}} rbrace}$ образец границы класса и c это оценочный класс. Значение р, определяющая условные вероятности, может быть экстраполирована на контрольную точку:

${ Displaystyle R ({ vec {x}}) приблизительно tanh p ,}$

^[2]

Двухклассовые классификации легко обобщить на несколько классов.

внешняя ссылка

• akde1d.m - Matlab m-файл для одномерной адаптивной оценки плотности ядра.
• libAGF - А C ++ библиотека для многомерной адаптивной оценки плотности ядра.
• akde.m - Matlab функция для многомерной (многомерной) оценки плотности переменного ядра.

Рекомендации