Квадратичный классификатор - Википедия - Quadratic classifier

Эта статья нужны дополнительные цитаты для проверка. Пожалуйста помоги улучшить эту статью к добавление цитат в надежные источники. Материал, не полученный от источника, может быть оспорен и удален Найдите источники: «Квадратичный классификатор»  – Новости  · газеты  · книги  · ученый  · JSTOR (Декабрь 2009 г.) (Узнайте, как и когда удалить этот шаблон сообщения)

в машинное обучение, а квадратичный классификатор является статистический классификатор который использует квадратичный поверхность решения для разделения измерений двух или более классов объектов или событий. Это более общая версия линейный классификатор.

Проблема классификации

Статистическая классификация рассматривает набор векторов наблюдений Икс объекта или события, каждое из которых имеет известный тип у. Этот набор называется Обучающий набор. Тогда задача состоит в том, чтобы определить для данного нового вектора наблюдения, каким должен быть лучший класс. Для квадратичного классификатора правильное решение считается квадратичным по измерениям, поэтому у будет решено на основе

${ displaystyle mathbf {x ^ {T} Ax} + mathbf {b ^ {T} x} + c}$

В частном случае, когда каждое наблюдение состоит из двух измерений, это означает, что поверхности, разделяющие классы, будут конические секции (т.е. либо линия, а круг или же эллипс, а парабола или гипербола ). В этом смысле мы можем утверждать, что квадратичная модель является обобщением линейной модели, и ее использование оправдано желанием расширить возможности классификатора для представления более сложных разделяющих поверхностей.

Квадратичный дискриминантный анализ

Квадратичный дискриминантный анализ (QDA) тесно связан с линейный дискриминантный анализ (LDA), где предполагается, что измерения каждого класса нормально распределенный.^[1] Однако, в отличие от LDA, в QDA нет предположения, что ковариация каждого из классов идентичны.^[2] Когда предположение нормальности верно, наилучшим возможным тестом для гипотезы о том, что данное измерение принадлежит данному классу, является тест отношения правдоподобия. Предположим, что есть только две группы (так что ${ Displaystyle у в {0,1 }}$), а средства каждого класса определены как ${ displaystyle mu _ {y = 0}, mu _ {y = 1}}$ а ковариации определяются как ${ Displaystyle Sigma _ {y = 0}, Sigma _ {y = 1}}$. Тогда отношение правдоподобия будет равно

Отношение правдоподобия = ${ displaystyle { frac {{ sqrt {| 2 pi Sigma _ {y = 1} |}} ^ {- 1} exp left (- { frac {1} {2}} (x- mu _ {y = 1}) ^ {T} Sigma _ {y = 1} ^ {- 1} (x- mu _ {y = 1}) right)} {{ sqrt {| 2 pi Sigma _ {y = 0} |}} ^ {- 1} exp left (- { frac {1} {2}} (x- mu _ {y = 0}) ^ {T} Сигма _ {y = 0} ^ {- 1} (x- mu _ {y = 0}) right)}}$

за какой-то порог ${ displaystyle t}$. После некоторой перестановки можно показать, что результирующая разделяющая поверхность между классами является квадратичной. Выборочные оценки среднего вектора и матриц ковариации дисперсии заменят величины генеральной совокупности в этой формуле.

Другой

Хотя QDA - наиболее часто используемый метод получения классификатора, возможны и другие методы. Один из таких методов состоит в создании более длинного вектора измерений из старого путем добавления всех попарных произведений отдельных измерений. Например, вектор

${ Displaystyle [x_ {1}, ; x_ {2}, ; x_ {3}]}$

станет

${ Displaystyle [x_ {1}, ; x_ {2}, ; x_ {3}, ; x_ {1} ^ {2}, ; x_ {1} x_ {2}, ; x_ {1 } x_ {3}, ; x_ {2} ^ {2}, ; x_ {2} x_ {3}, ; x_ {3} ^ {2}]}$.

В этом случае поиск квадратичного классификатора для исходных измерений стал бы таким же, как поиск линейного классификатора на основе расширенного вектора измерений. Это наблюдение было использовано при расширении моделей нейронных сетей;^[3] «круговой» случай, который соответствует введению только суммы чистых квадратичных членов ${ Displaystyle ; x_ {1} ^ {2} + x_ {2} ^ {2} + x_ {3} ^ {2} ; ldots ;}$ без смешанных продуктов (${ Displaystyle ; x_ {1} x_ {2}, ; x_ {1} x_ {3} ; ldots ;}$), оказался оптимальным компромиссом между расширением возможностей представления классификатора и контролем риска переобучения (Измерение Вапника-Червоненкиса ).^[4]

Для линейных классификаторов, основанных только на точечные продукты, эти расширенные измерения не обязательно вычислять, поскольку скалярное произведение в многомерном пространстве просто связано с произведением в исходном пространстве. Это пример так называемого трюк с ядром, который может быть применен к линейному дискриминантному анализу, а также Машина опорных векторов.

Рекомендации

Источники:

• Сатьянараяна, Шаши (2010). «Праймер для распознавания образов II». Вольфрам Демонстрационный проект.