Одноклассовая классификация - One-class classification

В машинное обучение, одноклассная классификация (OCC), также известный как унарная классификация или же классное моделирование, пытается идентифицировать объекты определенного класса среди всех объектов, в первую очередь обучаясь у Обучающий набор содержащий только объекты этого класса,^[1] хотя существуют варианты одноклассных классификаторов, в которых контрпримеры используются для дальнейшего уточнения границ классификации. Это отличается от традиционного и сложнее его. классификация проблема, которая пытается различать два и более класса с обучающей выборкой, содержащей объекты из всех классов. Примеры включают контроль коробок передач вертолетов,^[2][3][4] прогнозирование отказа двигателя,^[5] или эксплуатационное состояние атомной станции как «нормальное»:^[6] В этом сценарии есть несколько примеров катастрофических состояний системы, если таковые вообще имеются; известна только статистика нормальной работы.

Хотя многие из вышеперечисленных подходов сосредоточены на случае удаления небольшого количества выбросов или аномалий, можно также изучить другую крайность, когда отдельный класс охватывает небольшое согласованное подмножество данных, используя информационное узкое место подход.^[7]

Обзор

Термин одноклассовая классификация (OCC) был введен Moya & Hush (1996).^[8] и многие приложения можно найти в научной литературе, например обнаружение выбросов, обнаружение аномалии, обнаружение новизны. Особенностью OCC является то, что он использует только точки выборки из назначенного класса, так что репрезентативная выборка строго не требуется для нецелевых классов.^[9]

Вступление

Гиперсфера, содержащая целевые данные, имеет центр a и радиус R. Объекты на границе являются опорными векторами, а два объекта лежат за пределами границы с зазором больше 0.

Одноклассовая классификация (OCC) на основе SVM основана на идентификации самой маленькой гиперсферы (с радиусом r и центром c), состоящей из всех точек данных.^[10] Этот метод называется описанием опорных векторных данных (SVDD). Формально проблема может быть определена в следующей форме ограниченной оптимизации:

$${displaystyle min _ {r, c} r ^ {2} {ext {subject to,}} || Phi (x_ {i}) - c || ^ {2} leq r ^ {2} ;; forall i = 1,2, ..., n}$$

Однако вышеуказанная формулировка очень ограничительна и чувствительна к наличию выбросов. Таким образом, гибкая формулировка, учитывающая наличие выбросов, сформулирована, как показано ниже.

${displaystyle min _ {r, c, zeta} r ^ {2} + {frac {1} {u n}} sum _ {i = 1} ^ {n} zeta _ {i}}$

${displaystyle {ext {subject to,}} || Phi (x_ {i}) - c || ^ {2} leq r ^ {2} + zeta _ {i} ;; для всех i = 1,2, .. ., n}$

Из условий оптимальности Каруша-Куна-Такера (KKT) получаем

${displaystyle c = sum _ {i = 1} ^ {n} alpha _ {i} Phi (x_ {i}),}$

где ${displaystyle alpha _ {i}}$являются решением следующей задачи оптимизации:

${displaystyle max _ {alpha} sum _ {i = 1} ^ {n} alpha _ {i} kappa (x_ {i}, x_ {i}) - sum _ {i, j = 1} ^ {n} alpha _ {i} альфа _ {j} каппа (x_ {i}, x_ {j})}$

при условии, ${displaystyle sum _ {i = 1} ^ {n} alpha _ {i} = 1 {ext {and}} 0leq alpha _ {i} leq {frac {1} {un}} {ext {for all}} i = 1,2, ..., n.}$

Введение функции ядра обеспечивает дополнительную гибкость One-class SVM (OSVM) алгоритм.^[11]

Обучение PU

Аналогичная проблема Обучение PU, в котором двоичный классификатор изучается в полууправляемый путь от только положительный и немаркированный точки выборки.^[12]

Предполагается, что в обучении PU для обучения доступны два набора примеров: положительный набор ${displaystyle P}$ и смешанный набор ${displaystyle U}$, который, как предполагается, содержит как положительные, так и отрицательные образцы, но без соответствующей маркировки. Это контрастирует с другими формами полууправляемого обучения, где предполагается, что в дополнение к немаркированным образцам доступен помеченный набор, содержащий примеры обоих классов. Существуют различные методы адаптации под наблюдением классификаторы к настройке обучения ФЕ, включая варианты EM алгоритм. Обучение PU было успешно применено к текст,^[13][14][15] Временные ряды,^[16] биоинформатика задачи,^[17][18] и данные дистанционного зондирования.^[19]

Подходы

Было предложено несколько подходов к решению одноклассовой классификации (ОКК). Подходы можно разделить на три основные категории: оценка плотности, граничные методы, и методы реконструкции.^[6]

Методы оценки плотности

Методы оценки плотности основаны на оценке плотности точек данных и установке порога. Эти методы основаны на предположении о распределениях, таких как гауссово или распределение Пуассона. После чего тесты на несогласованность могут быть использованы для тестирования новых объектов. Эти методы устойчивы к масштабной дисперсии.

Гауссовская модель^[20] - это один из самых простых способов создания одноклассников. По Центральной предельной теореме (ЦПТ)^[21] эти методы работают лучше всего, когда присутствует большое количество выборок, и они нарушаются небольшими независимыми значениями ошибок. Распределение вероятностей для d-мерного объекта определяется выражением:

${displaystyle p_ {mathcal {N}} (x; mu; Sigma) = {frac {1} {(2pi) ^ {frac {d} {2}} | Sigma | ^ {frac {1} {2}}} } exp {- {гидроразрыв {1} {2}} (z-mu) ^ {T} Sigma ^ {- 1} (z-mu)}}$

Где, ${displaystyle mu}$ это среднее и ${displaystyle Sigma}$ - ковариационная матрица. Вычисление обратной ковариационной матрицы (${displaystyle Sigma ^ {- 1}}$) является самой затратной операцией, и в случаях, когда данные не масштабируются должным образом или данные имеют псевдообратные сингулярные направления ${displaystyle Sigma ^ {+}}$используется для аппроксимации обратного и рассчитывается как ${displaystyle Sigma ^ {T} (Sigma Sigma ^ {T}) ^ {- 1}}$.^[22]

Граничные методы

Методы определения границ фокусируются на установке границ вокруг нескольких наборов точек, называемых целевыми точками. Эти методы пытаются оптимизировать громкость. Граничные методы зависят от расстояний и, следовательно, не устойчивы к масштабной дисперсии. Ключевыми примерами являются метод K-центров, NN-d и SVDD.

K-центры

В алгоритме K-center,^[23] ${displaystyle k}$ маленькие шарики равного радиуса размещаются так, чтобы минимизировать максимальное из всех минимальных расстояний между тренировочными объектами и центрами. Формально минимизируется следующая ошибка:

${displaystyle varepsilon _ {k-center} = max _ {i} (min _ {k} || x_ {i} -mu _ {k} || ^ {2})}$

Алгоритм использует метод прямого поиска со случайной инициализацией, где радиус определяется максимальным расстоянием до объекта, который должен захватить любой данный шар. После определения центров для любого заданного тестового объекта ${displaystyle z}$ расстояние можно рассчитать как,

${displaystyle d_ {k-centr} (z) = min _ {k} || z-mu _ {k} || ^ {2}}$

Методы реконструкции

Методы реконструкции используют предварительные знания и процесс генерации для построения генерирующей модели, которая наилучшим образом соответствует данным. Новые объекты можно описать в терминах состояния генерирующей модели. Некоторые примеры методов реконструкции для OCC: кластеризация k-средних, квантование вектора обучения, самоорганизующиеся карты и т. Д.

Приложения

Классификация документов

Базовая парадигма машины опорных векторов (SVM) обучается как на положительных, так и на отрицательных примерах, однако исследования показали, что есть много веских причин для использования Только положительные примеры. Когда алгоритм SVM изменен для использования только положительных примеров, процесс считается одноклассной классификацией. Одна из ситуаций, когда этот тип классификации может оказаться полезным для парадигмы SVM, - это попытка идентифицировать сайты, представляющие интерес, в браузере, основываясь только на истории просмотров пользователя.

Биомедицинские исследования

Одноклассовая классификация может быть особенно полезной в биомедицинских исследованиях, где часто бывает трудно или невозможно получить данные из других классов. При изучении биомедицинских данных может быть сложно и / или дорого получить набор помеченных данных из второго класса, который был бы необходим для выполнения классификации по двум классам. Исследование, проведенное The Scientific World Journal, показало, что подход типичности является наиболее полезным при анализе биомедицинских данных, поскольку он может применяться к любому типу набора данных (непрерывному, дискретному или номинальному).^[24] Подход типичности основан на кластеризации данных путем изучения данных и помещения их в новые или существующие кластеры.^[25] Чтобы применить типичность к одноклассной классификации для биомедицинских исследований, каждое новое наблюдение, ${displaystyle y_ {0}}$, сравнивается с целевым классом, ${displaystyle C}$, и идентифицирован как выброс или член целевого класса.^[24]

Смотрите также

• Мультиклассовая классификация
• Обнаружение аномалий
• Контролируемое обучение

Рекомендации