Классификация с несколькими этикетками - Multi-label classification

В машинное обучение, классификация с несколькими этикетками и тесно связанная проблема классификация с несколькими выходами варианты классификация проблема, когда каждому экземпляру может быть присвоено несколько ярлыков. Классификация с несколькими метками является обобщением мультиклассовая классификация, что является проблемой одной метки категоризации экземпляров ровно на один из более чем двух классов; в задаче с несколькими метками нет ограничений на то, скольким классам может быть назначен экземпляр.

Формально, классификация с несколькими метками - это проблема поиска модели, отображающей входные данные. Икс к двоичным векторам y (присвоение значения 0 или 1 для каждого элемента (метки) в y).

Методы трансформации проблемы

Для классификации с несколькими метками существует несколько методов преобразования проблем, которые можно грубо разбить на:

• Превращение в двоичная классификация проблемы: базовый подход, называемый бинарная релевантность метод^[1] означает независимое обучение одного двоичного классификатора для каждой метки. Учитывая невидимую выборку, комбинированная модель затем предсказывает все метки для этой выборки, для которых соответствующие классификаторы предсказывают положительный результат. Хотя этот метод разделения задачи на несколько бинарных задач может внешне напоминать методы один против всех (OvA) и один против остальных (OvR) для мультиклассовая классификация, он существенно отличается от обоих, потому что один классификатор при бинарной релевантности имеет дело с одной меткой без какого-либо отношения к другим меткам. А цепочка классификаторов является альтернативным методом преобразования задачи классификации с несколькими метками в несколько задач двоичной классификации. Она отличается от бинарной релевантности тем, что метки предсказываются последовательно, а выходные данные всех предыдущих классификаторов (то есть положительные или отрицательные для конкретной метки) вводятся как признаки для последующих классификаторов.^[1] Цепочки классификаторов применялись, например, в ВИЧ прогнозирование лекарственной устойчивости.^[2][3] Байесовская сеть также был применен к классификаторам оптимального порядка в Цепочки классификаторов.^[4]
• Превращение в мультиклассовая классификация проблема: Преобразование набора меток (LP) создает один двоичный классификатор для каждой комбинации меток, присутствующей в обучающем наборе. Например, если возможные метки для примера были A, B и C, представление Powerset меток для этой проблемы представляет собой задачу классификации нескольких классов с классами [0 0 0], [1 0 0], [0 1 0 ], [0 0 1], [1 1 0], [1 0 1], [0 1 1]. [1 1 1], где, например, [1 0 1] обозначает пример, в котором метки A и C присутствуют, а метка B отсутствует.^[5]
• Ансамблевые методы: Набор многоклассовых классификаторов может использоваться для создания многокомпонентного классификатора ансамбля. В данном примере каждый классификатор выводит один класс (соответствующий одной метке в задаче с несколькими метками). Эти прогнозы затем объединяются методом ансамбля, обычно схемой голосования, где каждый класс, который получает необходимый процент голосов от отдельных классификаторов (часто называемый порогом дискриминации^[6]) предсказывается как присутствующая метка в выводе с несколькими метками. Однако существуют более сложные ансамблевые методы, такие как комитетные машины. Другой вариант - случайный k-labelsets (RAKEL) алгоритм, который использует несколько классификаторов LP, каждый из которых обучен на случайном подмножестве фактических меток; предсказание метки затем выполняется схемой голосования.^[7] Набор классификаторов с несколькими метками можно использовать аналогичным образом для создания классификатора ансамбля с несколькими метками. В этом случае каждый классификатор голосует один раз за каждую прогнозируемую метку, а не за одну метку.

Адаптированные алгоритмы

Некоторые алгоритмы / модели классификации были адаптированы для задачи с несколькими метками без необходимости преобразования задачи. Примеры таких, в том числе для данных с несколькими этикетками.

• k-ближайшие соседи: алгоритм ML-kNN расширяет классификатор k-NN на данные с несколькими метками.^[8]
• деревья решений: "Clare" - адаптированный алгоритм C4.5 для классификации по нескольким меткам; модификация включает расчеты энтропии.^[9] MMC, MMDT и SSC, усовершенствованный MMDT, может классифицировать данные с несколькими метками на основе многозначных атрибутов без преобразования атрибутов в однозначные. Их также называют многозначными и многозначными методами классификации дерева решений.^[10][11][12]
• методы ядра для векторного вывода
• нейронные сети: BP-MLL - это адаптация популярного алгоритма обратного распространения для обучения по нескольким меткам.^[13]

Парадигмы обучения

На основе парадигм обучения существующие методы многокомпонентной классификации можно разделить на пакетное обучение и онлайн-машинное обучение. Алгоритмы пакетного обучения требуют, чтобы все образцы данных были доступны заранее. Он обучает модель, используя все обучающие данные, а затем прогнозирует тестовую выборку, используя найденную связь. С другой стороны, алгоритмы онлайн-обучения постепенно строят свои модели в последовательных итерациях. На итерации t онлайн-алгоритм получает выборку x_т и предсказывает свои метки s_т используя текущую модель; затем алгоритм получает y_т, истинная метка (и) x_т и обновляет свою модель на основе пары образец-метка: (x_т, y_т).

Классификация потоков с несколькими метками

Потоки данных возможно, бесконечные последовательности данных, которые непрерывно и быстро растут с течением времени.^[14] Классификация потоков с несколькими метками (MLSC) - это версия задачи классификации с несколькими метками, которая выполняется в потоках данных. Иногда ее также называют онлайн-классификацией с несколькими метками. Трудности многокомпонентной классификации (экспоненциальное число возможных наборов меток, фиксация зависимостей между метками) сочетаются с трудностями потоков данных (ограничения времени и памяти, адресация бесконечного потока конечными средствами, концептуальные дрейфы ).

Многие методы MLSC прибегают к ансамблевые методы чтобы повысить их прогнозирующую способность и справиться с отклонениями концепций. Ниже приведены наиболее широко используемые в литературе ансамблевые методы:

• Интернет-упаковка (OzaBagging^[15]) -основанные методы: Наблюдение за вероятностью наличия K многих из определенных точек данных в выборке начальной загрузки приблизительно Пуассон (1) для больших наборов данных каждый экземпляр входящих данных в потоке данных может быть взвешен пропорционально распределению Пуассона (1) для имитации начальной загрузки в интерактивной настройке. Это называется онлайн-упаковкой (OzaBagging). В литературе предлагается множество методов с несколькими этикетками, в которых используется онлайн-упаковка, каждый из которых использует различные методы преобразования проблемы. EBR,^[1] ECC,^[1] EPS,^[16] E_BRT,^[17] E_BMT,^[17] ML-случайные правила^[18] являются примерами таких методов.
• ADWIN Bagging^[19]-основные методы: Методы онлайн-упаковки для MLSC иногда сочетаются с явными механизмами обнаружения смещения концепций, такими как ADWIN.^[20] (Адаптивное окно). ADWIN поддерживает окно переменного размера для обнаружения изменений в распределении данных и улучшает ансамбль, сбрасывая компоненты, которые плохо работают при дрейфе входящих данных. Как правило, буква «а» используется как нижний индекс в названии таких ансамблей, чтобы указать на использование детектора изменений ADWIN. E_аBR,^[19] E_аCC,^[19] E_аHT_PS^[19] являются примерами таких многокомпонентных ансамблей.
• GOOWE-ML^[21]-основные методы: Интерпретируя оценки релевантности каждого компонента ансамбля как векторы в пространстве меток и решая задачу наименьших квадратов в конце каждого пакета, предлагается геометрически оптимальный онлайн-взвешенный ансамбль для классификации с несколькими метками (GOOWE-ML). Ансамбль пытается минимизировать расстояние между взвешенным предсказанием его компонентов и основным вектором истинности для каждого экземпляра пакета. В отличие от онлайн-упаковки и упаковки ADWIN, в GOOWE-ML используется взвешенный схема голосования, при которой более эффективные компоненты ансамбля имеют больший вес. Ансамбль GOOWE-ML со временем увеличивается, и компонент с наименьшим весом заменяется новым компонентом, когда он заполняется в конце партии. ГОБР,^[21] GOCC,^[21] GOPS,^[21] ГОРТ^[21] являются предлагаемыми мульти-лейбльными ансамблями на основе GOOWE-ML.
• Несколько окон^[22] : Здесь модели BR, которые используют скользящее окно, заменены двумя окнами для каждой метки, одно для релевантных и одно для нерелевантных примеров. Экземпляры подвергаются передискретизации или заниженной выборке в соответствии с коэффициентом загрузки, который сохраняется между этими двумя окнами. Это позволяет обнаруживать дрейфы концепций, которые являются независимыми для каждой метки, и обрабатывать классовый дисбаланс (асимметрию в релевантных и нерелевантных примерах).

Статистика и показатели оценки

Учитывая ${displaystyle Y_ {i}}$ быть набором этикеток для ${displaystyle i ^ {th}}$ выборка данных (не путайте ее с одним горячим вектором; это просто набор всех меток, принадлежащих этому образцу), степень, в которой набор данных является мульти-меткой, может быть зафиксирована двумя статистическими данными:

• Мощность метки - это среднее количество меток на один пример в наборе: ${displaystyle {frac {1} {N}} sum _ {i = 1} ^ {N} | Y_ {i} |}$ где ${displaystyle N}$ - общее количество выборок данных;
• Плотность этикеток - это количество этикеток на образец, деленное на общее количество этикеток, усредненное по образцам: ${displaystyle {frac {1} {N}} sum _ {i = 1} ^ {N} {frac {| Y_ {i} |} {| L |}}}$ где ${displaystyle L = igcup _ {i = 1} ^ {N} Y_ {i}}$, общее количество доступных классов (которое является максимальным количеством элементов, которые могут составлять ${displaystyle Y_ {i}}$).

Метрики оценки эффективности классификации с несколькими метками по своей сути отличаются от показателей, используемых в классификации по нескольким классам (или бинарной), из-за присущих различий проблем классификации. Если Т обозначает истинный набор меток для данного образца, а п предсказанный набор ярлыков, то для этого образца могут быть определены следующие показатели:

• Hamming потеря: доля неправильных этикеток в общем количестве этикеток, т.е. ${displaystyle {frac {1} {| N | cdot | L |}} sum _ {i = 1} ^ {| N |} sum _ {j = 1} ^ {| L |} имя оператора {xor} (y_ { i, j}, z_ {i, j})}$, где ${displaystyle y_ {i, j}}$ цель, ${displaystyle z_ {i, j}}$ это предсказание, и ${displaystyle operatorname {xor} (cdot)}$ это Оператор "Исключающее или" который возвращает ноль, когда цель и прогноз идентичны, и единицу в противном случае. Это функция потерь, поэтому оптимальное значение равно нулю, а его верхняя граница равна единице.
• Тесно связанные Индекс Жаккара, также называемый пересечением по объединению в настройке с несколькими метками, определяется как количество правильно спрогнозированных меток, деленное на объединение предсказанных и истинных меток, ${displaystyle {frac {| Tcap P |} {| Tcup P |}}}$, где ${displaystyle P}$ и ${displaystyle T}$ представляют собой наборы предсказанных меток и истинных меток соответственно.
• Точность, отзыв и ${displaystyle F_ {1}}$ Гол: точность ${displaystyle {frac {| Tcap P |} {| P |}}}$напомнить ${displaystyle {frac {| Tcap P |} {| T |}}}$, и ${displaystyle F_ {1}}$ их гармоническое среднее.^[23]
• Точное совпадение (также называемое точностью подмножества): это самый строгий показатель, указывающий процент образцов, все метки которых классифицированы правильно.

Перекрестная проверка в настройках с несколькими метками осложняется тем, что обычный (бинарный / многоклассовый) способ стратифицированная выборка не будет работать; предложены альтернативные способы приблизительной стратифицированной выборки.^[24]

Реализации и наборы данных

Реализации Java-алгоритмов с несколькими метками доступны в Мулан и Мека программные пакеты, основанные на Weka.

В scikit-learn Пакет Python реализует некоторые алгоритмы и показатели с несколькими метками.

В scikit-multilearn Пакет Python специально предназначен для классификации с несколькими метками. Он обеспечивает многокомпонентную реализацию нескольких хорошо известных методов, включая SVM, kNN и многое другое. Пакет построен поверх scikit-learn экосистема.

Метод бинарной релевантности, цепочки классификаторов и другие многозначные алгоритмы с множеством различных базовых обучающихся реализованы в R-пакете. млр^[25]

Список часто используемых наборов данных с несколькими метками доступен на сайте Сайт Мулан.

Смотрите также

• Мультиклассовая классификация
• Множественное обучение
• Структурированный прогноз
• время жизни корреляции

использованная литература

дальнейшее чтение

• Маджаров, Горгджи; Кочев, Драги; Горгжевикдж, Деян; Джероски, Сашо (2012). «Обширное экспериментальное сравнение методов многокомпонентного обучения». Распознавание образов. 45 (9): 3084–3104. Дои:10.1016 / j.patcog.2012.03.004.