Расслабленный алгоритм с добавлением маржи - Википедия - Margin-infused relaxed algorithm

Расслабленный алгоритм с добавлением маржи (MIRA)^[1] это машинное обучение алгоритм, онлайн алгоритм за мультиклассовая классификация проблемы. Он предназначен для изучения набора параметров (вектора или матрицы) путем обработки всех данных обучающих примеров один за другим и обновления параметров в соответствии с каждым обучающим примером, так что текущий обучающий пример правильно классифицируется с помощью поле против неверных классификаций не меньше их потерь.^[2] Изменение параметров сведено к минимуму.

Двухклассная версия под названием двоичная МИРА^[1] упрощает алгоритм, не требуя решения квадратичное программирование проблема (см. ниже). При использовании в один против всех конфигурации, двоичный MIRA может быть расширен до мультиклассового ученика, который приближается к полному MIRA, но может быть быстрее обучен.

Ход алгоритма^[3]^[4] выглядит следующим образом:

Алгоритм МИРА Вход: Примеры обучения  ${ Displaystyle Т = {х_ {я}, у_ {я} }}$   Выход: Набор параметров  ${ displaystyle w}$

   ${ displaystyle i}$  ← 0,  ${ Displaystyle ш ^ {(0)}}$  ← 0  за  ${ displaystyle n}$  ← 1 к  ${ displaystyle N}$     за  ${ displaystyle t}$  ← 1 к  ${ displaystyle | T |}$        ${ Displaystyle ш ^ {(я + 1)}}$  ← обновить  ${ Displaystyle ш ^ {(я)}}$  в соответствии с  ${ Displaystyle {х_ {т}, у_ {т} }}$        ${ displaystyle i}$  ←  ${ displaystyle i + 1}$     конец для  конец для  возвращаться  ${ displaystyle { frac { sum _ {j = 1} ^ {N times | T |} w ^ {(j)}} {N times | T |}}}$

«←» означает назначение. Например, "самый большой ← элемент"означает, что стоимость самый большой изменяет стоимость элемент.
"возвращаться"завершает алгоритм и выводит следующее значение.

Затем этап обновления оформляется как квадратичное программирование^[2] проблема: найти ${ Displaystyle мин | вес ^ {(я + 1)} - вес ^ {(я)} |}$ , так что ${ displaystyle score (x_ {t}, y_ {t}) - score (x_ {t}, y ') geq L (y_ {t}, y') forall y '}$ , то есть оценка текущего правильного обучения ${ displaystyle y}$ должно быть больше, чем оценка любого другого возможного ${ displaystyle y '}$ хотя бы потерей (количеством ошибок) этого ${ displaystyle y '}$ в сравнении с ${ displaystyle y}$ .

внешняя ссылка

достойный - Реализация MIRA на C ++
Миралиум - Реализация MIRA на Java
Внедрение МИРА за Mahout в Hadoop

[crammer-singer2003-1] а ^б Краммер, Коби; Певец, Йорам (2003). «Ультраконсервативные онлайн-алгоритмы для мультиклассовых задач». Журнал исследований в области машинного обучения. 3: 951–991.

[mcdonald-etal2005-2] а ^б Макдональд, Райан; Краммер, Коби; Перейра, Фернандо (2005). «Онлайн-обучение синтаксических анализаторов зависимостей с большой прибылью» (PDF). Материалы 43-го ежегодного собрания ACL. Ассоциация компьютерной лингвистики. С. 91–98.

[3] Ватанабе Т. и др. (2007): «Онлайн-обучение с большой маржой для статистического машинного перевода». В: Труды совместной конференции 2007 г. по эмпирическим методам обработки естественного языка и компьютерному изучению естественного языка, 764–773.

[4] Бонет, Б. (2009): Эффективный синтаксический анализ структур синтаксических и семантических зависимостей. Труды конференции по изучению естественного языка (CoNLL), Боулдер, 67–72.

[1]

[2]

[3]

[4]

Расслабленный алгоритм с добавлением маржи - Википедия - Margin-infused relaxed algorithm

Рекомендации

внешняя ссылка