Маркировка последовательности - Sequence labeling

В машинное обучение, маркировка последовательности это тип распознавание образов задача, включающая алгоритмическое присвоение категоричный метка для каждого члена последовательности наблюдаемых значений. Типичный пример задачи маркировки последовательностей: часть тегов речи, который стремится присвоить часть речи к каждому слову во входном предложении или документе. Маркировку последовательностей можно рассматривать как набор независимых классификация задачи, по одному на каждого члена последовательности. Однако точность обычно повышается, если оптимальная метка для данного элемента зависит от выбора соседних элементов, с использованием специальных алгоритмов для выбора глобально лучший набор меток для всей последовательности сразу.

В качестве примера того, почему поиск лучшей в мире последовательности меток может дать лучшие результаты, чем метка одного элемента за раз, рассмотрим только что описанную задачу разметки части речи. Часто многие слова являются членами нескольких частей речи, и правильное обозначение такого слова часто может быть выведено из правильного обозначения слова, расположенного непосредственно слева или справа. Например, слово «наборы» может быть существительным или глаголом. Во фразе типа «он откладывает книги» слово «он» однозначно является местоимением, а «тот» - однозначно определитель, и, используя любой из этих ярлыков, «множества» можно вывести как глагол, поскольку существительные очень редко следуют за местоимениями и с меньшей вероятностью предшествуют определителям, чем глаголы. Но в других случаях полезно только одно из соседних слов. В фразе «он садится, а затем опрокидывает стол» полезно только слово «он» слева (ср. «... берет наборы, а затем опрокидывает ...»). И наоборот, в "... а также наборы книг" полезно только слово "the" справа (ср. "... а также наборы книг были ..."). Алгоритм, который действует слева направо, маркируя одно слово за раз, может использовать только теги соседних слева слов и может дать сбой во втором примере выше; наоборот, для алгоритма, действующего справа налево.

Большинство алгоритмов маркировки последовательностей вероятностный в природе, опираясь на статистические выводы найти лучшую последовательность. Наиболее распространенные статистические модели, используемые для маркировки последовательностей, основаны на предположении Маркова, то есть о том, что выбор метки для конкретного слова напрямую зависит только от непосредственно смежных меток; следовательно, набор меток образует Цепь Маркова. Это естественно приводит к скрытая марковская модель (HMM), одна из наиболее распространенных статистических моделей, используемых для маркировки последовательностей. Другие часто используемые модели: максимальная энтропия марковская модель и условное случайное поле.

Оценка

Домены приложений

Смотрите также

использованная литература

дальнейшее чтение

  • Эрдоган Х., [1]. «Маркировка последовательностей: генеративный и дискриминационный подходы, скрытые марковские модели, условные случайные поля и структурированные SVM», учебник ICMLA 2010, Bethesda, MD (2010)