Лемматизация - Lemmatisation

Лемматизация (или же лемматизация) в лингвистика представляет собой процесс объединения изменяемых форм слова, чтобы их можно было анализировать как единый элемент, идентифицируемый по лемма, или словарная форма.[1]

В компьютерная лингвистика, лемматизация - это алгоритмический процесс определения лемма слова в зависимости от предполагаемого значения. В отличие от остановка, лемматизация зависит от правильного определения предполагаемого часть речи и значение слова в предложении, а также в более крупном контекст окружающие это предложение, например, соседние предложения или даже весь документ. В результате развиваются эффективные лемматизация алгоритмы - это открытая область исследований.[2][3][4]

Описание

Во многих языках слова появляются в нескольких склонен формы. Например, в английском языке глагол «ходить» может выглядеть как «ходить», «гулять», «ходить» или «ходить». Базовая форма «прогулка», которую можно найти в словаре, называется лемма за слово. Ассоциацию базовой формы с частью речи часто называют лексема слова.

Лемматизация тесно связана с остановка. Разница в том, что стеммер работает с одним словом без знание контекста и, следовательно, неспособность различать слова, которые имеют разное значение в зависимости от части речи. Тем не менее, стеммеры обычно проще в установке и работают быстрее. Пониженная «точность» может не иметь значения для некоторых приложений. Фактически, при использовании в информационно-поисковых системах, поиск слов улучшает запросы точность отзыва, или истинно положительный показатель по сравнению с лемматизацией. Тем не менее, забой снижает точность, или истинно отрицательная ставка для таких систем.[5]

Например:

  1. Слово «лучше» имеет лемму «хорошо». Эта ссылка пропущена при поиске по словарю.
  2. Слово «прогулка» является базовой формой для слова «ходьба», и, следовательно, оно совпадает как с основанием, так и с лемматизацией.
  3. Слово «встреча» может быть либо основной формой существительного, либо формой глагола («встречаться») в зависимости от контекста; например, "на нашей последней встрече" или "Мы снова встречаемся завтра". В отличие от стемминга, лемматизация пытается выбрать правильную лемму в зависимости от контекста.

Программное обеспечение для индексирования документов, например Lucene[6] может хранить основной формат слова без знания значения, но только с учетом правил грамматики словообразования. Само слово с корнем может быть недопустимым: слово «ленивый», как видно из приведенного ниже примера, происходит от слова «lazi» во многих словах. Это связано с тем, что цель выделения не состоит в том, чтобы создать соответствующую лемму - это более сложная задача, требующая знания контекста. Основная цель создания корней - сопоставить разные формы слова с одной формой.[7] Как алгоритм, основанный на правилах, зависящий только от написания слова, он жертвует точностью, чтобы, например, когда слово «лень» преобразовано в «ленивый», оно имело ту же основу, что и «ленивый».

Алгоритмы

Тривиальный способ выполнить лемматизацию - это простой поиск в словаре. Это хорошо работает для простых изменяемых форм, но система, основанная на правилах потребуется в других случаях, например, в языках с длинными составные слова. Такие правила могут быть созданы вручную или изучены автоматически из аннотированного корпуса.

Реализации

Доступно несколько экземпляров лемматизаторов:

Использование в биомедицине

Морфологический анализ опубликованной биомедицинской литературы может дать полезные результаты. Морфологическая обработка биомедицинского текста может быть более эффективной с помощью специальной программы лемматизации для биомедицины и может повысить точность практических извлечение информации задачи.[8]

Смотрите также

Рекомендации

  1. ^ Словарь английского языка Коллинза, запись для "лемматиса"
  2. ^ «WebBANC: построение семантически богатых аннотированных корпусов из аннотаций веб-пользователей языков меньшинств» (PDF).
  3. ^ Мюллер, Томас; Коттерелл, Райан; Фрейзер, Александр; Шютце, Хинрих. «Совместная лемматизация и морфологическая маркировка с помощью LEMMING» (PDF).
  4. ^ Бергманис, Томс; Голдуотер, Шэрон. «Контекстно-зависимая нейронная лемматизация с помощью Lematus» (PDF).
  5. ^ Мэннинг, Кристофер Д.; Рагхаван, Прабхакар; Шютце, Хинрих. «Введение в поиск информации». Издательство Кембриджского университета.
  6. ^ "Люсен Снежок". Проект Apache.
  7. ^ Мартин Портер. "Портер Стеммер".
  8. ^ Liu, H .; Christiansen, T .; Baumgartner, W.A .; Верспур, К. (2012). «BioLemmatizer: инструмент лемматизации для морфологической обработки биомедицинского текста». Журнал биомедицинской семантики. 3: 3. Дои:10.1186/2041-1480-3-3. ЧВК  3359276. PMID  22464129.

внешняя ссылка