Идентификация языка - Language identification

В обработка естественного языка, идентификация языка или же угадывание языка проблема определения, какие естественный язык данное содержание находится в. Вычислительные подходы к этой проблеме рассматривают ее как частный случай категоризация текста, решается с помощью различных статистический методы.

Обзор

Существует несколько статистических подходов к идентификации языка, использующих различные методы классификации данных. Один из методов - сравнить сжимаемость текста со сжимаемостью текстов на ряде известных языков. Этот подход известен как измерение расстояния на основе взаимной информации. Тот же метод можно использовать для эмпирического построения генеалогических деревьев языков, которые близко соответствуют деревьям, построенным с использованием исторических методов.[нужна цитата ] Измерение расстояния на основе взаимной информации по существу эквивалентно более традиционным методам, основанным на моделях, и обычно не считается новинкой или лучше, чем более простые методы.

Другой метод, описанный Кавнаром и Тренклем (1994) и Даннингом (1994), заключается в создании языка н-грамм модель из «обучающего текста» для каждого из языков. Эти модели могут быть основаны на символах (Cavnar и Trenkle) или закодированных байтах (Dunning); в последнем - языковая идентификация и определение кодировки символов интегрированы. Затем для любого фрагмента текста, который необходимо идентифицировать, создается аналогичная модель, и эта модель сравнивается с каждой сохраненной языковой моделью. Наиболее вероятным языком является язык с моделью, наиболее похожей на модель из текста, который необходимо идентифицировать. Этот подход может быть проблематичным, когда вводимый текст находится на языке, для которого нет модели. В этом случае метод может вернуть в качестве результата другой, «наиболее похожий» язык. Также проблематичными для любого подхода являются фрагменты входного текста, составленные на нескольких языках, как это часто бывает в Интернете.

Более новый метод см. В ehůřek and Kolkus (2009). Этот метод может определять несколько языков в неструктурированном фрагменте текста и надежно работает с короткими текстами, состоящими всего из нескольких слов: н-грамм подходит к борьбе с.

Старый статистический метод Грефенстетта был основан на преобладании определенных служебные слова (например, «the» на английском языке).

Выявление похожих языков

Одно из самых больших препятствий в системах языковой идентификации - различать близкородственные языки. Подобные языки, такие как сербский и хорватский или же индонезийский и малайский представляют собой значительное лексическое и структурное совпадение, что усложняет различение систем между ними.

В 2014 году общая задача DSL[1] был организован с предоставлением набора данных (Tan et al., 2014), содержащего 13 различных языков (и языковых разновидностей) в шести языковых группах: группа A (боснийский, хорватский, сербский), группа B (индонезийский, малазийский), группа C (чешский , Словацкий), группа D (бразильский португальский, европейский португальский), группа E (полуостровный испанский, аргентинский испанский), группа F (американский английский, британский английский). Лучшая система достигла производительности более 95% (Goutte et al., 2014). Результаты совместной задачи DSL описаны в Zampieri et al. 2014 г.

Программного обеспечения

  • Apache OpenNLP включает статистический детектор на основе символов и граммов и поставляется с моделью, которая может различать 103 языка
  • Апач Тика содержит детектор языка для 18 языков

Рекомендации

Смотрите также

Рекомендации

  1. ^ "Мастерская VarDial @ COLING 2014".