ЛЕПОР - LEPOR

ЛЕПОР автоматически не зависит от языка оценка машинного перевода метрика с настраиваемыми параметрами и усиленными коэффициентами.

Задний план

поскольку IBM предложила и реализовала систему BLEU [1] как автоматический показатель для Машинный перевод (MT), были предложены многие другие методы для ее пересмотра или улучшения, такие как TER, МЕТЕОР,[2] и т. д. Однако в традиционном метрики автоматической оценки. Некоторые метрики хорошо работают на определенных языках, но слабы на других языках, что обычно называется проблемой языкового смещения. Некоторые показатели полагаются на множество языковых характеристик или лингвистической информации, что затрудняет повторение экспериментов другим исследователям. LEPOR - это автоматическая метрика оценки, которая пытается решить некоторые из существующих проблем.[3] LEPOR разработан с дополнительными факторами и соответствующими настраиваемыми параметрами для решения проблемы языкового смещения. Кроме того, в улучшенной версии LEPOR, то есть hLEPOR,[4] он пытается использовать оптимизированные лингвистические функции, извлеченные из берега деревьев. Другой продвинутой версией LEPOR является метрика nLEPOR,[5] который добавляет функции n-грамма к предыдущим факторам. До сих пор метрика LEPOR была преобразована в серию LEPOR.[6]

дизайн

LEPOR разработан с учетом факторов повышенного штрафа за длину, точность, штраф порядка слов в n-граммах, и отзыв. Повышенный штраф за длину гарантирует, что перевод гипотезы, который обычно переводится системами машинного перевода, наказывается, если он длиннее или короче, чем перевод ссылки. Оценка точности отражает точность перевода гипотезы. Оценка отзыва отражает верность перевода гипотезы справочному переводу или исходному языку. Штрафной коэффициент порядка слов на основе n-граммов разработан для различных порядков позиций между переводом гипотезы и переводом ссылки. Фактор штрафа порядка слов оказался полезным многими исследователями, такими как работа Вонга и Кита (2008).[7]

Спектакль

Серии ЛЕПОР показали хорошие результаты в ACL ежегодный международный семинар по статистическому машинному переводу (ACL-WMT ). ACL-WMT проводится специальной группой по машинному переводу (SIGMT) в международной ассоциации для компьютерная лингвистика (ACL). В ACL-WMT 2013,[8] есть две дорожки перевода и оценки: с английского на другой и с другого на английский. «Другие» языки включают испанский, французский, немецкий, чешский и русский. В направлении «английский-другой» показатель nLEPOR достигает наивысшего показателя корреляции на системном уровне с человеческими суждениями с использованием коэффициента корреляции Пирсона, второго по величине показателя корреляции на системном уровне с человеческими суждениями с использованием Коэффициент ранговой корреляции Спирмена. В направлении от другого к английскому, nLEPOR выполняет умеренные и МЕТЕОР дает наивысший балл корреляции с человеческими суждениями, что связано с тем, что nLEPOR использует только краткую лингвистическую функцию, информацию о частях речи, за исключением официально предлагаемых данных обучения; однако МЕТЕОР использовал множество других внешних ресурсов, таких как синонимы словари, парафраз, и остановка, так далее.

Одна расширенная работа и введение о выступлениях LEPOR с различными условиями, включая чистую форму поверхности слова, POS особенности, особенности фразовых тегов, описаны в диссертации Университета Макао.[9]

В WMT13 имеется глубокий статистический анализ производительности hLEPOR и nLEPOR, который показывает, что он работает как один из лучших показателей «как в оценке индивидуальных языковых пар для испанского и английского языков, так и в агрегированном наборе из 9 языковых пар», см. документ (Точная оценка показателей машинного перевода на уровне сегмента) »https://www.aclweb.org/anthology/N15-1124 "Грэм и др. 2015 NAACL (https://github.com/ygraham/segment-mteval )

Смотрите также

Заметки

  1. ^ Папинени и др., (2002)
  2. ^ Банерджи и Лави, (2005)
  3. ^ Хан и др., (2012)
  4. ^ Хан и др., (2013a)
  5. ^ Хан и др., (2013b)
  6. ^ Хан и др., (2014)
  7. ^ Вонг и Кит (2008)
  8. ^ ACL-WMT (2013)
  9. ^ Хан (2014)

использованная литература

  • Папинени К., Рукос С., Уорд Т. и Чжу В. Дж. (2002). «BLEU: метод автоматической оценки машинного перевода» в ACL-2002: 40-е ежегодное собрание Ассоциации компьютерной лингвистики стр. 311–318
  • Хан, А.Л.Ф., Вонг, Д.Ф., Чао, Л.С. (2012) «LEPOR: надежная метрика оценки машинного перевода с расширенными факторами» в Материалы 24-й Международной конференции по компьютерной лингвистике (COLING 2012): плакаты, стр. 441–450. Мумбаи, Индия. Интернет-бумага Инструмент с открытым исходным кодом
  • Хан, А.Л.Ф., Вонг, Д.Ф., Чао, Л.С., Хе, Л., Лу, Й., Син, Дж., И Цзэн, X. (2013a) «Независимая от языка модель для оценки машинного перевода с усиленными факторами» в Материалы XIV Саммита по машинному переводу (MT SUMMIT 2013), стр. 215-222. Ницца, Франция. Издатель: Международная ассоциация машинного перевода. Интернет-бумага Инструмент с открытым исходным кодом
  • Хан, А.Л.Ф., Вонг, Д.Ф., Чао, Л.С., Лу, Й., Хе, Л., Ван, Ю., и Чжоу, Дж. (2013b) «Описание настраиваемых систем оценки машинного перевода в задаче метрик WMT13» в Материалы восьмого семинара по статистическому машинному переводу, ACL-WMT13, София, Болгария. Ассоциация компьютерной лингвистики. Интернет-бумага стр. 414–421
  • Хан, А.Л.Ф., Вонг, Д.Ф., Чао, Л.С., Хе, Л., и Лу, Ю. (2014) «Модель неконтролируемой оценки качества для перевода с английского на немецкий и ее применение в расширенной контролируемой оценке» в Научный мировой журнал. Выпуск: Последние достижения в области информационных технологий. ISSN  1537-744X. Хиндави Издательская Корпорация. Интернет-бумага
  • ACL-WMT. (2013) "ACL-WMT13 ЗАДАЧА ПО МЕТРИКАМ "
  • Вонг Б. Т. и Кит К. (2008). «Выбор слова и позиция слова для автоматической оценки МП» в Семинар: MetricsMATR Ассоциации машинного перевода в Северной и Южной Америке (AMTA), короткая статья, Вайкики, США.
  • Банерджи, С. и Лави, А. (2005) «МЕТЕОР: автоматический показатель для оценки MT с улучшенной корреляцией с человеческими суждениями» в Труды семинара по внутренним и внешним методам оценки для машинного перевода и / или обобщения на 43-м ежегодном собрании Ассоциации компьютерной лингвистики (ACL-2005), Анн-Арбор, Мичиган, июнь 2005 г.
  • Хан, Лифенг. (2014) «LEPOR: метрика оценки расширенного машинного перевода». Диссертация на соискание степени магистра наук в области программной инженерии. Университет Макао, Макао. Тезис PPT

внешние ссылки