Машинный перевод жестовых языков - Machine translation of sign languages

В машинный перевод жестовых языков стало возможным, хотя и в ограниченном объеме, с 1977 года. Когда в рамках исследовательского проекта удалось сопоставить английские буквы с клавиатуры с ручными буквами алфавита ASL, которые были смоделированы на руке робота. Эти технологии переводят жестовые языки на письменный или устный язык, а также на письменный или устный язык на язык жестов без использования переводчик-человек. Языки жестов обладают разными фонологические особенности чем разговорные языки, что создает препятствия для разработчиков. Разработчики используют компьютерное зрение и машинное обучение распознавать определенные фонологические параметры и эпентезы[1] уникальна для жестовых языков, а распознавание речи и обработка естественного языка обеспечивают интерактивное общение между слышащими и глухими людьми.

Ограничения

Технологии перевода на жестовый язык ограничены так же, как и устный перевод. Никто не может переводить со 100% точностью. Фактически, технологии перевода на язык жестов сильно отстают от своих устных аналогов. Это, нетривиально, связано с тем, что жестовые языки имеют несколько артикуляторов. Если разговорные языки артикулируются через голосовой тракт, жестовые языки артикулируются через руки, руки, голову, плечи, туловище и части лица. Эта многоканальная артикуляция очень затрудняет перевод жестовых языков. Дополнительной проблемой для жестового языка МП является отсутствие официального письменного формата для жестовых языков. Существуют системы обозначений, но ни одна система письма не была принята в международном сообществе глухих достаточно широко, чтобы ее можно было считать «письменной формой» данного языка жестов. Затем жестовые языки записываются в различных видеоформатах. Золотого стандарта нет параллельный корпус этого достаточно, например, для SMT.

История

История автоматического перевода на язык жестов началась с разработки аппаратного обеспечения, такого как руки роботов для распознавания орфографии. В 1977 году в рамках проекта рукописного ввода пальцев под названием RALPH (сокращение от «Роботизированный алфавит») была создана рука-робот, которая может переводить алфавиты в рукописное написание.[2] Позже использование перчатки с датчиками движения стал мейнстримом, и родились такие проекты, как CyberGlove и VPL Data Glove.[3] Носимое оборудование позволяло фиксировать формы и движения рук подписывающих с помощью компьютерного программного обеспечения. Однако с развитием компьютерного зрения носимые устройства были заменены камерами из-за их эффективности и меньших физических ограничений для подписывающих лиц.[3] Для обработки данных, собранных с помощью устройств, исследователи внедрили нейронные сети, такие как Stuttgart Neural Network Simulator.[4] для распознавания образов в таких проектах, как CyberGlove. Исследователи также используют множество других подходов для распознавания знаков. Например, скрытые марковские модели используются для статистического анализа данных,[3] GRASP и другие программы машинного обучения используют обучающие наборы для повышения точности распознавания знаков.[5] Сочетание не носимых технологий, таких как камеры и Прыжок Контроллеры показали, что увеличивают возможности программного обеспечения для автоматического распознавания языка жестов и перевода.[6]

Технологии

ВИЗИКАСТ

http://www.visicast.cmp.uea.ac.uk/Visicast_index.html

eSIGN проект

http://www.visicast.cmp.uea.ac.uk/eSIGN/index.html

Проект аватаров на американском языке жестов в Университете ДеПола

http://asl.cs.depaul.edu/

С испанского на LSE

https://www.semanticscholar.org/paper/Methodology-for-developing-a-Speech-into-Sign-in-a-L%C3%B3pez-Lude%C3%B1a-San-Segundo/496f8e35add9fad94a59156f473261ecd3175635

SignAloud

SignAloud - это технология, включающая пару перчаток, изготовленных группой студентов Вашингтонского университета, которые транслитерировать[7] Американский язык жестов (ASL) на английский.[8] В феврале 2015 года Томас Прайор, слушатель из Вашингтонского университета, создал первый прототип этого устройства на хакатоне Hack Arizona в Университете Аризоны. Прайор продолжил разработку изобретения, и в октябре 2015 года Прайор пригласил Навида Азоди в проект SignAloud для маркетинга и помощи в связях с общественностью. Азоди имеет богатый опыт и участие в управлении бизнесом, а Прайор имеет богатый опыт в инженерии.[9] В мае 2016 года дуэт сказал NPR, что они более тесно работают с людьми, которые используют ASL, чтобы они могли лучше понимать свою аудиторию и адаптировать свой продукт к потребностям этих людей, а не предполагаемым потребностям.[10] Однако с тех пор не было выпущено никаких других версий. Это изобретение было одним из семи, получивших студенческую премию Лемельсона-Массачусетского технологического института, целью которой является награждение и аплодисменты молодых изобретателей. Их изобретение подпадало под действие «Используй!» категория награды, которая включает технологические достижения в существующих продуктах. Им было присуждено 10 000 долларов.[11][12]

В перчатках есть датчики, которые отслеживают движения рук пользователя, а затем отправляют данные в компьютерную систему через Bluetooth. Компьютерная система анализирует данные и сопоставляет их с английскими словами, которые затем произносятся вслух цифровым голосом.[10] Перчатки не имеют возможности для письменного ввода на английском языке для вывода движения перчаток или способности слышать язык, а затем подписывать его глухим, что означает, что они не обеспечивают взаимного общения. Устройство также не поддерживает мимику и другие неручные маркеры жестовых языков, которые могут изменить фактическую интерпретацию ASL.[13]

ProDeaf

ProDeaf (WebLibras)[14] - это компьютерная программа, которая может переводить как текст, так и голос на португальские либы (португальский язык жестов), «с целью улучшения общения между глухими и слышащими».[15] В настоящее время находится в разработке бета-версия для Американский язык жестов также. Первоначальная команда начала проект в 2010 году, объединив экспертов, включая лингвистов, дизайнеров, программистов и переводчиков, как слышащих, так и глухих. Команда возникла в Федеральный университет Пернамбуку (UFPE) от группы студентов, участвующих в проекте по информатике. В группе был глухой член команды, которому было трудно общаться с остальной частью группы. Чтобы завершить проект и помочь товарищам по команде общаться, группа создала Proativa Soluções и с тех пор движется вперед.[16] Текущая бета-версия на американском жестовом языке очень ограничена. Например, есть раздел словаря, и единственное слово под буквой «j» - «прыжок». Если устройство не было запрограммировано со словом, цифровой аватар должен ввести слово по пальцу. Последнее обновление приложения было в июне 2016 года, но ProDeaf был показан в более чем 400 статьях в самых популярных СМИ страны.[17]

Приложение не может читать язык жестов и преобразовывать его в слово или текст, поэтому оно служит только для одностороннего общения. Кроме того, пользователь не может войти в приложение и получить перевод на английский язык в любой форме, поскольку английский все еще находится в бета-версии.

Переводчик языка жестов Kinect

С 2012 года исследователи из Китайская Академия Наук и специалисты по обучению глухих из Пекинского унионного университета в Китае сотрудничают с Microsoft Research Азиатская команда создала переводчик языка жестов Kinect.[18] Переводчик состоит из двух режимов: режима переводчика и режима связи. В режиме переводчика можно переводить отдельные слова со знака в письменные слова и наоборот. Режим общения может переводить полные предложения, а разговор может быть автоматически переведен с использованием 3D аватар. Режим переводчика также может определять позы и формы рук подписывающего лица, а также траекторию движения с использованием технологий машинное обучение, распознавание образов, и компьютерное зрение. Устройство также позволяет осуществлять обмен данными, поскольку распознавание речи технология позволяет переводить разговорный язык на язык жестов и 3D моделирование аватар может подписаться обратно для глухих.[19]

Первоначальный проект был запущен в Китае на основе перевода Китайский язык жестов. В 2013 году проект был представлен на саммите Microsoft Research Faculty Summit и встрече компании Microsoft.[20] В настоящее время над этим проектом также работают исследователи из США. Американский язык жестов перевод.[21] На данный момент устройство находится в стадии прототипа, и точность перевода в режиме связи все еще не идеальна.

SignAll

SignAll[22] это система автоматического перевода на язык жестов, предоставляемая Dolphio Technologies[23] в Венгрии. Команда является «первопроходцем в области автоматизированного перевода на язык жестов, основанного на компьютерном зрении и обработке естественного языка (NLP), чтобы обеспечить повседневное общение между людьми со слухом, которые используют разговорный английский, и глухими или слабослышащими людьми, которые используют ASL». Система SignAll использует Kinect от Microsoft и других веб-камер с датчиками глубины, подключенными к компьютеру. В компьютерное зрение технология может распознавать форму руки и движение подписывающего лица, а также систему обработка естественного языка конвертирует собранные данные компьютерного зрения в простую английскую фразу. Разработчик устройства глухой, а остальная часть команды проекта состоит из множества инженеров и лингвистов-специалистов из глухих и слышащих сообществ. Эта технология может включать в себя все пять параметров ASL, которые помогают устройству точно интерпретировать подписывающего. SignAll получил одобрение многих компаний, включая Делойт и LT-Innovate и установила партнерские отношения с Microsoft Bizspark и обновление Венгрии.[24]

MotionSavvy

MotionSavvy[25] был первым языком жестов для голосовой системы. Устройство создано в 2012 году группой из Рочестерский технологический институт / Национальный технический институт глухих и «возникла из ускорителя Leap Motion AXLR8R».[26] Команда использовала чехол для планшета, в котором используется мощь контроллера Leap Motion. Вся команда из шести человек была создана глухими учениками из отделения глухонемых школ.[27] В настоящее время это устройство является одним из двух устройств взаимной связи исключительно для американского жестового языка. Он позволяет глухим подписывать устройство, которое затем переводится или наоборот, переводя разговорный английский на американский язык жестов. Стоимость устройства составляет 198 долларов. Некоторые другие функции включают возможность взаимодействия, обратную связь в реальном времени, конструктор вывесок и краудсайн.

Устройство было проверено всеми, от технологических журналов до Время. Проводной сказала: «Нетрудно было увидеть, насколько революционной может быть такая технология, как [UNI]» и что «[UNI] показался мне своего рода волшебством». Кэти Стейнмец из TIME сказала: «Эта технология может изменить способ глухих. люди живут." Шон Бакли в Engadget отметил: «UNI может стать невероятным инструмент коммуникации."

Рекомендации

  1. ^ Моциалов, Борис; Тернер, Грэм; Лохан, Катрин; Хасти, Хелен (2017). «На пути к непрерывному распознаванию жестового языка с помощью глубокого обучения» (PDF). Создание смысла с помощью роботов-помощников: пробел, оставленный интеллектуальными устройствами (Международная конференция IEEE-RAS по роботам-гуманоидам).
  2. ^ Джефф, Дэвид (1994). «Эволюция механических пальцев рук для слепоглухих». Журнал исследований и разработок в области реабилитации: 236–44.
  3. ^ а б c Партон, Бекки. «Распознавание и перевод жестового языка: мультидисциплинарный подход из области искусственного интеллекта» (PDF). Журнал глухих исследований и образования глухих.
  4. ^ Weissmann, J .; Саломон, Р. (1999-01-01). Распознавание жестов для приложений виртуальной реальности с помощью информационных перчаток и нейронных сетей. Международная совместная конференция по нейронным сетям, 1999. IJCNN '99. 3. С. 2043–2046 т.3. Дои:10.1109 / IJCNN.1999.832699. ISBN  978-0-7803-5529-3.
  5. ^ Боуден, Ричард. «Интерпретация естественного языка жестов на основе видения». 3-я Международная конференция по системам компьютерного зрения.
  6. ^ Bird, Jordan J .; Экарт, Анико; Фариа, Диего Р. (2020). «Распознавание британского языка жестов с помощью позднего слияния компьютерного зрения и скачка с переносом обучения на американский язык жестов». Датчики. 20 (18): 5151. Дои:10,3390 / с20185151.
  7. ^ «В чем разница между переводом и транслитерацией». english.stackexchange.com. Получено 2017-04-06.
  8. ^ «SignAloud».
  9. ^ "Томас Прайор и Навид Азоди | Программа Lemelson-MIT". lemelson.mit.edu. Получено 2019-07-04.
  10. ^ а б «Эти перчатки предлагают современный взгляд на язык жестов». NPR.org. Получено 2017-03-09.
  11. ^ «Коллегиальные изобретатели награждены студенческой премией Lemelson-MIT». Программа Lemelson-MIT. Получено 2017-03-09.
  12. ^ «Студенческая команда UW выиграла студенческий приз Lemelson-MIT в размере 10 000 долларов за перчатки, которые переводят язык жестов». Вашингтонский университет. 2016-04-12. Получено 2017-04-09.
  13. ^ «Неуправляемые маркеры на американском жестовом языке (ASL)». www.lifeprint.com. Получено 2017-04-06.
  14. ^ "ProDeaf". prodeaf.net. Получено 2017-04-09.
  15. ^ "ProDeaf". www.prodeaf.net. Получено 2017-03-09.
  16. ^ "ProDeaf". www.prodeaf.net. Получено 2017-03-16.
  17. ^ "ProDeaf Tradutor для Весов в App Store". Магазин приложений. Получено 2017-03-09.
  18. ^ Силинь, Чен (2013). «Переводчик языка жестов Kinect расширяет возможности общения» (PDF). Microsoft Research Connections. Архивировано из оригинал (PDF) на 2017-04-04. Получено 2017-03-17.
  19. ^ Чжоу, Мин. «Распознавание и перевод жестового языка с помощью Kinect» (PDF). Конференция IEEE.
  20. ^ «Переводчик языка жестов Kinect».
  21. ^ Зафрулла, Захур; Брашир, Элен; Старнер, Тад; Гамильтон, Харлей; Прести, Питер (01.01.2011). Распознавание американского языка жестов с помощью Kinect. Материалы 13-й Международной конференции по мультимодальным интерфейсам. ICMI '11. Нью-Йорк, Нью-Йорк, США: ACM. С. 279–286. Дои:10.1145/2070481.2070532. ISBN  978-1-4503-0641-6.
  22. ^ «SignAll. Мы переводим язык жестов. Автоматически». www.signall.us. Получено 2017-04-09.
  23. ^ «Дольфио | Уникальные IT-технологии». www.dolphio.hu. Получено 2017-04-06.
  24. ^ «SignAll. Мы переводим язык жестов. Автоматически». www.signall.us. Получено 2017-03-09.
  25. ^ «MotionSavvy UNI: первый язык жестов для голосовой системы». Indiegogo. Получено 2017-03-09.
  26. ^ «Рочестерский технологический институт (RIT)». Рочестерский технологический институт (RIT). Получено 2017-04-06.
  27. ^ Цоцис, Алексия. «MotionSavvy - это планшетное приложение, которое понимает язык жестов». TechCrunch. Получено 2017-04-09.