Голосовой пользовательский интерфейс - Voice user interface

А голосовой интерфейс пользователя (VUI) делает возможным речевое взаимодействие человека с компьютером, используя распознавание речи понимать голосовые команды и ответить на вопросы, и обычно текст в речь сыграть ответ. А устройство голосового управления (VCD) - это устройство, управляемое с помощью голосового пользовательского интерфейса.

Голосовые пользовательские интерфейсы были добавлены в автомобили, Домашняя автоматизация системы, компьютер операционные системы, бытовая техника подобно стиральные машины и микроволновые печи, и телевидение пульты управления. Они являются основным способом взаимодействия с виртуальные помощники на смартфоны и умные колонки. Старшая автоматические помощники (которые направляют телефонные звонки на правильный добавочный номер) и интерактивный голосовой отклик системы (которые проводят более сложные операции по телефону) могут реагировать на нажатие кнопок клавиатуры через DTMF тональные сигналы, но те, у которых есть полностью голосовой пользовательский интерфейс, позволяют вызывающим абонентам озвучивать запросы и ответы без необходимости нажимать какие-либо кнопки.

Новые VCD не зависят от говорящего, поэтому они могут реагировать на несколько голосов независимо от акцента или диалектных влияний. Они также способны отвечать на несколько команд одновременно, разделяя голосовые сообщения и обеспечивая соответствующие Обратная связь, точно имитирующий естественный разговор.[1]

Обзор

VUI - это интерфейс к любому речевому приложению. Управлять машиной, просто разговаривая с ней, было научная фантастика совсем недавно. До недавнего времени этот район считался искусственный интеллект. Однако достижения в таких технологиях, как преобразование текста в речь, преобразование речи в текст, обработка естественного языка и облачных сервисов, в целом, способствовали массовому внедрению этих типов интерфейсов. VUI стали более обычным явлением, и люди пользуются преимуществами этих свободные руки, незаметные интерфейсы, предоставляемые во многих ситуациях.

VUI должны надежно реагировать на ввод, иначе они будут отклонены и часто высмеиваются их пользователями. Создание хорошего VUI требует междисциплинарных талантов Информатика, лингвистика и человеческий фактор психология - все это навыки, которые дороги и труднодоступны. Даже с использованием передовых инструментов разработки создание эффективного VUI требует глубокого понимания как задач, которые необходимо выполнить, так и целевой аудитории, которая будет использовать окончательную систему. Чем ближе VUI соответствует ментальной модели задачи пользователя, тем проще будет его использовать с минимальным обучением или без него, что приведет как к более высокой эффективности, так и к более высокому удовлетворению пользователей.

VUI, разработанный для широкой публики, должен подчеркивать простоту использования и предоставлять много помощи и рекомендаций для тех, кто звонит впервые. Напротив, VUI, предназначенный для небольшой группы опытные пользователи (включая выездных служащих), должны больше сосредоточиваться на производительности и меньше на помощи и руководстве. Такие приложения должны упростить поток вызовов, свести к минимуму количество подсказок, исключить ненужные итерации и позволить разработать "смешанную инициативу". диалоги ", которые позволяют вызывающим абонентам вводить несколько фрагментов информации в одном высказывании и в любом порядке или в любой комбинации. Короче говоря, речевые приложения должны быть тщательно разработаны для конкретного автоматизированного бизнес-процесса.

Не все бизнес-процессы одинаково хорошо подходят для автоматизации речи. В целом, чем сложнее запросы и транзакции, тем сложнее их автоматизировать и тем выше вероятность того, что они потерпят неудачу у широкой публики. В некоторых сценариях автоматизация просто не применима, поэтому помощь живого агента - единственный вариант. Например, горячую линию для юридических консультаций было бы очень сложно автоматизировать. С другой стороны, речь идеально подходит для обработки быстрых и рутинных транзакций, таких как изменение статуса рабочего задания, завершение записи о времени или расходах или перевод средств между счетами.

История

Ранние приложения для VUI включали голосовую активацию набор номера телефонов, напрямую или через (обычно Bluetooth ) гарнитуру или автомобильную аудиосистему.

В 2007 г. CNN бизнес-статья сообщала, что голосовая команда стоит более миллиарда долларов и что такие компании, как Google и яблоко пытались создать функции распознавания речи.[2] С момента публикации статьи прошли годы, и с тех пор мир стал свидетелем множества устройств голосового управления. Кроме того, Google создал движок распознавания речи под названием Pico TTS, а Apple выпустила Siri. Устройства голосового управления становятся все более доступными, и постоянно создаются инновационные способы использования человеческого голоса. Например, Business Week предполагает, что в будущем пульте дистанционного управления будет человеческий голос. В настоящее время Xbox Live позволяет такие функции и Вакансии намекнул на такую ​​особенность на новом Apple TV.[3]

Программные продукты голосового управления

Оба Apple Mac и Windows ПК предоставляют встроенные функции распознавания речи для своих последних операционные системы.

Майкрософт Виндоус

Две операционные системы Microsoft, Windows 7 и Виндоус виста, предоставить возможности распознавания речи. Microsoft интегрировала голосовые команды в свои операционные системы, чтобы предоставить механизм для людей, которые хотят ограничить использование мыши и клавиатуры, но при этом хотят сохранить или повысить свою общую производительность.[4]

Виндоус виста

С помощью голосового управления Windows Vista пользователь может диктовать документы и электронные письма в основных приложениях, запускать приложения и переключаться между ними, управлять операционной системой, форматировать документы, сохранять документы, редактировать файлы, эффективно исправлять ошибки и заполнять формы на Интернет. Программное обеспечение для распознавания речи обучается автоматически каждый раз, когда пользователь его использует, и распознавание речи доступно на английском (США), английском (Великобритания), немецком (Германия), французском (Франция), испанском (Испания), японском, китайском (традиционном) языках. и китайский (упрощенный). Кроме того, программное обеспечение поставляется с интерактивным учебным пособием, которое можно использовать для обучения как пользователя, так и механизма распознавания речи.[5]

Windows 7

В дополнение ко всем функциям, предоставляемым в Windows Vista, в Windows 7 есть мастер для настройки микрофона и руководство по использованию этой функции.[6]

Mac OS X

Все Mac OS X компьютеры поставляются с предустановленным программным обеспечением для распознавания речи. Программное обеспечение не зависит от пользователя и позволяет пользователю «перемещаться по меню и вводить сочетания клавиш; озвучивать названия флажков, названия переключателей, элементы списка и названия кнопок; а также открывать, закрывать, контролировать и переключаться между приложениями. "[7] Однако веб-сайт Apple рекомендует пользователю купить коммерческий продукт под названием Диктовать.[7]

Коммерческие продукты

Если пользователя не устраивает встроенное программное обеспечение для распознавания речи или у пользователя нет встроенного программного обеспечения для распознавания речи для своей ОС, то пользователь может поэкспериментировать с коммерческим продуктом, таким как Braina Pro или же ДраконЕстественно для ПК с Windows,[8]и Dictate - название того же программного обеспечения для Mac OS.[9]

Мобильные устройства голосового управления

Любое мобильное устройство под управлением ОС Android, Microsoft Windows Phone, iOS 9 или новее или Blackberry OS предоставляет возможности голосовых команд. В дополнение к встроенному программному обеспечению распознавания речи для каждой операционной системы мобильного телефона пользователь может загружать сторонние приложения голосовых команд из магазина приложений каждой операционной системы: Магазин приложений Apple, Гугл игры, Магазин Windows Phone (первоначально Windows Marketplace для мобильных устройств ), или же Мир приложений BlackBerry.

ОС Android

Google разработала операционную систему с открытым исходным кодом под названием Android, который позволяет пользователю выполнять голосовые команды, например: отправлять текстовые сообщения, слушать музыку, прокладывать маршруты, звонить в компании, звонить контактам, отправлять электронную почту, просматривать карту, переходить на веб-сайты, писать заметки и выполнять поиск в Google.[10]Программа распознавания речи доступна для всех устройств с Android 2.2 «Froyo», но в настройках должен быть установлен английский язык.[10] Google позволяет пользователю изменять язык, и при первом использовании функции распознавания речи пользователю предлагается указать, хочет ли он, чтобы его голосовые данные были привязаны к его учетной записи Google. Если пользователь решит воспользоваться этой услугой, это позволит Google обучить программное обеспечение голосу пользователя.[11]

Google представил Google Ассистент с Android 7.0 «Нуга». Она намного более продвинутая, чем старая версия.

Amazon.com имеет Эхо который использует пользовательскую версию Android от Amazon для обеспечения голосового интерфейса.

Майкрософт Виндоус

телефон с операционной системой Виндоус является Microsoft операционная система мобильного устройства. В Windows Phone 7.5 речевое приложение не зависит от пользователя и может использоваться для: вызова кого-либо из вашего списка контактов, вызова любого номера телефона, повторного набора последнего номера, отправки текстового сообщения, вызова вашей голосовой почты, открытия приложения, чтения встреч , запросить статус телефона и поиск в Интернете.[12][13]Кроме того, во время телефонного звонка также можно использовать речь, и во время телефонного звонка возможны следующие действия: нажмите номер, включите громкую связь или позвоните кому-нибудь, что поместит текущий звонок на удержание.[13]

Windows 10 представляет Кортана, система голосового управления, которая заменяет ранее использовавшееся голосовое управление на телефонах Windows.

iOS

Apple добавила голосовое управление в свой семейство устройств iOS как новая особенность iPhone OS 3. В Айфон 4С, iPad 3, iPad Mini 1G, iPad Air, iPad Pro 1 ГБ, iPod Touch 5G а позже все поставляются с более продвинутым голосовым помощником под названием Siri. Голосовое управление по-прежнему можно включить через меню настроек на новых устройствах. Siri - это независимая от пользователя встроенная функция распознавания речи, которая позволяет пользователю отдавать голосовые команды. С помощью Siri пользователь может выполнять такие команды, как отправка текстового сообщения, проверка погоды, установка напоминаний, поиск информации, планирование встреч, отправка электронной почты, поиск контакта, установка будильника, получение маршрутов, отслеживание ваших акций, установите таймер и попросите примеры запросов голосовых команд.[14] Кроме того, Siri работает с Bluetooth и проводные наушники.[15]

Amazon Alexa

В 2014 году Amazon представила Умное домашнее устройство Alexa. Его основным назначением была просто умная колонка, позволяющая потребителю управлять устройством с помощью голоса. В конце концов, он превратился в новинку, которая могла управлять бытовой техникой с помощью голоса. Теперь с помощью Alexa можно управлять почти всей техникой, включая лампочки и температуру. Разрешая голосовое управление, Alexa может подключаться к технологии умного дома, позволяющей запирать дом, контролировать температуру и активировать различные устройства. Эта форма искусственного интеллекта позволяет кому-то просто задать вопрос, а в ответ Alexa ищет, находит и произносит ответ вам.[16]

Распознавание речи в автомобилях

По мере совершенствования автомобильных технологий в автомобили будет добавлено больше функций, и эти функции, скорее всего, будут отвлекать водителя. Голосовые команды для автомобилей, согласно CNET, должен позволять водителю отдавать команды и не отвлекаться. CNET заявила, что Nuance предполагала, что в будущем они создадут программное обеспечение, напоминающее Siri, но для автомобилей.[17] В большинстве программ для распознавания речи на рынке в 2011 году было от 50 до 60 голосовых команд, а у Ford Sync их было 10 000.[17] Однако CNET предположила, что даже 10 000 голосовых команд было недостаточно, учитывая сложность и разнообразие задач, которые пользователь может выполнять во время вождения.[17] Голосовая команда для автомобилей отличается от голосовой команды для мобильных телефонов и компьютеров, потому что водитель может использовать эту функцию для поиска ближайших ресторанов, бензина, направления движения, дорожных условий и местоположения ближайшего отеля.[17] В настоящее время технология позволяет водителю отдавать голосовые команды как на портативном устройстве. GPS как Garmin и навигационная система производителя автомобилей.[18]

Список систем голосового управления, предоставляемых производителями двигателей:

Невербальный ввод

Хотя большинство голосовых пользовательских интерфейсов предназначены для поддержки взаимодействия посредством разговорного человеческого языка, недавно были проведены исследования по разработке интерфейсов, принимающих невербальные человеческие звуки в качестве входных данных. В этих системах пользователь управляет интерфейсом, издавая неречевые звуки, такие как гудение, свист или дуновение в микрофон.[19]

Одним из таких примеров невербального голосового пользовательского интерфейса является Blendie.[20][21], интерактивная художественная инсталляция, созданная Келли Добсон. Изделие представляло собой классический блендер 1950-х годов, который был модифицирован для работы с микрофонным входом. Чтобы управлять блендером, пользователь должен имитировать жужжащие механические звуки, которые обычно издает блендер: блендер будет медленно вращаться в ответ на низкое рычание пользователя и увеличиваться в скорости, когда пользователь издает более высокие звуки голоса.

Другой пример - VoiceDraw.[22], исследовательская система, позволяющая рисовать в цифровом формате людям с ограниченными двигательными способностями. VoiceDraw позволяет пользователям «рисовать» штрихи на цифровом холсте, модулируя гласные звуки, которые сопоставляются с направлениями кисти. Модуляция других паралингвистических характеристик (например, громкости их голоса) позволяет пользователю управлять различными функциями рисунка, такими как толщина мазка кисти.

Другие подходы включают использование невербальных звуков для расширения сенсорных интерфейсов (например, на мобильном телефоне) для поддержки новых типов жестов, которые были бы невозможны при вводе одним пальцем.[23]

Проблемы дизайна

Голосовые интерфейсы создают значительное количество проблем для удобства использования. В отличие от графических пользовательских интерфейсов (GUI), передовые методы проектирования голосовых интерфейсов все еще появляются.[24]

Обнаруживаемость

При чисто звуковом взаимодействии голосовые пользовательские интерфейсы, как правило, страдают от низкой обнаруживаемости.[24]: пользователям сложно понять объем возможностей системы. Для того, чтобы система могла передать то, что возможно без визуального отображения, необходимо перечислить доступные варианты, что может стать утомительным или невыполнимым. Низкая обнаруживаемость часто приводит к тому, что пользователи сообщают о путанице в том, что им «разрешено» говорить, или о несовпадении ожиданий относительно широты понимания системы.[25][26].

Транскрипция

Пока распознавание речи технология значительно улучшилась за последние годы, голосовые пользовательские интерфейсы по-прежнему страдают от ошибок синтаксического анализа или транскрипции, из-за которых речь пользователя не интерпретируется правильно.[27] Эти ошибки, как правило, особенно распространены, когда в речевом содержании используется технический словарь (например, медицинская терминология) или нетрадиционные варианты написания, такие как музыкальные исполнители или названия песен.[28]

Понимание

Эффективный дизайн системы для максимизации разговорное понимание остается открытой областью исследований. Голосовые пользовательские интерфейсы, которые интерпретируют состояние разговора и управляют им, сложно спроектировать из-за присущей сложности интеграции сложных обработка естественного языка такие задачи, как разрешение кореферентности, признание названного лица, поиск информации, и управление диалогом.[29] Большинство голосовых помощников сегодня способны очень хорошо выполнять отдельные команды, но ограничены в их способности управлять диалогом за пределами узкой задачи или пары поворотов в разговоре.[30]

Будущее использование

Карманные устройства, такие как КПК или же мобильные телефоны, в настоящее время полагаются на маленькие кнопки для пользовательского ввода. Они либо встроены в устройство, либо являются частью интерфейса сенсорного экрана, такого как у Apple. Ipod Touch и iPhone Приложение Siri. Длительное нажатие на кнопки на устройствах с такими маленькими кнопками может быть утомительным и неточным, поэтому простой в использовании, точный и надежный VUI потенциально может стать большим прорывом в простоте их использования. Тем не менее, такой VUI также принесет пользу пользователям компьютеров размером с ноутбук и настольный компьютер, так как он решит многочисленные проблемы, связанные в настоящее время с клавиатурой и мышь использование, включая травмы от повторяющихся нагрузок, такие как синдром запястного канала и медленная скорость набора со стороны неопытных пользователей клавиатуры. Более того, использование клавиатуры обычно предполагает сидение или стояние неподвижно перед подключенным дисплеем; напротив, VUI позволит пользователю быть гораздо более мобильным, поскольку голосовой ввод устраняет необходимость смотреть на клавиатуру.

Такие разработки могут буквально изменить облик существующих машин и иметь далеко идущие последствия для взаимодействия пользователей с ними. Переносные устройства будут разработаны с большими экранами, удобными для просмотра, так как клавиатура не потребуется. Устройствам с сенсорным экраном больше не нужно разделять отображение между содержимым и экранной клавиатурой, что обеспечивает просмотр содержимого в полноэкранном режиме. Ноутбуки можно было бы по существу сократить вдвое с точки зрения размера, поскольку половина клавиатуры была бы удалена, а все внутренние компоненты были бы интегрированы за дисплеем, что фактически привело к простому планшет. Настольные компьютеры будут состоять из процессора и экрана, что позволит сэкономить место на рабочем столе, которое в противном случае заняло бы клавиатуру, и исключить выдвижные подставки для клавиатуры, встроенные под поверхность стола. Телевидение пульты управления и клавиатуры на десятках других устройств, от микроволновых печей до копировальных аппаратов, также могут быть исключены.

Однако для такого развития событий необходимо преодолеть множество проблем. Во-первых, VUI должен быть достаточно сложным, чтобы различать ввод, такой как команды, и фоновый диалог; в противном случае будет зарегистрирован ложный ввод, и подключенное устройство будет вести себя нестабильно. Стандартная подсказка, например знаменитая «Компьютер!» вызовы персонажей научно-фантастических телешоу и фильмов, таких как Звездный путь, может активировать VUI и подготовить его к дальнейшему входу от того же динамика. Возможно, VUI также может включать в себя представление, подобное человеку: например, голос или даже экранный персонаж, который отвечает (например, «Да, Вамши?») И продолжает общаться с пользователем взад и вперед в чтобы уточнить полученные данные и обеспечить точность.

Во-вторых, VUI должен работать совместно с очень сложным программным обеспечением, чтобы точно обрабатывать и находить / извлекать информацию или выполнять действия в соответствии с предпочтениями конкретного пользователя. Например, если Саманта предпочитает информацию из определенной газеты, и если она предпочитает, чтобы информация была резюмирована в виде точек, она может сказать: «Компьютер, найди мне некоторую информацию о наводнении в южном Китае прошлой ночью»; в ответ VUI, знакомый с ее предпочтениями, «найдет» факты о «наводнении» в «южном Китае» из этого источника, преобразует их в точечную форму и доставит ей на экран и / или в голосовой форме, в комплекте с цитатой. Поэтому точный программное обеспечение для распознавания речи, наряду с некоторой степенью искусственный интеллект со стороны машины, связанной с VUI, потребуется.

Последствия для конфиденциальности

Проблемы конфиденциальности возникают в связи с тем, что голосовые команды доступны поставщикам голосовых пользовательских интерфейсов в незашифрованном виде и, таким образом, могут передаваться третьим лицам и обрабатываться несанкционированным или неожиданным образом.[31][32] В дополнение к лингвистическому содержанию записанной речи манера выражения и характеристики голоса пользователя могут неявно содержать информацию о его или ее биометрической идентичности, личностных качествах, форме тела, физическом и психическом состоянии здоровья, поле, поле, настроении и эмоциях, социально-экономическом статусе. и географическое происхождение.[33]

Смотрите также

Рекомендации

  1. ^ «Голосовое управление стиральной машиной». Журнал Appliance.
  2. ^ Борзо, Жанетт (8 февраля 2007 г.). "Сейчас ты разговариваешь". CNN Деньги. Получено 25 апреля 2012.
  3. ^ "Голосовое управление, конец пульта дистанционного управления?". Деловая неделя. Получено 1 мая 2012.
  4. ^ «Windows Vista, встроенная в речь». Виндоус виста. Получено 25 апреля 2012.
  5. ^ "Речевые операции в Vista". Microsoft.
  6. ^ «Настройка распознавания речи». Microsoft.
  7. ^ а б «Физические и моторные навыки». Яблоко.
  8. ^ "DragonNaturallySpeaking PC". Нюанс.
  9. ^ "DragonNaturallySpeaking Mac". Нюанс.
  10. ^ а б «Голосовые команды». Google.
  11. ^ "Google Voice Search для Android теперь можно" обучить "своему голосу". Получено 24 апреля 2012.
  12. ^ «Использование голосового управления». Microsoft. Получено 24 апреля 2012.
  13. ^ а б «Использование голосовых команд». Microsoft. Получено 27 апреля 2012.
  14. ^ «Siri, iPhone 3GS & 4, iPod 3 и 4, имеют голосовое управление, как экспресс Siri, оно воспроизводит музыку, приостанавливает воспроизведение музыки, поддерживает Facetime и функции вызова». яблоко. Получено 27 апреля 2012.
  15. ^ «FAQ по Siri». Яблоко.
  16. ^ https://www.businessinsider.com/amazon-echo-and-alexa-history-from-speaker-to-smart-home-hub-2017-5
  17. ^ а б c d "Siri Like Voice". CNET.
  18. ^ «Портативный GPS с голосом». CNET.
  19. ^ «Голосовые манипуляции с дополнениями | Материалы 15-й международной конференции по взаимодействию человека и компьютера с мобильными устройствами и сервисами». dlnext.acm.org. Дои:10.1145/2493190.2493244. Получено 2019-02-27.
  20. ^ «Blendie | Материалы 5-й конференции« Проектирование интерактивных систем: процессы, практики, методы и приемы ». dlnext.acm.org. Дои:10.1145/1013115.1013159. Получено 2019-02-27.
  21. ^ "Келли Добсон: Бленди". web.media.mit.edu. Получено 2019-02-27.
  22. ^ "Voicedraw | Материалы 9-й международной конференции ACM SIGACCESS по компьютерам и доступности". dlnext.acm.org. Дои:10.1145/1296843.1296850. Получено 2019-02-27.
  23. ^ «Голосовые манипуляции с дополнениями | Материалы 15-й международной конференции по взаимодействию человека и компьютера с мобильными устройствами и сервисами». dlnext.acm.org. Дои:10.1145/2493190.2493244. Получено 2019-02-27.
  24. ^ а б «Рекомендации по проектированию голосового взаимодействия без помощи рук | Материалы 20-й Международной конференции по взаимодействию человека и компьютера с мобильными устройствами и дополнительными службами». dlnext.acm.org. Дои:10.1145/3236112.3236149. Получено 2019-02-27.
  25. ^ "Разработка речевых актов | Труды конференции SIGCHI по человеческому фактору в вычислительных системах". dlnext.acm.org. Дои:10.1145/223904.223952. Получено 2019-02-27.
  26. ^ «Что я могу сказать? | Материалы 18-й Международной конференции по взаимодействию человека и компьютера с мобильными устройствами и услугами». dlnext.acm.org. Дои:10.1145/2935334.2935386. Получено 2019-02-27.
  27. ^ «Паттерны того, как пользователи преодолевают препятствия в голосовых пользовательских интерфейсах | Материалы конференции CHI 2018 по человеческому фактору в вычислительных системах». dlnext.acm.org. Дои:10.1145/3173574.3173580. Получено 2019-02-27.
  28. ^ ""Play PRBLMS "| Материалы конференции CHI 2018 по человеческому фактору в вычислительных системах". dlnext.acm.org. Дои:10.1145/3173574.3173870. Получено 2019-02-27.
  29. ^ Галицкий, Борис (2019). Разработка корпоративных чат-ботов: изучение лингвистических структур (1-е изд.). Чам, Швейцария: Springer. С. 13–24. Дои:10.1007/978-3-030-04299-8. ISBN  978-3-030-04298-1.
  30. ^ Перл, Кэти (2016-12-06). Проектирование голосовых интерфейсов пользователя: принципы разговорного опыта (1-е изд.). Севастополь, Калифорния: O'Reilly Media. С. 16–19. ISBN  978-1-491-95541-3.
  31. ^ «Apple, Google и Amazon, возможно, нарушили вашу конфиденциальность, просмотрев команды цифрового помощника». Удача. 2019-08-05. Получено 2020-05-13.
  32. ^ Херн, Алекс (2019-04-11). «Сотрудники Amazon слушают записи Alexa клиентов, - говорится в отчете». хранитель. Получено 2020-05-21.
  33. ^ Крегер, Якоб Леон; Лутц, Отто Ганс-Мартин; Рашке, Филипп (2020). «Последствия для конфиденциальности анализа голоса и речи - раскрытие информации путем вывода». 576: 242–258. Дои:10.1007/978-3-030-42504-3_16. ISSN  1868-4238. Цитировать журнал требует | журнал = (помощь)

внешняя ссылка