Воображаемая речь - Википедия - Imagined speech

Воображаемая речь (тихая речь или же скрытая речь или же внутренняя речь или, в оригинальной латинской терминологии, унаследованной клиническими терминами эндофазия) является мышление в форме звука - «слышание» собственного голоса беззвучно, без намеренных движений конечностями, такими как губы, язык или руки.[1] Логически, воображаемая речь стало возможным с момента появления языка, однако это явление больше всего связано с обработка сигналов[2] и обнаружение внутри электроэнцефалограф (ЭЭГ) данные[3] а также данные, полученные с помощью альтернативный неинвазивный, интерфейс мозг-компьютер (BCI) устройства.[4]

История

В 2008 г. Агентство перспективных исследовательских проектов Министерства обороны США (DARPA) предоставил грант в 4 миллиона долларов Калифорнийский университет (Ирвин) с целью создания основы для синтетическая телепатия. Согласно DARPA, проект «позволит пользователю общаться на поле боя без использования вокализированной речи посредством анализа нейронных сигналов. Прежде чем посылать электрические импульсы в голосовые связки, мозг генерирует специфические для слова сигналы. Эти воображаемая речь сигналы будут анализироваться и переводиться в отдельные слова, позволяющие скрытое общение между людьми ».[4] В своей книге «Невозможные языки» (2016) Андреа Моро обсуждает «звук мыслей» и взаимосвязь между лингвистическими единицами и воображаемой речью, в основном опираясь на Magrassi et al. (2015) «Звуковое представление в высших языковых областях во время языкового производства».

План программы DARPA преследует три основные цели:[4]

  • Чтобы попытаться идентифицировать паттерны ЭЭГ, уникальные для отдельных слов
  • Чтобы эти шаблоны были общими для разных пользователей, чтобы избежать обширного обучения устройств.
  • Чтобы построить прототип который будет декодировать сигналы и передавать их в ограниченном диапазоне

Методы обнаружения

Процесс анализа предметов ' тихая речь состоит из записывающих субъектов » мозговые волны, а затем с помощью компьютера обработать данные и определить содержание тем. скрытая речь.

Запись

Предмет нейронные паттерны (мозговые волны) можно записать с помощью Устройства BCI;[2] в настоящее время использование неинвазивных устройств,[1] особенно ЭЭГ, представляет больший интерес для исследователей, чем инвазивные и частично инвазивные типы. Это потому, что неинвазивные типы представляют наименьший риск для здоровья субъекта;[4] ЭЭГ вызвали наибольший интерес, потому что они предлагают наиболее удобный подход в дополнение к гораздо менее сложным приборы чем у функциональная магнитно-резонансная томография (фМРТ),[4] еще один широко используемый неинвазивный ИМК.[2]

Обработка

Первым шагом в обработке неинвазивных данных является удаление артефакты такие как движение глаз и моргание, а также другие электромиографический Мероприятия.[3] После удаления артефакта серия алгоритмы используется для перевода необработанных данных в воображаемая речь содержание.[1] Обработка также должна происходить в реальном времени - информация обрабатывается по мере ее записи, что позволяет практически одновременно просматривать контент в том виде, в каком он его представляет.

Расшифровка

Предположительно, «мышление в форме звука» задействует слуховые и языковые области, профили активации которых могут быть извлечены из ЭЭГ при адекватной обработке. Цель состоит в том, чтобы связать эти сигналы с шаблоном, который представляет, «о чем думает человек». Этот шаблон мог бы, например, быть временными рядами акустической огибающей (энергии), соответствующими звуку, если бы он был произнесен физически. Такое линейное отображение от ЭЭГ к стимулу является примером нейронное декодирование.[5]

Однако главная проблема заключается в том, что одно и то же сообщение может иметь множество вариаций в различных физических условиях (например, громкоговоритель или шум). Следовательно, можно иметь один и тот же сигнал ЭЭГ, но неясно, по крайней мере с точки зрения акустики, с каким стимулом его сопоставить. Это, в свою очередь, затрудняет обучение соответствующего декодера.

Вместо этого к этому процессу можно было бы подойти, используя более высокие («лингвистические») представления сообщения. Отображения на такие представления являются нелинейными и могут сильно зависеть от контекста, поэтому могут потребоваться дальнейшие исследования. Тем не менее, известно, что «акустическая» стратегия все еще может поддерживаться путем предварительной установки «шаблона», позволяя слушателю точно знать, о каком сообщении думать, даже если пассивно и в неявной форме. В этих обстоятельствах можно частично декодировать акустическую оболочку речевого сообщения из нейронных временных рядов, если слушателя заставляют думать в форме звука.[6]

Вызовы

При обнаружении других воображаемых действий, таких как воображаемые физические движения, большая активность мозга происходит в одном полушарие над другим. Это присутствие асимметричной активности играет важную роль в идентификации воображаемого действия субъекта. При обнаружении воображаемой речи одинаковые уровни активности обычно возникают как в левое и правое полушария одновременно. Это отсутствие латерализация демонстрирует серьезную проблему при анализе нейронных сигналов этого типа.[2]

Еще одна уникальная проблема - относительно низкая отношение сигнал / шум (SNR) в записанных данных. SNR представляет собой количество значимых сигналов, обнаруженных в наборе данных, по сравнению с количеством произвольных или бесполезных сигналов, присутствующих в том же наборе. Артефакты, присутствующие в данных ЭЭГ, являются лишь одним из многих значительных источников шума.[1]

Еще больше усложняет ситуацию то, что относительное расположение электродов ЭЭГ будет варьироваться у разных пациентов. Это потому, что анатомический детали голов людей будут отличаться; следовательно, записываемые сигналы будут различаться для каждого субъекта, независимо от индивидуальных характеристик воображаемой речи.[3]

Смотрите также

Рекомендации

  1. ^ а б c d Brigham, K .; Виджая Кумар, B.V.K., "Классификация воображаемой речи с сигналами ЭЭГ для бесшумного общения: предварительное исследование синтетической телепатии[постоянная мертвая ссылка ]", Июнь 2010 г.
  2. ^ а б c d Brigham, K .; Виджая Кумар, B.V.K., "Идентификация объекта по сигналам электроэнцефалограммы (ЭЭГ) во время воображаемой речи[постоянная мертвая ссылка ]", Сентябрь 2010 г.
  3. ^ а б c А. Порбаднигк; М. Вестер; Шульц, Т. "Распознавание речи на основе ЭЭГ: влияние временных эффектов В архиве 2012-01-05 в Wayback Machine ", 2009.
  4. ^ а б c d е Роберт Бог "Интерфейсы мозг-компьютер: управление мыслью "Промышленный робот: Международный журнал, Том 37 Выпуск: 2, стр 126 - 132, 2010 г.
  5. ^ Мартин, Стефани; Бруннер, Питер; Холдграф, Крис; Хайнце, Ханс-Йохен; Crone, Nathan E .; Ригер, Йохем; Шальк, Гервин; Knight, Роберт Т .; Пэсли, Брайан Н. (27 мая 2014 г.). «Расшифровка спектрально-временных особенностей явной и скрытой речи из коры головного мозга человека». Границы нейроинженерии. 7: 14. Дои:10.3389 / fneng.2014.00014. ISSN  1662-6443. ЧВК  4034498. PMID  24904404.
  6. ^ Сервантес Константино, F; Саймон, JZ (2018). «Восстановлению и эффективности нейронной обработки непрерывной речи способствует предшествующее знание». Границы системной нейробиологии. 12 (56): 56. Дои:10.3389 / fnsys.2018.00056. ЧВК  6220042. PMID  30429778.