Интерфейс мозг – компьютер - Brain–computer interface

Эта статья поднимает множество проблем. Пожалуйста помоги Улучши это или обсудите эти вопросы на страница обсуждения. (Узнайте, как и когда удалить эти сообщения-шаблоны) эта статья слишком полагается на использованная литература к основные источники. Пожалуйста, улучшите это, добавив вторичные или третичные источники. (Март 2018 г.) (Узнайте, как и когда удалить этот шаблон сообщения) эта статья возможно содержит оригинальные исследования. Пожалуйста Улучши это от проверка заявленные претензии и добавление встроенные цитаты. Заявления, содержащие только оригинальные исследования, следует удалить. (Март 2018 г.) (Узнайте, как и когда удалить этот шаблон сообщения) (Узнайте, как и когда удалить этот шаблон сообщения)

А интерфейс мозг-компьютер (BCI), иногда называемый интерфейс нейронного управления (NCI), интерфейс разум-машина (MMI), прямой нейронный интерфейс (DNI), или интерфейс мозг-машина (ИМТ), представляет собой прямой канал связи между усиленным или проводным мозг и внешнее устройство. BCI часто направлены на исследование, отображение, помогая, увеличение или восстановление когнитивных или сенсомоторных функций человека.^[1]

Исследования BCI начались в 1970-х гг. Калифорнийский университет в Лос-Анджелесе (UCLA) в рамках гранта от Национальный научный фонд, за которым следует контракт от DARPA.^[2][3] В статьях, опубликованных после этого исследования, также впервые появляется выражение интерфейс мозг-компьютер в научной литературе.

Из-за корковая пластичность мозга, сигналы от имплантированного протезы может после адаптации обрабатываться мозгом как естественные сенсорные или эффекторные каналы.^[4] После многих лет экспериментов на животных первые нейропротез устройства, имплантированные человеку, появились в середине 1990-х годов.

В последнее время учится в Взаимодействие человека с компьютером посредством применения машинное обучение со статистическими временными характеристиками, извлеченными из Лобная доля, Мозговая волна ЭЭГ данные показали высокий уровень успеха в классификации психические состояния (Расслабленный, нейтральный, сосредоточенный),^[5] психоэмоциональные состояния (негативное, нейтральное, позитивное)^[6] и таламокортикальная аритмия.^[7]

История

История интерфейсов мозг-компьютер (BCI) начинается с Ганс Бергер открытие электрической активности человеческого мозга и развитие электроэнцефалография (ЭЭГ). В 1924 году Бергер первым зарегистрировал активность мозга человека с помощью ЭЭГ. Бергер смог идентифицировать колебательная активность, например, волна Бергера или альфа-волна (8–13 Гц), анализируя записи ЭЭГ.

Первое записывающее устройство Бергера было очень примитивным. Он вставил Серебряный провода под скальпами его пациентов. Позже они были заменены серебряной фольгой, прикрепленной к голове пациента резиновыми бинтами. Бергер подключил эти датчики к Капиллярный электрометр Липпмана, с неутешительными результатами. Однако более сложные измерительные приборы, такие как Сименс двойная катушка записи гальванометр, который отображал электрическое напряжение до одной десятитысячной вольта, привел к успеху.

Бергер проанализировал взаимосвязь чередования волновых диаграмм ЭЭГ с болезни мозга. ЭЭГ открыли совершенно новые возможности для исследования деятельности человеческого мозга.

Хотя этот термин еще не был придуман, одним из первых примеров работающего интерфейса мозг-машина был кусок Музыка для сольного исполнителя (1965) американского композитора Элвин Люсьер. В пьесе используется оборудование для обработки ЭЭГ и аналогового сигнала (фильтры, усилители и микшерный пульт) для стимуляции акустических ударных инструментов. Для исполнения произведения необходимо произвести альфа-волны и, таким образом, «играть» на различных ударных инструментах через громкоговорители, которые расположены рядом или непосредственно на самих инструментах.^[8]

UCLA Профессор Жак Видаль ввел термин «BCI» и выпустил первые рецензируемые публикации по этой теме.^[2][3] Видаль широко известен как изобретатель BCI в сообществе BCI, что отражено в многочисленных рецензируемых статьях, в которых рассматривается и обсуждается данная область (например,^[9][10][11]). В его статье 1973 года была сформулирована «проблема BCI»: управление внешними объектами с помощью сигналов ЭЭГ. Особенно он указал на Условное отрицательное изменение (CNV) потенциал как проблема для контроля BCI. Описанный Видалем эксперимент 1977 г. был первым применением BCI после его провокации 1973 г. Это был неинвазивный контроль ЭЭГ (на самом деле визуальных вызванных потенциалов (ЗВП)) графического объекта, похожего на курсор, на экране компьютера. Демонстрация движения в лабиринте.^[12]

После своего раннего вклада Видал в течение многих лет не принимал участия ни в исследованиях BCI, ни в мероприятиях BCI, таких как конференции. Однако в 2011 году он прочитал лекцию в Грац, Австрия, поддержанный проектом Future BNCI, представляет первый BCI, который заслужил овации. К Видалю присоединилась его жена Ларис Видал, которая ранее работала с ним в Калифорнийском университете в Лос-Анджелесе над его первым проектом BCI.

В 1988 г. был сделан отчет о неинвазивном контроле ЭЭГ физического объекта - робота. Описанный эксперимент представлял собой ЭЭГ-контроль многократного запуска-остановки-перезапуска движения робота по произвольной траектории, определяемой линией, проведенной на полу. Следование линии было поведением робота по умолчанию, с использованием автономного интеллекта и автономного источника энергии.^[13][14] Этот отчет 1988 года, написанный Стево Божиновски, Михаилом Сестаковым и Лиляной Божиновской, был первым отчетом об управлении роботом с помощью ЭЭГ.^[15][16]

В 1990 году был представлен отчет о замкнутом, двунаправленном адаптивном BCI, управляющем компьютерным зуммером с помощью упреждающего потенциала мозга, потенциала условной отрицательной вариации (CNV).^[17][18] Эксперимент описал, как состояние ожидания мозга, проявляемое CNV, контролирует в петле обратной связи зуммер S2 в парадигме S1-S2-CNV. Полученная когнитивная волна, представляющая ожидаемое обучение в мозге, называется электроэкспектограммой (EXG). Потенциал мозга CNV был частью проблемы BCI, представленной Видалем в его статье 1973 года.

ИМК в сравнении с нейропротезами

Нейропротезирование - это область нейробиология связаны с невральными протезами, то есть с использованием искусственных устройств для замены функций нарушенной нервной системы и проблем, связанных с мозгом, или самих органов чувств (мочевого пузыря, диафрагмы и т. д.). По состоянию на декабрь 2010 г. кохлеарные имплантаты был имплантирован как нейропротез примерно 220 000 человек по всему миру.^[19] Есть также несколько нейропротезных устройств, предназначенных для восстановления зрения, в том числе имплантаты сетчатки. Однако первым нейропротезом был кардиостимулятор.

Иногда эти термины используются как синонимы. Нейропротезирование и ИМК стремятся достичь одних и тех же целей, таких как восстановление зрения, слуха, движения, коммуникативной способности и даже когнитивные функции.^[1] Оба используют аналогичные экспериментальные методы и хирургические техники.

Исследование BCI на животных

Нескольким лабораториям удалось записать сигналы от обезьяны и крысы. коры головного мозга управлять BCI для создания движения. Обезьяны прошли компьютерные курсоры на экране и приказывал роботизированным манипуляторам выполнять простые задачи, просто думая о задаче и наблюдая визуальную обратную связь, но без какой-либо двигательной активности.^[20] В мае 2008 года фотографии, на которых запечатлена обезьяна в Медицинский центр Университета Питтсбурга Работа с роботизированной рукой с помощью мышления была опубликована в ряде известных научных журналов и журналов.^[21]

Ранняя работа

Обезьяна управляет роботизированной рукой с интерфейсом мозг-компьютер (лаборатория Шварца, Университет Питтсбурга)

В 1969 г. оперантного кондиционирования исследования Фетца и его коллег в Региональном исследовательском центре приматов и отделении физиологии и биофизики, Школа медицины Вашингтонского университета в Сиэтл, впервые показали, что обезьяны могут научиться контролировать отклонение биологическая обратная связь метр с нейронной активностью.^[22] Аналогичная работа 1970-х годов установила, что обезьяны могут быстро научиться добровольно контролировать скорость возбуждения отдельных и множественных нейронов в первичном звене. моторная кора если бы они были вознаграждены за создание соответствующих паттернов нейронной активности.^[23]

Разработанные исследования алгоритмы реконструировать движения из моторная кора нейроны, которые контролируют движение, относятся к 1970-м годам. В 1980-х годах Апостолос Георгопулос в Университет Джона Хопкинса обнаружили математическую взаимосвязь между электрическими ответами нейронов одиночной моторной коры в макаки резус и направление, в котором они двигали руками (на основе косинус функция). Он также обнаружил, что рассредоточенные группы нейронов в разных областях мозга обезьяны коллективно управляют двигательными командами, но из-за технических ограничений, налагаемых его оборудованием, он мог записывать срабатывания нейронов только в одной области за раз.^[24]

С середины 1990-х годов BCI быстро развивались.^[25] Несколько групп смогли уловить сложные сигналы моторной коры головного мозга путем записи с нейронные ансамбли (группы нейронов) и использовать их для управления внешними устройствами.

Выдающиеся успехи в исследованиях

Кеннеди и Ян Дан

Филлип Кеннеди (который позже основал Neural Signals в 1987 году) и его коллеги создали первый интракортикальный интерфейс мозг-компьютер, имплантировав нейротрофический конус. электроды в обезьян.^{[нужна цитата ]}

Ян Дан и его коллеги записали зрение кошки с помощью BCI, имплантированного в латеральное коленчатое ядро (верхний ряд: исходное изображение; нижний ряд: запись)

В 1999 году исследователи под руководством Ян Дана из Калифорнийский университет в Беркли расшифрованные нейронные импульсы для воспроизведения изображений, видимых кошками. Команда использовала набор электродов, встроенных в таламус (который объединяет все сенсорные данные мозга) остроглазых кошек. Исследователи выбрали 177 клеток головного мозга в таламусе. латеральное коленчатое ядро область, которая декодирует сигналы от сетчатка. Кошкам показали восемь короткометражных фильмов и записали срабатывания их нейронов. Используя математические фильтры, исследователи декодировали сигналы для создания фильмов о том, что видели кошки, и смогли воссоздать узнаваемые сцены и движущиеся объекты.^[26] С тех пор аналогичные результаты на людях были достигнуты исследователями из Японии (см. ниже ).

Николелис

Мигель Николелис, профессор Университет Дьюка, в Дарем, Северная Каролина, был выдающимся сторонником использования нескольких электродов, распределенных по большей части мозга, для получения нейронных сигналов для управления BCI.

После проведения первоначальных исследований на крысах в 1990-х годах Николелис и его коллеги разработали BCI, которые расшифровывают активность мозга в сова обезьяны и использовал устройства для воспроизведения движений обезьян в роботизированных руках. Обезьяны обладают развитыми способностями к хватанию и хватке, а также хорошими навыками манипулирования руками, что делает их идеальными подопытными для такого рода работы.

К 2000 году группе удалось построить BCI, который воспроизводил движения совы-обезьяны, в то время как обезьяна управляла джойстик или потянулся за едой.^[27] BCI работал в режиме реального времени, а также мог управлять отдельным роботом удаленно через Протокол Интернета. Но обезьяны не видели движения руки и не получали никакой обратной связи, так называемого открытый цикл BCI.

Схема BCI, разработанная Мигелем Николелисом и его коллегами для использования на макаки резус

Более поздние эксперименты Николелиса с использованием макаки резус преуспеть в закрытие цикла обратной связи и воспроизведены движения обезьяны, тянущие и захватывающие руки робота. Обезьяны-резусы с их глубоко расщепленным и бороздчатым мозгом считаются лучшими моделями для человека. нейрофизиология чем совы обезьяны. Обезьяны были обучены дотягиваться до объектов на экране компьютера и захватывать их с помощью джойстика, в то время как соответствующие движения руки робота были скрыты.^[28][29] Позже обезьянам показали робота напрямую, и они научились управлять им, наблюдая за его движениями. BCI использовал прогнозы скорости для управления движением при достижении цели и одновременно прогнозировал сила захвата. В 2011 году О'Догерти и его коллеги продемонстрировали BCI с сенсорной обратной связью на макаках-резусах. Мозг обезьяны контролировал положение руки аватара, получая сенсорную обратную связь посредством прямого внутрикортикальная стимуляция (ICMS) в зоне представительства рук сенсорная кора.^[30]

Донохью, Шварц и Андерсен

Другие лаборатории, которые разработали BCI и алгоритмы для декодирования нейронных сигналов, включают лаборатории Джона Донохью в Брауновский университет, Эндрю Шварц в Питтсбургский университет и Ричард Андерсен в Калтех. Эти исследователи смогли создать рабочие ИМК, даже используя записанные сигналы от гораздо меньшего числа нейронов, чем у Николелиса (15–30 нейронов против 50–200 нейронов).

Группа Донохью сообщила, что приучила макак-резусов использовать BCI для отслеживания визуальных целей на экране компьютера (BCI с обратной связью) с помощью джойстика или без него.^[31] Группа Шварца создала BCI для трехмерного отслеживания в виртуальной реальности, а также воспроизвела управление BCI в роботизированной руке.^[32] Та же группа также создала заголовки, когда они продемонстрировали, что обезьяна может кормить себя кусочками фруктов и зефира, используя роботизированную руку, управляемую сигналами собственного мозга животного.^[33][34][35]

Группа Андерсена использовала записи преддвигательная активность от задняя теменная кора в их BCI, включая сигналы, создаваемые, когда экспериментальные животные ожидали получения вознаграждения.^[36]

Другое исследование

Помимо прогнозирования кинематический и кинетический параметры движений конечностей, ИМК, которые прогнозируют электромиографический или электрическая активность мышц приматов.^[37] Такие ИМК можно использовать для восстановления подвижности парализованных конечностей за счет электростимуляции мышц.

Мигель Николелис и его коллеги продемонстрировали, что активность больших нейронных ансамблей может предсказать положение руки. Эта работа сделала возможным создание BCI, которые считывают намерения движения руки и переводят их в движения искусственных исполнительных механизмов. Кармена и коллеги^[28] запрограммировал нейронное кодирование в BCI, которое позволяло обезьяне управлять движением руки робота и хватанием. Лебедев и коллеги^[29] утверждали, что мозговые сети реорганизовываются, чтобы создать новое представление о придатке робота в дополнение к представлению собственных конечностей животного.

В 2019 году исследователи из UCSF опубликовали исследование, в котором продемонстрировали BCI, который может помочь пациентам с нарушением речи, вызванным неврологическими расстройствами. Их BCI использовал электрокортикографию высокой плотности для выявления нейронной активности из мозга пациента и использовал глубокое обучение методы синтезирования речи.^[38][39]

Самым большим препятствием для технологии BCI в настоящее время является отсутствие сенсорной модели, обеспечивающей безопасный, точный и надежный доступ к сигналам мозга. Однако возможно или даже вероятно, что такой датчик будет разработан в течение следующих двадцати лет. Использование такого датчика должно значительно расширить спектр коммуникационных функций, которые могут быть реализованы с помощью BCI.

Разработка и внедрение системы BCI сложны и требуют много времени. В ответ на эту проблему Гервин Шалк разработал универсальную систему для исследований BCI, которая называется BCI2000. BCI2000 находится в разработке с 2000 года в рамках проекта, возглавляемого программой исследований и разработок интерфейса мозг-компьютер в Wadsworth Center из Департамент здравоохранения штата Нью-Йорк в Олбани, Нью-Йорк, Соединенные Штаты.

Новый «беспроводной» подход использует светозависимые ионные каналы такие как Каналродопсин для контроля активности генетически определенных подмножеств нейронов in vivo. В контексте простой обучающей задачи подсветка трансфицированный ячейки в соматосенсорная кора повлияли на процесс принятия решений о свободном перемещении мышей.^[40]

Использование ИМТ также привело к более глубокому пониманию нейронных сетей и центральной нервной системы. Исследования показали, что, несмотря на склонность нейробиологов полагать, что нейроны имеют наибольший эффект при совместной работе, отдельные нейроны можно настроить с помощью ИМТ, чтобы стрелять по паттерну, который позволяет приматам управлять моторными выходами. Использование ИМТ привело к развитию принципа недостаточности одиночных нейронов, согласно которому даже при хорошо настроенной частоте срабатывания одиночные нейроны могут нести лишь ограниченный объем информации, и поэтому наивысший уровень точности достигается путем регистрации срабатываний коллективного ансамбля. . Другие принципы, обнаруженные с использованием ИМТ, включают принцип многозадачности нейронов, принцип нейрональной массы, принцип нейронного вырождения и принцип пластичности.^[41]

BCI также предлагается применять пользователям без инвалидности. А ориентированный на пользователя Классификация подходов BCI Торстеном О. Зандером и Кристианом Коте вводит термин пассивный BCI.^[42] Наряду с активным и реактивным BCI, которые используются для направленного управления, пассивные BCI позволяют оценивать и интерпретировать изменения в состоянии пользователя во время взаимодействия человека с компьютером (HCI ). Во вторичном, неявном контуре управления компьютерная система адаптируется к своему пользователю, улучшая его юзабилити в общем.

Помимо систем BCI, которые декодируют нейронную активность для управления внешними эффекторами, системы BCI могут использоваться для кодирования сигналов с периферии. Эти сенсорные устройства BCI позволяют в реальном времени принимать решения, имеющие отношение к поведению, на основе нейронной стимуляции с обратной связью.^[43]

Премия BCI

В Ежегодная награда BCI Research награжден в знак признания выдающихся и инновационных исследований в области интерфейсов мозг-компьютер. Каждый год известную исследовательскую лабораторию просят оценить представленные проекты. В состав жюри входят ведущие мировые эксперты BCI, набранные лауреатом премии. Жюри выбирает двенадцать номинантов, затем выбирает победителей, занявших первое, второе и третье места, которые получают награды в размере 3000, 2000 и 1000 долларов соответственно.

Исследование BCI человека

Инвазивные ИМК

Инвазивный ИМК требует хирургической операции по имплантации электродов под кожу головы для передачи сигналов мозга. Основное преимущество - более точное считывание; однако его оборотная сторона - побочные эффекты от операции. После операции могут образовываться рубцовые ткани, которые могут ослабить сигналы мозга. Кроме того, согласно исследованиям Abdulkader et al., (2015),^[44] тело может не принять имплантированные электроды, и это может вызвать заболевание.

Видение

Инвазивные исследования BCI нацелены на восстановление поврежденного зрения и обеспечение новых функций для людей с параличом. Инвазивные ИМК имплантируются непосредственно в серое вещество головного мозга во время нейрохирургии. Поскольку они находятся в сером веществе, инвазивные устройства производят сигналы самого высокого качества, чем устройства BCI, но склонны к рубцовая ткань накопление, в результате чего сигнал становится слабее или даже отсутствует, поскольку тело реагирует на инородный объект в мозгу.^[45]

В наука о видении, непосредственный имплантаты мозга использовались для лечения не-врожденный (приобретенная) слепота. Одним из первых ученых, создавших рабочий мозговой интерфейс для восстановления зрения, был частный исследователь. Уильям Добелль.

Первый прототип Добелля был имплантирован Джерри, человеку, ослепшему в зрелом возрасте, в 1978 году. Одномассивный ИМК, содержащий 68 электродов, был имплантирован Джерри. зрительная кора и удалось произвести фосфены, ощущение света. Система включала камеры, установленные на очках, для отправки сигналов на имплант. Первоначально имплант позволял Джерри видеть оттенки серого в ограниченном поле зрения с низкой частотой кадров. Это также требовало, чтобы он был подключен к универсальный компьютер, но уменьшение размеров электроники и более быстрые компьютеры сделали его искусственный глаз более портативным и теперь позволяют ему выполнять простые задачи без посторонней помощи.^[46]

Манекен, иллюстрирующий дизайн BrainGate интерфейс

В 2002 году Йенс Науманн, также ослепший в зрелом возрасте, стал первым из 16 платящих пациентов, получивших имплант второго поколения Dobelle, что стало одним из первых коммерческих применений ИМК. В устройстве второго поколения использовался более сложный имплант, позволяющий лучше отображать фосфены в когерентное зрение. Фосфены разбросаны по полю зрения, что исследователи называют «эффектом звездной ночи». Сразу после имплантации Йенс смог использовать свое несовершенно восстановленное зрение, чтобы водить машину автомобиль медленно объезжает парковку НИИ.^{[нужна цитата ]} К сожалению, Добель умерла в 2004 году.^[47] до того, как его процессы и разработки были задокументированы. Впоследствии, когда г-н Науманн и другие пациенты программы начали испытывать проблемы со зрением, облегчения не было, и они, в конце концов, снова потеряли «зрение». Науманн написал о своем опыте работы Добель в В поисках рая: рассказ пациента об эксперименте с искусственным зрением^[48] и вернулся на свою ферму в Юго-Восточном Онтарио, Канада, чтобы возобновить свою обычную деятельность.^[49]

Движение

BCI сосредоточены на моторное нейропротезирование стремятся либо восстановить движение у людей с параличом, либо предоставить им вспомогательные устройства, такие как интерфейсы с компьютерами или руки роботов.

Исследователи из Университет Эмори в Атланта, возглавляемые Филипом Кеннеди и Роем Бакаем, первыми установили мозговой имплант человеку, который выдает сигналы достаточно высокого качества для имитации движения. Их пациент, Джонни Рэй (1944–2002), страдал от «синдром запертости 'после перенесенного ствола мозга Инсульт в 1997 году. Имплант Рэя был установлен в 1998 году, и он прожил достаточно долго, чтобы начать работать с имплантатом, со временем научившись управлять компьютерным курсором; он умер в 2002 году от аневризма мозга.^[50]

Тетраплегия Мэтт Нэгл стал первым человеком, который контролировал искусственную руку с помощью BCI в 2005 году в рамках первого девятимесячного испытания на людях Киберкинетика с BrainGate чип-имплант. Имплантирован в право Нэгла прецентральная извилина (область моторной коры для движения руки) 96-электродный имплант BrainGate позволил Нэгла управлять роботизированной рукой, думая о перемещении руки, а также о компьютерном курсоре, свете и телевизоре.^[51] Год спустя профессор Джонатан Волпоу получил приз Фонд инноваций Альтран разработать мозговой компьютерный интерфейс с электродами, расположенными на поверхности черепа, а не непосредственно в мозге.

Совсем недавно исследовательские группы во главе с группой Braingate в Брауновский университет^[52] и группа во главе с Медицинский центр Университета Питтсбурга,^[53] как в сотрудничестве с Департамент США по делам ветеранов, продемонстрировали дальнейший успех в прямом управлении роботизированными протезами конечностей со многими степенями свободы, используя прямые соединения с массивами нейронов в моторной коре головного мозга пациентов с тетраплегией.

Частично инвазивные ИМК

Частично инвазивные устройства BCI имплантируются внутрь черепа, но располагаются вне мозга, а не в сером веществе. Они производят сигналы с лучшим разрешением, чем неинвазивные ИМК, когда костная ткань черепа отклоняет и деформирует сигналы и имеют более низкий риск образования рубцовой ткани в головном мозге, чем полностью инвазивные ИМК. Была проведена доклиническая демонстрация интракортикальных ИМК из перилезионной коры инсульта.^[54]

Электрокортикография (ЭКоГ) измеряет электрическую активность мозга, снимаемую из-под черепа, аналогично неинвазивной электроэнцефалографии, но электроды встроены в тонкую пластиковую подушечку, которая помещается над корой, под твёрдая мозговая оболочка.^[55] Технологии ЭКоГ были впервые испытаны на людях в 2004 году Эриком Лойтхардтом и Дэниелом Мораном из Вашингтонский университет в Святой Луи. В более позднем испытании исследователи позволили мальчику-подростку играть Космические захватчики используя его имплант ECoG.^[56] Это исследование показывает, что контроль осуществляется быстро, требует минимального обучения и может быть идеальным компромиссом в отношении точности сигнала и уровня инвазивности.^{[примечание 1]}

Сигналы могут быть субдуральными или эпидуральными, но они не поступают из головного мозга. паренхима сам. До недавнего времени он не изучался широко из-за ограниченного доступа к предметам. В настоящее время единственный способ получить сигнал для исследования - это использовать пациентов, которым требуется инвазивный мониторинг для локализации и резекции эпилептогенного очага.

ЭКоГ - очень многообещающий промежуточный метод ИМК, потому что он имеет более высокое пространственное разрешение, лучшее соотношение сигнал / шум, более широкий частотный диапазон и меньше требований к обучению, чем ЭЭГ, записанная на кожу головы, и в то же время имеет меньшую техническую сложность и меньший клинический риск. , и, вероятно, более высокая долговременная стабильность, чем запись внутрикортикального одиночного нейрона. Этот профиль функции и недавние свидетельства высокого уровня контроля с минимальными требованиями к обучению показывают потенциал для реального применения для людей с двигательными нарушениями.^[58][59] Светореактивные устройства BCI для визуализации все еще остаются в сфере теории.

Неинвазивные ИМК

Также были проведены эксперименты на людях с использованием неинвазивный нейровизуализация технологии как интерфейсы. Значительное большинство опубликованных работ по ИМК включает неинвазивные ИМК на основе ЭЭГ.Неинвазивные технологии и интерфейсы на основе ЭЭГ используются для гораздо более широкого круга приложений. Хотя интерфейсы на основе ЭЭГ легко носить и не требуют хирургического вмешательства, они имеют относительно низкое пространственное разрешение и не могут эффективно использовать высокочастотные сигналы, поскольку череп ослабляет сигналы, рассеивая и размывая электромагнитные волны, создаваемые нейронами. Интерфейсы на основе ЭЭГ также требуют некоторого времени и усилий перед каждым сеансом использования, тогда как интерфейсы, не основанные на ЭЭГ, а также инвазивные не требуют предварительной подготовки к использованию. В целом, лучший BCI для каждого пользователя зависит от множества факторов.

Человеко-компьютерный интерфейс, не основанный на ЭЭГ

Электроокулография (ЭОГ)

В 1989 г. был дан отчет об управлении мобильным роботом движением глаз с помощью Электроокулография (EOG) сигналы. Мобильный робот двигался от начала до целевой точки с помощью пяти команд EOG, которые интерпретировались как вперед, назад, влево, вправо и стоп.^[60] EOG как задача управления внешними объектами был представлен Видалем в его статье 1973 года.^[2]

Колебания размера зрачка

Статья 2016 года^[61] описал совершенно новое устройство связи и интерфейс человек-компьютер, не основанный на ЭЭГ, который не требует визуальная фиксация, или способность вообще двигать глазами. Интерфейс основан на скрытом интерес; направление своего внимания на выбранную букву на виртуальной клавиатуре без необходимости перемещать глаза, чтобы смотреть прямо на букву. Каждая буква имеет свой собственный (фоновый) круг, яркость которого колеблется в отличии от яркости всех остальных букв. Выбор букв основан на наилучшем совпадении между непреднамеренным колебанием размера зрачка и рисунком колебаний яркости фонового круга. Точность дополнительно повышается за счет мысленного повторения пользователем слов «яркий» и «темный» синхронно с переходами яркости круга букв.

Функциональная ближняя инфракрасная спектроскопия

В 2014 и 2017 годах BCI с использованием функциональная ближняя инфракрасная спектроскопия для "запертых" пациентов с боковой амиотрофический склероз (БАС) смог восстановить некоторые базовые способности пациентов общаться с другими людьми.^[62][63]

Интерфейсы мозг-компьютер на основе электроэнцефалографии (ЭЭГ)

Обзор

Записи мозговых волн, произведенные электроэнцефалограмма

После того, как проблема BCI была заявлена ​​Видалем в 1973 году, первоначальные отчеты о неинвазивном подходе включали управление курсором в 2D с помощью VEP (Vidal 1977), управление зуммером с помощью CNV (Bozinovska et al. 1988, 1990), контроль физического объекта, робота, с использованием ритма мозга (альфа) (Bozinovski et al. 1988), управления текстом, написанным на экране с помощью P300 (Farwell and Donchin, 1988).^[64]

В первые дни исследований BCI возникло еще одно существенное препятствие для использования Электроэнцефалография (ЭЭГ) как интерфейс мозг-компьютер - это обширное обучение, необходимое для того, чтобы пользователи могли работать с этой технологией. Например, в экспериментах, начавшихся в середине 1990-х годов, Нильс Бирбаумер в Тюбингенский университет в Германия обучили сильно парализованных людей саморегуляции медленные корковые потенциалы в их ЭЭГ до такой степени, что эти сигналы можно было использовать в качестве двоичного сигнала для управления курсором компьютера.^[65] (Бирбаумер ранее обучал эпилептики чтобы предотвратить надвигающиеся припадки, управляя этой волной низкого напряжения.) В эксперименте десять пациентов обучались перемещать компьютерный курсор, контролируя свои мозговые волны. Процесс был медленным, пациенту требовалось более часа, чтобы написать курсором 100 символов, в то время как обучение часто занимало много месяцев. Однако подход с медленным кортикальным потенциалом к ​​ИМК не использовался в течение нескольких лет, поскольку другие подходы не требуют или почти не требуют обучения, являются более быстрыми и точными и работают для большей части пользователей.

Еще один параметр исследования - тип колебательная активность что измеряется. Герт Пфурчеллер основал лабораторию BCI Lab в 1991 году и предоставил результаты своих исследований по воображению движения в первом интерактивном BCI, основанном на колебательных характеристиках и классификаторах. Вместе с Бирбаумером и Джонатаном Вулпоу на Университет штата Нью-Йорк они сосредоточились на разработке технологии, которая позволила бы пользователям выбирать сигналы мозга, которые им проще всего использовать для управления BCI, в том числе му и бета ритмы.

Еще одним параметром является используемый метод обратной связи, и это показано в исследованиях P300 сигналы. Образцы волн P300 генерируются непроизвольно (стимул-обратная связь ), когда люди видят то, что они узнают, и могут позволить ИМК расшифровывать категории мыслей без предварительной подготовки пациентов. Напротив, биологическая обратная связь Описанные выше методы требуют обучения управлению мозговыми волнами, чтобы можно было обнаружить результирующую мозговую активность.

В 2005 году было сообщено об исследовании ЭЭГ-эмуляции цифровых схем управления для BCI, на примере триггера CNV.^[66] В 2009 году сообщалось о неинвазивном контроле ЭЭГ роботизированной руки с помощью триггера CNV.^[67] В 2011 году сообщалось о контроле двух роботов-манипуляторов, решающих задачу Ханойской башни с тремя дисками с помощью триггера CNV.^[68] В 2015 году была описана ЭЭГ-эмуляция триггера Шмидта, триггера, демультиплексора и модема.^[69]

В то время как интерфейс мозг-компьютер на основе ЭЭГ широко исследуется рядом исследовательских лабораторий, недавние достижения были сделаны Бин Хе и его команда в Университет Миннесоты предполагают потенциал интерфейса мозг-компьютер на основе ЭЭГ для выполнения задач, близких к инвазивному интерфейсу мозг-компьютер. Использование расширенной функциональной нейровизуализации, в том числе функции BOLD МРТ и ЭЭГ Источник изображения, Бин Хе и его сотрудники определили совместную вариацию и совместную локализацию электрофизиологических и гемодинамических сигналов, индуцированных двигательным воображением.^[70]Уточненный подходом нейровизуализации и протоколом обучения, Бин Хе и его коллеги продемонстрировали способность неинвазивного интерфейса мозг-компьютер на основе ЭЭГ управлять полетом виртуального вертолета в трехмерном пространстве на основе двигательного воображения.^[71] В июне 2013 года было объявлено, что Бин Хэ разработал технику, позволяющую дистанционно управлять вертолетом через полосу препятствий.^[72]

В дополнение к интерфейсу мозг-компьютер, основанному на мозговых волнах, записанных с электродов ЭЭГ на коже черепа, Бин Хе и его коллеги исследовали виртуальный интерфейс мозг-компьютер на основе сигналов ЭЭГ, сначала решив ЭЭГ. обратная задача а затем использовал полученную виртуальную ЭЭГ для задач интерфейса мозг-компьютер. Хорошо контролируемые исследования показали достоинства такого интерфейса мозг-компьютер, основанного на анализе источников.^[73]

Исследование 2014 года показало, что пациенты с тяжелыми двигательными нарушениями могут общаться быстрее и надежнее с помощью неинвазивного ЭЭГ BCI, чем с помощью любого мышечного канала связи.^[74]

Исследование 2016 года показало, что устройство Emotiv EPOC может быть более подходящим для задач управления с использованием уровня внимания / медитации или моргания глаз, чем устройство Neurosky MindWave.^[75]

Исследование 2019 года показало, что применение эволюционных алгоритмов может улучшить классификацию психического состояния ЭЭГ с помощью неинвазивных методов. Муза (повязка на голову) устройство, обеспечивающее высококачественную классификацию данных, полученных с помощью недорогого потребительского устройства для измерения ЭЭГ.^[76]

Матрицы сухих активных электродов

В начале 1990-х годов Бабак Тахери, на ул. Калифорнийский университет в Дэвисе продемонстрировали первые одноканальные, а также многоканальные сухие активные электродные матрицы с использованием микрообработки. Конструкция одноканального сухого ЭЭГ-электрода и результаты были опубликованы в 1994 году.^[77] Установленный электрод также продемонстрировал хорошие характеристики по сравнению с Серебряный /хлорид серебра электроды. Устройство состояло из четырех участков датчиков со встроенной электроникой для снижения шума за счет согласование импеданса. Преимуществами таких электродов являются: (1) отсутствие использования электролита, (2) отсутствие подготовки кожи, (3) значительно уменьшенный размер сенсора и (4) совместимость с системами мониторинга ЭЭГ. Активная электродная матрица представляет собой интегрированную систему, состоящую из набора емкостных датчиков с локальной интегральной схемой, размещенной в корпусе с батареями для питания схемы. Такой уровень интеграции был необходим для достижения функциональных характеристик электрода.

Электрод был протестирован на электрическом испытательном стенде и на людях в четырех модальностях ЭЭГ-активности, а именно: (1) спонтанная ЭЭГ, (2) потенциалы, связанные с сенсорными событиями, (3) потенциалы ствола мозга и (4) когнитивные события. -связанные потенциалы. Характеристики сухого электрода по сравнению со стандартными влажными электродами лучше с точки зрения подготовки кожи, отсутствия потребности в геле (сухой) и более высокого отношения сигнал / шум.^[78]

В 1999 г. исследователи Кейс Вестерн Резервный университет, в Кливленд, Огайо под руководством Хантера Пекхэма использовали тюбетейку для 64-электродной ЭЭГ, чтобы вернуть ограниченные движения руки к парализованный Джим Ятич. Поскольку Ятич сконцентрировался на простых, но противоположных понятиях, таких как «вверх» и «вниз», его выходные данные ЭЭГ с бета-ритмом были проанализированы с помощью программного обеспечения для выявления паттернов в шуме. Был идентифицирован базовый образец, который использовался для управления переключателем: активность выше среднего была включена, ниже средней - выключена. Помимо того, что Ятич мог управлять компьютерным курсором, сигналы также использовались для управления нервными контроллерами, встроенными в его руки, восстанавливая некоторое движение.^[79]

Мобильные ИМК ЭЭГ SSVEP

В 2009 году было сообщено о головной повязке NCTU Brain-Computer-Interface-Headband. Исследователи, которые разработали это оголовье BCI, также разработали кремниевые Микроэлектромеханическая система (МЭМС) сухие электроды разработан для нанесения на неволосатые участки тела. Эти электроды были прикреплены к DAQ доска в оголовье с защелкивающимися держателями электродов. Модуль обработки сигналов измерял альфа активность и телефон с поддержкой Bluetooth оценивали внимательность пациентов и способность к когнитивным функциям. Когда субъект становился сонным, телефон отправлял оператору возбуждающую обратную связь, чтобы разбудить его. Это исследование было поддержано Национальным научным советом Тайваня, R.O.C., NSC, Национальным университетом Чиаотун, Министерством образования Тайваня и Исследовательская лаборатория армии США.^[80]

В 2011 году исследователи сообщили о сотовом BCI, способном принимать данные ЭЭГ и преобразовывать их в команду, заставляющую телефон звонить. Это исследование было частично поддержано Abraxis Bioscience LLP, Исследовательская лаборатория армии США и Управление армейских исследований. Разработанная технология представляла собой носимую систему, состоящую из четырехканального приема / усиления биосигнала. модуль, модуль беспроводной передачи и сотовый телефон с функцией Bluetooth. Электроды располагались таким образом, чтобы они регистрировали установившиеся визуальные вызванные потенциалы (SSVEP ).^[81] SSVEP - это электрические реакции на мерцающие зрительные стимулы с частотой повторения более 6 Гц.^[81] которые лучше всего обнаруживаются в теменной и затылочной областях скальпа зрительной коры.^[82] Сообщается, что с этой настройкой BCI все участники исследования могли инициировать телефонный звонок с минимальной практикой в ​​естественной среде.^[83]

Ученые утверждают, что их исследования с использованием одноканального быстрого преобразования Фурье (БПФ ) и канонический корреляционный анализ многоканальной системы (CCA ) алгоритм поддерживает возможности мобильных BCI.^[81][84] Алгоритм CCA применялся в других экспериментах по исследованию BCI с заявленной высокой производительностью как по точности, так и по скорости.^[85] Хотя технология BCI на основе сотовой связи была разработана для инициирования телефонного звонка от SSVEP, исследователи заявили, что ее можно перевести для других приложений, таких как снятие сенсомоторных сигналов. му /бета ритмы функционируют как ИМК на основе воображения движений.^[81]

В 2013 году были проведены сравнительные тесты BCI на мобильных телефонах, планшетах и ​​компьютерах Android, анализируя мощность спектральная плотность результирующих ССВЭП ЭЭГ. Заявленные цели этого исследования, в котором участвовали ученые, частично поддерживаемые Исследовательской лабораторией армии США, заключались в том, чтобы «повысить практичность, мобильность и повсеместность BCI на основе SSVEP для повседневного использования». Цитирование Сообщалось, что частота стимуляции на всех средах была точной, хотя сигнал сотового телефона демонстрировал некоторую нестабильность. Также сообщалось, что амплитуды SSVEP для ноутбука и планшета были больше, чем для мобильного телефона. Эти две качественные характеристики были предложены в качестве индикаторов возможности использования мобильного стимула BCI.^[84]

Ограничения

В 2011 году исследователи заявили, что продолжение работы должно быть направлено на простоту использования, надежность производительности и снижение затрат на оборудование и программное обеспечение.^[81]

Одна из трудностей с чтением ЭЭГ - большая подверженность артефактам движения.^[86] В большинстве ранее описанных исследовательских проектов участников просили сидеть спокойно, максимально уменьшая движения головы и глаз, а измерения проводились в лабораторных условиях. Однако, поскольку основное применение этих инициатив заключалось в создании мобильного устройства для повседневного использования,^[84] технологию пришлось испытать в движении.

В 2013 году исследователи протестировали мобильную технологию BCI на основе ЭЭГ, измеряя SSVEP участников, когда они ходили по беговой дорожке с разной скоростью. Это исследование было поддержано Управление военно-морских исследований, Управление армейских исследований и Исследовательская лаборатория армии США. Заявленные результаты заключались в том, что с увеличением скорости обнаруживаемость SSVEP с использованием CCA снижалась. Как независимый компонентный анализ (ICA ) показали свою эффективность в отделении сигналов ЭЭГ от шума,^[87] ученые применили ICA к CCA извлеченным данным ЭЭГ. Они заявили, что данные CCA с обработкой ICA и без нее были одинаковыми. Таким образом, они пришли к выводу, что CCA независимо продемонстрировала устойчивость к артефактам движения, что указывает на то, что этот алгоритм может быть полезным для применения к BCI, используемым в реальных условиях.^[82]

В 2020 году исследователи из Калифорнийский университет использовал вычислительную систему, связанную с интерфейсами мозг-машина, для преобразования мозговых волн в предложения. Однако их расшифровка ограничивалась 30–50 предложениями, даже несмотря на то, что процент ошибок в словах составлял всего 3%.^[88]

Протезирование и контроль окружающей среды

Неинвазивные ИМК также применялись для управления мозгом протезных устройств верхних и нижних конечностей у людей с параличом. Например, Герт Пфурчеллер из Технологический университет Граца и его коллеги продемонстрировали контролируемый ИМК функциональная электростимуляция система для восстановления движений верхних конечностей у человека с тетраплегией вследствие травмы спинного мозга.^[89] В период с 2012 по 2013 годы исследователи Калифорнийский университет в Ирвине впервые продемонстрировали возможность использования технологии BCI для восстановления управляемой мозгом ходьбы после травмы спинного мозга. В их исследование травм спинного мозга Исследование показало, что человек с параплегией смог использовать роботизированный ортез для ходьбы с помощью BCI, чтобы восстановить базовое передвижение, управляемое мозгом.^[90][91] В 2009 году Алекс Блейни, независимый исследователь из Великобритании, успешно использовал Emotiv EPOC для управления 5-осевым манипулятором.^[92] Затем он создал несколько демонстрационных инвалидных колясок с управляемым сознанием и Домашняя автоматизация которым могут управлять люди с ограниченным двигательным контролем или без него, например, с параличом нижних конечностей и церебральным параличом.

Исследования в области военного использования BCI финансируются DARPA продолжается с 1970-х годов.^[2][3] В настоящее время в центре внимания исследований находится коммуникация между пользователем посредством анализа нейронных сигналов.^[93]

Сделай сам и открытый исходный код BCI

В 2001 году проект OpenEEG^[94] был инициирован группой нейробиологов и инженеров DIY. ModularEEG был основным устройством, созданным сообществом OpenEEG; это была 6-канальная плата захвата сигнала, стоимость изготовления которой составляла от 200 до 400 долларов. Проект OpenEEG ознаменовал важный момент в появлении интерфейса «самодельный мозг-компьютер».

В 2010 году Frontier Nerds программы ITP Нью-Йоркского университета опубликовали подробное руководство под названием «Как взломать игрушечные ЭЭГ».^[95] Учебное пособие, взволновавшее умы многих начинающих энтузиастов DIY BCI, продемонстрировало, как создать одноканальный домашний ЭЭГ с Ардуино и Mattel Mindflex по очень разумной цене. Этот урок усилил движение DIY BCI.

В 2013 году OpenBCI вышел из DARPA ходатайство и последующие Kickstarter кампания. Они создали высококачественную 8-канальную плату для сбора данных ЭЭГ с открытым исходным кодом, известную как 32-битная плата, которая продавалась по цене менее 500 долларов. Два года спустя они создали первую напечатанную на 3D-принтере ЭЭГ-гарнитуру, известную как Ultracortex, а также 4-канальную плату сбора данных ЭЭГ, известную как Ganglion Board, которая продавалась по цене менее 100 долларов.

МЭГ и МРТ

ATR Labs реконструирует зрение человека с помощью фМРТ (верхний ряд: исходное изображение; нижний ряд: реконструкция из средних комбинированных показаний)

Магнитоэнцефалография (MEG) и функциональная магнитно-резонансная томография (фМРТ) успешно использовались в качестве неинвазивных ИМК.^[96] В широко освещаемом эксперименте фМРТ позволяла сканировать двух пользователей для воспроизведения Понг в реальном времени, изменяя их гемодинамический ответ или мозговой кровоток через биологическая обратная связь техники.^[97]

Измерения гемодинамических реакций в реальном времени с помощью фМРТ также использовались для управления манипуляторами роботов с семисекундной задержкой между мышлением и движением.^[98]

В 2008 году исследование, проведенное в Advanced Telecommunications Research (ATR) Вычислительная неврология Лаборатории в Киото, Япония, позволили ученым реконструировать изображения непосредственно из мозга и отображать их на компьютере в черно-белом режиме при разрешающая способность 10x10 пиксели. Статья, объявляющая об этих достижениях, была история на обложке журнала Нейрон от 10 декабря 2008 г.^[99]

В 2011 г. исследователи из Калифорнийский университет в Беркли опубликовано^[100] исследование, в котором сообщается о посекундной реконструкции видео, просмотренных участниками исследования, по данным фМРТ. Это было достигнуто путем создания статистической модели, связывающей зрительные образы в видеороликах, показываемых испытуемым, с активностью мозга, вызванной просмотром видеороликов. Затем эта модель использовалась для поиска 100 односекундных сегментов видео в базе данных из 18 миллионов секунд случайных YouTube видео, визуальные паттерны которых наиболее точно соответствовали активности мозга, записанной, когда испытуемые смотрели новое видео. Затем эти 100 отрывков из односекундного видео были объединены в изображение, напоминающее просматриваемое видео.^{[101][102][103]}

Стратегии контроля BCI в нейрогейминге

Моторные образы

Моторные образы включает воображение движения различных частей тела, в результате сенсомоторная кора активация, модулирующая сенсомоторные колебания ЭЭГ. Это может быть обнаружено BCI, чтобы сделать вывод о намерениях пользователя. Моторные образы обычно требуют нескольких тренировок, прежде чем будет достигнут приемлемый контроль над BCI. Эти учебные занятия могут занять несколько часов в течение нескольких дней, прежде чем пользователи смогут последовательно применять эту технику с приемлемым уровнем точности. Независимо от продолжительности тренировки, пользователи не могут освоить схему управления. Это приводит к очень медленному игровому процессу.^[104] Недавно были разработаны передовые методы машинного обучения для вычисления предметно-ориентированной модели для определения характеристик двигательных образов. Самый эффективный алгоритм от BCI Competition IV^[105] набор данных 2 для изображений движения - это Common Spatial Pattern банка фильтров, разработанный Ang et al. от ЗВЕЗДА, Сингапур ).^[106]

Био / нейробиоуправление для пассивных дизайнов BCI

Биологическая обратная связь используется для наблюдения за психическим расслаблением субъекта. В некоторых случаях биологическая обратная связь контролирует не электроэнцефалографию (ЭЭГ), а параметры организма, такие как электромиография (ЭМГ), гальваническое сопротивление кожи (GSR) и изменчивость сердечного ритма (ВСР). Многие системы биологической обратной связи используются для лечения определенных заболеваний, таких как синдром дефицита внимания и гиперактивности (СДВГ), проблемы со сном у детей, скрежетание зубами и хроническая боль. Системы биологической обратной связи ЭЭГ обычно контролируют четыре разных диапазона (тета: 4–7 Гц, альфа: 8–12 Гц, SMR: 12–15 Гц, бета: 15–18 Гц) и предлагают субъекту контролировать их. Пассивный BCI^[42] включает использование BCI для обогащения взаимодействия человека с машиной неявной информацией о фактическом состоянии пользователя, например, моделирования для обнаружения, когда пользователи намереваются нажать на тормоз во время процедуры экстренной остановки автомобиля. Разработчики игр, использующие пассивные BCI, должны осознавать, что в результате повторения уровней игры когнитивное состояние пользователя будет изменяться или адаптироваться. Во время первого прохождения уровня пользователь будет реагировать на вещи иначе, чем во время второго прохождения: например, пользователь будет меньше удивлен событию в игре, если он / она его ожидает.^[104]

Зрительный вызванный потенциал (ЗВП)

VEP - это электрический потенциал, регистрируемый после того, как субъекту предъявляют определенный тип визуальных стимулов. Есть несколько типов VEP.

Устойчивые визуально вызванные потенциалы (SSVEP) используют потенциал, генерируемый возбуждением сетчатка, используя визуальные стимулы, модулированные на определенных частотах. Стимулы SSVEP часто формируются из чередующихся шаблонов шахматной доски и иногда просто используют мигающие изображения. Частоту смены фазы используемого стимула можно четко различить в спектре ЭЭГ; это делает обнаружение стимулов SSVEP относительно простым. SSVEP доказал свою эффективность во многих системах BCI. Это происходит из-за нескольких факторов: вызванный сигнал можно измерить в такой большой популяции, как кратковременный VEP, а мигание и электрокардиографические артефакты не влияют на отслеживаемые частоты. Кроме того, сигнал SSVEP исключительно устойчив; Топографическая организация первичной зрительной коры такова, что более широкая область получает афференты от центральной или фовиальной области поля зрения. Однако у SSVEP есть несколько проблем. Поскольку SSVEP используют мигающие стимулы, чтобы сделать вывод о намерениях пользователя, пользователь должен взглянуть на один из мигающих или повторяющихся символов, чтобы взаимодействовать с системой. Следовательно, вероятно, что символы могут стать раздражающими и неудобными для использования во время более длительных игровых сессий, которые часто могут длиться более часа, что не может быть идеальным игровым процессом.

Другой тип VEP, используемый с приложениями, - это Потенциал P300. Связанный с событием потенциал P300 - это положительный пик на ЭЭГ, который происходит примерно через 300 мс после появления целевого стимула (стимула, которого пользователь ждет или ищет) или необычные стимулы. Амплитуда P300 уменьшается по мере того, как целевые стимулы и игнорируемые стимулы становятся более похожими. Считается, что P300 связан с процессом внимания более высокого уровня или ориентировочной реакцией, использующей P300 в качестве схемы управления, имеет то преимущество, что участник должен только присутствовать ограниченно. тренировки. Первым приложением, использующим модель P300, была матрица P300. В рамках этой системы испытуемый выбирает букву из сетки 6 на 6 букв и цифр. Строки и столбцы сетки мигали последовательно, и каждый раз, когда загоралась выбранная «буква выбора», (потенциально) активировался пользовательский P300. Однако процесс коммуникации, примерно 17 символов в минуту, был довольно медленным. P300 - это BCI, который предлагает дискретный выбор, а не непрерывный механизм управления. Преимущество использования P300 в играх заключается в том, что игроку не нужно учить себя использовать совершенно новую систему управления, и поэтому ему нужно только проводить короткие обучающие сеансы, чтобы изучить механику игрового процесса и базовое использование парадигмы BCI.^[104]

Синтетическая телепатия / безмолвное общение

В рамках инициативы армии США стоимостью 6,3 миллиона долларов по изобретению устройств для телепатической связи, Гервин Шалк, выделенная на грант в размере 2,2 миллиона долларов, обнаружила, что использование сигналов ЭКоГ может различать гласные и согласные, встроенные в произносимые и воображаемые слова, проливая свет на отдельные механизмы, связанные с образованием гласных и согласных, и может обеспечить основу для мозговых общение с использованием воображаемой речи.^[59][107]

В 2002 Кевин Уорвик в его нервную систему было вставлено 100 электродов, чтобы связать его нервную систему с Интернетом для исследования возможностей улучшения. После этого Уорвик успешно провел серию экспериментов. С помощью электродов, также имплантированных в нервную систему его жены, они провели первый эксперимент по прямой электронной связи между нервными системами двух людей.^{[108][109][110][111]}

Другая группа исследователей смогла достичь сознательной связи между мозгами между двумя людьми, разделенными расстоянием, с помощью неинвазивной технологии, которая контактировала с кожей головы участников. Слова кодировались двоичными потоками с использованием последовательностей нулей и единиц с помощью воображаемого моторного входа человека, «излучающего» информацию. В результате этого эксперимента псевдослучайные биты информации содержали закодированные слова «hola» («привет» по-испански) и «ciao» («привет» или «до свидания» по-итальянски) и передавались мысленно между люди, разделенные расстоянием, с заблокированными двигательными и сенсорными системами, у которых практически нет вероятности того, что это произойдет случайно. [2]

Исследования синтетической телепатии с использованием субвокализация проходит в Калифорнийском университете в Ирвине под руководством ведущего ученого Майка Д'Змура. Первое такое общение произошло в 1960-х годах с использованием ЭЭГ для создания кода Морзе с использованием альфа-волн мозга. Использование ЭЭГ для передачи воображаемой речи менее точно, чем инвазивный метод установки электрода между черепом и мозгом.^[112] 27 февраля 2013 г. группа с Мигель Николелис в Университет Дьюка и IINN-ELS успешно соединили мозги двух крыс с электронными интерфейсами, которые позволили им напрямую обмениваться информацией в первый в истории прямой интерфейс мозг-мозг.^{[113][114][115]}

ИМК клеточной культуры

Исследователи создали устройства для взаимодействия с нейронными клетками и целыми нейронными сетями в культурах за пределами животных. Наряду с дальнейшими исследованиями имплантируемых устройств животным, эксперименты с культивированной нервной тканью были сосредоточены на построении сетей для решения проблем, создании базовых компьютеров и манипулировании роботизированными устройствами. Исследования методов стимуляции и записи отдельных нейронов, выращенных на полупроводниковых чипах, иногда называют нейроэлектроникой или нейрочипы.^[116]

Первый в мире Нейрочип, разработан Калтех исследователи Джером Пайн и Майкл Махер

Разработка первого работающего нейрочипа была заявлена ​​командой Калифорнийского технологического института под руководством Джерома Пайна и Майкла Махера в 1997 году.^[117] В чипе Caltech было место для 16 нейронов.

В 2003 году команда под руководством Теодора Бергера на Университет Южной Калифорнии, начал работу над нейрочипом, предназначенным для работы в качестве искусственного или протезного гиппокамп. Нейрочип был разработан для работы в головном мозге крыс и был задуман как прототип для возможной разработки протезов высшего мозга. Гиппокамп был выбран потому, что считается наиболее упорядоченной и структурированной частью мозга и наиболее изученной областью. Его функция заключается в кодировании переживаний для хранения в качестве долговременных воспоминаний в другом месте мозга.^[118]

В 2004 году Томас ДеМарс на Университет Флориды использовал культуру из 25000 нейронов, взятых из мозга крысы, чтобы запустить F-22 истребитель симулятор самолета.^[119] После сбора корковые нейроны культивировали в чашка Петри и быстро начали восстанавливать соединение, чтобы сформировать живую нейронную сеть. Ячейки располагались на сетке из 60 электродов и использовались для контроля подача и рыскание функции тренажера.Основное внимание в исследовании уделялось пониманию того, как человеческий мозг выполняет и обучается вычислительным задачам на клеточном уровне.

Этические соображения

Этот раздел включает в себя список общих использованная литература, но он остается в основном непроверенным, потому что ему не хватает соответствующих встроенные цитаты. Пожалуйста, помогите улучшить этот раздел введение более точные цитаты. (Июнь 2019) (Узнайте, как и когда удалить этот шаблон сообщения)

Источники:^{[120][121][122][123][124]}

Проблемы, ориентированные на пользователя

• Долгосрочные эффекты для пользователя остаются в значительной степени неизвестными.
• Получение информированного согласия от людей, которым трудно общаться.
• Последствия технологии BCI для качества жизни пациентов и их семей.
• Побочные эффекты, связанные со здоровьем (например, сообщается, что нейробиоуправление тренировки сенсомоторного ритма влияет на качество сна).
• Терапевтические приложения и их возможное неправильное использование.
• Риски безопасности
• Неконвертируемость некоторых изменений, внесенных в мозг

Юридические и социальные

• Проблемы подотчетности и ответственности: утверждает, что влияние BCI преобладает над свободой воли и контроля над сенсомоторными действиями, утверждает, что когнитивное намерение было неверно переведено из-за неисправности BCI.
• Изменения личности, вызванные глубокой стимуляцией мозга.
• Опасения по поводу состояния "киборга" - части тела являются живыми, а части - механическими.
• Вопросы личности: что значит быть человеком?
• Размытие границ между человеком и машиной и неспособность различать действия, управляемые человеком и машиной.
• Использование этой технологии в передовых методах допроса государственными органами.
• Избирательное усиление и социальное расслоение.
• Вопросы исследовательской этики, возникающие при переходе от экспериментов на животных к их применению на людях.
• Моральные вопросы
• Чтение мыслей и конфиденциальность.
• Система отслеживания и тегирования
• Контроль над разумом.
• Контроль движения
• Контроль эмоций

В их нынешнем виде большинство BCI далеки от рассмотренных выше этических проблем. На самом деле они похожи на корректирующие методы лечения. В 2009 году Клаузен заявил, что «BCI создают этические проблемы, но они концептуально похожи на те, к которым специалисты по биоэтике обращались в других областях терапии».^[120] Более того, он предполагает, что биоэтика хорошо подготовлена ​​к решению проблем, возникающих с технологиями BCI. Хазелагер и его коллеги^[121] отметил, что ожидания эффективности и ценности BCI играют большую роль в этическом анализе и в том, как ученые BCI должны подходить к СМИ. Кроме того, могут быть внедрены стандартные протоколы для обеспечения этически обоснованных процедур информированного согласия с заблокированными пациентами.

Случай ИМК сегодня имеет параллели в медицине, как и его эволюция. Подобно тому, как фармацевтическая наука начиналась как баланс для нарушений и теперь используется для повышения внимания и уменьшения потребности во сне, BCI, вероятно, постепенно трансформируются от терапии к улучшениям.^[123] В сообществе BCI предпринимаются усилия для достижения консенсуса в отношении этических принципов исследований, разработки и распространения BCI.^[124]

Недорогие интерфейсы на основе BCI

Недавно ряд компаний свернули технологию ЭЭГ медицинского уровня (и в одном случае NeuroSky перестроила технологию с нуля.^{[требуется разъяснение ]}) для создания недорогих BCI. Эта технология встроена в игрушки и игровые устройства; Некоторые из этих игрушек были чрезвычайно коммерчески успешными, например NeuroSky и Mattel MindFlex.

• В 2006 г. Sony запатентовал систему нейроинтерфейса, позволяющую радиоволнам воздействовать на сигналы в нервной коре.^[125]
• В 2007 NeuroSky выпустила первый доступный потребительский ЭЭГ вместе с игрой NeuroBoy. Это также было первое крупномасштабное устройство ЭЭГ, в котором использовалась технология сухих датчиков.^[126]
• В 2008 OCZ Technology разработал устройство для использования в видеоиграх, полагаясь в первую очередь на электромиография.^[127]
• В 2008 Последняя фантазия разработчик Square Enix объявила, что сотрудничает с NeuroSky для создания игры Judecca.^[128][129]
• В 2009 Mattel в партнерстве с NeuroSky выпустили Mindflex, игра, в которой используется ЭЭГ, чтобы направить мяч через полосу препятствий. На сегодняшний день это самая продаваемая ЭЭГ для потребителей.^[128][130]
• В 2009 Дядя Милтон Индастриз в партнерстве с NeuroSky выпустили Звездные войны Тренажер силы, игра, призванная создать иллюзию обладания сила .^[128][131]
• В 2009 Emotiv выпустила EPOC, 14-канальное устройство ЭЭГ, которое может считывать 4 психических состояния, 13 состояний сознания, выражения лица и движения головы. EPOC - это первый коммерческий BCI, в котором используется технология сухого сенсора, который можно смочить физиологическим раствором для лучшего соединения.^[132]
• В ноябре 2011 г. Журнал Тайм отобранные "некомими" производства Neurowear как одно из лучших изобретений года. Компания объявила, что планирует выпустить потребительскую версию одежды, состоящую из кошачьих ушей, управляемых считывателем мозговых волн производства NeuroSky, весной 2012 г.^[133]
• В феврале 2014 года They Shall Walk (некоммерческая организация, занимающаяся конструированием экзоскелетов, получивших название LIFESUITs, для страдающих параличом нижних и нижних конечностей) начала сотрудничество с Джеймсом У. Шакарджи по разработке беспроводного BCI.^[134]
• В 2016 году группа энтузиастов разработала плату BCI с открытым исходным кодом, которая отправляет нейронные сигналы на аудиоразъем смартфона, что снизило стоимость BCI начального уровня до 20 фунтов стерлингов.^[135] Базовое диагностическое программное обеспечение доступно для Android устройств, а также приложение для ввода текста для Единство.^[136]

Будущие направления

Интерфейс мозг-компьютер

Консорциум, состоящий из 12 европейских партнеров, завершил дорожную карту для поддержки Европейской комиссии в их решениях о финансировании новой рамочной программы. Горизонт 2020. Проект, финансируемый Европейской комиссией, стартовал в ноябре 2013 года и опубликовал дорожную карту в апреле 2015 года.^[137] В публикации 2015 года, опубликованной доктором Клеменсом Бруннером, описываются некоторые анализы и достижения этого проекта, а также возникающее общество интерфейса мозг-компьютер.^[138] Например, в этой статье рассмотрена работа в рамках этого проекта, в ходе которого были дополнительно определены BCI и приложения, исследованы последние тенденции, обсуждались этические вопросы и оценивались различные направления для новых BCI. Как отмечается в статье, их новая дорожная карта в целом расширяет и поддерживает рекомендации проекта Future BNCI, управляемого доктором Бренданом Эллисоном, который вызывает значительный энтузиазм в отношении новых направлений BCI.

Другие недавние публикации также исследовали будущие направления BCI для новых групп пользователей с ограниченными возможностями (например,^{[9][139][140][141][142]}). Ниже приведены некоторые известные примеры.

Расстройства сознания (ДОС)

У некоторых людей есть расстройство сознания (ДОК). Это состояние включает людей в коме, а также людей в вегетативном состоянии (VS) или в состоянии минимального сознания (MCS). Новое исследование BCI направлено на то, чтобы помочь людям с DOC разными способами. Основная начальная цель - выявить пациентов, способных выполнять базовые когнитивные задачи, что, конечно же, приведет к изменению их диагноза. То есть некоторые люди, которым поставлен диагноз DOC, на самом деле могут обрабатывать информацию и принимать важные жизненные решения (например, обращаться ли за терапией, где жить, и их взгляды на решения в отношении их конца жизни). Некоторые люди, которым поставлен диагноз DOC, умирают в результате решений в конце жизни, которые могут быть приняты членами семьи, которые искренне считают, что это отвечает наилучшим интересам пациента. Учитывая новую перспективу, позволяющую этим пациентам высказать свое мнение по поводу этого решения, может возникнуть сильное этическое давление с целью развития этого направления исследований, чтобы гарантировать пациентам DOC возможность решить, хотят ли они жить.^[143][144]

В этих и других статьях описываются новые проблемы и решения для использования технологии BCI для помощи людям с DOC. Одна из основных проблем заключается в том, что эти пациенты не могут использовать ИМК на основе зрения. Следовательно, новые инструменты полагаются на слуховые и / или вибротактильные стимулы. Пациенты могут носить наушники и / или вибротактильные стимуляторы, размещенные на запястьях, шее, ногах и / или других местах. Еще одна проблема заключается в том, что пациенты могут терять сознание и терять сознание и общаться только в определенное время. Это действительно может быть причиной ошибочного диагноза. Некоторые пациенты могут отвечать на запросы врачей только в течение нескольких часов в день (что может быть непредсказуемо заранее) и, таким образом, могут не отвечать во время постановки диагноза. Таким образом, новые методы основаны на инструментах, которые легко использовать в полевых условиях даже без помощи экспертов, поэтому члены семьи и другие лица без какого-либо медицинского или технического образования могут их использовать. Это снижает затраты, время, потребность в экспертных знаниях и другие трудности при оценке DOC. Автоматизированные инструменты могут задавать простые вопросы, на которые пациенты могут легко ответить, например: «Вашего отца зовут Джордж?» или "Вы родились в США?" Автоматические инструкции информируют пациентов о том, что они могут сказать «да» или «нет», (например) сосредоточив свое внимание на стимулах на правом и левом запястье. Такое пристальное внимание вызывает достоверные изменения в паттернах ЭЭГ, которые могут помочь определить, что пациент может общаться. Результаты могут быть представлены врачам и терапевтам, что может привести к пересмотру диагноза и лечения. Кроме того, этим пациентам могут быть предоставлены средства коммуникации на основе BCI, которые могут помочь им сообщить основные потребности, отрегулировать положение кровати и HVAC (отопление, вентиляция и кондиционирование), а также дает им возможность принимать важные жизненные решения и общаться.^{[145][146][147]}

Восстановление мотора

Люди могут потерять часть своей способности двигаться по многим причинам, например, из-за инсульта или травмы. Несколько групп исследовали системы и методы восстановления моторики, которые включают BCI.^{[148][149][150][151]} В этом подходе BCI измеряет двигательную активность, пока пациент воображает или пытается движения в соответствии с указаниями терапевта. BCI может дать два преимущества: (1) если BCI указывает, что пациент неправильно представляет движение (несоблюдение), то BCI может информировать пациента и терапевта; и (2) поощрение обратной связи, такой как функциональная стимуляция или движение виртуального аватара, также зависит от правильного образа движения пациента.

До сих пор ИМК для восстановления моторики полагались на ЭЭГ для измерения воображения движения пациента. Однако в исследованиях также использовалась фМРТ для изучения различных изменений в головном мозге, когда люди проходят курс реабилитации после инсульта на основе ИМК.^[152][153] Будущие системы могут включать в себя фМРТ и другие меры для контроля в реальном времени, такие как функциональная ближняя инфракрасная область, вероятно, в тандеме с ЭЭГ. Неинвазивная стимуляция мозга также была исследована в сочетании с ИМК для восстановления моторики.^[154] В 2016 году ученые из Мельбурнский университет опубликовали доклинические данные, подтверждающие правильность концепции, связанные с потенциальной технологической платформой интерфейса мозг-компьютер, разрабатываемой для пациентов с параличом, чтобы облегчить управление внешними устройствами, такими как конечности роботов, компьютеры и экзоскелеты, путем преобразования активности мозга.^[155][156] Клинические испытания в настоящее время продолжаются.^[157]

Функциональное картирование мозга

Ежегодно около 400 000 человек проходят картирование мозга во время нейрохирургии. Эта процедура часто требуется людям с опухолями или эпилепсией, которые не реагируют на медикамент.^[158] Во время этой процедуры электроды накладываются на мозг, чтобы точно определить расположение структур и функциональных областей. Пациенты могут бодрствовать во время нейрохирургии, и их просят выполнить определенные задачи, например, двигать пальцами или повторять слова. Это необходимо для того, чтобы хирурги могли удалить только желаемую ткань, сохраняя при этом другие области, такие как критические движения или области языка. Удаление слишком большого количества ткани головного мозга может привести к необратимому повреждению, в то время как удаление слишком малого количества ткани может оставить основное состояние без лечения и потребовать дополнительной нейрохирургии. Таким образом, существует острая необходимость в совершенствовании как методов, так и систем для максимально эффективного картирования мозга.

В нескольких недавних публикациях эксперты-исследователи BCI и врачи объединились для изучения новых способов использования технологии BCI для улучшения нейрохирургического картирования. В этой работе основное внимание уделяется высокой гамма-активности, которую трудно обнаружить неинвазивными методами. Результаты привели к усовершенствованным методам определения ключевых областей движения, языка и других функций. В недавней статье рассматриваются достижения в области функционального картирования мозга и резюмируется семинар.^[159]

Гибкие устройства

Гибкая электроника находятся полимеры или другие гибкие материалы (например, шелк,^[160] пентацен, PDMS, Парилен, полиимид^[161]), которые напечатаны с схема; гибкий характер органический фоновые материалы, позволяющие электронике изгибаться, а методы изготовления использованные для создания этих устройств похожи на те, которые использовались для создания интегральные схемы и микроэлектромеханические системы (МЭМС).^{[нужна цитата ]} Гибкая электроника была впервые разработана в 1960-х и 1970-х годах, но интерес к исследованиям возрос в середине 2000-х.^[162]

Нейронная пыль

Нейронная пыль это термин, используемый для обозначения устройств миллиметрового размера, работающих как с беспроводным питанием нервные датчики, которые были предложены в статье 2011 г. Калифорнийский университет в Беркли Центр исследований беспроводной связи, в котором описаны как проблемы, так и выдающиеся преимущества создания надежного беспроводного интерфейса BCI.^[163][164] В одной из предложенных моделей нейронного датчика пыли модель транзистора позволила использовать метод разделения между потенциалы локального поля и потенциал действия "всплески", которые позволят получить очень разнообразный объем данных, получаемых из записей.^[163]

Смотрите также

Заметки

использованная литература

дальнейшее чтение

• Броуз, Эндрю. "Путеводитель по музыке Brainwave для молодых людей: сорок лет аудиозаписи ЭЭГ человека." eContact! 14.2 - Практика биотехнологической эффективности / Pratiques de performance biotechnologique (Июль 2012 г.). Монреаль: ЦИК.
• Гупта, Кота Навин и Рамасвами Паланаппиан. "Использование высокочастотной электроэнцефалограммы в визуальных и слуховых схемах интерфейса мозг-компьютер^{[постоянная мертвая ссылка ]}." eContact! 14.2 - Практика биотехнологической эффективности / Pratiques de performance biotechnologique (Июль 2012 г.). Монреаль: ЦИК.
• Узунян, Гация. "Трио Biomuse в разговоре: интервью с Р. Бенджамином Кнаппом и Эриком Лайоном." eContact! 14.2 - Практика биотехнологической эффективности / Pratiques de performance biotechnologique (Июль 2012 г.). Монреаль: ЦИК.

внешние ссылки

Scholia имеет тема профиль для Интерфейс мозг – компьютер.

• Разблокировать проект