Интерфейс мозг -компьютер ( BCI ), иногда называемый интерфейсом мозг-машина ( ИМТ ) или smartbrain , представляет собой прямой путь связи между электрической активностью мозга и внешним устройством, чаще всего компьютером или роботизированной конечностью. BCI часто направлены на исследование, картирование , помощь, улучшение или восстановление когнитивных или сенсомоторных функций человека . [1] Их часто концептуализируют как человеко-машинный интерфейс , который пропускает промежуточный компонент физического движения частей тела, хотя они также повышают вероятность стирания дискретности мозга и машины . Реализации BCI варьируются от неинвазивных ( ЭЭГ , МЭГ , МРТ ) и частично инвазивных ( ЭКоГ и эндоваскулярные) до инвазивных ( микроэлектродная матрица ), в зависимости от того, насколько близко электроды подходят к ткани мозга. [2]
Исследования BCI начались в 1970-х годах Жаком Видалем в Калифорнийском университете в Лос-Анджелесе (UCLA) по гранту Национального научного фонда , за которым последовал контракт с DARPA . [3] [4] Статья Видаля 1973 года знаменует собой первое появление выражения « интерфейс мозг-компьютер» в научной литературе.
Благодаря пластичности коры головного мозга сигналы от имплантированных протезов после адаптации могут обрабатываться мозгом как естественные сенсорные или эффекторные каналы. [5] После многих лет экспериментов на животных в середине 1990-х годов появились первые нейропротезы , имплантированные людям.
В последнее время исследования взаимодействия человека и компьютера с применением машинного обучения к статистическим временным характеристикам, извлеченным из данных лобных долей мозга ( мозговые волны ЭЭГ ), имели высокий уровень успеха в классификации психических состояний (расслабленное, нейтральное, концентрированное), [ 6] эмоциональные состояния (негативные, нейтральные, позитивные) [7] и таламокортикальная аритмия . [8]
История интерфейсов мозг-компьютер (BCI) начинается с открытия Гансом Бергером электрической активности человеческого мозга и развития электроэнцефалографии (ЭЭГ). В 1924 году Бергер первым зарегистрировал активность мозга человека с помощью ЭЭГ. Бергер смог идентифицировать колебательную активность , такую как волна Бергера или альфа-волна (8–13 Гц), анализируя записи ЭЭГ.
Первое записывающее устройство Бергера было очень элементарным. Он вставлял серебряные проволоки под череп своих пациентов. Позже их заменили серебряной фольгой, прикрепленной к голове пациента резиновыми повязками. Бергер подключил эти датчики к капиллярному электрометру Липпмана и получил неутешительные результаты. Однако более сложные измерительные устройства, такие как записывающий гальванометр Сименса с двойной катушкой , который отображал электрические напряжения всего в одну десятитысячную вольта, привели к успеху.
Бергер проанализировал взаимосвязь альтернаций волновых диаграмм его ЭЭГ с заболеваниями головного мозга . ЭЭГ открыла совершенно новые возможности для исследования деятельности мозга человека.
Хотя этот термин еще не был придуман, одним из самых ранних примеров работающего интерфейса «мозг-машина» была пьеса « Музыка для сольного исполнителя» (1965) американского композитора Элвина Люсьера . В произведении используется ЭЭГ и оборудование для обработки аналоговых сигналов (фильтры, усилители и микшерный пульт) для стимуляции акустических ударных инструментов. Чтобы исполнить произведение, нужно создать альфа-волны и тем самым «играть» на различных ударных инструментах через громкоговорители, которые расположены рядом или непосредственно на самих инструментах. [9]
Профессор Калифорнийского университета в Лос-Анджелесе Жак Видаль ввел термин «BCI» и выпустил первые рецензируемые публикации по этой теме. [3] [4] Видаль широко известен как изобретатель BCI в сообществе BCI, что отражено в многочисленных рецензируемых статьях, рассматривающих и обсуждающих эту область (например, [10] [11] [12] ). В обзоре указывалось, что в статье Видаля 1973 года была сформулирована «проблема BCI» [13] контроля внешних объектов с помощью сигналов ЭЭГ, и особенно использование потенциала условных отрицательных вариаций (CNV) как проблема контроля BCI. Эксперимент 1977 года, описанный Видалем, был первым применением BCI после его испытания BCI в 1973 году. Это был неинвазивный ЭЭГ (фактически зрительный вызванный потенциал (ВВП)) контроль над графическим объектом, похожим на курсор, на экране компьютера. Демонстрация представляла собой движение в лабиринте. [14]
После своего раннего вклада Видаль в течение многих лет не принимал активного участия в исследованиях BCI и мероприятиях BCI, таких как конференции. Однако в 2011 году он прочитал лекцию в Граце , Австрия , при поддержке проекта Future BNCI, представив первый BCI, который заслужил овации. К Видалю присоединилась его жена Ларис Видал, которая ранее работала с ним в Калифорнийском университете в Лос-Анджелесе над его первым проектом BCI.
В 1988 году был представлен доклад о неинвазивном ЭЭГ-контроле физического объекта — робота. Описываемый эксперимент представлял собой ЭЭГ-контроль многократного старта-стоп-рестарта движения робота по произвольной траектории, определяемой линией, проведенной на полу. Следование по линии было стандартным поведением робота, использующим автономный интеллект и автономный источник энергии. [15] [16] Этот отчет 1988 года, написанный Стево Божиновски, Михаилом Сестаковым и Лиляной Божиновской, был первым докладом об управлении роботом с помощью ЭЭГ. [17] [18]
В 1990 году был представлен отчет о замкнутом контуре, двунаправленном адаптивном BCI, управляющем компьютерным зуммером с помощью упреждающего потенциала мозга, потенциала условной отрицательной вариации (CNV). [19] [20] В эксперименте описывалось, как состояние ожидания мозга, проявляющееся CNV, контролирует в петле обратной связи зуммер S2 в парадигме S1-S2-CNV. Полученная когнитивная волна, представляющая ожидание обучения в мозге, называется Электроэкспектограммой (ЭКГ). Потенциал мозга CNV был частью задачи BCI, представленной Видалем в его статье 1973 года.
Исследования 2010-х годов показали потенциальную способность нейронной стимуляции восстанавливать функциональные связи и связанное с ними поведение посредством модуляции молекулярных механизмов синаптической эффективности. [21] [22] Это открыло двери для концепции о том, что технологии BCI могут не только обеспечивать функциональность, но и восстанавливать функции.
С 2013 года DARPA финансирует технологию BCI через инициативу BRAIN, которая поддерживает работу Медицинского центра Университета Питтсбурга, [23] Paradromics, [24] Brown, [25] и Synchron, [26] среди других.
Нейропротезирование — это область нейробиологии , занимающаяся нейронными протезами, то есть использованием искусственных устройств для замены функции нарушенной нервной системы и проблем, связанных с мозгом, или органов чувств или самих органов (мочевого пузыря, диафрагмы и т. д.). По состоянию на декабрь 2010 года кохлеарные имплантаты в качестве нейропротезов были имплантированы примерно 220 000 человек во всем мире. [27] Существует также несколько нейропротезов, предназначенных для восстановления зрения, в том числе имплантаты сетчатки . Однако первым нейропротезом стал кардиостимулятор.
Эти термины иногда используются как взаимозаменяемые. Нейропротезирование и ИМК преследуют одни и те же цели, такие как восстановление зрения, слуха, движения, способности общаться и даже когнитивных функций . [1] Оба используют схожие экспериментальные методы и хирургические техники.
Нескольким лабораториям удалось записать сигналы коры головного мозга обезьян и крыс , чтобы управлять BCI для создания движения. Обезьяны перемещались по компьютерным курсорам на экране и приказывали роботизированным рукам выполнять простые задачи, просто думая о задаче и видя визуальную обратную связь, но без какой-либо двигательной активности. [28] В мае 2008 года фотографии, на которых изображена обезьяна в Медицинском центре Университета Питтсбурга, управляющая роботизированной рукой посредством мышления, были опубликованы в ряде известных научных журналов и журналов. [29] Овцы также использовались для оценки технологии BCI, включая Stentrode компании Synchron.
В 2020 году Neuralink Илона Маска был успешно имплантирован свинье, о чем было объявлено [30] в широко просматриваемой веб-трансляции. В 2021 году Илон Маск объявил, что успешно позволил обезьяне играть в видеоигры с помощью устройства Neuralink. [31]
В 1969 году исследования оперантного обусловливания , проведенные Фетцем и его коллегами в Региональном исследовательском центре приматов и на кафедре физиологии и биофизики Медицинской школы Вашингтонского университета в Сиэтле , впервые показали, что обезьяны могут научиться контролировать отклонение измерителя биологической обратной связи . рука с нервной активностью. [32] Аналогичная работа, проведенная в 1970-х годах, установила, что обезьяны могут быстро научиться произвольно контролировать частоту срабатывания отдельных и нескольких нейронов в первичной моторной коре , если их вознаграждают за создание соответствующих паттернов нейронной активности. [33]
Исследования, в которых были разработаны алгоритмы реконструкции движений нейронов моторной коры , контролирующих движение, относятся к 1970-м годам. В 1980-х годах Апостолос Георгопулос из Университета Джона Хопкинса обнаружил математическую связь между электрическими реакциями отдельных нейронов моторной коры у макак-резус и направлением, в котором они двигали руками (на основе косинусной функции). Он также обнаружил, что рассредоточенные группы нейронов в разных областях мозга обезьяны коллективно управляют двигательными командами, но из-за технических ограничений, налагаемых его оборудованием, он был способен записывать срабатывания нейронов только в одной области за раз. [34]
С середины 1990-х годов наблюдается быстрое развитие BCI. [35] Нескольким группам удалось уловить сложные сигналы моторной коры головного мозга путем записи от нейронных ансамблей (групп нейронов) и использовать их для управления внешними устройствами.
Филипп Кеннеди (который позже основал Neural Signals в 1987 году) и его коллеги создали первый внутрикортикальный интерфейс мозг-компьютер, имплантировав обезьянам электроды в виде нейротрофических конусов. [ нужна цитата ]
В 1999 году исследователи под руководством Ян Даня из Калифорнийского университета в Беркли расшифровали импульсы нейронов, чтобы воспроизвести изображения, видимые кошками. Команда использовала набор электродов, встроенных в таламус (который объединяет все сенсорные сигналы мозга) остроглазых кошек. Исследователи нацелились на 177 клеток головного мозга в области латерального коленчатого ядра таламуса , которое декодирует сигналы сетчатки . Кошкам показали восемь короткометражных фильмов и записали срабатывание их нейронов. Используя математические фильтры, исследователи декодировали сигналы, создавая фильмы о том, что видели кошки, и смогли реконструировать узнаваемые сцены и движущиеся объекты. [36] Подобные результаты на людях с тех пор были достигнуты исследователями в Японии (см. ниже).
Мигель Николелис , профессор Университета Дьюка в Дареме, Северная Каролина , был видным сторонником использования нескольких электродов, распределенных по большей области мозга, для получения сигналов нейронов для управления BCI.
После проведения первоначальных исследований на крысах в 1990-х годах Николелис и его коллеги разработали BCI, которые расшифровывают активность мозга совиных обезьян , и использовали эти устройства для воспроизведения движений обезьян в роботизированных руках. Обезьяны обладают развитыми способностями тянуться и хватать, а также хорошими навыками манипулирования руками, что делает их идеальными подопытными для такого рода работы.
К 2000 году группе удалось создать BCI, который воспроизводил движения совы-обезьяны, пока обезьяна управляла джойстиком или тянулась за едой. [37] BCI работал в режиме реального времени, а также мог управлять отдельным роботом удаленно через Интернет-протокол . Но обезьяны не могли видеть движение руки и не получали никакой обратной связи, так называемого BCI с разомкнутым контуром .
.jpg/1280px-Brain-computer_interface_(schematic).jpg)
В более поздних экспериментах Николелиса с использованием макак-резус удалось замкнуть петлю обратной связи и воспроизвести движения обезьяны, тянущиеся и хватающие, в руке робота. Макаки-резусы с их глубокими расщелинами и бороздами на мозге считаются лучшими моделями нейрофизиологии человека , чем совиные обезьяны. Обезьян обучали дотягиваться и хватать объекты на экране компьютера, манипулируя джойстиком, в то время как соответствующие движения руки робота были скрыты. [38] [39] Позже обезьянам показали робота напрямую, и они научились управлять им, наблюдая за его движениями. BCI использовал прогнозы скорости для контроля движений и одновременно прогнозировал силу захвата рук . В 2011 году О'Доэрти и его коллеги продемонстрировали BCI с сенсорной обратной связью на макак-резусах. Мозг обезьяны контролировал положение руки аватара, одновременно получая сенсорную обратную связь посредством прямой внутрикортикальной стимуляции (ICMS) в области представления руки сенсорной коры . [40]
Другие лаборатории, которые разработали BCI и алгоритмы, декодирующие сигналы нейронов, включают Институт наук о мозге Карни в Университете Брауна и лаборатории Эндрю Шварца в Университете Питтсбурга и Ричарда Андерсена в Калифорнийском технологическом институте . Этим исследователям удалось создать работающие BCI, даже используя записанные сигналы от гораздо меньшего количества нейронов, чем это сделал Николелис (15–30 нейронов против 50–200 нейронов).
Лаборатория Джона Донохью в Институте Карни сообщила об обучении макак-резусов использовать BCI для отслеживания визуальных целей на экране компьютера (BCI с обратной связью) с помощью джойстика или без него. [41] Группа Шварца создала BCI для трехмерного отслеживания в виртуальной реальности, а также воспроизвела управление BCI в роботизированной руке. [42] Эта же группа также попала в заголовки газет, когда продемонстрировала, что обезьяна может кормить себя кусочками фруктов и зефира с помощью роботизированной руки, управляемой сигналами собственного мозга животного. [43] [44] [45]
Группа Андерсена использовала записи преддвигательной активности задней теменной коры в своем BCI, включая сигналы, создаваемые, когда экспериментальные животные ожидали получения награды. [46]
Помимо прогнозирования кинематических и кинетических параметров движений конечностей, разрабатываются ИМК, прогнозирующие электромиографическую или электрическую активность мышц приматов. [47] Такие ИМК можно использовать для восстановления подвижности парализованных конечностей путем электрической стимуляции мышц.
Мигель Николелис и его коллеги продемонстрировали, что активность больших нейронных ансамблей может предсказать положение руки. Эта работа сделала возможным создание BCI, которые считывают намерения движения рук и переводят их в движения искусственных приводов. Кармена и его коллеги [38] запрограммировали нейронное кодирование в BCI, которое позволило обезьяне контролировать тянущие и хватающие движения роботизированной руки. Лебедев и его коллеги [39] утверждали, что мозговые сети реорганизуются, создавая новое представление роботизированного придатка в дополнение к представлению собственных конечностей животного.
В 2019 году исследователи из UCSF опубликовали исследование, в котором продемонстрировали BCI, который потенциально может помочь пациентам с нарушениями речи, вызванными неврологическими расстройствами. Их BCI использовал электрокортикографию высокой плотности для получения информации о нейронной активности мозга пациента и методы глубокого обучения для синтеза речи. [48] [49] В 2021 году исследователи из той же группы опубликовали исследование, показывающее потенциал BCI для декодирования слов и предложений у пациента с анартритом, который не мог говорить более 15 лет. [50] [51]
Самым большим препятствием для технологии BCI в настоящее время является отсутствие сенсорной модальности, которая обеспечивает безопасный, точный и надежный доступ к сигналам мозга. Однако вполне возможно или даже вероятно, что такой датчик будет разработан в течение следующих двадцати лет. Использование такого датчика должно значительно расширить спектр функций связи, которые можно обеспечить с помощью BCI.
Разработка и внедрение системы BCI сложна и требует много времени. В ответ на эту проблему Гервин Шалк разработал систему общего назначения для исследования BCI, названную BCI2000 . BCI2000 находится в разработке с 2000 года в рамках проекта, возглавляемого Программой исследований и разработок интерфейса «мозг-компьютер» в Центре Уодсворта Департамента здравоохранения штата Нью-Йорк в Олбани, штат Нью-Йорк , США. [52]
Новый «беспроводной» подход использует светозависимые ионные каналы , такие как Channelrhodopsin, для контроля активности генетически определенных подмножеств нейронов in vivo . В контексте простой обучающей задачи освещение трансфицированных клеток соматосенсорной коры влияло на процесс принятия решений свободно движущимися мышами . [53]
Использование ИМТ также привело к более глубокому пониманию нейронных сетей и центральной нервной системы. Исследования показали, что, несмотря на склонность нейробиологов полагать, что нейроны оказывают наибольший эффект при совместной работе, отдельные нейроны можно заставить с помощью ИМТ запускать паттерн, который позволяет приматам контролировать двигательные сигналы. Использование ИМТ привело к разработке принципа недостаточности одного нейрона, который гласит, что даже при хорошо настроенной частоте срабатывания отдельные нейроны могут нести только ограниченное количество информации, и поэтому наивысший уровень точности достигается за счет регистрации импульсов коллективного ансамбля. . Другие принципы, открытые с использованием ИМТ, включают принцип многозадачности нейронов, принцип нейрональной массы, принцип нейронной вырожденности и принцип пластичности. [54]
BCI также предлагается применять пользователям без инвалидности. В ориентированной на пользователя классификации подходов BCI Торстеном О. Зандером и Кристианом Коте вводится термин «пассивный BCI». [55] Помимо активных и реактивных BCI, которые используются для направленного управления, пассивные BCI позволяют оценивать и интерпретировать изменения в состоянии пользователя во время взаимодействия человека с компьютером ( HCI ). Во вторичном, неявном контуре управления компьютерная система адаптируется к пользователю, улучшая ее удобство использования в целом.
Помимо систем BCI, которые декодируют нейронную активность для управления внешними эффекторами, системы BCI могут использоваться для кодирования сигналов с периферии. Эти сенсорные устройства BCI позволяют в режиме реального времени принимать поведенческие решения на основе нейронной стимуляции с замкнутым контуром. [56]
Ежегодная награда BCI Research Award присуждается в знак признания выдающихся и инновационных исследований в области интерфейсов «мозг-компьютер». Каждый год известную исследовательскую лабораторию просят оценить представленные проекты. В состав жюри входят ведущие мировые эксперты BCI, привлеченные лабораторией, награждающей награду. Жюри выбирает двенадцать номинантов, затем выбирает победителя, занявшего первое, второе и третье места, которые получают награды в размере 3000, 2000 и 1000 долларов США соответственно.
Инвазивный BCI требует хирургического вмешательства по имплантации электродов под кожу головы для передачи сигналов мозга. Основное преимущество – более точное считывание; однако его недостатком являются побочные эффекты операции. После операции могут образоваться рубцовые ткани, что может ослабить сигналы мозга. Кроме того, согласно исследованиям Абдулкадера и др. (2015) [57] организм может не принять имплантированные электроды, что может вызвать заболевание.
Инвазивное исследование BCI было направлено на восстановление поврежденного зрения и предоставление новых функций людям с параличом. Инвазивные ИМК имплантируются непосредственно в серое вещество головного мозга во время нейрохирургии. Поскольку они расположены в сером веществе, инвазивные устройства производят сигналы самого высокого качества по сравнению с устройствами BCI, но склонны к образованию рубцовой ткани , в результате чего сигнал становится слабее или даже отсутствует, когда организм реагирует на инородный объект. в мозгу. [58]
В науке о зрении прямые имплантаты головного мозга использовались для лечения врожденной (приобретенной) слепоты. Одним из первых ученых, создавших работающий мозговой интерфейс для восстановления зрения, был частный исследователь Уильям Добелл .
Первый прототип Добелла был имплантирован Джерри, ослепшему в зрелом возрасте мужчине, в 1978 году. Одноматрицный BCI, содержащий 68 электродов, был имплантирован в зрительную кору Джерри и преуспел в выработке фосфенов , ощущения видения света. Система включала камеры, установленные на очках для отправки сигналов на имплантат. Первоначально имплант позволял Джерри видеть оттенки серого в ограниченном поле зрения при низкой частоте кадров. Для этого также требовалось подключение его к мэйнфрейму , но уменьшение размера электроники и более быстрые компьютеры сделали его искусственный глаз более портативным и теперь позволяли ему выполнять простые задачи без посторонней помощи. [59]
В 2002 году Йенс Науманн, также ослепший в зрелом возрасте, стал первым из 16 платных пациентов, получивших имплантат второго поколения Добелле, что стало одним из первых коммерческих применений BCI. В устройстве второго поколения использовался более сложный имплантат, позволяющий лучше отображать фосфены и обеспечивать когерентное зрение. Фосфены распределяются по полю зрения, что исследователи называют «эффектом звездной ночи». Сразу после имплантации Йенс смог использовать свое несовершенно восстановленное зрение, чтобы медленно водить автомобиль по парковке исследовательского института. [60] К сожалению, Добель умер в 2004 году [61] до того, как его процессы и разработки были задокументированы. Впоследствии, когда у г-на Науманна и других пациентов программы начались проблемы со зрением, облегчения не было, и в конце концов они снова потеряли «зрение». Науманн написал о своем опыте работы Добелла в книге «В поисках рая: рассказ пациента об эксперименте с искусственным зрением» [62] и вернулся на свою ферму в юго-восточном Онтарио, Канада, чтобы возобновить свою нормальную деятельность. [63]
ИМК, специализирующиеся на моторном нейропротезировании , стремятся либо восстановить движение у людей с параличом, либо предоставить устройства, помогающие им, такие как интерфейсы с компьютерами или роботизированными руками.
Исследователи из Университета Эмори в Атланте во главе с Филипом Кеннеди и Роем Бакаем первыми установили мозговой имплант человеку, который выдавал сигналы достаточно высокого качества, чтобы имитировать движение. У их пациента, Джонни Рэя (1944–2002), развился « синдром запертости » после инсульта ствола мозга в 1997 году. Имплантат Рэю был установлен в 1998 году, и он прожил достаточно долго, чтобы начать работать с имплантатом, в конечном итоге научившись контролировать компьютерный курсор; он умер в 2002 году от аневризмы головного мозга . [64]
Мэтт Нэгл, страдающий тетраплегией , стал первым человеком, который управлял искусственной рукой с помощью BCI в 2005 году в рамках первого девятимесячного испытания на людях чип-имплантата BrainGate от Cyberkinetics . Имплантированный в правую прецентральную извилину Нэгла (область моторной коры, отвечающей за движение рук), 96-электродный имплант BrainGate позволил Нэглу управлять роботизированной рукой, думая о движении руки, а также о компьютерном курсоре, свете и телевизоре. [65] Год спустя профессор Джонатан Уолпоу получил премию Фонда инноваций Альтрана за разработку нейрокомпьютерного интерфейса с электродами, расположенными на поверхности черепа, а не непосредственно в мозге. [66]
Совсем недавно исследовательские группы под руководством группы BrainGate в Университете Брауна и группы под руководством Медицинского центра Университета Питтсбурга в сотрудничестве с Министерством по делам ветеранов США продемонстрировали дальнейшие успехи в прямом управлении роботизированными протезами конечностей со многими степени свободы с использованием прямых связей с массивами нейронов моторной коры пациентов с тетраплегией. [67] [68]
В мае 2021 года команда Стэнфордского университета сообщила об успешном тесте для проверки концепции, который позволил участнику с параличом нижних конечностей вводить английские предложения со скоростью около 86 символов в минуту и 18 слов в минуту. Участник представлял, как двигает рукой, чтобы писать буквы, а система распознавала рукописный текст по электрическим сигналам, обнаруженным в моторной коре головного мозга, используя для декодирования скрытые модели Маркова и рекуррентные нейронные сети. [69] [70]
В отчете, опубликованном в июле 2021 года, сообщается, что парализованный пациент смог передавать 15 слов в минуту с помощью мозгового имплантата, который анализировал мотонейроны, которые ранее контролировали речевой тракт. [71] [50]
В недавней обзорной статье исследователи подняли открытый вопрос о том, может ли скорость передачи человеческой информации превзойти скорость передачи речи с помощью BCI. Учитывая, что недавние языковые исследования показали, что скорость передачи информации человеком относительно постоянна на многих языках, может существовать предел на уровне обработки информации в мозгу. Напротив, этот «верхний предел» скорости передачи информации может быть присущ самому языку как модальности передачи информации. [72]
В 2023 году в двух исследованиях использовались BCI с рекуррентной нейронной сетью для декодирования речи с рекордной скоростью 62 слова в минуту и 78 слов в минуту. [73] [74] [75]
Существует ряд технических проблем при регистрации активности мозга с помощью инвазивных ИМК. Достижения в области КМОП- технологий способствуют развитию интегрированных, инвазивных конструкций BCI с меньшими размерами, меньшими требованиями к питанию и более высокими возможностями сбора сигналов. [76] Инвазивные ИМК включают в себя электроды, которые проникают в ткань головного мозга в попытке записать сигналы потенциала действия (также известные как спайки) от отдельных или небольших групп нейронов вблизи электрода. Интерфейс между записывающим электродом и электролитным раствором, окружающим нейроны, был смоделирован с использованием модели Ходжкина-Хаксли . [77] [78]
Электронные ограничения инвазивных BCI были активной областью исследований в последние десятилетия. В то время как внутриклеточные записи нейронов выявляют напряжения потенциала действия в сотни милливольт, хронические инвазивные ИМК полагаются на регистрацию внеклеточных напряжений, которые обычно на три порядка меньше и составляют сотни микровольт. [79] Еще больше усложняет задачу обнаружения сигналов в масштабе микровольт тот факт, что интерфейс электрод-ткань имеет высокую емкость при малых напряжениях. Из-за природы этих небольших сигналов для систем BCI, которые включают функциональные возможности в интегральную схему, каждому электроду требуется собственный усилитель и АЦП , которые преобразуют аналоговое внеклеточное напряжение в цифровые сигналы. [79] Поскольку типичный потенциал действия нейрона длится одну миллисекунду, измерительные импульсы BCI должны иметь частоту дискретизации в диапазоне от 300 Гц до 5 кГц. Еще одна проблема заключается в том, что инвазивные ИМК должны быть маломощными, чтобы рассеивать меньше тепла на окружающие ткани; на самом базовом уровне традиционно требуется больше мощности для оптимизации соотношения сигнал/шум . [78] Оптимальная конструкция аккумуляторов является активной областью исследований в области BCI. [80]
Проблемы, существующие в области материаловедения, занимают центральное место в разработке инвазивных BCI. Изменения качества сигнала с течением времени обычно наблюдаются при использовании имплантируемых микроэлектродов. [81] [82] Оптимальные материальные и механические характеристики для долгосрочной стабильности сигнала в инвазивных ИМК были активной областью исследований. [83] Было высказано предположение, что образование глиальных рубцов , вторичное по отношению к повреждению границы раздела электрод-ткань, вероятно, является причиной отказа электрода и снижения качества записи. [84] Исследования показали, что утечка гематоэнцефалического барьера , либо во время введения, либо с течением времени, может быть ответственна за воспалительную и глиальную реакцию на хронические микроэлектроды, имплантированные в мозг. [84] [85] В результате были исследованы и разработаны гибкие [86] [87] [88] и тканеподобные конструкции [89] [90] для минимизации реакции на инородное тело посредством сопоставления модуля Юнга электрод ближе к электроду ткани мозга. [89]
Частично инвазивные устройства BCI имплантируются внутрь черепа, но располагаются вне мозга, а не в сером веществе. Они производят сигналы с лучшим разрешением, чем неинвазивные BCI, где костная ткань черепа отклоняет и деформирует сигналы, и имеют меньший риск формирования рубцовой ткани в мозге, чем полностью инвазивные BCI. Была проведена доклиническая демонстрация внутрикортикальных ИМК из коры головного мозга, пораженной инсультом. [91]
В систематическом обзоре, опубликованном в 2020 году, подробно описаны многочисленные исследования, как клинические, так и доклинические, проводившиеся десятилетия назад по изучению возможности эндоваскулярного ИМК. [92]
В последние годы наибольший прогресс в области частично инвазивных ИМК произошел в области интервенционной неврологии. [2] В 2010 году исследователи из Мельбурнского университета начали разработку BCI, который можно было бы вводить через сосудистую систему. Австралийский невролог Томас Оксли (больница Маунт-Синай) придумал идею создания BCI под названием Stentrode, который получил финансирование от DARPA. Доклинические исследования оценивали технологию на овцах.
Stentrode , монолитный стент-электродная решетка, предназначен для доставки через внутривенный катетер под визуальным контролем в верхний сагиттальный синус , в область, прилегающую к моторной коре . [93] Эта близость к моторной коре лежит в основе способности Стентрода измерять нервную активность. Процедура наиболее похожа на установку стентов венозного синуса для лечения идиопатической внутричерепной гипертензии . [94] Стентрод передает нейронную активность на безбатарейный телеметрический блок, имплантированный в грудь, который связывается по беспроводной сети с внешним телеметрическим блоком, способным передавать питание и данные. Несмотря на то, что эндоваскулярная операция BCI выгодна тем, что позволяет избежать краниотомии при ее введении, возможны такие риски, как свертывание крови и венозный тромбоз .
В настоящее время проводятся первые испытания Стентрода на людях. [93] В ноябре 2020 года два участника с боковым амиотрофическим склерозом смогли по беспроводной сети управлять операционной системой для отправки текстовых сообщений, электронной почты, покупок и банковских операций, используя прямое мышление через интерфейс мозг-компьютер Stentrode, [95] ознаменовав первый случай, когда мозг -Компьютерный интерфейс был имплантирован через кровеносные сосуды пациента, что избавило от необходимости открытой операции на головном мозге. В январе 2023 года исследователи сообщили об отсутствии серьезных побочных эффектов в течение первого года у всех четырех пациентов, которые могли использовать его для работы на компьютерах. [96] [97]
Электрокортикография (ЭКоГ) измеряет электрическую активность мозга, взятую из-под черепа, аналогично неинвазивной электроэнцефалографии, но электроды встроены в тонкую пластиковую подушечку, расположенную над корой, под твердой мозговой оболочкой . [98] Технологии ECoG были впервые опробованы на людях в 2004 году Эриком Лейтхардтом и Дэниелом Мораном из Вашингтонского университета в Сент-Луисе . В ходе более позднего исследования исследователи позволили мальчику-подростку сыграть в Space Invaders , используя свой имплантат ECoG. [99] Это исследование показывает, что контроль осуществляется быстро, требует минимальной подготовки и может быть идеальным компромиссом с точки зрения точности сигнала и уровня инвазивности. [примечание 1]
Сигналы могут быть субдуральными или эпидуральными, но не поступают из самой паренхимы головного мозга . До недавнего времени он не изучался широко из-за ограниченного доступа к предметам. В настоящее время единственным способом получения сигнала для исследования является привлечение пациентов, которым требуется инвазивный мониторинг для локализации и резекции эпилептогенного очага.
ЭКоГ является очень многообещающим промежуточным методом ИМК, поскольку он имеет более высокое пространственное разрешение, лучшее соотношение сигнал/шум, более широкий частотный диапазон и меньшие требования к обучению, чем ЭЭГ, записанная на коже головы, и в то же время имеет меньшую техническую сложность и меньший клинический риск. и может иметь более высокую долговременную стабильность, чем внутрикортикальная запись одного нейрона. [101] Этот профиль функции и недавние доказательства высокого уровня контроля при минимальных требованиях к обучению показывают потенциал для реального применения для людей с двигательными нарушениями. [102] [103] Светореактивные устройства визуализации BCI все еще находятся в области теории.
Недавняя работа, опубликованная Эдвардом Чангом и Джозефом Макином из Калифорнийского университета в Сан-Франциско, показала, что сигналы ECoG могут использоваться для декодирования речи пациентов с эпилепсией, которым имплантированы массивы ECoG высокой плотности в перисильвиеву кору. [104] [105] В их исследовании уровень ошибок в словах достиг 3% (заметное улучшение по сравнению с предыдущими публикациями) с использованием нейронной сети кодировщика-декодера , которая переводила данные ECoG в одно из пятидесяти предложений, состоящих из 250 уникальных слов.
Также проводились эксперименты на людях с использованием неинвазивных технологий нейровизуализации в качестве интерфейсов. Значительное большинство опубликованных работ по BCI связано с неинвазивными BCI на основе ЭЭГ. Неинвазивные технологии и интерфейсы на основе ЭЭГ используются для гораздо более широкого спектра приложений. Хотя интерфейсы на основе ЭЭГ легко носить и не требуют хирургического вмешательства, они имеют относительно низкое пространственное разрешение и не могут эффективно использовать высокочастотные сигналы, поскольку череп гасит сигналы, рассеивая и размывая электромагнитные волны, создаваемые нейронами. Интерфейсы на основе ЭЭГ также требуют некоторого времени и усилий перед каждым сеансом использования, тогда как интерфейсы, не основанные на ЭЭГ, а также инвазивные интерфейсы не требуют предварительного обучения. За последние несколько лет были разработаны новые методы машинного обучения , которые на основе спектральной плотности или генеративно-состязательной сети позволяют добиться лучших результатов в классификации сигналов мозга. [106] [107] Благодаря таким современным методам интерфейсы на основе ЭЭГ могут обеспечить лучшую связь в будущем и могут использоваться в потребительских приложениях.
В целом, лучший BCI для каждого пользователя зависит от множества факторов.
В 2014 и 2017 годах BCI с использованием функциональной спектроскопии ближнего инфракрасного диапазона для «запертых» пациентов с боковым амиотрофическим склерозом (БАС) смог восстановить некоторые базовые способности пациентов общаться с другими людьми. [108] [109]
После того, как вызов BCI был сформулирован Видалем в 1973 году, первоначальные сообщения о неинвазивном подходе включали управление курсором в 2D с помощью VEP (Vidal 1977), управление зуммером с помощью CNV (Bozinovska et al. 1988, 1990), контроль физического объекта, робота, с использованием ритма мозга (альфа) (Бозиновски и др., 1988), управление текстом, написанным на экране, с помощью P300 (Фарвелл и Дончин, 1988). [13]
На заре исследований BCI еще одним существенным препятствием для использования электроэнцефалографии (ЭЭГ) в качестве интерфейса мозг-компьютер была обширная подготовка, необходимая, прежде чем пользователи смогут работать с этой технологией. Например, в экспериментах, начавшихся в середине 1990-х годов, Нильс Бирбаумер из Тюбингенского университета в Германии обучал сильно парализованных людей саморегулированию медленных корковых потенциалов в их ЭЭГ до такой степени, что эти сигналы можно было использовать в качестве двоичных сигналов. для управления компьютерным курсором. [110] (Ранее Бирбаумер обучал эпилептиков предотвращать надвигающиеся припадки, контролируя эту низковольтную волну.) В эксперименте десять пациентов обучались перемещать компьютерный курсор, управляя своими мозговыми волнами. Процесс был медленным: пациентам требовалось более часа, чтобы написать 100 символов с помощью курсора, а обучение часто занимало многие месяцы. Однако подход с использованием медленного кортикального потенциала к BCI не использовался в течение нескольких лет, поскольку другие подходы требуют минимальной подготовки или вообще не требуют ее, являются более быстрыми и точными и работают для большей части пользователей.
Еще одним параметром исследования является тип измеряемой колебательной активности . Герт Пфурчеллер основал лабораторию BCI в 1991 году и поместил результаты своих исследований по воображению движений в первый онлайн- BCI, основанный на колебательных характеристиках и классификаторах. Вместе с Бирбаумером и Джонатаном Уолпоу из Университета штата Нью-Йорк они сосредоточились на разработке технологии, которая позволила бы пользователям выбирать сигналы мозга, которые, по их мнению, легче всего управлять BCI, включая мю- и бета- ритмы.
Еще одним параметром является используемый метод обратной связи, что показано в исследованиях сигналов P300 . Паттерны волн P300 генерируются непроизвольно ( стимул-обратная связь ), когда люди видят что-то, что они узнают, и могут позволить BCI декодировать категории мыслей без предварительного обучения пациентов. Напротив, описанные выше методы биологической обратной связи требуют обучения управлению мозговыми волнами, чтобы можно было обнаружить результирующую активность мозга.
В 2005 году сообщалось об исследовании ЭЭГ-эмуляции цифровых схем управления BCI на примере триггера CNV. [111] В 2009 году сообщалось о неинвазивном ЭЭГ-контроле роботизированной руки с помощью триггера CNV. [112] В 2011 году сообщалось об управлении двумя роботизированными руками, решающими задачу Ханойской башни с тремя дисками с использованием триггера CNV. [113] В 2015 году была описана ЭЭГ-эмуляция триггера Шмитта, триггера, демультиплексора и модема. [114]
В то время как интерфейс «мозг-компьютер» на основе ЭЭГ активно разрабатывался в ряде исследовательских лабораторий, недавние достижения Бин Хэ и его команды в Университете Миннесоты предполагают потенциал интерфейса «мозг-компьютер» на основе ЭЭГ для решения задач, близких к инвазивным. интерфейс мозг-компьютер. Используя расширенную функциональную нейровизуализацию, в том числе функциональную МРТ BOLD и визуализацию источника ЭЭГ , Бин Хе и его коллеги определили ковариацию и совместную локализацию электрофизиологических и гемодинамических сигналов, вызванных моторным воображением. [115] Усовершенствованный подходом нейровизуализации и протоколом обучения, Бин Хэ и его коллеги продемонстрировали способность неинвазивного интерфейса мозг-компьютер на основе ЭЭГ управлять полетом виртуального вертолета в трехмерном пространстве, основанном на моторное воображение. [116] В июне 2013 года было объявлено, что Бин Хэ разработал метод, позволяющий вертолету с дистанционным управлением преодолевать полосу препятствий. [117]
В дополнение к интерфейсу мозг-компьютер, основанному на мозговых волнах, записанных с электродов ЭЭГ кожи головы, Бин Хэ и его коллеги исследовали виртуальный интерфейс мозг-компьютер на основе сигналов ЭЭГ, сначала решая обратную задачу ЭЭГ, а затем используя полученный виртуальный интерфейс. ЭЭГ для задач интерфейса мозг-компьютер. Тщательно контролируемые исследования показали преимущества такого интерфейса «мозг-компьютер», основанного на анализе источников. [118]
Исследование 2014 года показало, что пациенты с тяжелыми двигательными нарушениями могут общаться быстрее и надежнее с помощью неинвазивной ЭЭГ BCI, чем с любым каналом связи, основанным на мышцах. [119]
Исследование 2016 года показало, что устройство Emotiv EPOC может быть более подходящим для задач управления с использованием уровня внимания/медитации или моргания глаз, чем устройство Neurosky MindWave. [120]
Исследование 2019 года показало, что применение эволюционных алгоритмов может улучшить классификацию психических состояний ЭЭГ с помощью неинвазивного устройства Muse , обеспечивая высококачественную классификацию данных, полученных с помощью дешевого сенсорного устройства ЭЭГ потребительского уровня. [121]
В систематическом обзоре рандомизированных контролируемых исследований 2021 года с использованием BCI для реабилитации верхних конечностей после инсульта было обнаружено, что BCI на основе ЭЭГ оказывает значительную эффективность в улучшении двигательной функции верхних конечностей по сравнению с контрольными методами лечения. В частности, исследования BCI, в которых использовались характеристики мощности диапазонов, двигательные образы и функциональная электрическая стимуляция, оказались более эффективными, чем альтернативы. [122] Еще один систематический обзор 2021 года был посвящен роботизированному ИМК на основе ЭЭГ для реабилитации рук после инсульта. Улучшение показателей двигательной оценки наблюдалось в трех из одиннадцати исследований, включенных в систематический обзор. [123]
В начале 1990-х годов Бабак Тахери из Калифорнийского университета Дэвис продемонстрировал первые одно- и многоканальные сухие активные электродные матрицы с использованием микрообработки. Конструкция одноканального сухого электрода ЭЭГ и результаты были опубликованы в 1994 году. [124] Было также продемонстрировано, что массивный электрод работает лучше по сравнению с электродами из серебра / хлорида серебра . Устройство состояло из четырех узлов датчиков со встроенной электроникой для снижения шума за счет согласования импедансов . Преимущества таких электродов: (1) не используется электролит, (2) не требуется подготовка кожи, (3) значительно уменьшен размер датчика и (4) совместимость с системами ЭЭГ-мониторинга. Активная электродная решетка представляет собой интегрированную систему, состоящую из массива емкостных датчиков с локальной интегральной схемой, размещенной в корпусе с батареями для питания схемы. Такой уровень интеграции был необходим для достижения функциональных характеристик, получаемых электродом.
Электрод был протестирован на электрическом испытательном стенде и на людях в четырех модальностях активности ЭЭГ, а именно: (1) спонтанная ЭЭГ, (2) потенциалы, связанные с сенсорными событиями, (3) потенциалы ствола головного мозга и (4) когнитивные события. - связанные потенциалы. Характеристики сухого электрода выгодно отличаются от стандартных влажных электродов с точки зрения подготовки кожи, отсутствия необходимости в геле (сухой электрод) и более высокого соотношения сигнал/шум. [125]
В 1999 году исследователи из Университета Кейс Вестерн Резерв в Кливленде , штат Огайо , под руководством Хантера Пекхэма использовали 64-электродную ЭЭГ, чтобы вернуть ограниченные движения рук парализованному Джиму Джатичу. Пока Джатич сосредоточился на простых, но противоположных понятиях, таких как вверх и вниз, его результаты ЭЭГ с бета-ритмом были проанализированы с помощью программного обеспечения для выявления закономерностей в шуме. Была определена базовая схема, которая использовалась для управления переключателем: активность выше среднего была включена, ниже средней — выключена. Помимо того, что Ятич позволял управлять компьютерным курсором, сигналы также использовались для управления нервными контроллерами, встроенными в его руки, восстанавливая некоторые движения. [126]
В 2009 году сообщалось о повязке на голову NCTU Brain-Computer-Interface. Исследователи, разработавшие эту повязку BCI, также разработали сухие электроды для микроэлектромеханической системы (МЭМС) на основе кремния, предназначенные для применения на участках тела , не покрытых волосами . Эти электроды крепились к плате сбора данных на оголовье с помощью защелкивающихся держателей электродов. Модуль обработки сигналов измерял альфа- активность, а телефон с поддержкой Bluetooth оценивал бдительность пациентов и их когнитивные способности. Когда субъект погружался в сонливость, телефон посылал оператору возбуждающий сигнал, чтобы разбудить его. Это исследование было поддержано Национальным научным советом Тайваня, Китайской республикой, ННЦ, Национальным университетом Цзяо-Дун, Министерством образования Тайваня и Исследовательской лабораторией армии США . [127]
В 2011 году исследователи сообщили о BCI на основе сотовой связи, способном собирать данные ЭЭГ и преобразовывать их в команду, вызывающую звонок телефона. Это исследование было частично поддержано Abraxis Bioscience LLP, Исследовательской лабораторией армии США и Исследовательским управлением армии. Разработанная технология представляла собой носимую систему, состоящую из четырехканального модуля сбора/усиления биосигналов , модуля беспроводной передачи и сотового телефона с поддержкой Bluetooth. Электроды располагались так, чтобы они улавливали устойчивые зрительные вызванные потенциалы ( SSVEP ). [128] SSVEP — это электрические реакции на мерцающие зрительные стимулы с частотой повторения более 6 Гц [128] , которые лучше всего обнаруживаются в теменных и затылочных областях зрительной коры головы. [129] [130] [131] Сообщалось, что с помощью этой установки BCI все участники исследования смогли инициировать телефонный звонок с минимальной практикой в естественной среде. [132]
Ученые утверждают, что их исследования с использованием одноканального быстрого преобразования Фурье ( FFT ) и алгоритма канонического корреляционного анализа многоканальной системы ( CCA ) подтверждают возможности мобильных BCI. [128] [133] Алгоритм CCA применялся в других экспериментах по исследованию BCI с заявленными высокими характеристиками как по точности, так и по скорости. [134] Хотя технология BCI на основе сотовой связи была разработана для инициирования телефонного звонка от SSVEP, исследователи заявили, что ее можно использовать и в других приложениях, таких как улавливание сенсомоторных мю / бета- ритмов для функционирования в качестве BCI на основе двигательных образов. [128]
В 2013 году были проведены сравнительные испытания BCI на базе мобильных телефонов, планшетов и компьютеров Android с анализом спектральной плотности мощности результирующих SSVEP ЭЭГ. Заявленные цели этого исследования, в котором участвовали ученые, частично поддерживаемые Исследовательской лабораторией армии США, заключались в том, чтобы «повысить практичность, портативность и повсеместное распространение BCI на основе SSVEP для ежедневного использования». Цитирование Сообщалось, что частота стимуляции на всех средах была точной, хотя сигнал сотового телефона демонстрировал некоторую нестабильность. Сообщалось также, что амплитуды SSVEP для ноутбука и планшета больше, чем для мобильного телефона. Эти две качественные характеристики были предложены как индикаторы возможности использования мобильного стимула BCI. [133]
В 2011 году исследователи заявили, что дальнейшая работа должна обеспечить простоту использования, надежность производительности, снижение затрат на оборудование и программное обеспечение. [128]
Одной из трудностей с показаниями ЭЭГ является большая чувствительность к артефактам движения. [135] В большинстве ранее описанных исследовательских проектов участников просили сидеть неподвижно, максимально сократив движения головы и глаз, а измерения проводились в лабораторных условиях. Однако, поскольку основное применение этих инициатив заключалось в создании мобильного устройства для ежедневного использования, [133] технологию пришлось протестировать в движении.
В 2013 году исследователи протестировали мобильную технологию BCI на основе ЭЭГ, измеряя SSVEP у участников, когда они шли по беговой дорожке с различной скоростью. Это исследование было поддержано Управлением военно-морских исследований , Управлением исследований армии и Исследовательской лабораторией армии США. Заявленные результаты заключались в том, что по мере увеличения скорости обнаруживаемость SSVEP с использованием CCA уменьшалась. Поскольку анализ независимых компонентов ( ICA ) оказался эффективным в отделении сигналов ЭЭГ от шума, [136] ученые применили ICA к извлеченным из CCA данным ЭЭГ. Они заявили, что данные CCA с обработкой ICA и без нее были схожими. Таким образом, они пришли к выводу, что CCA независимо продемонстрировал устойчивость к артефактам движения, что указывает на то, что этот алгоритм может быть полезным для применения к BCI, используемым в реальных условиях. [130] Одной из основных проблем в приложениях BCI на основе ЭЭГ является низкое пространственное разрешение. С 2019 года было предложено несколько решений для решения этой проблемы, в том числе: подключение источников ЭЭГ на основе теории графов, распознавание образов ЭЭГ на основе Topomap, объединение ЭЭГ-фМРТ и так далее.
Неинвазивные ИМК также применялись для обеспечения контроля мозга над протезами верхних и нижних конечностей у людей с параличом. Например, Герт Пфурчеллер из Технологического университета Граца и его коллеги продемонстрировали управляемую BCI систему функциональной электростимуляции для восстановления движений верхних конечностей у человека с тетраплегией из-за травмы спинного мозга . [137] В период с 2012 по 2013 год исследователи из Калифорнийского университета в Ирвайне впервые продемонстрировали, что можно использовать технологию BCI для восстановления ходьбы, контролируемой мозгом, после травмы спинного мозга. В исследовании травм спинного мозга человек с параплегией смог использовать роботизированный ортез для ходьбы с BCI, чтобы восстановить базовое передвижение, контролируемое мозгом. [138] [139] В 2009 году Алекс Блейни, независимый исследователь из Великобритании, успешно использовал Emotiv EPOC для управления 5-осевой манипулятором робота. [140] Затем он создал несколько демонстрационных управляемых разумом инвалидных колясок и домашней автоматизации , которыми могли управлять люди с ограниченным или отсутствующим двигательным контролем, например, люди с параплегией и церебральным параличом.
Исследования по использованию BCI в военных целях, финансируемые DARPA , продолжаются с 1970-х годов. [3] [4] В настоящее время в центре внимания исследований находится общение между пользователями посредством анализа нейронных сигналов. [141]
Магнитоэнцефалография (МЭГ) и функциональная магнитно-резонансная томография (фМРТ) успешно используются в качестве неинвазивных методов BCI. [142] В широко известном эксперименте фМРТ позволила двум пользователям пройти сканирование и поиграть в понг в режиме реального времени, изменив их гемодинамическую реакцию или мозговой кровоток с помощью методов биологической обратной связи . [143]
Измерения гемодинамических реакций с помощью фМРТ в реальном времени также использовались для управления руками робота с семисекундной задержкой между мыслью и движением. [144]
В 2008 году исследования, проведенные в Лабораториях вычислительной нейронауки Advanced Telecommunication Research (ATR) в Киото , Япония, позволили ученым реконструировать изображения непосредственно из мозга и отображать их на компьютере в черно-белом режиме с разрешением 10x10 пикселей . Статья, анонсирующая эти достижения, стала обложкой журнала Neuron от 10 декабря 2008 г. [145]
В 2011 году исследователи из Калифорнийского университета в Беркли опубликовали [146] исследование, в котором сообщалось о посекундной реконструкции видео, просмотренных участниками исследования, на основе данных фМРТ. Это было достигнуто путем создания статистической модели, связывающей визуальные закономерности в видеороликах, показанных испытуемым, с активностью мозга, вызванной просмотром видеороликов. Затем эта модель была использована для поиска 100 односекундных видеосегментов в базе данных, состоящей из 18 миллионов секунд случайных видеороликов YouTube , визуальные шаблоны которых наиболее точно соответствовали мозговой активности, записанной при просмотре испытуемыми нового видео. Эти 100 односекундных видеофрагментов были затем объединены в смешанное изображение, напоминающее просматриваемое видео. [147] [148] [149]
Воображение движений включает в себя воображение движений различных частей тела, что приводит к активации сенсомоторной коры головного мозга , которая модулирует сенсомоторные колебания на ЭЭГ. Это может быть обнаружено BCI, чтобы сделать вывод о намерениях пользователя. Воображение движений обычно требует нескольких тренировок, прежде чем будет достигнут приемлемый контроль над BCI. Эти учебные занятия могут занять несколько часов в течение нескольких дней, прежде чем пользователи смогут постоянно применять эту технику с приемлемым уровнем точности. Независимо от продолжительности тренировки пользователи не могут освоить схему управления. Это приводит к очень медленному темпу игрового процесса. [150] Недавно были разработаны передовые методы машинного обучения для расчета специфичной для субъекта модели определения эффективности воображения движений. Самый эффективный алгоритм из набора данных 2 BCI Competition IV [151] для изображений движений — это Common Spatial Pattern банка фильтров, разработанный Ang et al. от A*STAR , Сингапур . [152]
Биологическая обратная связь используется для мониторинга психического расслабления субъекта. В некоторых случаях биологическая обратная связь позволяет контролировать не электроэнцефалографию (ЭЭГ), а параметры организма, такие как электромиография (ЭМГ), кожно-гальваническое сопротивление (КГР) и вариабельность сердечного ритма (ВСР). Многие системы биологической обратной связи используются для лечения определенных расстройств, таких как синдром дефицита внимания и гиперактивности (СДВГ) , проблемы со сном у детей, скрежетание зубами и хронические боли. Системы биологической обратной связи ЭЭГ обычно отслеживают четыре разных диапазона (тета: 4–7 Гц, альфа: 8–12 Гц, SMR: 12–15 Гц, бета: 15–18 Гц) и предлагают субъекту контролировать их. Пассивный BCI [55] предполагает использование BCI для обогащения взаимодействия человека и машины неявной информацией о фактическом состоянии пользователя, например, моделированием для определения того, когда пользователи собираются нажать на тормоз во время процедуры экстренной остановки автомобиля. Разработчики игр, использующие пассивные BCI, должны признать, что при повторении уровней игры когнитивное состояние пользователя будет меняться или адаптироваться. При первом прохождении уровня пользователь будет реагировать на вещи иначе, чем во время второго прохождения: например, пользователь будет меньше удивляться событию в игре, если он его ожидает. [150]
ВЭП — это электрический потенциал, регистрируемый после того, как субъекту предъявлены определенные визуальные стимулы. Существует несколько типов ВЭП.
Стационарные зрительно-вызванные потенциалы (SSVEP) используют потенциалы, генерируемые путем возбуждения сетчатки с использованием зрительных стимулов, модулированных на определенных частотах. Стимулы ССВЭП часто формируются из чередующихся шахматных фигур, а иногда просто используют мигающие изображения. Частоту изменения фазы используемого стимула можно четко различить в спектре ЭЭГ; это делает обнаружение стимулов SSVEP относительно простым. SSVEP доказал свою эффективность во многих системах BCI. Это связано с несколькими факторами: вызванный сигнал поддается измерению в такой большой популяции, как преходящая ЗВП и моргание, а электрокардиографические артефакты не влияют на контролируемые частоты. Кроме того, сигнал SSVEP исключительно устойчив; Топографическая организация первичной зрительной коры такова, что более широкая область получает афференты из центральной или фовиальной области зрительного поля. Однако у SSVEP есть несколько проблем. Поскольку SSVEP используют мигающие стимулы, чтобы определить намерения пользователя, пользователь должен смотреть на один из мигающих или повторяющихся символов, чтобы взаимодействовать с системой. Поэтому вполне вероятно, что символы могут стать раздражающими и неудобными в использовании во время длительных игровых сессий, которые часто могут длиться более часа, что может быть не идеальным игровым процессом.
Другой тип VEP, используемый с приложениями, — это потенциал P300 . Событийный потенциал P300 представляет собой положительный пик ЭЭГ, который возникает примерно через 300 мс после появления целевого стимула (стимула, которого пользователь ждет или ищет) или необычного стимула . Амплитуда P300 уменьшается по мере того, как целевые стимулы и игнорируемые стимулы становятся более похожими. Считается, что P300 связан с процессом внимания более высокого уровня или ориентировочной реакцией, использование P300 в качестве схемы управления имеет преимущество, заключающееся в том, что участнику приходится посещать только ограниченное тренировки. Первым приложением, в котором использовалась модель P300, была матрица P300. В рамках этой системы испытуемый выбирал букву из сетки 6 на 6 букв и цифр. Строки и столбцы сетки мигали последовательно, и каждый раз, когда выбранная «буква выбора» подсвечивалась, P300 пользователя (потенциально) вызывался. Однако процесс связи, составлявший примерно 17 символов в минуту, был довольно медленным. P300 — это BCI, который предлагает дискретный выбор, а не механизм непрерывного управления. Преимущество использования P300 в играх заключается в том, что игроку не нужно обучаться использованию совершенно новой системы управления, и поэтому ему достаточно пройти лишь короткие тренировки, чтобы изучить механику игрового процесса и базовое использование парадигмы BCI. [150]
Взаимодействие человека и компьютера может выиграть от других методов записи, таких как ЭОГ и отслеживание глаз. Однако эти методы не регистрируют активность мозга и, следовательно, не подпадают под точный объем BCI, а скорее могут быть сгруппированы в более широкую область физиологических вычислений. [153]
В 1989 году был представлен доклад об управлении мобильным роботом по движению глаз с использованием сигналов электроокулографии (ЭОГ). Мобильный робот перемещался от старта до целевой точки с помощью пяти команд EOG, которые интерпретировались как вперед, назад, влево, вправо и стоп. [154]
В статье 2016 года [155] описано совершенно новое устройство связи и интерфейс человек-компьютер, не основанный на ЭЭГ, который не требует никакой зрительной фиксации или вообще способности двигать глазами. Интерфейс основан на скрытом интересе ; направление внимания на выбранную букву на виртуальной клавиатуре без необходимости двигать глазами, чтобы посмотреть прямо на букву. Каждая буква имеет свой собственный (фоновый) круг, яркость которого микроколебается иначе, чем у всех остальных букв. Выбор букв основан на наилучшем соответствии между непреднамеренным колебанием размера зрачка и характером колебаний яркости фонового круга. Точность дополнительно повышается за счет мысленного повторения пользователем слов «яркий» и «темный» синхронно с переходами яркости круга буквы.
В рамках инициативы армии США стоимостью 6,3 миллиона долларов по изобретению устройств для телепатической связи Гервин Шалк , получивший грант в 2,2 миллиона долларов, обнаружил, что использование сигналов ECoG может различать гласные и согласные, встроенные в произнесенные и воображаемые слова, проливая свет на различные механизмы, связанные с этим. с воспроизведением гласных и согласных и может стать основой для мозгового общения с использованием воображаемой речи. [103] [156]
В 2002 году Кевину Уорвику в его нервную систему был вставлен набор из 100 электродов, чтобы подключить его нервную систему к Интернету и исследовать возможности улучшения. Благодаря этому Уорвик успешно провел серию экспериментов. С помощью электродов, также имплантированных в нервную систему его жены, они провели первый эксперимент по прямой электронной связи между нервными системами двух людей. [157] [158] [159] [160]
Другая группа исследователей смогла добиться сознательного межмозгового общения между двумя людьми, разделенными расстоянием, с помощью неинвазивной технологии, которая контактировала с кожей головы участников. Слова были закодированы двоичными потоками с использованием последовательностей 0 и 1 с помощью воображаемого двигательного ввода человека, «испускающего» информацию. В результате этого эксперимента псевдослучайные биты информации содержали закодированные слова «хола» («привет» по-испански) и «чао» («до свидания» по-итальянски) и передавались между людьми, разделенными на расстоянии с заблокированными двигательными и сенсорными системами, вероятность того, что это произойдет случайно, мала или нулевая. [161]
В 1960-х годах исследователь, после некоторого обучения, добился успеха в использовании ЭЭГ для создания азбуки Морзе с использованием альфа-волн мозга. Исследования, финансируемые армией США, проводятся с целью позволить пользователям составить сообщение в своей голове, а затем передать это сообщение с помощью силы мысли конкретному человеку. [162] 27 февраля 2013 года группа Мигеля Николелиса из Университета Дьюка и IINN-ELS успешно соединила мозг двух крыс с электронными интерфейсами, которые позволили им напрямую обмениваться информацией, с помощью первого в мире прямого интерфейса «мозг-мозг» . [163] [164] [165]
Исследователи создали устройства для взаимодействия с нервными клетками и целыми нейронными сетями в культурах, не относящихся к животным. Помимо дальнейшего исследования имплантируемых устройств животным, эксперименты с культивируемой нервной тканью были сосредоточены на создании сетей решения проблем, конструировании базовых компьютеров и управлении роботизированными устройствами. Исследования методов стимуляции и записи отдельных нейронов, выращенных на полупроводниковых чипах, иногда называют нейроэлектроникой или нейрочипами . [166]
В 1997 году команда Калифорнийского технологического института под руководством Джерома Пайна и Майкла Махера заявила о разработке первого работающего нейрочипа. [167] Чип Калифорнийского технологического института вмещал 16 нейронов.
В 2003 году группа под руководством Теодора Бергера из Университета Южной Калифорнии начала работу над нейрочипом, предназначенным для работы в качестве искусственного или протезированного гиппокампа . Нейрочип был разработан для работы в мозге крыс и стал прототипом для возможной разработки протеза высшего мозга. Гиппокамп был выбран потому, что он считается наиболее упорядоченной и структурированной частью мозга и наиболее изученной областью. Его функция — кодировать переживания для хранения в виде долговременных воспоминаний в другом месте мозга. [168]
В 2004 году Томас ДеМарс из Университета Флориды использовал культуру 25 000 нейронов, взятых из мозга крысы, для управления симулятором истребителя F-22 . [169] После сбора кортикальные нейроны были культивированы в чашке Петри и быстро начали воссоединяться, образуя живую нейронную сеть. Ячейки были расположены на сетке из 60 электродов и использовались для управления функциями наклона и рыскания симулятора. Основное внимание в исследовании было уделено пониманию того, как человеческий мозг выполняет и изучает вычислительные задачи на клеточном уровне.
Идея объединения/интеграции сигналов мозга от нескольких человек была представлена на конференции Humanity+ @Caltech в декабре 2010 года исследователем Калифорнийского технологического института из Лаборатории реактивного движения Адрианом Стойкой; Стойка назвал эту концепцию агрегацией нескольких мозгов. [170] [171] [172] Предварительная заявка на патент была подана 19 января 2011 года, а непредварительный патент последовал год спустя. [173] В мае 2011 года Иджун Ван и Цзы-Пин Юнг опубликовали книгу «Совместный мозго-компьютерный интерфейс для улучшения производительности человека» , а в январе 2012 года Мигель Экстайн опубликовал «Нейронное декодирование коллективной мудрости с помощью мультимозговых вычислений» . [174] [175] Первая статья Стойки по этой теме появилась в 2012 году, после публикации его заявки на патент. [176] Учитывая время публикации патента и статей, Стойка, Ван и Юнг и Экстайн независимо друг от друга разработали эту концепцию, и все они считаются основателями этой области. Позже Стойка будет сотрудничать с исследователями из Университета Эссекса Риккардо Поли и Катериной Синель. [177] [178] Работу продолжили Поли и Синель, а также их ученики: Ана Матран-Фернандес, Давиде Валериани и Саугат Бхаттачария. [179] [180] [181]
Поскольку технологии постоянно стирают грань между научной фантастикой и реальностью, появление интерфейсов «мозг-компьютер» (BCI) ставит глубокую этическую проблему. Эти нейронные интерфейсы, провозглашенные чудом инноваций, облегчают прямую связь между человеческим мозгом и внешними устройствами. Однако этический ландшафт, окружающий BCI, сложен и многогранен, включая проблемы вторжения в частную жизнь, автономии, согласия и потенциальные социальные последствия слияния человеческого познания с машинными интерфейсами. Углубление этических соображений BCI проливает свет на сложный баланс между технологическим прогрессом и защитой фундаментальных прав и ценностей человека. Многие из поднятых проблем можно разделить на две группы: проблемы, ориентированные на пользователя, и юридические и социальные проблемы.
Этические проблемы в сфере, ориентированной на пользователя, как правило, вращаются вокруг безопасности пользователя и последствий, которые эта технология окажет на указанного пользователя в течение определенного периода времени. Они могут включать, помимо прочего: долгосрочные последствия для пользователя остаются в значительной степени неизвестными, получение информированного согласия от людей, испытывающих трудности с общением, последствия технологии BCI для качества жизни пациентов и их семей, побочные эффекты, связанные со здоровьем. -эффекты (например, сообщается, что нейробиоуправление при тренировке сенсомоторного ритма влияет на качество сна), терапевтические применения и их потенциальное неправильное использование, риски для безопасности, необратимость некоторых изменений, внесенных в мозг, отсутствие доступа к техническому обслуживанию, ремонту и запасным частям в случае банкротства компании [182] и т. д.
Юридический и социальный аспект BCI является метафорическим минным полем для любой организации, пытающейся сделать BCI массовым явлением. Некоторые из этих проблем могут быть связаны с вопросами подотчетности и ответственности: утверждения о том, что влияние BCI преобладает над свободой воли и контролем над сенсомоторными действиями, утверждения о том, что когнитивное намерение было неточно переведено из-за неисправности BCI, связанные с этим изменения личности, вызванные глубокими изменениями в мозге. стимуляция, опасения по поводу состояния «киборга» - наличие живых частей тела и механических частей, вопросы о личности: что значит быть человеком, стирание границы между человеком и машиной и неспособность различать действия человека и машины, [183] использование этой технологии в передовых методах допроса государственными органами, «взлом мозга» или несанкционированный доступ к чьим-либо BCI, [184] выборочное улучшение и социальное расслоение, чтение мыслей и конфиденциальность, отслеживание и «система тегов», контроль разума , контроль движений и контроль эмоций. [185] Кроме того, многие исследователи предположили, что BCI только усугубит социальное неравенство, наблюдаемое сегодня.
В своей нынешней форме большинство BCI далеки от рассмотренных выше этических проблем. По функциям они на самом деле аналогичны корректирующей терапии. Клаузен заявил в 2009 году, что «BCI создают этические проблемы, но они концептуально аналогичны тем, которые биоэтики рассматривали в других областях терапии [186] ». Более того, он предполагает, что биоэтика хорошо подготовлена к решению проблем, возникающих с технологиями BCI. Хаселагер и его коллеги [187] отметили, что ожидания эффективности и ценности BCI играют большую роль в этическом анализе и в том, как ученые BCI должны подходить к средствам массовой информации. Кроме того, могут быть реализованы стандартные протоколы для обеспечения этически обоснованных процедур информированного согласия с изолированными пациентами.
Сегодняшний случай BCI имеет параллели в медицине, как и его эволюция. Подобно тому, как фармацевтическая наука начиналась как баланс нарушений и теперь используется для повышения концентрации внимания и снижения потребности во сне, BCI, вероятно, постепенно трансформируется из терапии в улучшение. [188] Внутри сообщества BCI предпринимаются усилия по достижению консенсуса по этическим принципам исследований, разработок и распространения BCI. [189] По мере продолжения инноваций обеспечение равного доступа к BCI будет иметь решающее значение, в противном случае может возникнуть неравенство между поколениями, которое может отрицательно повлиять на право на процветание человека.
Недавно ряд компаний свернули использование технологий ЭЭГ медицинского уровня, чтобы создать недорогие ИМК для исследовательских, а также развлекательных целей. Например, такие игрушки, как NeuroSky и Mattel MindFlex, добились определенного коммерческого успеха.
Консорциум, состоящий из 12 европейских партнеров, завершил дорожную карту для поддержки Европейской комиссии в принятии решений о финансировании новой рамочной программы Horizon 2020 . Проект, финансируемый Европейской комиссией, стартовал в ноябре 2013 года, а дорожная карта была опубликована в апреле 2015 года . -Общество компьютерного интерфейса. [205] Например, в этой статье рассмотрена работа в рамках этого проекта, которая дает дальнейшее определение BCI и его применения, исследует последние тенденции, обсуждает этические проблемы и оценивает различные направления новых BCI.
Другие недавние публикации также исследовали будущие направления BCI для новых групп пользователей с ограниченными возможностями (например, [10] [206] ) .
У некоторых людей наблюдается расстройство сознания (ДРС). Под этим состоянием понимаются люди, находящиеся в коме, а также люди, находящиеся в вегетативном состоянии (ВС) или в состоянии минимального сознания (MCS). Новое исследование BCI направлено на то, чтобы разными способами помочь людям с DOC. Ключевой первоначальной целью является выявление пациентов, которые могут выполнять основные когнитивные задачи, что, конечно, приведет к изменению их диагноза. То есть некоторые люди, у которых диагностирован DOC, на самом деле могут быть способны обрабатывать информацию и принимать важные жизненные решения (например, обращаться ли за помощью, где жить, и их взгляды на решения в отношении них в конце жизни). Некоторые люди с диагнозом DOC умирают в результате решений о конце жизни, которые могут быть приняты членами семьи, которые искренне считают, что это отвечает интересам пациента. Учитывая новую перспективу предоставления этим пациентам возможности высказать свое мнение по поводу этого решения, может возникнуть сильное этическое давление в пользу развития этого направления исследований, чтобы гарантировать пациентам DOC возможность решить, хотят ли они жить. [207] [208]
В этих и других статьях описаны новые проблемы и решения по использованию технологии BCI для помощи людям с DOC. Одна из основных проблем заключается в том, что эти пациенты не могут использовать BCI на основе зрения. Следовательно, новые инструменты полагаются на слуховые и/или вибротактильные стимулы. Пациенты могут носить наушники и/или вибротактильные стимуляторы, размещаемые на запястьях, шее, ногах и/или других местах. Другая проблема заключается в том, что пациенты могут приходить в сознание и терять его и могут общаться только в определенное время. Это действительно может быть причиной ошибочного диагноза. Некоторые пациенты могут быть в состоянии отвечать на запросы врачей только в течение нескольких часов в день (что может быть невозможно предсказать заранее) и, таким образом, могут не отвечать на запросы во время постановки диагноза. Таким образом, новые методы основаны на инструментах, которые легко использовать в полевых условиях даже без помощи специалиста, поэтому члены семьи и другие люди без какого-либо медицинского или технического образования по-прежнему могут их использовать. Это снижает затраты, время, потребность в экспертных знаниях и другие трудности, связанные с оценкой DOC. Автоматизированные инструменты могут задавать простые вопросы, на которые пациенты могут легко ответить, например: «Вашего отца зовут Джордж?» или «Вы родились в США?» Автоматизированные инструкции сообщают пациентам, что они могут сказать «да» или «нет», (например) сосредоточив свое внимание на стимулах на правом, а не на левом запястье. Такое сосредоточенное внимание вызывает достоверные изменения в паттернах ЭЭГ , которые могут помочь определить, способен ли пациент общаться. Результаты могут быть представлены врачам и терапевтам, что может привести к пересмотру диагноза и терапии. Кроме того, этим пациентам затем могут быть предоставлены коммуникационные инструменты на базе BCI, которые помогут им сообщать об основных потребностях, регулировать положение кровати и системы отопления, вентиляции и кондиционирования (отопление, вентиляция и кондиционирование воздуха), а также иным образом позволят им принимать важные жизненные решения и общаться. [209] [210] [211]
Люди могут частично потерять способность двигаться по многим причинам, например, из-за инсульта или травмы. Исследования последних лет продемонстрировали полезность систем BCI на основе ЭЭГ для содействия двигательному восстановлению и нейрореабилитации у пациентов, перенесших инсульт. [212] [213] [214] [215] Несколько групп исследовали системы и методы восстановления моторики, включающие BCI. [216] [217] [218] [219] При этом подходе BCI измеряет двигательную активность, в то время как пациент воображает или пытается совершать движения в соответствии с указаниями терапевта. BCI может обеспечить два преимущества: (1) если BCI указывает на то, что пациент неправильно представляет движение (неподчинение), тогда BCI может проинформировать об этом пациента и терапевта; и (2) поощрительная обратная связь, такая как функциональная стимуляция или движение виртуального аватара, также зависит от правильного представления движения пациента.
До сих пор BCI для восстановления моторики полагались на ЭЭГ для измерения двигательных представлений пациента. Тем не менее, исследования также использовали фМРТ для изучения различных изменений в мозге, когда люди проходят курс реабилитации после инсульта на основе BCI. [220] [221] [222] Визуализирующие исследования в сочетании с системами BCI на основе ЭЭГ обещают изучить нейропластичность во время восстановления моторики после инсульта. [222] Будущие системы могут включать в себя фМРТ и другие средства контроля в реальном времени, такие как функциональный ближний инфракрасный диапазон, вероятно, в тандеме с ЭЭГ. Неинвазивная стимуляция мозга также изучалась в сочетании с BCI для восстановления моторики. [223] В 2016 году ученые из Мельбурнского университета опубликовали доклинические данные, подтверждающие концепцию потенциальной технологической платформы интерфейса мозг-компьютер, разрабатываемой для пациентов с параличом, чтобы облегчить управление внешними устройствами, такими как роботизированные конечности, компьютеры и экзоскелеты путем трансляции активности мозга. [224] [225] В настоящее время проводятся клинические испытания. [226]
Ежегодно около 400 000 человек подвергаются картированию мозга во время нейрохирургии. Эта процедура часто требуется людям с опухолями или эпилепсией, которые не реагируют на лекарства . [227] Во время этой процедуры на мозг накладываются электроды, позволяющие точно определить расположение структур и функциональных областей. Пациенты могут бодрствовать во время нейрохирургии, и их просят выполнить определенные действия, например, пошевелить пальцами или повторить слова. Это необходимо для того, чтобы хирурги могли удалить только нужную ткань, сохраняя при этом другие области, такие как критические двигательные или языковые области. Удаление слишком большого количества ткани головного мозга может привести к необратимому повреждению, тогда как удаление слишком малого количества ткани может оставить основное заболевание без лечения и потребовать дополнительной нейрохирургии. [ нужна цитата ] Таким образом, существует острая необходимость в улучшении как методов, так и систем для максимально эффективного картирования мозга.
В нескольких недавних публикациях эксперты-исследователи BCI и врачи совместно изучали новые способы использования технологии BCI для улучшения нейрохирургического картирования. В данной работе основное внимание уделяется высокой гамма-активности, которую трудно обнаружить неинвазивными методами. Результаты привели к усовершенствованию методов определения ключевых областей движения, языка и других функций. В недавней статье рассматриваются достижения в области функционального картирования мозга и подводятся итоги семинара. [228]
Гибкая электроника — это полимеры или другие гибкие материалы (например , шелк , [229] пентацен , ПДМС , парилен , полиимид [230] ), на которых напечатаны схемы ; гибкая природа органических исходных материалов позволяет созданной электронике сгибаться, а методы изготовления, используемые для создания этих устройств, напоминают те, которые используются для создания интегральных схем и микроэлектромеханических систем (МЭМС). [ нужна цитация ] Гибкая электроника была впервые разработана в 1960-х и 1970-х годах, но исследовательский интерес возрос в середине 2000-х годов. [231]
Гибкие нейронные интерфейсы в последние годы тщательно тестировались с целью минимизировать травму тканей головного мозга, связанную с механическим несоответствием между электродом и тканью. [232] Минимизация травматизации тканей теоретически могла бы продлить срок службы ИМК, опираясь на гибкие интерфейсы электрод-ткань.
Нейронная пыль — это термин, используемый для обозначения устройств размером в миллиметр, работающих как нервные датчики с беспроводным питанием , которые были предложены в статье 2011 года Центра беспроводных исследований Калифорнийского университета в Беркли , в которой описаны как проблемы, так и выдающиеся преимущества создания долговременной беспроводной BCI. [233] [234] В одной из предложенных моделей нейронного датчика пыли модель транзистора позволяла использовать метод разделения локальных потенциалов поля и «всплесков» потенциала действия , что позволило бы получить значительно разнообразный массив данных, получаемых из записей. . [233]
{{cite web}}: CS1 maint: numeric names: authors list (link){{cite book}}: |work=игнорируется ( помощь )BCI на основе ECoG имеет преимущество в сигнале и долговечности, которые абсолютно необходимы для клинического применения.
Джастин Уильямс, биомедицинский инженер из университета, уже превратил имплантат ECoG в микроустройство, которое можно установить с минимумом хлопот.
Его тестировали на животных в течение длительного периода времени: микро-ЭКоГ остается на месте и не оказывает негативного влияния на иммунную систему.
