Сенсорная замена – это изменение характеристик одной сенсорной модальности на стимулы другой сенсорной модальности.
Система сенсорного замещения состоит из трех частей: сенсора, системы связи и стимулятора. Датчик записывает стимулы и передает их системе связи, которая интерпретирует эти сигналы и передает их стимулятору. В случае, если датчик получает сигналы, изначально не доступные носителю, это случай сенсорного дополнения. Сенсорная замена касается человеческого восприятия и пластичности человеческого мозга; и, следовательно, позволяет нам лучше изучать эти аспекты нейробиологии с помощью нейровизуализации .
Системы сенсорной замены могут помочь людям, восстанавливая их способность воспринимать определенные дефектные сенсорные модальности, используя сенсорную информацию от функционирующей сенсорной модальности.
Идея сенсорного замещения была предложена в 1980-х годах Полом Бах-и-Ритой как средство использования одной сенсорной модальности, главным образом тактильности , для получения информации об окружающей среде, которая будет использоваться другой сенсорной модальностью, главным образом зрением . [1] [2] После этого вся область обсуждалась Хаимом-Мейером Шеффом в «Экспериментальной модели для изучения изменений в организации обработки сенсорной информации человека посредством проектирования и тестирования неинвазивных протезных устройств для людей с сенсорными нарушениями». ". [3] Первая система сенсорного замещения была разработана Bach-y-Rita et al. как средство пластичности мозга у врожденно слепых людей. [4] После этого исторического изобретения сенсорная замена стала основой многих исследований, изучающих перцептивную и когнитивную нейробиологию . Сенсорная замена часто используется для исследования предсказаний воплощенной структуры познания. В рамках теоретической основы, в частности, концепция сенсомоторных непредвиденных обстоятельств [5] исследуется с использованием сенсорного замещения. Кроме того, сенсорная замена способствовала изучению функций мозга, человеческого познания и реабилитации. [6]
Когда человек становится слепым или глухим, он обычно не теряет способности слышать или видеть; они просто теряют способность передавать сенсорные сигналы от периферии ( сетчатки для зрения и улитки для слуха) в мозг. [7] Поскольку пути обработки зрения все еще не повреждены, человек, потерявший способность получать данные из сетчатки, все еще может видеть субъективные изображения, используя данные, полученные с помощью других сенсорных модальностей, таких как осязание или слух. [8]
В обычной зрительной системе данные, собранные сетчаткой, преобразуются в электрический стимул зрительного нерва и передаются в мозг, который воссоздает изображение и воспринимает его. Поскольку за окончательное восприятие отвечает мозг, возможна сенсорная замена. Во время сенсорной замены неповрежденная сенсорная модальность передает информацию в области зрительного восприятия мозга, чтобы человек мог воспринимать зрение. При сенсорной замене информация, полученная от одной сенсорной модальности, может достигать структур мозга, физиологически связанных с другими сенсорными модальностями. Сенсорная замена прикосновения к зрительному передает информацию от сенсорных рецепторов в зрительную кору для интерпретации и восприятия. Например, с помощью фМРТ можно определить, какие части мозга активируются во время сенсорного восприятия. Видно, что у слепых людей, хотя они получают только тактильную информацию, их зрительная кора также активируется, когда они воспринимают зрительные объекты. [9] Также возможна сенсорная замена прикосновения, при которой информация от рецепторов прикосновения одной области тела может использоваться для восприятия прикосновения в другой области. Например, в одном эксперименте Баха-и-Риты сенсорное восприятие удалось восстановить у пациента, потерявшего периферическую чувствительность из-за проказы. [10]
Чтобы добиться сенсорной замены и стимулировать мозг без неповрежденных сенсорных органов для передачи информации, для передачи сигнала можно использовать машины, а не органы чувств. Этот интерфейс мозг-машина собирает внешние сигналы и преобразует их в электрические сигналы, которые мозг может интерпретировать. Обычно камера или микрофон используются для сбора зрительных или слуховых стимулов, которые используются для замены утраченного зрения и слуха соответственно. Визуальные или слуховые данные, собранные с датчиков, преобразуются в тактильные стимулы, которые затем передаются в мозг для визуального и слухового восприятия. Важно отметить, что эта трансформация поддерживает сенсомоторную непредвиденность, присущую соответствующей сенсорной модальности. Этот и все виды сенсорного замещения возможны только благодаря нейропластичности . [10]
Пластичность мозга относится к способности мозга адаптироваться к изменяющейся среде, например, к отсутствию или ухудшению ощущений. Вполне возможно, что переназначение или реорганизация коры головного мозга в ответ на потерю одного чувства может быть эволюционным механизмом, который позволяет людям адаптироваться и компенсировать это за счет лучшего использования других чувств. Исследования по визуализации мозга показали, что при нарушениях зрения и слепоте (особенно в первые 12–16 лет жизни) зрительная кора подвергается огромной функциональной реорганизации, в результате чего она активируется другими сенсорными модальностями. [11] [12] [13] Такая кросс-модальная пластичность была также обнаружена с помощью функциональной визуализации врожденно слепых пациентов, которая показала кросс-модальное вовлечение затылочной коры во время перцептивных задач, таких как чтение Брайля, тактильное восприятие, тактильное распознавание объектов, локализация звука и различение звука. [6] Это может свидетельствовать о том, что слепые люди могут использовать свою затылочную долю, обычно используемую для зрения, для восприятия объектов с помощью других сенсорных модальностей. Эта кросс-модальная пластичность может объяснить часто описываемую тенденцию слепых людей демонстрировать улучшенные способности в других чувствах. [14] [15] [16] [17] [18]
Рассматривая физиологические аспекты сенсорного замещения, важно различать ощущение и восприятие. Общий вопрос, возникающий в связи с этим различием, заключается в следующем: видят или воспринимают слепые люди , чтобы видеть, объединяя различные сенсорные данные? В то время как ощущение приходит в одной модальности – зрительной, слуховой, тактильной и т. д. – восприятие, обусловленное сенсорной заменой, является не одной модальностью, а результатом кросс-модальных взаимодействий. Таким образом, делается вывод, что, хотя сенсорная замена зрения вызывает зрительное восприятие у зрячих , она вызывает слуховое или тактильное восприятие у слепых . [19] Короче говоря, слепые люди видят посредством осязания и слуха с помощью сенсорной замены. В ходе экспериментов с устройством тактильно-визуальной сенсорной замены (TVSS), разработанным Бач-и-Ритой, испытуемые описали перцептивный опыт TVSS как особенно визуальный, так что объекты воспринимались так, как будто они расположены во внешнем пространстве, а не на спине или на спине. кожа. Дальнейшие исследования с использованием TVSS показали, что такие изменения восприятия были возможны только тогда, когда участники могли активно исследовать окружающую среду с помощью TVSS. [20] [21] Эти результаты были подкреплены многими другими исследованиями, в которых тестировались различные системы замены на слепых субъектах, такие как замена зрения на тактильную, [22] замена зрения на слух [23] [24] и замена зрения на слух. -вестибулярная замена [25] Такие результаты также наблюдаются у зрячих людей с завязанными глазами [26] [27] и служат дополнительным подтверждением теории сенсомоторных непредвиденных обстоятельств.
Приложения не ограничиваются людьми с ограниченными возможностями, но также включают художественные презентации, игры и дополненную реальность . Некоторыми примерами являются замена визуальных стимулов звуковыми или тактильными, а также звуковых стимулов тактильными. Одними из самых популярных, вероятно, являются «Тактильное зрительное сенсорное замещение» Пола Бах-и-Риты (TVSS), разработанное совместно с Картером Коллинзом в Институте Смита-Кеттлуэлла , и подход Питера Мейера «Видение с помощью звука» (VOICe). Технические разработки, такие как миниатюризация и электрическая стимуляция, способствуют развитию устройств сенсорной замены.
В системах сенсорной замены обычно есть датчики, которые собирают данные из внешней среды. Эти данные затем передаются в систему связи, которая интерпретирует и преобразует информацию, а затем воспроизводит ее на стимуляторе. Этот стимулятор в конечном итоге стимулирует функционирующую сенсорную модальность. [19] После тренировки люди учатся использовать информацию, полученную в результате этой стимуляции, чтобы испытать ощущение ощущения, которого им не хватает, вместо фактически стимулированного ощущения. Например, больному проказой, у которого было восстановлено восприятие периферического прикосновения, надели перчатку, содержащую искусственные контактные датчики, соединенные с сенсорными рецепторами кожи на лбу (которые стимулировались). После тренировки и акклиматизации пациент смог воспринимать данные от перчатки так, как если бы они исходили из кончиков пальцев, игнорируя при этом ощущения во лбу. [10]
Чтобы понять тактильную сенсорную замену, важно понять некоторые основы физиологии тактильных рецепторов кожи. Существует пять основных типов тактильных рецепторов: тельце Пачини , тельце Мейснера , окончания Руффини , нервные окончания Меркеля и свободные нервные окончания . Эти рецепторы в основном характеризуются тем, какой тип стимулов лучше всего их активирует, а также скоростью их адаптации к устойчивым стимулам. [28] Из-за быстрой адаптации некоторых из этих рецепторов к устойчивым раздражителям для оптимальной активации этим рецепторам требуются быстро меняющиеся системы тактильной стимуляции. [29] Среди всех этих механорецепторов тельца Пачини обладают наибольшей чувствительностью к высокочастотным вибрациям, начиная от нескольких десятков Гц до нескольких кГц, с помощью своего специализированного механизма механотрансдукции . [30] [31]
Существовало два разных типа стимуляторов: электротактильные и вибротактильные. Электротактильные стимуляторы используют прямую электрическую стимуляцию нервных окончаний в коже, чтобы инициировать потенциалы действия; возникающие ощущения, жжение, зуд, боль, давление и т. д. зависят от возбуждающего напряжения. Вибротактильные стимуляторы используют давление и свойства механорецепторов кожи для инициации потенциалов действия. Обе эти системы стимуляции имеют свои преимущества и недостатки. В системах электротактильной стимуляции на вызываемое ощущение влияет множество факторов: стимулирующее напряжение, ток, форма волны, размер электрода, материал, сила контакта, расположение кожи, толщина и гидратация. [29] Электротактильная стимуляция может включать прямую стимуляцию нервов ( чрескожная ) или через кожу (чрескожная). Чрескожное применение вызывает у пациента дополнительные страдания и является основным недостатком этого подхода. Кроме того, стимуляция кожи без введения приводит к необходимости стимуляции высоким напряжением из-за высокого сопротивления сухой кожи [29] , если только язык не используется в качестве рецептора, для которого требуется только около 3% напряжения. [32] Этот последний метод проходит клинические испытания для различных применений и был одобрен для помощи слепым в Великобритании. [33] [34] Альтернативно, нёбо было предложено как еще одна область, где можно почувствовать слабое течение. [35]
Электростатические массивы исследуются как устройства взаимодействия человека и компьютера для сенсорных экранов . [36] Они основаны на явлении, называемом электровибрацией , которое позволяет токам микроамперного уровня ощущаться как шероховатость поверхности. [37] [38]
Вибротактильные системы используют свойства механорецепторов кожи, поэтому у них меньше параметров, которые необходимо контролировать, по сравнению с электротактильной стимуляцией. Однако системы вибротактильной стимуляции должны учитывать быструю адаптацию тактильных ощущений.
Еще одним важным аспектом систем тактильной сенсорной замены является место тактильной стимуляции. Тактильные рецепторы обильны на кончиках пальцев, лице и языке, но мало на спине, ногах и руках. Очень важно учитывать пространственное разрешение рецептора, поскольку оно оказывает большое влияние на разрешение сенсорного замещения. [29] Дисплей с высоким разрешением способен отображать пространственную информацию посредством тактильных символов, таких как карты города [39] и карты препятствий. [40]
Ниже вы можете найти некоторые описания современных систем тактильной замены.
Одним из самых ранних и наиболее известных устройств сенсорной замены был TVSS Пола Бах-и-Риты, который преобразовывал изображение с видеокамеры в тактильное изображение и соединял его с тактильными рецепторами на спине слепого субъекта. [1] Недавно было разработано несколько новых систем, которые связывают тактильное изображение с тактильными рецепторами на различных участках тела, таких как грудь, брови, кончики пальцев, живот и лоб. [7] Тактильное изображение создается сотнями активаторов, помещенных на человека. Активаторы представляют собой соленоиды диаметром один миллиметр. В экспериментах слепые (или с завязанными глазами ) испытуемые, оснащенные TVSS, могут научиться обнаруживать формы и ориентироваться. В случае простых геометрических фигур потребовалось около 50 попыток, чтобы добиться 100-процентного правильного распознавания. Чтобы идентифицировать объекты в разных ориентациях, требуется несколько часов обучения.
Наиболее практичной является система, использующая язык в качестве человеко-машинного интерфейса. Интерфейс язык -машина защищен закрытым ртом, а слюна во рту обеспечивает хорошую электролитную среду, обеспечивающую хороший контакт электрода. [32] Результаты исследования Bach-y-Rita et al. показали, что электротактильная стимуляция языка требует 3% напряжения, необходимого для стимуляции пальца. [32] Кроме того, поскольку носить ортодонтический фиксатор, удерживающий систему стимуляции, практичнее, чем аппарат, прикрепленный к другим частям тела, интерфейс язык-машина более популярен среди систем TVSS.
Эта система TVSS языка работает путем доставки электротактильных стимулов на спинку языка через гибкую решетку электродов, расположенную во рту. Эта группа электродов подключена к устройству отображения языка (TDU) посредством ленточного кабеля, выходящего изо рта. Видеокамера записывает картинку, передает ее в ТДУ для преобразования в тактильное изображение. Затем тактильное изображение проецируется на язык через ленточный кабель, где рецепторы языка улавливают сигнал. После обучения испытуемые способны ассоциировать определенные типы стимулов с определенными типами зрительных образов. [7] [41] Таким образом, тактильные ощущения можно использовать для зрительного восприятия.
Сенсорные замены также оказались успешными с появлением носимых тактильных приводов, таких как вибротактильные моторы, соленоиды, диоды Пельтье и т. д. В Центре повсеместных когнитивных вычислений при Университете штата Аризона исследователи разработали технологии, которые позволяют слепым людям воспринимать социальные ситуационные ситуации. информацию с помощью носимых вибротактильных ремней [42] (Haptic Belt) и перчаток [43] [44] (VibroGlove). Обе технологии используют миниатюрные камеры, которые крепятся на очки слепого пользователя. Haptic Belt обеспечивает вибрации, которые передают направление и расстояние, на котором человек стоит перед пользователем, а VibroGlove использует пространственно-временное картирование моделей вибрации для передачи выражения лица партнера по взаимодействию. С другой стороны, было показано, что даже очень простые сигналы, указывающие на наличие или отсутствие препятствий (посредством небольших вибрационных модулей, расположенных в стратегических местах тела), могут быть полезны для навигации, стабилизации походки и снижения беспокойства при движении в неизвестном пространстве. Этот подход, получивший название «Гаптический радар» [45], изучается с 2005 года исследователями Токийского университета в сотрудничестве с Университетом Рио-де-Жанейро . [46] Подобные продукты включают жилет и пояс Eyeronman, [47] [48] [49] и систему сетчатки для лба. [50]
Нейробиолог Дэвид Иглман представил на конференции TED в 2015 году новое устройство для слухового восприятия звук-прикосновение; [51] его лабораторные исследования затем расширились до компании Neosensory, базирующейся в Пало-Альто, Калифорния. [52] Неосенсорные устройства улавливают звук и превращают его в многомерные паттерны прикосновения к коже. [53] [54]
Эксперименты Шурмана и др. показывают, что тактильные ощущения могут активировать слуховую кору человека. В настоящее время вибротактильные стимулы можно использовать для улучшения слуха у нормальных и слабослышащих людей. [55] Чтобы проверить слуховые области, активируемые прикосновением, Schurmann et al. испытуемые одновременно стимулировали свои пальцы и ладони вибрирующими импульсами, а кончики пальцев - тактильным давлением. Они обнаружили, что тактильная стимуляция пальцев приводит к активации области слухового пояса, что позволяет предположить наличие связи между слухом и тактильностью. [55] Таким образом, в будущем могут быть проведены исследования для изучения вероятности существования системы тактильно-слуховой сенсорной замены. Одним из многообещающих [ нужна ссылка ] изобретений является «Синтезатор органов чувств» [56] , целью которого является обеспечение нормального слухового диапазона в девять октав через 216 электродов в последовательных зонах сенсорного нерва, расположенных рядом с позвоночником.
У некоторых людей с нарушениями равновесия или побочными реакциями на антибиотики развивается двустороннее вестибулярное повреждение (БВД). У них возникают трудности с поддержанием позы, неустойчивая походка и осциллопсия . [57] Тайлер и др. изучали восстановление постурального контроля посредством тактильной замены вестибулярной чувствительности. Поскольку пациенты с БВД не могут интегрировать визуальные и тактильные сигналы, им очень трудно стоять. С помощью акселерометра , закрепленного на голове, и интерфейса «мозг-компьютер» , который использует электротактильную стимуляцию языка, информация об ориентации головы и тела была передана пациенту, так что стал доступен новый источник данных для ориентации и поддержания хорошей осанки. [57]
Сенсорная замена прикосновения — это когда информация от сенсорных рецепторов одной области может использоваться для восприятия прикосновения в другой. Например, в одном эксперименте Бач-и-Риты сенсорное восприятие было восстановлено у пациента, потерявшего периферическую чувствительность из-за проказы. [10] Например, этот больной проказой был оснащен перчаткой, содержащей искусственные контактные датчики, соединенные с сенсорными рецепторами кожи на лбу (которые стимулировались). После тренировки и акклиматизации пациент смог воспринимать данные от перчатки так, как если бы они исходили из кончиков пальцев, игнорируя при этом ощущения во лбу. [10] После двух дней тренировок один из больных проказой сообщил о «чудесном ощущении прикосновения к своей жене, которого он не мог испытать в течение 20 лет». [58]
Развитие новых технологий в настоящее время сделало возможным предоставление пациентам протезов рук с тактильной и кинестетической чувствительностью. [59] Хотя это не просто система сенсорной замены, она использует те же принципы для восстановления восприятия чувств. Некоторыми методами тактильной обратной связи для восстановления восприятия прикосновения у людей с ампутированными конечностями могут быть прямая или микростимуляция афферентов тактильных нервов. [59]
Другие применения систем сенсорной замены можно увидеть в функциональных роботизированных протезах для пациентов с квадриплегией высокой степени. Эти роботизированные руки имеют несколько механизмов обнаружения скольжения, вибрации и текстуры, которые они передают пациенту посредством обратной связи. [58] После дополнительных исследований и разработок информация, полученная от этих рук, может быть использована пациентами, чтобы понять, что они держат предметы и манипулируют ими, в то время как их роботизированная рука действительно выполняет задачу.
Системы слуховой сенсорной замены, такие как системы тактильной сенсорной замены, направлены на использование одной сенсорной модальности для компенсации отсутствия другой, чтобы получить представление о той, которой не хватает. При слухо-сенсорной замене зрительные или тактильные сенсоры обнаруживают и сохраняют информацию о внешней среде. Эта информация затем преобразуется интерфейсами в звук. Большинство систем представляют собой замены слуха и зрения, направленные на использование слуха для передачи зрительной информации слепым.
«The vOICe» преобразует изображения с видеокамеры в реальном времени в звуковые ландшафты, образцы множества разных тонов с разной громкостью и высотой звука, воспроизводимые одновременно. [60] Технология vOICe была изобретена в 1990-х годах Питером Мейером и использует общее преобразование видео в аудио путем связывания высоты с высотой звука и яркости с громкостью при сканировании любого видеокадра слева направо. [7]
Пользователь EyeMusic носит миниатюрную камеру, подключенную к небольшому компьютеру (или смартфону), и стереонаушники. Изображения преобразуются в «звуковые ландшафты». Высокие места на изображении проецируются как высокие музыкальные ноты пентатоники, а низкие вертикальные места — как низкие музыкальные ноты.
EyeMusic передает информацию о цвете, используя различные музыкальные инструменты для каждого из следующих пяти цветов: белого, синего, красного, зеленого и желтого. EyeMusic использует промежуточное разрешение 30×50 пикселей. [61] [62] [63]
Этот проект, представленный в 2015 году, [64] предлагает новое универсальное мобильное устройство и метод ультразвуковой обработки, специально разработанный для пешего передвижения людей с нарушениями зрения. Он обрабатывает пространственную информацию в режиме реального времени из видеопотока, полученного со стандартной частотой кадров. Устройство состоит из миниатюрной камеры, встроенной в оправу очков, которая соединена с мини-компьютером с батарейным питанием, который носится на шее с помощью ремешка. Аудиосигнал передается пользователю через работающие наушники. Эта система имеет два режима работы. В первом режиме, когда пользователь неподвижен, озвучиваются только края движущихся объектов. Во втором режиме, когда пользователь движется, озвучиваются края как статических, так и движущихся объектов. Таким образом, видеопоток упрощается за счет выделения только краев объектов, которые могут стать опасными препятствиями. Система позволяет локализовать движущиеся объекты, оценивать траектории и обнаруживать приближающиеся объекты.
Еще одним успешным устройством для замены зрительно-слуховых сенсорных ощущений является протез, заменяющий зрение для прослушивания (PSVA). [65] В этой системе используется закрепленная на голове телекамера, которая позволяет в режиме реального времени онлайн переводить визуальные образы в звук. Пока пациент передвигается, устройство фиксирует визуальные кадры на высокой частоте и генерирует соответствующие сложные звуки, позволяющие распознавать его. [7] Визуальные стимулы преобразуются в слуховые с помощью системы, которая использует соотношение пикселей и частот и объединяет грубую модель сетчатки человека с обратной моделью улитки. [65]
Звук, создаваемый этим программным обеспечением, представляет собой смесь синусоидальных звуков, создаваемых виртуальными «источниками», каждый из которых соответствует «рецепторному полю» изображения. Каждое рецептивное поле представляет собой набор локализованных пикселей. Амплитуда звука определяется средней яркостью пикселей соответствующего рецептивного поля. Частота и межушное несоответствие определяются центром тяжести координат пикселей рецептивного поля на изображении (см. «Там что-то есть: дистальная атрибуция в сенсорном замещении, двадцать лет спустя»; Овре М. ., Ханнетон С., Ленэй К., О'Риган К. Журнал интегративной нейронауки 4 (2005) 505–21). The Vibe — это проект с открытым исходным кодом, размещенный на SourceForge.
Другие подходы к замене зрения на слух используют бинауральные направленные сигналы, подобно естественной эхолокации человека . Примером последнего подхода является чип SeeHear от Калифорнийского технологического института. [66]
Другие устройства визуально-слуховой замены отклоняются от отображения изображений в оттенках серого vOICe. Кромофон Зака Капальбо использует базовый цветовой спектр, соотносящийся с различными звуками и тембрами, чтобы предоставить пользователям перцептивную информацию, выходящую за рамки возможностей vOICe. [67]
С помощью стимулирующих электродов, имплантированных в нервную систему человека, можно подавать импульсы тока, которые будут запоминаться и надежно распознаваться реципиентом. Кевин Уорвик успешно доказал в ходе экспериментов, что сигналы от индикаторов силы/прикосновения на руке робота могут использоваться в качестве средства связи. [68]
Утверждалось, что термин «замещение» вводит в заблуждение, поскольку это просто «дополнение» или «дополнение», а не замена сенсорной модальности. [69]
Основываясь на исследованиях сенсорной замены, сейчас начинаются исследования возможности расширения сенсорного аппарата организма. Цель состоит в том, чтобы расширить способность организма воспринимать аспекты окружающей среды, которые обычно не воспринимаются телом в его естественном состоянии. Более того, такая новая информация об окружающей среде может использоваться не для непосредственной замены органа чувств, а для предоставления сенсорной информации, обычно воспринимаемой через другую, потенциально вредную сенсорную модальность. Таким образом, сенсорная аугментация также широко используется в целях реабилитации, а также для исследования перцептивной и когнитивной нейробиологии.
Активную работу в этом направлении ведут, в частности, проект e-sense [70] Открытого университета и Эдинбургского университета , проект FeelSpace Университета Оснабрюка и проектearSpace Парижского университета .
Результаты исследований сенсорного увеличения (а также сенсорной замены в целом), изучающих возникновение перцептивного опыта (квалиа) в результате активности нейронов, имеют значение для понимания сознания. [8]