Мультисенсорная интеграция , также известная как мультимодальная интеграция , — это изучение того, как информация из различных сенсорных модальностей (таких как зрение, слух, осязание, обоняние, собственное движение и вкус) может быть интегрирована нервной системой . [1] Связное представление объектов, объединяющих модальности, позволяет животным иметь осмысленный перцептивный опыт. Действительно, мультисенсорная интеграция является центральной для адаптивного поведения, поскольку она позволяет животным воспринимать мир связных перцептивных сущностей. [2] Мультисенсорная интеграция также имеет дело с тем, как различные сенсорные модальности взаимодействуют друг с другом и изменяют обработку друг друга.
Мультимодальное восприятие — это то, как животные формируют связное, обоснованное и надежное восприятие, обрабатывая сенсорные стимулы из различных модальностей. Окруженный множеством объектов и получающий множественные сенсорные стимуляции, мозг сталкивается с необходимостью принятия решения о том, как классифицировать стимулы, возникающие в результате различных объектов или событий в физическом мире. Таким образом, нервная система отвечает за то, следует ли интегрировать или разделять определенные группы сигналов. Мультимодальное восприятие широко изучалось в когнитивной науке, поведенческой науке и нейронауке.
Существует четыре атрибута стимула: модальность, интенсивность, местоположение и длительность. Неокортекс в мозге млекопитающих имеет парцелляции, которые в первую очередь обрабатывают сенсорный вход от одной модальности. Например, первичная зрительная область, V1, или первичная соматосенсорная область, S1. Эти области в основном имеют дело с низкоуровневыми характеристиками стимула, такими как яркость, ориентация, интенсивность и т. д. Эти области имеют обширные связи друг с другом, а также с более высокими ассоциативными областями, которые далее обрабатывают стимулы и, как полагают, интегрируют сенсорный вход от различных модальностей. Однако было показано, что мультисенсорные эффекты возникают и в первичных сенсорных областях. [3]
Связь между проблемой связывания и мультисенсорным восприятием можно рассматривать как вопрос — проблему связывания — и ее потенциальное решение — мультисенсорное восприятие. Проблема связывания возникла из неотвеченных вопросов о том, как млекопитающие (особенно высшие приматы) генерируют единое, связное восприятие своего окружения из какофонии электромагнитных волн , химических взаимодействий и колебаний давления, которые формируют физическую основу окружающего нас мира. Первоначально она была исследована в визуальной области (цвет, движение, глубина и форма), затем в слуховой области и недавно в мультисенсорных областях. Таким образом, можно сказать, что проблема связывания является центральной для мультисенсорного восприятия . [4]
Однако рассмотрение того, как формируются единые сознательные представления, не является полным фокусом исследований мультисенсорной интеграции. Очевидно, что для чувств важно взаимодействовать, чтобы максимально эффективно взаимодействовать с окружающей средой. Для того чтобы перцептивный опыт и поведение извлекали пользу из одновременной стимуляции нескольких сенсорных модальностей, необходима интеграция информации из этих модальностей. Некоторые из механизмов, опосредующих это явление, и его последующие эффекты на когнитивные и поведенческие процессы будут рассмотрены далее. Восприятие часто определяется как сознательный опыт человека и, таким образом, объединяет входы от всех соответствующих чувств и предшествующие знания. Восприятие также определяется и изучается с точки зрения извлечения признаков, которое находится в нескольких сотнях миллисекунд от сознательного опыта. Несмотря на существование школ гештальт-психологии , которые отстаивают целостный подход к работе мозга, [5] [6] физиологические процессы, лежащие в основе формирования перцепций и сознательного опыта, были в значительной степени недоизучены. Тем не менее, бурно развивающиеся исследования в области нейронауки продолжают обогащать наше понимание многих деталей мозга, включая нейронные структуры, вовлеченные в мультисенсорную интеграцию, такие как верхний холмик (SC) [7] и различные корковые структуры, такие как верхняя височная извилина (GT) и зрительные и слуховые ассоциативные области. Хотя структура и функция SC хорошо известны, кора и взаимосвязь между ее составными частями в настоящее время являются предметом многочисленных исследований. Одновременно недавний импульс к интеграции позволил исследовать перцептивные явления, такие как эффект чревовещания , [8] быстрая локализация стимулов и эффект Мак-Гурка ; [9] достигнув кульминации в более глубоком понимании человеческого мозга и его функций.
Исследования сенсорной обработки у людей и других животных традиционно проводились по одному чувству за раз, [10] и по сей день многочисленные академические общества и журналы в значительной степени ограничиваются рассмотрением сенсорных модальностей по отдельности ( «Исследования зрения» , «Исследования слуха» и т. д.). Однако существует также долгая и параллельная история мультисенсорных исследований. Примером могут служить эксперименты Стрэттона (1896) по соматосенсорным эффектам ношения очков с призмой, искажающей зрение. [11] [12] Мультисенсорные взаимодействия или кроссмодальные эффекты, при которых восприятие стимула зависит от наличия другого типа стимула, упоминаются с очень раннего прошлого. Они были рассмотрены Хартманном [13] в фундаментальной книге, где среди нескольких ссылок на различные типы мультисенсорных взаимодействий делается ссылка на работу Урбанчича 1888 года [14], который сообщил об улучшении остроты зрения с помощью слуховых стимулов у субъектов с поврежденным мозгом. Этот эффект был также обнаружен позднее у лиц с неповрежденным мозгом Краковым [15] и Хартманном [16] , а также тот факт, что острота зрения могла быть улучшена другими типами стимулов. [16] Также следует отметить объем работы в начале 1930-х годов по межсенсорным отношениям в Советском Союзе, рассмотренный Лондоном. [17] Замечательным мультисенсорным исследованием является обширная и новаторская работа Гонсало [18] в середине 20-го века по характеристике мультисенсорного синдрома у пациентов с теменно-затылочными корковыми поражениями. При этом синдроме все сенсорные функции затронуты, и с симметричной билатеральностью, несмотря на то, что это одностороннее поражение, где первичные области не были затронуты. Особенностью этого синдрома является большая проницаемость для кроссмодальных эффектов между визуальными, тактильными, слуховыми стимулами, а также мышечным усилием для улучшения восприятия, также уменьшая время реакции. Было обнаружено, что улучшение кроссмодального эффекта было больше, когда первичный воспринимаемый стимул был слабее, и чем больше было корковое поражение (том 1 и 2 ссылки [18] ). Этот автор интерпретировал эти явления в рамках динамической физиологической концепции и из модели, основанной на функциональных градиентах через кору и законах масштабирования динамических систем, тем самым подчеркивая функциональное единство коры. Согласно функциональным корковым градиентам, специфичность коры будет распределена в градации, и перекрытие различных специфических градиентов будет связано с мультисенсорными взаимодействиями. [19] Мультисенсорные исследования в последнее время приобрели огромный интерес и популярность.
Когда мы слышим автомобильный гудок , мы определяем, какой автомобиль вызывает гудок, по тому, какой автомобиль, как мы видим, пространственно ближе всего к гудку. Это пример пространственной согласованности путем объединения визуальных и слуховых стимулов. С другой стороны, звук и изображения телевизионной программы будут интегрированы как структурно согласованные путем объединения визуальных и слуховых стимулов. Однако, если звук и изображения не соответствуют по смыслу, мы разделим два стимула. Таким образом, пространственная или структурная согласованность возникает не только из-за объединения стимулов, но также определяется нашим пониманием.
Литература о пространственных кроссмодальных смещениях предполагает, что визуальная модальность часто влияет на информацию от других чувств. [20] Некоторые исследования показывают, что зрение доминирует над тем, что мы слышим, при изменении степени пространственной конгруэнтности. Это известно как эффект чревовещателя. [21] В случаях визуальной и тактильной интеграции дети младше 8 лет демонстрируют визуальное доминирование, когда требуется определить ориентацию объекта. Однако тактильное доминирование происходит, когда фактором для определения является размер объекта. [22] [23]
Согласно Уэлчу и Уоррену (1980), гипотеза соответствия модальности утверждает, что влияние восприятия в каждой модальности в мультисенсорной интеграции зависит от соответствия этой модальности данной задаче. Таким образом, зрение оказывает большее влияние на интегрированную локализацию, чем слух, а слух и осязание оказывают большее влияние на временные оценки, чем зрение. [24] [25]
Более поздние исследования уточняют этот ранний качественный отчет о мультисенсорной интеграции. Алаис и Берр (2004) обнаружили, что после прогрессирующего ухудшения качества визуального стимула восприятие участниками пространственного местоположения все больше определялось одновременным слуховым сигналом. [26] Однако они также постепенно изменили временную неопределенность слухового сигнала; в конечном итоге сделав вывод, что именно неопределенность отдельных модальностей определяет, в какой степени информация из каждой модальности учитывается при формировании восприятия. [26] Этот вывод в некоторых отношениях похож на «правило обратной эффективности». Степень, в которой происходит мультисенсорная интеграция, может варьироваться в зависимости от неоднозначности соответствующих стимулов. В поддержку этого представления недавнее исследование показывает, что слабые чувства, такие как обоняние, могут даже модулировать восприятие визуальной информации, если надежность визуальных сигналов адекватно снижена. [27]
Теория байесовской интеграции основана на том факте, что мозг должен иметь дело с рядом входных данных, которые различаются по надежности. [28] Имея дело с этими входными данными, он должен построить связное представление мира, которое соответствует реальности. Представление о байесовской интеграции заключается в том, что мозг использует форму байесовского вывода . [29] Это представление было подкреплено вычислительным моделированием такого байесовского вывода из сигналов в связное представление, которое показывает схожие характеристики с интеграцией в мозге. [29]
При допущении независимости между различными источниками традиционная модель комбинации сигналов успешна в интеграции модальностей. Однако, в зависимости от расхождений между модальностями, могут быть разные формы слияния стимулов: интеграция, частичная интеграция и сегрегация. Чтобы полностью понять два других типа, мы должны использовать модель причинного вывода без допущения как модель комбинации сигналов. Эта свобода дает нам общую комбинацию любого количества сигналов и модальностей с использованием правила Байеса для выполнения причинного вывода сенсорных сигналов. [30]
Разница между двумя моделями заключается в том, что иерархическая модель может явно делать причинно-следственные выводы для прогнозирования определенного стимула, в то время как неиерархическая модель может прогнозировать только совместную вероятность стимулов. Однако иерархическая модель на самом деле является частным случаем неиерархической модели, устанавливая совместное предшествующее как взвешенное среднее предшествующих общих и независимых причин, каждая из которых взвешена своей априорной вероятностью. Основываясь на соответствии этих двух моделей, мы также можем сказать, что иерархическая модель является смешанной модальной неиерархической моделью.
Для байесовской модели априорная вероятность и вероятность обычно представляют статистику окружающей среды и сенсорных представлений. Независимость априорной вероятности и вероятности не гарантируется, поскольку априорная вероятность может меняться с вероятностью только в зависимости от представлений. Однако независимость была доказана Шамсом с помощью серии контроля параметров в эксперименте по мультисенсорному восприятию. [31]
Подход общей интенциональности предлагает целостное объяснение нейрофизиологических процессов, лежащих в основе формирования восприятий и сознательного опыта. Психологическая конструкция общей интенциональности была введена в конце 20-го века. [32] [33] [34] Майкл Томаселло разработал ее для объяснения познания, начинающегося на ранней стадии развития посредством неосознанного сотрудничества в диадах мать-ребенок. [35] [36] За последние двадцать лет знание этого понятия развивалось посредством наблюдения общей интенциональности с разных точек зрения, например, психофизиологии , [37] [38] и нейробиологии . [39] По словам Игоря Валь Данилова, общая интенциональность позволяет паре мать-ребенок разделять существенный сенсорный стимул фактической когнитивной проблемы. [40] Гипотеза нейрофизиологических процессов, происходящих во время общей интенциональности, объясняет ее интегративную сложность от нейронных до межличностных динамических уровней. [41] Это совместное взаимодействие обеспечивает обучение окружающей среды незрелого организма, начиная с рефлексной стадии развития, для обработки организации, идентификации и интерпретации сенсорной информации в развивающемся восприятии. [42] С этой точки зрения, общая преднамеренность способствует формированию восприятий и осознанного опыта, решая проблему связывания , или, по крайней мере, дополняет один из механизмов, отмеченных выше. [43]
Вклад Барри Стайна, Алекса Мередита и их коллег (например, «Слияние чувств» 1993, [44] ) широко рассматривается как новаторская работа в современной области мультисенсорной интеграции. Благодаря детальному долгосрочному изучению нейрофизиологии верхних холмиков они выделили три общих принципа, с помощью которых мультисенсорная интеграция может быть описана наилучшим образом.
Унимодальный подход доминировал в научной литературе до начала этого столетия. Хотя это способствовало быстрому прогрессу нейронного картирования и улучшению понимания нейронных структур, исследование восприятия оставалось относительно застойным, за некоторыми исключениями. Недавний возрожденный энтузиазм в отношении перцептивных исследований свидетельствует о существенном отходе от редукционизма и переходе к гештальт-методологиям. Гештальт-теория, доминирующая в конце 19-го и начале 20-го веков, поддерживала два общих принципа: «принцип тотальности», в котором сознательный опыт должен рассматриваться глобально, и «принцип психофизического изоморфизма», который утверждает, что перцептивные явления коррелируют с мозговой активностью. Именно эти идеи уже применял Хусто Гонсало в своей работе о динамике мозга, где сенсорно-церебральное соответствие рассматривалось в формулировке «развития сенсорного поля из-за психофизического изоморфизма» (стр. 23 английского перевода ссылки [19] ). Обе идеи — «принцип тотальности» и «психофизический изоморфизм» — особенно актуальны в современных условиях и побудили исследователей изучить поведенческие преимущества мультисенсорной интеграции.
Широко признано, что неопределенность в сенсорных областях приводит к повышенной зависимости мультисенсорной интеграции. [26] Следовательно, следует, что сигналы от множественных модальностей, которые являются как временно, так и пространственно синхронными, рассматриваются нейронно и перцептивно как исходящие из одного и того же источника. Степень синхронности, которая требуется для того, чтобы произошло это «связывание», в настоящее время исследуется в различных подходах. [50] Интегративная функция происходит только до точки, за которой субъект может дифференцировать их как два противоположных стимула. Одновременно с этим из проведенных на данный момент исследований можно сделать важный промежуточный вывод. Мультисенсорные стимулы, которые связаны в единый перцепт, также связаны с теми же рецептивными полями мультисенсорных нейронов в SC и коре. [26]
Реакции на множественные одновременные сенсорные стимулы могут быть быстрее, чем реакции на те же стимулы, представленные по отдельности. Хершенсон (1962) предъявлял свет и тон одновременно и по отдельности и просил участников-людей реагировать на них как можно быстрее. Поскольку асинхронность между началами обоих стимулов была различной, было замечено, что для определенных степеней асинхронности время реакции уменьшалось. [51] Эти уровни асинхронности были довольно небольшими, возможно, отражая временное окно, которое существует в мультисенсорных нейронах SC. В дальнейших исследованиях анализировалось время реакции саккадических движений глаз; [52] и совсем недавно эти результаты были соотнесены с нейронными явлениями. [53] У пациентов, обследованных Гонсало , [18] с поражениями теменно-затылочной коры, было показано, что уменьшение времени реакции на данный стимул посредством межсенсорного облегчения было весьма значительным.
Эффект избыточной цели — это наблюдение, что люди обычно реагируют быстрее на двойные цели (две цели, представленные одновременно), чем на любую из целей, представленных по отдельности. Эта разница в задержке называется усилением избыточности (RG). [54]
В исследовании, проведенном Форстером, Кавиной-Пратеси, Аглиоти и Берлукки (2001), нормальные наблюдатели реагировали быстрее на одновременные визуальные и тактильные стимулы, чем на одиночные визуальные или тактильные стимулы. RT на одновременные визуальные и тактильные стимулы также была быстрее, чем RT на одновременные двойные визуальные или тактильные стимулы. Преимущество RT на комбинированные визуально-тактильные стимулы над RT на другие типы стимуляции можно объяснить межсенсорным нейронным облегчением, а не суммированием вероятностей. Эти эффекты можно приписать конвергенции тактильных и визуальных входов в нейронные центры, которые содержат гибкие мультисенсорные представления частей тела. [55]
Было обнаружено, что два сходящихся бимодальных стимула могут производить восприятие, которое не только отличается по величине от суммы его частей, но и совершенно отличается по качеству. В классическом исследовании, названном эффектом МакГерка , [56] воспроизведение фонемы человеком дублировалось видео, на котором этот человек произносит другую фонему. [57] Результатом было восприятие третьей, другой фонемы. МакГерк и Макдональд (1976) объяснили, что фонемы, такие как ba, da, ka, ta, ga и pa, можно разделить на четыре группы: те, которые можно визуально спутать, т. е. (da, ga, ka, ta) и (ba и pa), и те, которые можно спутать на слух. Следовательно, когда ba – голос и ga губы обрабатываются вместе, визуальная модальность видит ga или da, а слуховая модальность слышит ba или da, объединяясь, чтобы сформировать восприятие da. [56]
Чревовещание использовалось в качестве доказательства гипотезы соответствия модальности. Эффект чревовещания — это ситуация, в которой слуховое восприятие местоположения смещается в сторону визуальной подсказки. Первоначальное исследование, описывающее это явление, было проведено Говардом и Темплтоном (1966), после чего несколько исследований были воспроизведены и построены на выводах, к которым они пришли. [58] В условиях, в которых визуальная подсказка недвусмысленна, визуальный захват происходит надежно. Таким образом, чтобы проверить влияние звука на воспринимаемое местоположение, визуальный стимул должен постепенно ухудшаться. [26] Кроме того, учитывая, что слуховые стимулы более настроены на временные изменения, недавние исследования проверили способность временных характеристик влиять на пространственное расположение визуальных стимулов. Некоторые типы EVP — феномена электронного голоса , в основном те, которые используют звуковые пузыри, считаются разновидностью современной техники чревовещания и воспроизводятся с использованием сложного программного обеспечения, компьютеров и звукового оборудования.
Иллюзия двойной вспышки была описана как первая иллюзия, показывающая, что визуальные стимулы могут быть качественно изменены звуковыми стимулами. [59] В стандартной парадигме участникам предъявлялись комбинации от одной до четырех вспышек, сопровождаемые от нуля до четырех звуковых сигналов. Затем их просили сказать, сколько вспышек они восприняли. Участники воспринимали иллюзорные вспышки, когда было больше звуковых сигналов, чем вспышек. Исследования фМРТ показали, что в ранних, низкоуровневых визуальных областях наблюдается кроссмодальная активация, которая качественно похожа на восприятие реальной вспышки. Это говорит о том, что иллюзия отражает субъективное восприятие дополнительной вспышки. [60] Кроме того, исследования показывают, что время мультисенсорной активации в унисенсорной коре слишком быстрое, чтобы быть опосредованным интеграцией более высокого порядка, предполагающей прямые или боковые связи. [61] Одно исследование выявило тот же эффект, но от зрения к слуху, а также эффект деления, а не слияния, хотя уровень слухового стимула был снижен, чтобы сделать его менее заметным для иллюзий, влияющих на слух. [62]
В иллюзии резиновой руки (RHI) [63] участники-люди видят, как кисть гладят по фальшивой руке, в то время как они чувствуют серию идентичных мазков кистью, нанесенных на их собственную руку, которая скрыта от глаз. Если эта визуальная и тактильная информация применяется синхронно, и если визуальный вид и положение фальшивой руки похожи на собственную руку, то люди могут чувствовать, что прикосновения к их собственной руке исходят от фальшивой руки, и даже что фальшивая рука, в некотором роде, является их собственной рукой. [63] Это ранняя форма иллюзии переноса тела .
RHI — это иллюзия зрения, осязания и позы ( проприоцепция ), но похожая иллюзия может быть вызвана также осязанием и проприоцепцией. [64] Также было обнаружено, что иллюзия может вообще не требовать тактильной стимуляции, но может быть полностью вызвана с помощью простого видения резиновой руки, находящейся в конгруэнтной позе со скрытой настоящей рукой. [65]
Первое сообщение об этом виде иллюзии, возможно, датируется 1937 годом (Тастевин, 1937). [66] [67] [68]
Иллюзия переноса тела обычно подразумевает использование устройств виртуальной реальности для создания у субъекта иллюзии, что тело другого человека или существа является его собственным телом.
Верхний холмик (SC) или оптический холмик (OT) является частью холмика, расположенного в среднем мозге, выше ствола мозга и ниже таламуса. Он содержит семь слоев чередующегося белого и серого вещества, из которых поверхностные содержат топографические карты поля зрения; а более глубокие слои содержат перекрывающиеся пространственные карты зрительных, слуховых и соматосенсорных модальностей. [69] Структура получает афференты непосредственно от сетчатки, а также от различных областей коры (в первую очередь затылочной доли), спинного мозга и нижнего холмика. Он посылает эфференты в спинной мозг, мозжечок, таламус и затылочную долю через латеральное коленчатое ядро (LGN). Структура содержит большую долю мультисенсорных нейронов и играет роль в двигательном контроле ориентационного поведения глаз, ушей и головы. [53]
Рецептивные поля соматосенсорных, зрительных и слуховых модальностей сходятся в более глубоких слоях, образуя двумерную мультисенсорную карту внешнего мира. Здесь объекты, расположенные прямо перед нами, представлены каудально, а объекты на периферии — рострально. Аналогично, местоположения в верхнем сенсорном пространстве представлены медиально, а нижние местоположения — латерально. [44]
Однако, в отличие от простой конвергенции, SC интегрирует информацию для создания выходного сигнала, который отличается от суммы его входных сигналов. Следуя явлению, называемому «пространственным правилом», нейроны возбуждаются, если стимулы из нескольких модальностей попадают на те же или соседние рецептивные поля, но тормозятся, если стимулы попадают на разрозненные поля. [70] Возбужденные нейроны затем могут продолжать иннервировать различные мышцы и нейронные структуры, чтобы ориентировать поведение и внимание человека на стимул. Нейроны в SC также придерживаются «временного правила», в котором стимуляция должна происходить в пределах непосредственной временной близости, чтобы возбудить нейроны. Однако из-за различного времени обработки между модальностями и относительно более медленной скорости звука в свет было обнаружено, что нейроны могут быть оптимально возбуждены, если стимулируются с некоторым интервалом. [71]
Было показано, что отдельные нейроны в скорлупе макаки имеют зрительные и соматосенсорные реакции, тесно связанные с реакциями в полисенсорной зоне премоторной коры и области 7b в теменной доле. [72] [73]
Мультисенсорные нейроны существуют во многих местах, часто интегрированные с унимодальными нейронами. Недавно они были обнаружены в областях, которые ранее считались модально-специфичными, например, в соматосенсорной коре; а также в кластерах на границах между основными церебральными долями, например, в затылочно-теменном и затылочно-височном пространствах. [74] [53] [75]
Однако для того, чтобы претерпеть такие физиологические изменения, должна существовать непрерывная связь между этими мультисенсорными структурами. Общепризнано, что поток информации в коре следует иерархической конфигурации. [76] Хьюбел и Визель показали, что рецептивные поля и, следовательно, функция корковых структур, по мере продвижения от V1 по зрительным путям, становятся все более сложными и специализированными. [76] Из этого было постулировано, что информация течет наружу в прямом направлении; сложные конечные продукты в конечном итоге связываются, образуя восприятие. Однако с помощью фМРТ и технологий внутричерепной записи было замечено, что время активации последовательных уровней иерархии не коррелирует со структурой прямой связи. То есть, поздняя активация наблюдалась в полосатой коре, заметно после активации префронтальной коры в ответ на тот же стимул. [77]
В дополнение к этому были обнаружены афферентные нервные волокна, которые проецируются в ранние зрительные области, такие как язычная извилина, из поздних дорсальных (действие) и вентральных (восприятие) зрительных потоков, а также из слуховой ассоциативной коры. [78] Проекции обратной связи также наблюдались у опоссума непосредственно из слуховой ассоциативной коры в V1. [76] Это последнее наблюдение в настоящее время подчеркивает спорный момент в нейробиологическом сообществе. Садато и др. (2004) пришли к выводу, в соответствии с Бернстайном и др. (2002), что первичная слуховая кора (A1) функционально отличается от слуховой ассоциативной коры, поскольку она лишена какого-либо взаимодействия со зрительной модальностью. Поэтому они пришли к выводу, что A1 вообще не будет подвергаться воздействию кросс-модальной пластичности . [79] [80] Это согласуется с утверждением Джонса и Пауэлла (1970) о том, что первичные сенсорные области связаны только с другими областями той же модальности. [81]
Напротив, дорсальный слуховой путь, проецирующийся из височной доли, в значительной степени связан с обработкой пространственной информации и содержит рецептивные поля, которые организованы топографически. Волокна из этой области проецируются непосредственно на нейроны, управляющие соответствующими рецептивными полями в V1. [76] Перцептивные последствия этого еще не были эмпирически подтверждены. Однако можно предположить, что эти проекции могут быть предшественниками повышенной остроты и акцента зрительных стимулов в соответствующих областях перцептивного пространства. Следовательно, это открытие отвергает гипотезу Джонса и Пауэлла (1970) [81] и, таким образом, противоречит открытиям Садато и др. (2004). [79] Разрешение этого несоответствия включает возможность того, что первичные сенсорные области не могут быть классифицированы как одна группа, и, таким образом, могут значительно отличаться от того, что считалось ранее.
Мультисенсорный синдром с симметричной билатеральностью, охарактеризованный Гонсало и названный этим автором «центральным синдромом коры» [18] [19], возник из одностороннего теменно-затылочного коркового поражения, равноудаленного от зрительных, тактильных и слуховых проекционных зон (середина поля 19, передняя часть поля 18 и самая задняя часть поля 39, в терминологии Бродмана), которое было названо «центральной зоной». Градация, наблюдаемая между синдромами, привела этого автора к предложению схемы функционального градиента, в которой специфичность коры распределяется с непрерывным изменением, [19] перекрытие специфических градиентов будет высоким или максимальным в этой «центральной зоне».
Зона F4 у макак
Область F5 у макак [82] [83]
Полисенсорная зона премоторной коры (ПЗ) у макак [84]
Первичная зрительная кора (V1) [85]
Язычная извилина у человека
Латеральный затылочный комплекс (LOC), включая латеральную затылочную тактильную зрительную область (LOtv) [86]
Вентральная интрапариетальная борозда (ВИП) у макак [82]
Латеральная интрапариетальная борозда (LIP) у макак [82]
Область 7b у макак [87]
Вторая соматосенсорная кора (SII) [88]
Первичная слуховая кора (А1)
Верхняя височная кора (STG/STS/PT) Известно, что аудиовизуальные кросс-модальные взаимодействия происходят в слуховой ассоциативной коре, которая находится непосредственно под сильвиевой бороздой в височной доле. [79] Пластичность наблюдалась в верхней височной извилине (STG) Петитто и др. (2000). [89] Здесь было обнаружено, что STG была более активна во время стимуляции у глухих носителей языка жестов по сравнению со слышащими, не владеющими языком жестов. Одновременно с этим дальнейшие исследования выявили различия в активации Planum temporale (PT) в ответ на неязыковые движения губ между слышащими и глухими; а также постепенно увеличивающуюся активацию слуховой ассоциативной коры по мере того, как ранее глухие участники приобретали слуховой опыт с помощью кохлеарного имплантата. [79]
Передняя эктосильвиева борозда (AES) у кошек [90] [91] [92]
Ростральная латеральная супрасильвиева борозда (rLS) у кошек [91]
Наиболее значимым взаимодействием между этими двумя системами (кортикотектальные взаимодействия) является связь между передней эктосильвиевой бороздой (AES), которая находится на стыке теменной, височной и лобной долей, и SC. AES делится на три унимодальных региона с мультисенсорными нейронами на стыках между этими секциями. [93] (Jiang & Stein, 2003). Нейроны из унимодальных регионов проецируются в глубокие слои SC и влияют на эффект мультипликативной интеграции. То есть, хотя они могут получать входы от всех модальностей как обычно, SC не может усиливать или подавлять эффект мультисенсорной стимуляции без входа от AES. [93]
В то же время мультисенсорные нейроны AES, хотя также интегрально связаны с унимодальными нейронами AES, не связаны напрямую с SC. Эта модель разделения отражается в других областях коры, что приводит к наблюдению, что кортикальные и тектальные мультисенсорные системы несколько диссоциированы. [94] Стайн, Лондон, Уилкинсон и Прайс (1996) проанализировали воспринимаемую яркость светодиода в контексте пространственно разрозненных слуховых отвлекающих факторов различных типов. Важным открытием было то, что звук увеличивал воспринимаемую яркость света, независимо от их относительного пространственного расположения, при условии, что изображение света проецировалось на фовеа. [95] Здесь явное отсутствие пространственного правила еще больше дифференцирует кортикальные и тектальные мультисенсорные нейроны. Существует мало эмпирических доказательств, оправдывающих эту дихотомию. Тем не менее, кортикальные нейроны, управляющие восприятием, и отдельная подкорковая система, управляющая действием (ориентационным поведением), являются синонимами гипотезы восприятия-действия зрительного потока. [96] Необходимо провести дальнейшее исследование в этой области, прежде чем можно будет сделать какие-либо существенные заявления.
Исследования показывают существование двух мультисенсорных маршрутов для «что» и «где». Маршрут «что» идентифицирует идентичность вещей, вовлекая область Бродмана поле 9 в правой нижней лобной извилине и правой средней лобной извилине , поле Бродмана 13 и поле Бродмана 45 в правой островковой - нижней лобной извилине, и поле Бродмана 13 с двух сторон в островковой. Маршрут «где» обнаруживает их пространственные атрибуты, вовлекая поле Бродмана 40 в правой и левой нижней теменной дольке и поле Бродмана 7 в правой предклинье - верхней теменной дольке и поле Бродмана 7 в левой верхней теменной дольке. [97]
Все виды, оснащенные множественными сенсорными системами, используют их интегративным образом для достижения действия и восприятия. [44] Однако у большинства видов, особенно высших млекопитающих и людей, способность к интеграции развивается параллельно с физической и когнитивной зрелостью. Дети до определенного возраста не демонстрируют зрелых моделей интеграции. [98] [99] Классически были выдвинуты две противоположные точки зрения, которые являются главным образом современными проявлениями дихотомии нативизма/эмпиризма. Интеграционная (эмпирическая) точка зрения утверждает, что при рождении сенсорные модальности вообще не связаны. Следовательно, только посредством активного исследования могут происходить пластические изменения в нервной системе, инициирующие целостное восприятие и действия. Напротив, дифференцирующая (нативистская) перспектива утверждает, что молодая нервная система сильно взаимосвязана; и что в процессе развития модальности постепенно дифференцируются по мере того, как соответствующие связи отрабатываются, а нерелевантные отбрасываются. [100]
Используя SC в качестве модели, можно проанализировать природу этой дихотомии. У новорожденной кошки глубокие слои SC содержат только нейроны, реагирующие на соматосенсорную модальность. В течение недели начинают появляться слуховые нейроны, но первые мультисенсорные нейроны появляются только через две недели после рождения. Дальнейшие изменения продолжаются с появлением зрительных нейронов через три недели, пока SC не достигнет своей полностью зрелой структуры через три-четыре месяца. Одновременно с этим у видов обезьян новорожденные наделены значительным набором мультисенсорных клеток; однако, как и у кошек, эффект интеграции не проявляется до гораздо более позднего времени. [53] Считается, что эта задержка является результатом относительно более медленного развития корковых структур, включая AES; который, как указано выше, необходим для существования эффекта интеграции. [93]
Кроме того, Уоллес (2004) обнаружил, что у кошек, выросших в условиях недостатка света, зрительные рецептивные поля в глубоких слоях SC были сильно недоразвиты. [53] Хотя было показано, что размер рецептивного поля уменьшается с возрастом, приведенные выше данные свидетельствуют о том, что интеграция в SC является функцией опыта. Тем не менее, существование зрительных мультисенсорных нейронов, несмотря на полное отсутствие визуального опыта, подчеркивает очевидную актуальность нативистских точек зрения. Мультисенсорное развитие в коре головного мозга изучалось в меньшей степени, однако исследование, аналогичное представленному выше, было проведено на кошках, у которых были перерезаны зрительные нервы. Эти кошки продемонстрировали заметное улучшение своей способности локализовать стимулы посредством слуха; и, следовательно, также показали повышенную нейронную связь между V1 и слуховой корой. [76] Такая пластичность в раннем детстве обеспечивает большую адаптивность и, следовательно, более нормальное развитие в других областях для людей с сенсорным дефицитом.
Напротив, после начального периода формирования SC, по-видимому, не демонстрирует никакой нейронной пластичности. Несмотря на это, известно, что привыкание и сенсибилизация в долгосрочной перспективе существуют в поведении ориентации. Эта очевидная пластичность в функции была приписана адаптивности AES. То есть, хотя нейроны в SC имеют фиксированную величину выхода на единицу входа и по сути работают по принципу «все или ничего», уровень нейронной активации может быть более точно настроен путем изменений во входе AES.
Хотя существуют доказательства для любой из точек зрения дихотомии интеграции/дифференциации, также существует значительный объем доказательств для комбинации факторов с любой точки зрения. Таким образом, аналогично более широкому аргументу нативиста/эмпирика, очевидно, что вместо дихотомии существует континуум, так что гипотезы интеграции и дифференциации являются крайностями на обоих концах.
Не так много известно о развитии способности интегрировать множественные оценки, такие как зрение и осязание. [98] Некоторые мультисенсорные способности присутствуют с раннего младенчества, но только после достижения детьми восьми лет или старше они начинают использовать множественные модальности для снижения сенсорной неопределенности. [98]
Одно исследование продемонстрировало, что кросс-модальная визуальная и слуховая интеграция присутствует с 1 года жизни. [101] В этом исследовании измерялось время реакции для ориентации на источник. Младенцы в возрасте 8–10 месяцев показали значительное сокращение времени реакции, когда источник был представлен как через визуальную , так и через слуховую информацию по сравнению с одной модальностью . Однако у более молодых младенцев не было такого изменения во времени реакции на эти различные условия. Действительно, результаты исследования показывают, что дети потенциально способны интегрировать сенсорные источники в любом возрасте. Однако в определенных случаях, например, визуальных подсказок , интермодальная интеграция избегается. [98]
Другое исследование показало, что кросс-модальная интеграция осязания и зрения для различения размера и ориентации доступна по крайней мере с 8 лет. [99] Для возрастных групп до интеграции одно чувство доминирует в зависимости от распознаваемой характеристики (см. визуальное доминирование). [99]
Исследование, изучающее сенсорную интеграцию в рамках одной модальности ( зрение ), показало, что она не может быть установлена до возраста 12 лет и старше. [98] Это конкретное исследование оценивало интеграцию сигналов диспаратности и текстуры для разрешения наклона поверхности. Хотя младшие возрастные группы показали несколько лучшие результаты при объединении сигналов диспаратности и текстуры по сравнению с использованием только сигналов диспаратности или текстуры, эта разница не была статистически значимой. [98] У взрослых сенсорная интеграция может быть обязательной, что означает, что у них больше нет доступа к отдельным сенсорным источникам. [102]
Признавая эти различия, было выдвинуто много гипотез, отражающих, почему эти наблюдения зависят от задачи. Учитывая, что разные чувства развиваются с разной скоростью, было высказано предположение, что кросс-модальная интеграция не появляется, пока обе модальности не достигнут зрелости. [99] [103] Человеческое тело претерпевает значительную физическую трансформацию на протяжении всего детства. Не только увеличивается размер и рост (влияя на высоту обзора), но также изменяется межглазное расстояние и длина глазного яблока . Поэтому сенсорные сигналы необходимо постоянно переоценивать, чтобы оценить эти различные физиологические изменения. [99] Некоторое подтверждение этому дают исследования на животных, в которых изучается нейробиология, лежащая в основе интеграции. Взрослые обезьяны имеют глубокие межнейронные связи в верхнем холмике, обеспечивающие сильную, ускоренную зрительно-слуховую интеграцию. [104] Молодые животные, наоборот, не имеют этого улучшения, пока унимодальные свойства не будут полностью развиты. [105] [106]
Кроме того, чтобы рационализировать сенсорное доминирование, Гори и др. (2008) утверждают, что мозг использует самый прямой источник информации во время сенсорной незрелости. [99] В этом случае ориентация является в первую очередь визуальной характеристикой. Она может быть получена непосредственно из изображения объекта, которое формируется на сетчатке , независимо от других визуальных факторов. Фактически, данные показывают, что функциональным свойством нейронов в зрительной коре приматов является их различение ориентации. [107] Напротив, тактильные суждения об ориентации восстанавливаются посредством совместных шаблонных стимуляций, очевидно, косвенный источник, восприимчивый к помехам. Аналогично, когда речь идет о размере, тактильная информация, поступающая от положений пальцев, является более немедленной. Визуальное восприятие размера, в свою очередь, должно быть вычислено с использованием таких параметров, как наклон и расстояние . Учитывая это, сенсорное доминирование является полезным инстинктом, помогающим с калибровкой. В период сенсорной незрелости более простой и надежный источник информации может использоваться для настройки точности альтернативного источника. [99] Последующие исследования Гори и др. (2012) показали, что во всех возрастах зрительное восприятие размера близко к идеальному при просмотре объектов в тактильном рабочем пространстве (т. е. на расстоянии вытянутой руки). [108] Однако систематические ошибки восприятия появлялись, когда объект располагался за пределами этой зоны. [109] Дети младше 14 лет склонны недооценивать размер объекта, тогда как взрослые переоценивали. Однако, если объект возвращался в тактильное рабочее пространство, эти визуальные предубеждения исчезали. [108] Эти результаты подтверждают гипотезу о том, что тактильная информация может обучать визуальному восприятию. Если источники используются для перекрестной калибровки, их нельзя, следовательно, объединять (интегрировать). Поддержание доступа к индивидуальным оценкам является компромиссом между дополнительной пластичностью и точностью, что может быть полезным в ретроспективе для развивающегося организма. [99] [103]
В качестве альтернативы Эрнст (2008) утверждает, что эффективная интеграция изначально основана на установлении соответствия — какие сенсорные сигналы относятся друг к другу. [103] Действительно, исследования показали, что визуально-тактильная интеграция не работает у взрослых, когда есть воспринимаемое пространственное разделение, что предполагает, что сенсорная информация поступает от разных целей. [110] Более того, если разделение можно объяснить, например, рассматривая объект через зеркало , интеграция восстанавливается и даже может быть оптимальной. [111] [112] Эрнст (2008) предполагает, что взрослые могут получить эти знания из предыдущего опыта, чтобы быстро определить, какие сенсорные источники отображают одну и ту же цель, но маленькие дети могут иметь дефицит в этой области. [103] Как только будет накоплен достаточный опыт, уверенность в правильной интеграции сенсорных сигналов может быть внедрена в их поведение.
Наконец, Нардини и др. (2010) недавно выдвинули гипотезу, что маленькие дети оптимизировали свою сенсорную оценку для скорости, а не для точности. [98] Когда информация представлена в двух формах, дети могут получить оценку из самого быстрого доступного источника, впоследствии игнорируя альтернативу, даже если она содержит избыточную информацию. Нардини и др. (2010) приводят доказательства того, что задержки реакции у детей (в возрасте 6 лет) значительно ниже, когда стимулы предъявляются в условиях с несколькими сигналами, а не с одним сигналом. [98] Наоборот, у взрослых не наблюдалось никаких изменений между этими условиями. Действительно, взрослые демонстрируют обязательное слияние сигналов, поэтому они могут стремиться только к максимальной точности. [98] [102] Однако общие средние задержки у детей были не быстрее, чем у взрослых, что говорит о том, что оптимизация скорости просто позволяет им идти в ногу со зрелым темпом. Учитывая спешку событий реального мира, эта стратегия может оказаться необходимой для противодействия общей более медленной обработке у детей и поддержания эффективной связи зрение-действие. [113] [114] [115] В конечном итоге развивающаяся сенсорная система может предпочтительно адаптироваться к различным целям – скорости и обнаружению сенсорных конфликтов – тем, что типичны для объективного обучения.
Позднее развитие эффективной интеграции также было исследовано с вычислительной точки зрения. [116] Дэи и др. (2014) показали, что наличие одного доминирующего сенсорного источника в раннем возрасте, а не интеграция всех источников, способствует общему развитию кросс-модальных интеграций.
Проектировщики протезов должны тщательно учитывать природу изменения размерности сенсомоторных сигналов от ЦНС и к ЦНС при проектировании протезных устройств. Как сообщается в литературе, нейронная сигнализация от ЦНС к двигателям организована таким образом, что размерности сигналов постепенно увеличиваются по мере приближения к мышцам, также называемые мышечными синергиями. С другой стороны, по тому же принципу, но в противоположном порядке, размерности сигналов от сенсорных рецепторов постепенно интегрируются, также называемые сенсорными синергиями, по мере их приближения к ЦНС. Эта сигнальная структура в виде галстука-бабочки позволяет ЦНС обрабатывать только абстрактную, но ценную информацию. Такой процесс снизит сложность данных, обработает шумы и гарантирует ЦНС оптимальное потребление энергии. Хотя текущие коммерчески доступные протезные устройства в основном сосредоточены на реализации двигательной стороны, просто используя датчики ЭМГ для переключения между различными состояниями активации протеза. Очень ограниченное количество работ предложило систему для вовлечения путем интеграции сенсорной стороны. Интеграция тактильных ощущений и проприорецепции считается необходимой для реализации способности воспринимать окружающую среду. [117]
Мультисенсорная интеграция также показала улучшение визуальной гемианопсии. Благодаря повторному предъявлению мультисенсорных стимулов в слепом полушарии способность реагировать на чисто визуальные стимулы постепенно возвращается в это полуполе в центрально-периферической манере. Эти преимущества сохраняются даже после прекращения явного мультисенсорного обучения. [118]
{{cite book}}
: |journal=
проигнорировано ( помощь ){{cite book}}
: |work=
проигнорировано ( помощь ){{cite book}}
: |work=
проигнорировано ( помощь )