Мультисенсорная интеграция , также известная как мультимодальная интеграция , представляет собой исследование того, как информация от различных сенсорных модальностей (таких как зрение, звук, осязание, обоняние, самодвижение и вкус) может быть интегрирована нервной системой . [1] Последовательное представление объектов, сочетающих модальности, позволяет животным получать значимый опыт восприятия. Действительно, мультисенсорная интеграция занимает центральное место в адаптивном поведении, поскольку позволяет животным воспринимать мир последовательных перцептивных сущностей. [2] Мультисенсорная интеграция также касается того, как различные сенсорные модальности взаимодействуют друг с другом и изменяют обработку друг друга.
Мультимодальное восприятие — это то, как животные формируют связное, достоверное и надежное восприятие, обрабатывая сенсорные стимулы различных модальностей. Окруженный множеством объектов и получающий множество сенсорных стимуляций, мозг сталкивается с решением, как классифицировать стимулы, возникающие в результате различных объектов или событий в физическом мире. Таким образом, нервная система отвечает за то, интегрировать или разделять определенные группы сигналов. Мультимодальное восприятие широко изучается в когнитивной науке, поведенческой науке и нейробиологии.
Существует четыре атрибута стимула: модальность, интенсивность, местоположение и продолжительность. Неокортекс мозга млекопитающих имеет парцелляции, которые в основном обрабатывают сенсорную информацию одной модальности . Например, первичная зрительная область V1 или первичная соматосенсорная область S1. Эти области в основном имеют дело с характеристиками стимулов низкого уровня, такими как яркость, ориентация, интенсивность и т. д. Эти области имеют обширные связи друг с другом, а также с областями более высоких ассоциаций, которые дополнительно обрабатывают стимулы и, как полагают, интегрируют сенсорную информацию от различных модальностей. . Однако было показано, что мультисенсорные эффекты возникают и в первичных сенсорных областях. [3]
Взаимосвязь между проблемой связывания и мультисенсорным восприятием можно рассматривать как вопрос – проблему связывания – и его потенциальное решение – мультисенсорное восприятие. Проблема привязки возникла из-за оставшихся без ответа вопросов о том, как млекопитающие (особенно высшие приматы) создают единое, связное восприятие своего окружения из какофонии электромагнитных волн , химических взаимодействий и колебаний давления, которые составляют физическую основу окружающего нас мира. Первоначально оно исследовалось в зрительной сфере (цвет, движение, глубина и форма), затем в слуховой сфере и недавно в мультисенсорной области. Таким образом, можно сказать, что проблема связывания является центральной для мультисенсорного восприятия . [4]
Однако рассмотрение того, как формируются единые сознательные представления, не является полным фокусом исследований мультисенсорной интеграции. Очевидно, что взаимодействие органов чувств важно для того, чтобы максимально эффективно люди взаимодействуют с окружающей средой. Чтобы перцептивный опыт и поведение могли извлечь выгоду из одновременной стимуляции нескольких сенсорных модальностей, необходима интеграция информации от этих модальностей. Некоторые механизмы, опосредующие это явление, и его последующее влияние на когнитивные и поведенческие процессы будут рассмотрены ниже. Восприятие часто определяется как сознательный опыт и, таким образом, объединяет входные данные всех соответствующих чувств и предшествующих знаний. Восприятие также определяется и изучается с точки зрения извлечения признаков, которые находятся на расстоянии нескольких сотен миллисекунд от сознательного опыта. Несмотря на существование школ гештальт-психологии , которые отстаивают целостный подход к работе мозга, [5] [6] физиологические процессы, лежащие в основе формирования восприятия и сознательного опыта, изучены крайне недостаточно. Тем не менее, растущие нейробиологические исследования продолжают обогащать наше понимание многих деталей мозга, включая нейронные структуры, участвующие в мультисенсорной интеграции, такие как верхний бугорок (SC) [7] и различные корковые структуры, такие как верхняя височная извилина (GT) и зоны зрительных и слуховых ассоциаций. Хотя строение и функции СК хорошо известны, кора и взаимоотношения между ее составными частями в настоящее время являются предметом многочисленных исследований. Одновременно с этим недавний импульс интеграции позволил исследовать феномены восприятия, такие как эффект чревовещания , [8] быстрая локализация стимулов и эффект Макгерка ; [9] , что привело к более глубокому пониманию человеческого мозга и его функций.
Исследования сенсорной обработки у людей и других животных традиционно проводились по одному чувству за раз [10] , и по сей день многочисленные академические общества и журналы в основном ограничиваются рассмотрением сенсорных модальностей отдельно ( «Исследование зрения» , «Исследование слуха»). ' и т. д.). Однако существует также долгая и параллельная история мультисенсорных исследований. Примером могут служить эксперименты Страттона (1896) по изучению соматосенсорных эффектов ношения призматических очков, искажающих зрение. [11] [12] Мультисенсорные взаимодействия или кроссмодальные эффекты, при которых на восприятие стимула влияет наличие стимула другого типа, упоминаются с очень давних времен. Их обзор был сделан Хартманном [13] в фундаментальной книге, где среди нескольких ссылок на различные типы мультисенсорных взаимодействий упоминается работа Урбанчича 1888 года [14] , который сообщил об улучшении остроты зрения слуховыми стимулами у испытуемых. с поврежденным мозгом. Этот эффект был обнаружен позже у людей с неповрежденным мозгом Краковым [15] и Хартманном [16] , а также тем фактом, что острота зрения могла быть улучшена с помощью других типов стимулов. [16] Примечателен также объем работ начала 1930-х годов по межсенсорным отношениям в Советском Союзе, рассмотренных Лондоном. [17] Замечательным мультисенсорным исследованием является обширная работа Гонсало [18] в сороковых годах по характеристике мультисенсорного синдрома у пациентов с поражениями теменно-затылочной коры. При этом синдроме поражаются все сенсорные функции, причем с симметричной двусторонностью, несмотря на то, что это одностороннее поражение, при котором основные области не поражаются. Особенностью этого синдрома является большая проницаемость кроссмодальных эффектов между зрительными, тактильными, слуховыми стимулами, а также мышечными усилиями для улучшения восприятия, что также уменьшает время реакции. Было обнаружено, что улучшение за счет кроссмодального эффекта тем больше, чем слабее воспринимаемый первичный стимул и чем больше кортикальное поражение (том I и II справочника [18] ). Этот автор интерпретировал эти явления в рамках динамической физиологической концепции и модели, основанной на функциональных градиентах коры и законах масштабирования динамических систем, тем самым подчеркивая функциональное единство коры. В соответствии с функциональными кортикальными градиентами специфика коры будет распределяться градально, а перекрытие разных специфических градиентов будет связано с мультисенсорными взаимодействиями. [19]
Мультисенсорные исследования в последнее время приобрели огромный интерес и популярность.
Когда мы слышим гудок автомобиля , мы определяем, какая машина вызывает гудок, и какая машина, как мы видим, пространственно ближе всего к гудку. Это пространственно конгруэнтный пример объединения визуальных и слуховых стимулов. С другой стороны, звук и изображения телевизионной программы будут интегрированы как структурно конгруэнтные за счет объединения визуальных и слуховых стимулов. Однако если бы звук и изображения не соответствовали смыслу, мы бы разделили эти два стимула. Следовательно, пространственная или структурная конгруэнтность возникает не только в результате объединения стимулов, но также определяется нашим пониманием.
Литература о пространственных кроссмодальных искажениях предполагает, что визуальная модальность часто влияет на информацию, поступающую от других органов чувств. [20] Некоторые исследования показывают, что зрение доминирует над тем, что мы слышим, при изменении степени пространственного соответствия. Это известно как эффект чревовещателя. [21] В случаях визуальной и тактильной интеграции дети младше 8 лет демонстрируют визуальное доминирование, когда требуется определить ориентацию объекта. Однако тактильное доминирование возникает, когда идентифицируемым фактором является размер объекта. [22] [23]
Согласно Уэлчу и Уоррену (1980), гипотеза адекватности модальности утверждает, что влияние восприятия в каждой модальности при мультисенсорной интеграции зависит от соответствия этой модальности данной задаче. Таким образом, зрение оказывает большее влияние на интегрированную локализацию, чем слух, а слух и осязание оказывают большее влияние на оценку времени, чем зрение. [24] [25]
Более поздние исследования уточняют это раннее качественное описание мультисенсорной интеграции. Алайс и Берр (2004) обнаружили, что после постепенного ухудшения качества зрительного стимула восприятие участниками пространственного местоположения все больше определялось одновременным слуховым сигналом. [26] Однако они также постепенно изменили временную неопределенность слухового сигнала; в конечном итоге пришел к выводу, что именно неопределенность отдельных модальностей определяет, в какой степени информация из каждой модальности учитывается при формировании восприятия. [26] Этот вывод в некотором отношении аналогичен «правилу обратной эффективности». Степень мультисенсорной интеграции может варьироваться в зависимости от неоднозначности соответствующих стимулов. В подтверждение этой идеи недавнее исследование показывает, что слабые органы чувств, такие как обоняние, могут даже модулировать восприятие визуальной информации, если надежность зрительных сигналов подвергается адекватному риску. [27]
Теория байесовской интеграции основана на том факте, что мозгу приходится иметь дело с рядом входных данных, которые различаются по надежности. [28] Имея дело с этими входными данными, он должен построить последовательное представление мира, соответствующее реальности. Точка зрения байесовской интеграции заключается в том, что мозг использует форму байесовского вывода . [29] Эта точка зрения была подкреплена компьютерным моделированием такого байесовского вывода от сигналов к когерентному представлению, которое демонстрирует характеристики, аналогичные интеграции в мозге. [29]
При условии независимости между различными источниками традиционная модель комбинации сигналов успешна в интеграции модальностей. Однако в зависимости от различий между модальностями могут существовать разные формы слияния стимулов: интеграция, частичная интеграция и сегрегация. Чтобы полностью понять два других типа, мы должны использовать модель причинного вывода без предположений в качестве модели комбинации сигналов. Эта свобода дает нам общую комбинацию любого количества сигналов и модальностей, используя правило Байеса для причинного вывода сенсорных сигналов. [30]
Разница между двумя моделями заключается в том, что иерархическая модель может явно делать причинно-следственные выводы для прогнозирования определенного стимула, тогда как неиерархическая модель может прогнозировать только совместную вероятность стимулов. Однако иерархическая модель на самом деле является частным случаем неиерархической модели, поскольку совместный априор устанавливается как средневзвешенное априорное значение общих и независимых причин, каждая из которых взвешивается по их априорной вероятности. Основываясь на соответствии этих двух моделей, мы также можем сказать, что иерархическая модель является смесью неиерархической модели.
Для байесовской модели априор и вероятность обычно представляют статистику окружающей среды и сенсорных представлений. Независимость априорных значений и вероятностей не гарантируется, поскольку априорные значения могут меняться в зависимости от правдоподобия только в зависимости от представлений. Однако независимость была доказана Шамсом с помощью серии проверок параметров в эксперименте по мультисенсорному восприятию. [31]
Подход общей интенциональности предлагает целостное объяснение нейрофизиологических процессов, лежащих в основе формирования восприятия и сознательного опыта. Психологический конструкт общей интенциональности был введен в конце 20 века. [32] [33] [34] Майкл Томаселло разработал его, чтобы объяснить познание, начинающееся на более ранней стадии развития посредством неосознанного сотрудничества в диадах мать-ребенок. [35] [36] За последние двадцать лет знание этого понятия развилось благодаря наблюдению за общей интенциональностью с разных точек зрения, например, психофизиологии , [37] [38] и нейробиологии . [39] По мнению Игоря Вала Данилова, общая интенциональность позволяет паре мать-ребенок разделить существенные сенсорные стимулы реальной когнитивной проблемы. [40] Гипотеза о нейрофизиологических процессах, происходящих во время общей интенциональности, объясняет ее интегративную сложность от нейронального до уровня межличностной динамики. [41] Такое совместное взаимодействие обеспечивает обучение незрелого организма окружающей среде, начиная с стадии развития рефлексов, для обработки организации, идентификации и интерпретации сенсорной информации в процессе развития восприятия. [42] С этой точки зрения, Общая интенциональность способствует формированию восприятия и сознательного опыта, решая проблему связывания , или, по крайней мере, дополняет один из механизмов, отмеченных выше. [43]
Вклад Барри Стайна, Алекса Мередита и их коллег (например, «Слияние чувств», 1993, [44] ) широко считается новаторской работой в современной области мультисенсорной интеграции. Путем детального долгосрочного изучения нейрофизиологии верхних холмиков они выделили три общих принципа, с помощью которых лучше всего можно описать мультисенсорную интеграцию.
Унимодальный подход доминировал в научной литературе до начала этого столетия. Хотя это позволило быстро прогрессировать в нейронном картировании и улучшить понимание нервных структур, исследования восприятия оставались относительно застойными, за некоторыми исключениями. Недавнее возрождение энтузиазма в области исследований восприятия свидетельствует о существенном сдвиге от редукционизма к гештальт-методологиям. Гештальт-теория, доминировавшая в конце 19-го и начале 20-го веков, поддерживала два общих принципа: «принцип тотальности», согласно которому сознательный опыт должен рассматриваться глобально, и «принцип психофизического изоморфизма», который утверждает, что феномены восприятия коррелируют с мозговой деятельностью. . Именно эти идеи уже применял Хусто Гонсало в своей работе по динамике мозга, где сенсорно-церебральное соответствие рассматривается в формулировке «развития сенсорного поля вследствие психофизического изоморфизма» (стр. 23 английского перевода ссылка [19] ). Обе идеи, «принцип тотальности» и «психофизический изоморфизм», особенно актуальны в нынешних условиях и побудили исследователей изучить поведенческие преимущества мультисенсорной интеграции.
Широко признано, что неопределенность в сенсорных областях приводит к повышенной зависимости мультисенсорной интеграции. [26] Отсюда следует, что сигналы от нескольких модальностей, которые синхронны как во времени, так и в пространстве, рассматриваются нейронально и перцептивно как исходящие из одного и того же источника. Степень синхронности, необходимая для возникновения этой «связывания», в настоящее время исследуется с помощью различных подходов. [50] Интегративная функция проявляется только до той точки, за которой субъект может дифференцировать их как два противоположных стимула. В то же время из проведенных исследований можно сделать важный промежуточный вывод. Мультисенсорные стимулы, связанные в единый перцепт, также связаны с одними и теми же рецептивными полями мультисенсорных нейронов СК и коры. [26]
Реакция на несколько одновременных сенсорных стимулов может быть быстрее, чем реакция на те же стимулы, представленные изолированно. Хершенсон (1962) предъявлял свет и тон одновременно и по отдельности и просил участников-людей реагировать на них как можно быстрее. Поскольку асинхронность между возникновением обоих стимулов была различной, было замечено, что при определенной степени асинхронности время реакции уменьшалось. [51] Эти уровни асинхронности были довольно небольшими, возможно, отражая временное окно, существующее в мультисенсорных нейронах СК. В дальнейших исследованиях было проанализировано время реакции на саккадические движения глаз; [52] и совсем недавно связали эти результаты с нейронными явлениями. [53] У пациентов , исследованных Гонсало [18] с поражениями теменно-затылочной коры, было показано очень заметное уменьшение времени реакции на данный раздражитель посредством межсенсорной фасилитации.
Эффект избыточной цели — это наблюдение, что люди обычно быстрее реагируют на двойные цели (две цели, предъявляемые одновременно), чем на любую из целей, представленных отдельно. Эта разница в задержке называется усилением избыточности (RG). [54]
В исследовании, проведенном Форстером, Кавина-Пратези, Аглиоти и Берлуччи (2001), нормальные наблюдатели реагировали быстрее на одновременные визуальные и тактильные стимулы, чем на одиночные визуальные или тактильные стимулы. RT для одновременных визуальных и тактильных стимулов также была быстрее, чем RT для одновременных двойных визуальных или тактильных стимулов. Преимущество RT в сочетании зрительно-тактильных стимулов перед RT перед другими типами стимуляции можно объяснить межсенсорной нейронной фасилитацией, а не суммированием вероятностей. Эти эффекты можно объяснить конвергенцией тактильных и зрительных сигналов в нервных центрах, которые содержат гибкие мультисенсорные представления частей тела. [55]
Было обнаружено, что два сближающихся бимодальных стимула могут вызывать восприятие, которое не только отличается по величине от суммы его частей, но и совершенно различно по качеству. В классическом исследовании, получившем название « эффект Макгерка» , [56] производство фонем человека было дублировано видео, на котором этот человек произносит другую фонему. [57] Результатом стало восприятие третьей, другой фонемы. МакГурк и Макдональд (1976) объяснили, что такие фонемы, как ба, да, ка, та, га и па, можно разделить на четыре группы, те, которые можно визуально спутать, то есть (да, га, ка, та) и (ба и Макдональд (1976). pa), и те, которые можно спутать на слух. Следовательно, когда голос ба и губы га обрабатываются вместе, зрительная модальность видит га или да, а слуховая модальность слышит ба или да, объединяясь, чтобы сформировать восприятие да. [56]
Чревовещание использовалось в качестве доказательства гипотезы соответствия модальности. Эффект чревовещания — это ситуация, в которой слуховое восприятие местоположения смещается в сторону зрительного сигнала. Первоначальное исследование, описывающее это явление, было проведено Ховардом и Темплтоном (1966), после чего несколько исследований были повторены и основаны на выводах, к которым они пришли. [58] В условиях, когда зрительный сигнал однозначен, зрительный захват происходит надежно. Таким образом, чтобы проверить влияние звука на воспринимаемое местоположение, зрительный стимул должен постепенно ухудшаться. [26] Кроме того, учитывая, что слуховые стимулы более чувствительны к временным изменениям, недавние исследования проверили способность временных характеристик влиять на пространственное расположение зрительных стимулов. Некоторые виды EVP - феномена электронного голоса , в основном те, которые используют звуковые пузыри, считаются разновидностью современной техники чревовещания и воспроизводятся с использованием сложного программного обеспечения, компьютеров и звукового оборудования.
Иллюзия двойной вспышки была названа первой иллюзией, показавшей, что зрительные стимулы могут быть качественно изменены звуковыми стимулами. [59] В стандартной парадигме участникам предъявляются комбинации от одной до четырех вспышек, сопровождаемые от нуля до четырех звуковых сигналов. Затем их попросили сказать, сколько вспышек они восприняли. Участники воспринимали иллюзорные вспышки, когда звуковых сигналов было больше, чем вспышек. Исследования фМРТ показали, что в ранних зрительных областях низкого уровня происходит кроссмодальная активация, которая качественно аналогична восприятию настоящей вспышки. Это говорит о том, что иллюзия отражает субъективное восприятие дополнительной вспышки. [60] Кроме того, исследования показывают, что время мультисенсорной активации в несенсорной коре слишком быстрое, чтобы быть опосредованным интеграцией более высокого порядка, предполагающей прямую или латеральную связь. [61] Одно исследование выявило тот же эффект, но от видения до прослушивания, а также эффекты деления, а не слияния, хотя уровень слухового стимула был уменьшен, чтобы сделать его менее заметным для иллюзий, влияющих на слух. [62]
В иллюзии резиновой руки (RHI) [63] участники-люди видят, как кистью гладят руку-манекен, в то время как они чувствуют серию идентичных мазков, нанесенных на их собственную руку, которая скрыта от глаз. Если эта визуальная и тактильная информация применяется синхронно и если внешний вид и положение манекена руки аналогичны собственной руке, то люди могут почувствовать, что прикосновения к их собственной руке исходят от манекена и даже что фиктивная рука — это в каком-то смысле их собственная рука. [63] Это ранняя форма иллюзии перемещения тела . RHI — это иллюзия зрения, осязания и позы ( проприоцепция ), но подобная иллюзия также может быть вызвана осязанием и проприоцепцией. [64] Также было обнаружено, что иллюзия может вообще не требовать тактильной стимуляции, но может быть полностью вызвана простым видением резиновой руки, находящейся в конгруэнтной позе со скрытой реальной рукой. [65] Самое первое сообщение об иллюзиях такого рода, возможно, было еще в 1937 году (Тастевин, 1937). [66] [67] [68]
Иллюзия переноса тела обычно включает использование устройств виртуальной реальности, чтобы вызвать у субъекта иллюзию того, что тело другого человека или существа является собственным телом субъекта.
Верхний холмик (SC) или зрительная оболочка (OT) является частью покровной оболочки, расположенной в среднем мозге, выше ствола мозга и ниже таламуса. Он содержит семь слоев чередующихся белого и серого вещества, из которых поверхностные содержат топографические карты поля зрения; и более глубокие слои содержат перекрывающиеся пространственные карты зрительных, слуховых и соматосенсорных модальностей. [69] Структура получает афференты непосредственно от сетчатки, а также от различных отделов коры (прежде всего затылочной доли), спинного мозга и нижних холмиков. Он посылает эфференты в спинной мозг, мозжечок, таламус и затылочную долю через латеральное коленчатое ядро (ЛГН). Структура содержит большое количество мультисенсорных нейронов и играет роль в моторном контроле ориентационного поведения глаз, ушей и головы. [53]
Рецептивные поля соматосенсорной, зрительной и слуховой модальностей сходятся в более глубоких слоях, образуя двумерную мультисенсорную карту внешнего мира. Здесь объекты, расположенные прямо перед собой, представлены каудально, а объекты на периферии — ростерально. Точно так же места верхнего сенсорного пространства представлены медиально, а нижние места — латерально. [44]
Однако, в отличие от простой конвергенции, SC интегрирует информацию для создания выходных данных, которые отличаются от суммы входных данных. Согласно феномену, названному «пространственным правилом», нейроны возбуждаются, если стимулы разных модальностей попадают в одни и те же или соседние рецептивные поля, но тормозятся, если стимулы попадают в разные поля. [70] Возбужденные нейроны могут затем приступить к иннервации различных мышц и нервных структур, чтобы сориентировать поведение и внимание человека на стимул. Нейроны в СК также придерживаются «временного правила», согласно которому стимуляция должна происходить в непосредственной временной близости для возбуждения нейронов. Однако из-за различного времени обработки между модальностями и относительно более медленной скорости передачи звука в свет было обнаружено, что нейроны могут быть оптимально возбуждены, если их стимулировать с интервалом в некоторое время. [71]
Было показано, что отдельные нейроны в скорлупе макака имеют зрительные и соматосенсорные реакции, тесно связанные с таковыми в полисенсорной зоне премоторной коры и области 7b теменной доли. [72] [73]
Мультисенсорные нейроны существуют в большом количестве мест, часто интегрированных с унимодальными нейронами. Недавно они были обнаружены в областях, которые ранее считались модально-специфичными, таких как соматосенсорная кора; а также в скоплениях на границах между крупными долями головного мозга, такими как затылочно-теменное пространство и затылочно-височное пространство. [74] [53] [75]
Однако для того, чтобы претерпеть такие физиологические изменения, между этими мультисенсорными структурами должна существовать непрерывная связь. Принято считать, что поток информации внутри коры имеет иерархическую структуру. [76] Хьюбел и Визель показали, что рецептивные поля и, следовательно, функции корковых структур по мере продвижения от V1 по зрительным путям становятся все более сложными и специализированными. [76] Из этого было высказано предположение, что информация текла наружу по прямому принципу; сложные конечные продукты в конечном итоге формируют восприятие. Однако с помощью фМРТ и технологий внутричерепной записи было замечено, что время активации последовательных уровней иерархии не коррелирует со структурой прямой связи. То есть в стриарной коре наблюдалась поздняя активация, заметно после активации префронтальной коры в ответ на тот же стимул. [77]
В дополнение к этому были обнаружены афферентные нервные волокна, которые отходят к ранним зрительным областям, таким как язычная извилина, на поздних стадиях дорсального (действие) и вентрального (восприятие) зрительных потоков, а также от слуховой ассоциативной коры. [78] У опоссума также наблюдались проекции обратной связи непосредственно из коры слуховых ассоциаций в V1. [76] Это последнее наблюдение в настоящее время выдвигает на первый план противоречие в нейробиологическом сообществе. Садато и др. (2004) пришли к выводу, согласно Бернштейну и соавт. (2002), что первичная слуховая кора (А1) функционально отличается от слуховой ассоциативной коры, поскольку она лишена какого-либо взаимодействия со зрительной модальностью. Таким образом, они пришли к выводу, что на A1 вообще не будет влиять кросс-модальная пластичность . [79] [80] Это согласуется с утверждением Джонса и Пауэлла (1970) о том, что первичные сенсорные области связаны только с другими областями той же модальности. [81]
Напротив, дорсальный слуховой путь, исходящий из височной доли, в значительной степени связан с обработкой пространственной информации и содержит топографически организованные рецептивные поля. Волокна из этой области направляются непосредственно к нейронам, управляющим соответствующими рецептивными полями в V1. [76] Перцептивные последствия этого еще не были эмпирически признаны. Однако можно предположить, что эти проекции могут быть предшественниками повышения остроты и акцента зрительных стимулов в соответствующих областях перцептивного пространства. Следовательно, это открытие отвергает гипотезу Джонса и Пауэлла (1970) [81] и, таким образом, противоречит гипотезе Садато и др. (2004) выводы . [79] Разрешение этого несоответствия включает в себя возможность того, что первичные сенсорные области не могут быть классифицированы как единая группа и, следовательно, могут значительно отличаться от того, что считалось ранее.
Мультисенсорный синдром с симметричной билатеральностью, охарактеризованный Гонсало и названный им «центральным синдромом коры» [18, 19], возник из-за одностороннего теменно-затылочного поражения коры, равноудаленного от зрительной, тактильной и слуховой проекций. (середина поля 19, передняя часть поля 18 и самая задняя часть поля 39, по терминологии Бродмана), которая получила название «центральной зоны». Наблюдаемая между синдромами градация побудила этого автора предложить схему функционального градиента, в которой специфичность коры распределяется с непрерывными вариациями [19] перекрытие специфических градиентов будет высоким или максимальным в этой «центральной зоне».
Зона F4 у макак
Зона F5 у макак [82] [83]
Полисенсорная зона премоторной коры (ПЗ) макак [84]
Первичная зрительная кора (V1) [85]
Язычная извилина у человека
Латеральный затылочный комплекс (LOC), включая латеральную затылочную тактильную зрительную область (LOtv) [86]
Вентральная внутритеменная борозда (ВИП) у макак [82]
Латеральная внутритеменная борозда (LIP) у макак [82]
Зона 7b у макак [87]
Вторая соматосенсорная кора (SII) [88]
Первичная слуховая кора (А1)
Верхняя височная кора (STG/STS/PT). Известно, что аудиовизуальные кросс-модальные взаимодействия происходят в слуховой ассоциативной коре, которая лежит непосредственно под сильвиевой щелью в височной доле. [79] Пластичность наблюдалась в верхней височной извилине (STG) Petitto et al. (2000). [89] Здесь было обнаружено, что STG был более активен во время стимуляции у глухих, говорящих, по сравнению с слышащими, не говорящими. Одновременно с этим дальнейшие исследования выявили различия в активации Planum temporale (PT) в ответ на нелингвистические движения губ у слышащих и глухих; а также постепенно увеличивающаяся активация слуховой ассоциативной коры, поскольку ранее глухие участники приобретают слуховой опыт с помощью кохлеарного имплантата. [79]
Передняя эктосильвиева борозда (AES) у кошек [90] [91] [92]
Ростральная латеральная надсильвиева борозда (rLS) у кошек [91]
Наиболее значимым взаимодействием этих двух систем (кортико-тектальные взаимодействия) является соединение передней эктосильвиевой борозды (ПЭС), лежащей на стыке теменной, височной и лобной долей, с СК. AES разделена на три унимодальные области с мультисенсорными нейронами в местах соединения этих участков. [93] (Цзян и Стейн, 2003). Нейроны из унимодальных областей проецируются в глубокие слои СК и влияют на эффект мультипликативной интеграции. То есть, хотя они могут получать входные данные от всех модальностей как обычно, SC не может усиливать или подавлять эффект мультисенсорной стимуляции без входных данных от AES. [93]
При этом мультисенсорные нейроны АЭС хотя и интегрально связаны с унимодальными нейронами АЭС, но не связаны непосредственно с СК. Этот образец разделения отражается и на других областях коры, в результате чего наблюдается несколько диссоциация кортикальной и тектальной мультисенсорных систем. [94] Стейн, Лондон, Уилкинсон и Прайс (1996) проанализировали воспринимаемую яркость светодиода в контексте пространственно несопоставимых слуховых отвлекающих факторов различных типов. Важным открытием было то, что звук увеличивал воспринимаемую яркость света, независимо от его относительного пространственного положения, при условии, что изображение света проецировалось на ямку. [95] Здесь очевидное отсутствие пространственного правила еще больше дифференцирует кортикальные и тектальные мультисенсорные нейроны. Существует мало эмпирических данных, подтверждающих эту дихотомию. Тем не менее, корковые нейроны, управляющие восприятием, и отдельная подкорковая система, управляющая действием (ориентационным поведением), являются синонимами гипотезы воспринимающего действия зрительного потока. [96] Прежде чем выдвигать какие-либо существенные претензии, необходимо дальнейшее исследование в этой области.
Исследования предполагают существование двух мультисенсорных маршрутов «что» и «где». Путь «что», определяющий идентичность объектов, затрагивающих область 9 области Бродмана в правой нижней лобной извилине и правой средней лобной извилине , область 13 Бродмана и область 45 Бродмана в области правой островковой доли - нижней лобной извилины и область 13 Бродмана на двусторонней основе. островок. Маршрут «где», определяющий их пространственные атрибуты, включает область Бродмана 40 в правой и левой нижней теменной дольке и область Бродмана 7 в правом предклинье - верхняя теменная долька и область Бродмана 7 в левой верхней теменной доле. [97]
Все виды, оснащенные множеством сенсорных систем, используют их комплексно для достижения действия и восприятия. [44] Однако у большинства видов, особенно у высших млекопитающих и человека, способность к интеграции развивается параллельно с физической и когнитивной зрелостью. Дети до определенного возраста не демонстрируют зрелых моделей интеграции. [98] [99] Классически были выдвинуты две противоположные точки зрения, которые в основном являются современными проявлениями дихотомии нативистов и эмпиристов. Интеграционная (эмпирическая) точка зрения утверждает, что при рождении сенсорные модальности вообще не связаны между собой. Следовательно, только посредством активного исследования в нервной системе могут произойти пластические изменения, инициирующие целостное восприятие и действия. И наоборот, точка зрения дифференциации (нативистская) утверждает, что молодая нервная система тесно взаимосвязана; и что в ходе развития модальности постепенно дифференцируются по мере того, как релевантные связи отрабатываются, а нерелевантные отбрасываются. [100]
Используя СК в качестве модели, можно проанализировать природу этой дихотомии. У новорожденного кота глубокие слои СК содержат только нейроны, реагирующие на соматосенсорную модальность. В течение недели начинают формироваться слуховые нейроны, но первые мультисенсорные нейроны появляются только через две недели после рождения. Дальнейшие изменения продолжаются: через три недели появляются зрительные нейроны, пока через три-четыре месяца СК не достигнет своей полностью зрелой структуры. В то же время у видов обезьян новорожденные наделены значительным набором мультисенсорных клеток; однако, как и в случае с кошками, эффект интеграции проявляется гораздо позже. [53] Считается, что эта задержка является результатом относительно более медленного развития корковых структур, включая AES; что, как сказано выше, существенно для существования эффекта интегрирования. [93]
Более того, Уоллес (2004) обнаружил, что кошки, выращенные в среде с недостатком света, имеют сильно недоразвитые зрительные рецептивные поля в глубоких слоях SC. [53] Хотя было показано, что размер рецептивного поля уменьшается с возрастом, приведенные выше данные позволяют предположить, что интеграция в SC является функцией опыта. Тем не менее, существование зрительных мультисенсорных нейронов, несмотря на полное отсутствие зрительного опыта, подчеркивает очевидную актуальность нативистских точек зрения. Мультисенсорное развитие в коре изучено в меньшей степени, однако исследование, аналогичное представленному выше, было проведено на кошках, у которых были перерезаны зрительные нервы. Эти кошки продемонстрировали заметное улучшение способности локализовать стимулы посредством прослушивания; и, следовательно, также продемонстрировали усиление нейронной связи между V1 и слуховой корой. [76] Такая пластичность в раннем детстве обеспечивает большую адаптивность и, следовательно, более нормальное развитие в других областях для людей с сенсорным дефицитом.
Напротив, после начального периода формирования SC, по-видимому, не проявляет какой-либо нейронной пластичности. Несмотря на это, известно, что в ориентационном поведении в долгосрочной перспективе существует привыкание и сенсибилизация. Эта очевидная пластичность функций объясняется адаптируемостью AES. То есть, хотя нейроны в SC имеют фиксированную величину выходной мощности на единицу входного сигнала и, по сути, работают по принципу «все или ничего», уровень нейронной активности можно более точно настроить за счет изменений входного сигнала AES.
Хотя существуют доказательства в пользу любой точки зрения дихотомии интеграции/дифференциации, существует также значительный объем доказательств в пользу комбинации факторов с обеих точек зрения. Таким образом, по аналогии с более широким аргументом нативистов/эмпиристов, очевидно, что вместо дихотомии существует континуум, в котором гипотезы интеграции и дифференциации являются крайностями на обоих концах.
О развитии способности объединять несколько оценок, таких как зрение и осязание, известно немного. [98] Некоторые мультисенсорные способности присутствуют с раннего младенчества, но только когда детям исполняется восемь лет и старше, они начинают использовать несколько модальностей для уменьшения сенсорной неопределенности. [98]
Одно исследование показало, что кросс-модальная зрительная и слуховая интеграция присутствует уже в течение 1 года жизни. [101] В этом исследовании измерялось время реакции на ориентацию на источник. У младенцев в возрасте 8–10 месяцев наблюдалось значительно меньшее время реакции, когда источник был представлен как посредством визуальной , так и через слуховую информацию, по сравнению с одним способом . Однако у детей младшего возраста не наблюдалось таких изменений во времени реакции на эти различные условия. Действительно, результаты исследования показывают, что дети потенциально обладают способностью интегрировать сенсорные источники в любом возрасте. Однако в некоторых случаях, например, при визуальных подсказках , интермодальной интеграции избегают. [98]
Другое исследование показало, что кросс-модальная интеграция осязания и зрения для определения размера и ориентации доступна как минимум с 8-летнего возраста. [99] В возрастных группах до интеграции одно чувство доминирует в зависимости от обнаруженной характеристики (см. визуальное доминирование). [99]
Исследование, изучающее сенсорную интеграцию в рамках одной модальности ( зрения ), показало, что ее невозможно установить до 12 лет и старше. [98] В этом конкретном исследовании оценивалась интеграция сигналов несоответствия и текстуры для устранения наклона поверхности. Хотя более молодые возрастные группы показали несколько лучшие результаты при сочетании сигналов неравенства и текстуры по сравнению с использованием только сигналов неравенства или текстуры, эта разница не была статистически значимой. [98] У взрослых сенсорная интеграция может быть обязательной, а это означает, что они больше не имеют доступа к отдельным сенсорным источникам. [102]
Признавая эти различия, было выдвинуто множество гипотез, объясняющих, почему эти наблюдения зависят от задачи. Учитывая, что разные чувства развиваются с разной скоростью, было высказано предположение, что кросс-модальная интеграция не возникает до тех пор, пока обе модальности не достигнут зрелости. [99] [103] На протяжении детства человеческое тело претерпевает значительные физические изменения. Увеличивается не только размер и рост ( влияющий на высоту обзора), но также изменяется межглазное расстояние и длина глазного яблока . Следовательно, сенсорные сигналы необходимо постоянно переоценивать, чтобы оценить эти различные физиологические изменения. [99] Некоторую поддержку дают исследования на животных, изучающие нейробиологию интеграции. Взрослые обезьяны имеют глубокие межнейрональные связи в верхних холмиках , обеспечивающие сильную и ускоренную зрительно-слуховую интеграцию. [104] Молодые животные, наоборот, не имеют этого улучшения до тех пор, пока полностью не разовьются унимодальные свойства. [105] [106]
Кроме того, чтобы рационализировать сенсорное доминирование, Гори и др. (2008) утверждают, что во время сенсорной незрелости мозг использует наиболее прямой источник информации. [99] В этом случае ориентация является прежде всего зрительной характеристикой. Его можно получить непосредственно из изображения объекта, формирующегося на сетчатке , независимо от других зрительных факторов. Фактически, данные показывают, что функциональным свойством нейронов зрительной коры приматов является их способность различать ориентацию. [107] Напротив, суждения о тактильной ориентации восстанавливаются посредством совместной шаблонной стимуляции, очевидно, являющейся косвенным источником, подверженным вмешательству. Аналогичным образом, когда речь идет о размере, тактильная информация, поступающая от положения пальцев, становится более мгновенной. В качестве альтернативы восприятие визуального размера должно рассчитываться с использованием таких параметров, как наклон и расстояние . Учитывая это, сенсорное доминирование — полезный инстинкт, помогающий в калибровке. Во время сенсорной незрелости можно использовать более простой и надежный источник информации для настройки точности альтернативного источника. [99] Последующая работа Гори и др. (2012) показали, что во всех возрастах зрительное восприятие размеров практически идеально при просмотре объектов в пределах тактильного рабочего пространства (т. е. на расстоянии вытянутой руки). [108] Однако систематические ошибки восприятия появлялись, когда объект находился за пределами этой зоны. [109] Дети младше 14 лет склонны недооценивать размер объекта, тогда как взрослые переоценивают его. Однако если объект вернуть в тактильное рабочее пространство, визуальные искажения исчезнут. [108] Эти результаты подтверждают гипотезу о том, что тактильная информация может формировать зрительное восприятие. Поэтому, если источники используются для перекрестной калибровки, их нельзя объединить (интегрировать). Сохранение доступа к индивидуальным оценкам является компромиссом между большей пластичностью и точностью, что может быть полезно в ретроспективе для развивающейся организации. [99] [103]
С другой стороны, Эрнст (2008) утверждает, что эффективная интеграция изначально зависит от установления соответствия – того, какие сенсорные сигналы принадлежат друг другу. [103] Действительно, исследования показали, что зрительно-гаптическая интеграция не удается у взрослых, когда существует ощущение пространственного разделения, что позволяет предположить, что сенсорная информация поступает от разных целей. [110] Более того, если разделение можно объяснить, например, рассматривая объект через зеркало , интеграция восстанавливается и даже может быть оптимальной. [111] [112] Эрнст (2008) предполагает, что взрослые могут получить эти знания из предыдущего опыта, чтобы быстро определить, какие сенсорные источники изображают одну и ту же цель, но у маленьких детей могут быть недостатки в этой области. [103] Как только накопится достаточный опыт, в их поведение можно будет привнести уверенность в правильной интеграции сенсорных сигналов.
Наконец, Нардини и др. (2010) недавно предположили, что у маленьких детей сенсорное восприятие оптимизируется в пользу скорости, а не точности. [98] Когда информация представлена в двух формах, дети могут получить оценку из самого быстрого доступного источника, впоследствии игнорируя альтернативный, даже если он содержит избыточную информацию. Нардини и др. (2010) предоставили доказательства того, что задержка ответа у детей (в возрасте 6 лет) значительно ниже, когда стимулы предъявляются в условиях с несколькими сигналами, а не в условиях с одним сигналом. [98] И наоборот, у взрослых не было обнаружено никаких изменений между этими состояниями. Действительно, взрослые демонстрируют обязательное слияние сигналов, поэтому им всегда остается стремиться только к максимальной точности. [98] [102] Однако общие средние задержки у детей были не быстрее, чем у взрослых, что позволяет предположить, что оптимизация скорости просто позволяет им идти в ногу со взрослым темпом. Учитывая поспешность реальных событий, эта стратегия может оказаться необходимой для противодействия общему замедлению обработки детей и поддержания эффективной связи видения и действия. [113] [114] [115] В конечном итоге развивающаяся сенсорная система может преимущественно адаптироваться к различным целям – скорости и обнаружению сенсорных конфликтов – типичных для объективного обучения.
Позднее развитие эффективной интеграции также было исследовано с вычислительной точки зрения. [116] Даи и др. (2014) показали, что наличие одного доминирующего сенсорного источника в раннем возрасте, а не интеграция всех источников, способствует общему развитию кросс-модальной интеграции.
Разработчики протезов должны тщательно учитывать природу изменения размерности сенсомоторных сигналов от ЦНС и к ЦНС при проектировании протезных устройств. Как сообщается в литературе, нейронная передача сигналов от ЦНС к моторам организована таким образом, что размерность сигналов постепенно увеличивается по мере приближения к мышцам, что также называется мышечной синергией. С другой стороны, по тому же принципу, но в противоположном порядке, размерности сигналов от сенсорных рецепторов постепенно интегрируются, что также называется сенсорной синергией, по мере их приближения к ЦНС. Это сигнальное образование, напоминающее галстук-бабочку, позволяет ЦНС обрабатывать только абстрактную, но ценную информацию. Такой процесс уменьшит сложность данных, справится с шумами и гарантирует ЦНС оптимальное энергопотребление. Хотя нынешние коммерчески доступные протезные устройства в основном ориентированы на реализацию двигательной стороны, просто используют датчики ЭМГ для переключения между различными состояниями активации протеза. В очень ограниченном количестве работ была предложена система, включающая сенсорную сторону. Интеграция тактильных ощущений и проприоцепции считается важной для реализации способности воспринимать воздействие окружающей среды. [117]
Также было показано, что мультисенсорная интеграция облегчает зрительную гемианопсию. Благодаря повторному предъявлению мультисенсорных стимулов в слепом полуполе способность реагировать на чисто зрительные стимулы постепенно возвращается в это полуполе, от центрального до периферического. Эти преимущества сохраняются даже после прекращения явной мультисенсорной тренировки. [118]
{{cite book}}
: |journal=
игнорируется ( помощь ){{cite book}}
: |work=
игнорируется ( помощь ){{cite book}}
: |work=
игнорируется ( помощь )