Нейронное кодирование (или нейронное представление ) — это область нейронауки , занимающаяся характеристикой гипотетической связи между стимулом и нейронными реакциями, а также связью между электрической активностью нейронов в ансамбле . [1] [2] Основываясь на теории о том, что сенсорная и другая информация представлена в мозге сетями нейронов , считается, что нейроны могут кодировать как цифровую , так и аналоговую информацию. [3]
Нейроны обладают способностью, необычной для клеток организма, быстро распространять сигналы на большие расстояния, генерируя характерные электрические импульсы, называемые потенциалами действия : скачки напряжения, которые могут перемещаться по аксонам. Сенсорные нейроны изменяют свою активность, запуская последовательности потенциалов действия в различных временных шаблонах при наличии внешних сенсорных стимулов, таких как свет , звук , вкус , запах и осязание . Информация о стимуле кодируется в этом шаблоне потенциалов действия и передается в мозг и вокруг него. Помимо этого, специализированные нейроны, такие как нейроны сетчатки, могут передавать больше информации через градуированные потенциалы . Они отличаются от потенциалов действия, потому что информация о силе стимула напрямую коррелирует с силой выходного сигнала нейронов. Сигнал затухает гораздо быстрее для градуированных потенциалов, что требует коротких межнейронных расстояний и высокой плотности нейронов. Преимущество градуированных потенциалов заключается в более высоких скоростях передачи информации, способных кодировать больше состояний (т. е. более высокой точности), чем у спайковых нейронов. [4]
Хотя потенциалы действия могут несколько различаться по длительности, амплитуде и форме, в исследованиях нейронного кодирования они обычно рассматриваются как идентичные стереотипные события. Если игнорировать короткую продолжительность потенциала действия (около 1 мс), последовательность потенциала действия или серию спайков можно охарактеризовать просто серией точечных событий «все или ничего» во времени. [5] Длительность интервалов между спайками ( ISI ) между двумя последовательными спайками в серии спайков часто варьируется, по-видимому, случайным образом. [6] Изучение нейронного кодирования включает измерение и характеристику того, как атрибуты стимула, такие как интенсивность света или звука, или двигательные действия, такие как направление движения руки, представлены потенциалами действия нейронов или спайками. Для описания и анализа нейронной активации широко применяются статистические методы и методы теории вероятностей и стохастических точечных процессов .
С развитием крупномасштабных технологий нейронной записи и декодирования исследователи начали взламывать нейронный код и уже предоставили первый взгляд на нейронный код в реальном времени, поскольку память формируется и вызывается в гиппокампе, области мозга, которая, как известно, играет центральную роль в формировании памяти. [7] [8] [9] Нейробиологи инициировали несколько крупномасштабных проектов по декодированию мозга. [10] [11]
Связь между стимулом и реакцией можно изучать с двух противоположных точек зрения. Нейронное кодирование относится к карте от стимула к реакции. Основное внимание уделяется пониманию того, как нейроны реагируют на широкий спектр стимулов, и построению моделей, которые пытаются предсказать реакции на другие стимулы. Нейронное декодирование относится к обратной карте, от реакции к стимулу, и задача состоит в том, чтобы реконструировать стимул или определенные аспекты этого стимула из последовательностей спайков, которые он вызывает.
Последовательность или «поезд» спайков может содержать информацию, основанную на различных схемах кодирования. В некоторых нейронах сила, с которой реагирует постсинаптический партнер, может зависеть исключительно от «скорости срабатывания», среднего числа спайков в единицу времени («код скорости»). С другой стороны, сложный « временной код » основан на точном времени отдельных спайков. Они могут быть привязаны к внешнему стимулу, например, в зрительной [12] и слуховой системе , или генерироваться внутренне нейронной схемой. [13]
Вопрос о том, используют ли нейроны скоростное или временное кодирование, является предметом интенсивных дискуссий в сообществе нейробиологов, хотя четкого определения того, что означают эти термины, нет. [14]
Модель кодирования скорости нейронной связи утверждает, что по мере увеличения интенсивности стимула увеличивается частота или скорость потенциалов действия , или «спайковой активности». Кодирование скорости иногда называют частотным кодированием.
Кодирование скорости — это традиционная схема кодирования, предполагающая, что большая часть, если не вся, информации о стимуле содержится в частоте срабатывания нейрона. Поскольку последовательность потенциалов действия, генерируемых данным стимулом, меняется от испытания к испытанию, нейронные ответы обычно обрабатываются статистически или вероятностно. Они могут быть охарактеризованы частотой срабатывания, а не как конкретные последовательности спайков. В большинстве сенсорных систем частота срабатывания увеличивается, как правило, нелинейно, с увеличением интенсивности стимула. [15] При предположении кодирования скорости любая информация, возможно закодированная во временной структуре последовательности спайков, игнорируется. Следовательно, кодирование скорости неэффективно, но очень надежно по отношению к « шуму » ISI . [6]
Во время кодирования частоты очень важно точно рассчитать частоту срабатывания. Фактически, термин «частота срабатывания» имеет несколько различных определений, которые относятся к различным процедурам усреднения, таким как среднее по времени (частота как количество спайков одного нейрона) или среднее по нескольким повторениям (частота PSTH) эксперимента.
При кодировании скорости обучение основано на изменениях синаптического веса, зависящих от активности.
Кодирование скорости было впервые продемонстрировано Эдгаром Адрианом и Ингве Цоттерманом в 1926 году. [16] В этом простом эксперименте к мышце подвешивались различные грузы . По мере увеличения веса стимула число спайков, зарегистрированных от сенсорных нервов, иннервирующих мышцу, также увеличивалось. Из этих оригинальных экспериментов Адриан и Цоттерман пришли к выводу, что потенциалы действия являются унитарными событиями и что частота событий, а не величина отдельного события, является основой для большинства межнейронных коммуникаций.
В последующие десятилетия измерение частоты срабатывания стало стандартным инструментом для описания свойств всех типов сенсорных или корковых нейронов, отчасти из-за относительной простоты экспериментального измерения частоты. Однако этот подход игнорирует всю информацию, которая может содержаться в точном времени спайков. В последние годы все больше и больше экспериментальных данных свидетельствуют о том, что простая концепция частоты срабатывания, основанная на временном усреднении, может быть слишком упрощенной для описания активности мозга. [6]
Скорость подсчета спайков, также называемая временным средним, получается путем подсчета количества спайков, которые появляются во время испытания, и деления на продолжительность испытания. [14] Длина T временного окна устанавливается экспериментатором и зависит от типа нейрона, записанного от и до стимула. На практике, чтобы получить разумные средние значения, несколько спайков должны происходить в пределах временного окна. Типичные значения T = 100 мс или T = 500 мс, но продолжительность также может быть больше или меньше (глава 1.5 в учебнике «Модели спайковых нейронов» [14] ).
Скорость подсчета спайков можно определить из одного испытания, но за счет потери всего временного разрешения относительно изменений в нейронной реакции в ходе испытания. Временное усреднение может хорошо работать в случаях, когда стимул постоянен или медленно меняется и не требует быстрой реакции организма — и это ситуация, обычно встречающаяся в экспериментальных протоколах. Однако реальный входной сигнал едва ли является стационарным, но часто меняется в быстром масштабе времени. Например, даже при просмотре статического изображения люди выполняют саккады , быстрые изменения направления взгляда. Изображение, проецируемое на ретинальные фоторецепторы, меняется, таким образом, каждые несколько сотен миллисекунд (глава 1.5 в [14] )
Несмотря на свои недостатки, концепция кода скорости счета импульсов широко используется не только в экспериментах, но и в моделях нейронных сетей . Она привела к идее, что нейрон преобразует информацию об одной входной переменной (силе стимула) в одну непрерывную выходную переменную (частоту срабатывания).
Растет количество доказательств того, что, по крайней мере, в нейронах Пуркинье информация кодируется не только в импульсах, но и во времени и продолжительности неактивированных, спокойных периодов. [17] [18] Также имеются доказательства, полученные в результате исследования клеток сетчатки, что информация кодируется не только в частоте импульсов, но и во времени спайков. [19] В более общем смысле, когда требуется быстрая реакция организма, частота импульсов, определяемая как количество спайков за несколько сотен миллисекунд, просто слишком мала. [14]
Зависящая от времени частота срабатывания определяется как среднее число спайков (усредненное по испытаниям), появляющихся в течение короткого интервала между моментами времени t и t+Δt, деленное на длительность интервала. [14] Это работает как для стационарных, так и для зависящих от времени стимулов. Чтобы экспериментально измерить зависящую от времени частоту срабатывания, экспериментатор записывает данные с нейрона во время стимуляции некоторой входной последовательностью. Одна и та же последовательность стимуляции повторяется несколько раз, и нейронный ответ регистрируется в гистограмме перистимул-времени (PSTH). Время t измеряется относительно начала последовательности стимуляции. Δt должно быть достаточно большим (обычно в диапазоне одной или нескольких миллисекунд), чтобы в интервале было достаточное количество спайков для получения надежной оценки среднего. Число появлений спайков n K (t;t+Δt), суммированное по всем повторениям эксперимента, деленное на число повторений K, является мерой типичной активности нейрона между временем t и t+Δt. Дальнейшее деление на длину интервала Δt дает зависящую от времени частоту срабатывания r(t) нейрона, которая эквивалентна плотности спайков PSTH (глава 1.5 в [14] ).
Для достаточно малого Δt, r(t)Δt — это среднее число спайков, возникающих между моментами времени t и t+Δt в течение нескольких испытаний. Если Δt мало, в интервале между t и t+Δt в любом данном испытании никогда не будет более одного спайка. Это означает, что r(t)Δt — это также доля испытаний , в которых спайк произошел между этими моментами времени. Эквивалентно, r(t)Δt — это вероятность того, что спайк произойдет в течение этого временного интервала.
В качестве экспериментальной процедуры измерение скорости импульсации, зависящей от времени, является полезным методом оценки нейронной активности, в частности, в случае зависящих от времени стимулов. Очевидная проблема с этим подходом заключается в том, что он не может быть схемой кодирования, используемой нейронами в мозге. Нейроны не могут ждать, пока стимулы будут повторно представлены в точно такой же манере, прежде чем сгенерировать ответ. [14]
Тем не менее, экспериментальная мера частоты срабатывания, зависящая от времени, может иметь смысл, если есть большие популяции независимых нейронов, которые получают один и тот же стимул. Вместо записи с популяции из N нейронов за один запуск, экспериментально проще записывать с одного нейрона и усреднять по N повторным запускам. Таким образом, кодирование частоты срабатывания, зависящее от времени, опирается на неявное предположение, что всегда есть популяции нейронов.
Когда обнаруживается, что точная синхронизация спайков или высокочастотные колебания частоты импульсов несут информацию, нейронный код часто идентифицируется как временной код. [14] [20] Ряд исследований показали, что временное разрешение нейронного кода находится на уровне миллисекунд, что указывает на то, что точная синхронизация спайков является важным элементом нейронного кодирования. [3] [21] [19] Такие коды, которые взаимодействуют посредством времени между спайками, также называются кодами межимпульсного интервала и были подтверждены недавними исследованиями. [22]
Нейроны демонстрируют высокочастотные колебания частоты импульсов, которые могут быть шумом или нести информацию. Модели кодирования частоты предполагают, что эти нерегулярности являются шумом, в то время как модели временного кодирования предполагают, что они кодируют информацию. Если бы нервная система использовала только коды частоты для передачи информации, более последовательная, регулярная частота импульсов была бы эволюционно выгодной, и нейроны использовали бы этот код вместо других, менее надежных вариантов. [23] Временное кодирование дает альтернативное объяснение «шуму», предполагая, что он на самом деле кодирует информацию и влияет на нейронную обработку. Чтобы смоделировать эту идею, можно использовать двоичные символы для обозначения спайков: 1 для спайка, 0 для отсутствия спайка. Временное кодирование позволяет последовательности 000111000111 означать что-то отличное от 001100110011, хотя средняя частота импульсов одинакова для обеих последовательностей и составляет 6 спайков/10 мс. [24]
До недавнего времени ученые уделяли наибольшее внимание кодированию скорости как объяснению постсинаптических потенциальных паттернов. Однако функции мозга более точны во времени, чем позволяет использование только кодирования скорости. [19] Другими словами, существенная информация может быть утеряна из-за неспособности кода скорости захватить всю доступную информацию о последовательности спайков. Кроме того, реакции достаточно различны между схожими (но не идентичными) стимулами, чтобы предположить, что различные паттерны спайков содержат больший объем информации, чем можно включить в код скорости. [25]
Временные коды (также называемые кодами спайков [14] ) используют те особенности активности спайков, которые не могут быть описаны частотой срабатывания. Например, время до первого спайка после начала стимула, фаза срабатывания по отношению к фоновым колебаниям, характеристики, основанные на втором и более высоких статистических моментах распределения вероятности ISI , случайность спайков или точно синхронизированные группы спайков ( временные паттерны ) являются кандидатами на роль временных кодов. [26] Поскольку в нервной системе нет абсолютной временной привязки, информация передается либо в терминах относительного времени спайков в популяции нейронов (временные паттерны), либо по отношению к продолжающимся колебаниям мозга (фаза срабатывания). [3] [6] Один из способов, которым декодируются временные коды при наличии нейронных колебаний , заключается в том, что спайки, возникающие в определенных фазах колебательного цикла, более эффективны в деполяризации постсинаптического нейрона . [27]
Временная структура последовательности спайков или частоты срабатывания, вызванных стимулом, определяется как динамикой стимула, так и природой процесса нейронного кодирования. Стимулы, которые быстро изменяются, как правило, генерируют точно синхронизированные спайки [28] (и быстро меняющиеся частоты срабатывания в PSTH) независимо от того, какая стратегия нейронного кодирования используется. Временное кодирование в узком смысле относится к временной точности в ответе, которая возникает не только из-за динамики стимула, но тем не менее связана со свойствами стимула. Взаимодействие между стимулом и динамикой кодирования затрудняет идентификацию временного кода.
Во временном кодировании обучение можно объяснить модификациями синаптической задержки, зависящими от активности. [29] Модификации сами по себе могут зависеть не только от частоты спайков (кодирование частоты), но и от паттернов синхронизации спайков (временное кодирование), т. е. могут быть частным случаем пластичности, зависящей от синхронизации спайков . [30]
Проблема временного кодирования отличается и независима от проблемы кодирования независимых спайков. Если каждый спайк независим от всех других спайков в поезде, временной характер нейронного кода определяется поведением зависящей от времени частоты срабатывания r(t). Если r(t) медленно меняется со временем, код обычно называется кодом частоты, а если он меняется быстро, код называется временным.
Для очень коротких стимулов максимальная скорость срабатывания нейрона может быть недостаточно быстрой, чтобы произвести больше одного спайка. Из-за плотности информации о сокращенном стимуле, содержащемся в этом одном спайке, может показаться, что время самого спайка должно передавать больше информации, чем просто средняя частота потенциалов действия за определенный период времени. Эта модель особенно важна для локализации звука , которая происходит в мозге порядка миллисекунд. Мозг должен получить большое количество информации на основе относительно короткого нейронного ответа. Кроме того, если низкие скорости срабатывания порядка десяти спайков в секунду должны быть отделены от произвольно близкого кодирования скорости для разных стимулов, то нейрону, пытающемуся различить эти два стимула, может потребоваться подождать секунду или больше, чтобы накопить достаточно информации. Это не согласуется с многочисленными организмами, которые способны различать стимулы за время в миллисекунды, что предполагает, что код скорости — не единственная работающая модель. [24]
Для учета быстрого кодирования зрительных стимулов было высказано предположение, что нейроны сетчатки кодируют зрительную информацию в латентном времени между началом стимула и первым потенциалом действия, также называемом латентностью до первого спайка или временем до первого спайка. [31] Этот тип временного кодирования был показан также в слуховой и соматосенсорной системе. Главным недостатком такой схемы кодирования является ее чувствительность к внутренним нейронным колебаниям. [32] В первичной зрительной коре макак было обнаружено, что время первого спайка относительно начала стимула дает больше информации, чем интервал между спайками. Однако интервал между спайками может использоваться для кодирования дополнительной информации, что особенно важно, когда скорость спайков достигает своего предела, как в ситуациях с высоким контрастом. По этой причине временное кодирование может играть роль в кодировании определенных краев, а не постепенных переходов. [33]
Вкусовая система млекопитающих полезна для изучения временного кодирования из-за ее довольно отчетливых стимулов и легко различимых реакций организма. [34] Временно закодированная информация может помочь организму различать различные вкусовые вещества одной и той же категории (сладкий, горький, кислый, соленый, умами), которые вызывают очень похожие реакции с точки зрения количества спайков. Временной компонент паттерна, вызываемого каждым вкусовым веществом, может использоваться для определения его идентичности (например, разница между двумя горькими вкусовыми веществами, такими как хинин и денатоний). Таким образом, как кодирование скорости, так и временное кодирование могут использоваться во вкусовой системе — скорость для основного типа вкусового вещества, временное для более специфической дифференциации. [35]
Исследования вкусовой системы млекопитающих показали, что существует изобилие информации, присутствующей во временных паттернах в популяциях нейронов, и эта информация отличается от той, которая определяется схемами кодирования скорости. Группы нейронов могут синхронизироваться в ответ на стимул. В исследованиях, посвященных передней кортикальной части мозга приматов, были обнаружены точные паттерны с короткими временными шкалами длиной всего несколько миллисекунд в небольших популяциях нейронов, которые коррелировали с определенным поведением обработки информации. Однако из паттернов можно было получить мало информации; одна из возможных теорий заключается в том, что они представляли собой обработку более высокого порядка, происходящую в мозге. [25]
Как и в случае со зрительной системой, в митральных/пучковых клетках обонятельной луковицы мышей задержка первого спайка относительно начала действия обнюхивания, по-видимому, кодирует большую часть информации о запахе. Эта стратегия использования задержки спайка позволяет быстро идентифицировать и реагировать на одорант. Кроме того, некоторые митральные/пучковые клетки имеют специфические паттерны срабатывания для данных одорантов. Этот тип дополнительной информации может помочь в распознавании определенного запаха, но не является полностью необходимым, так как среднее количество спайков в ходе обнюхивания животного также было хорошим идентификатором. [36] В том же духе эксперименты, проведенные с обонятельной системой кроликов, показали различные паттерны, которые коррелировали с различными подмножествами одорантов, и аналогичный результат был получен в экспериментах с обонятельной системой саранчи. [24]
Специфичность временного кодирования требует высокоточной технологии для измерения информативных, надежных экспериментальных данных. Достижения в области оптогенетики позволяют неврологам контролировать спайки в отдельных нейронах, предлагая электрическое и пространственное разрешение отдельных клеток. Например, синий свет заставляет светочувствительный ионный канал каналродопсина открываться, деполяризуя клетку и производя спайк. Когда синий свет не ощущается клеткой, канал закрывается, и нейрон прекращает спайк. Рисунок спайков соответствует рисунку стимулов синего света. Вставляя последовательности генов каналродопсина в ДНК мыши, исследователи могут контролировать спайки и, следовательно, определенное поведение мыши (например, заставляя мышь поворачивать налево). [37] Исследователи с помощью оптогенетики имеют инструменты для воздействия на различные временные коды в нейроне, сохраняя при этом ту же среднюю частоту срабатывания, и, таким образом, могут проверить, происходит ли временное кодирование в определенных нейронных цепях. [38]
Оптогенетическая технология также имеет потенциал для исправления аномалий спайков, лежащих в основе нескольких неврологических и психологических расстройств. [38] Если нейроны действительно кодируют информацию в индивидуальных паттернах синхронизации спайков, ключевые сигналы могут быть пропущены при попытке взломать код, глядя только на среднюю частоту срабатывания. [24] Понимание любых временно закодированных аспектов нейронного кода и воспроизведение этих последовательностей в нейронах может позволить лучше контролировать и лечить неврологические расстройства, такие как депрессия , шизофрения и болезнь Паркинсона . Регулирование интервалов спайков в отдельных клетках точнее контролирует активность мозга, чем добавление фармакологических агентов внутривенно. [37]
Код фазы срабатывания представляет собой схему нейронного кодирования, которая объединяет код подсчета спайков с привязкой ко времени, основанной на колебаниях . Этот тип кода учитывает временную метку для каждого спайка в соответствии с привязкой ко времени, основанной на фазе локальных текущих колебаний на низких [39] или высоких частотах. [40]
Было показано, что нейроны в некоторых сенсорных областях коры кодируют богатые натуралистические стимулы с точки зрения их времени спайков относительно фазы текущих колебаний сети, а не только с точки зрения их количества спайков. [39] [41] Локальные сигналы потенциала поля отражают колебания популяции (сети). Код фазы срабатывания часто классифицируется как временной код, хотя метка времени, используемая для спайков (т. е. фаза колебания сети), является низкоразрешающей (грубозернистой) ссылкой для времени. В результате часто только четырех дискретных значений для фазы достаточно, чтобы представить все информационное содержание в этом виде кода относительно фазы колебаний на низких частотах. Код фазы срабатывания в общих чертах основан на явлениях прецессии фазы, наблюдаемых в клетках места гиппокампа . Другая особенность этого кода заключается в том, что нейроны придерживаются предпочтительного порядка спайков между группой сенсорных нейронов, что приводит к последовательности срабатывания. [42]
Фазовый код, как было показано в зрительной коре, также включает высокочастотные колебания . [42] В пределах цикла гамма-колебаний каждый нейрон имеет свое собственное предпочтительное относительное время срабатывания. В результате вся популяция нейронов генерирует последовательность срабатывания, которая имеет длительность до примерно 15 мс. [42]
Популяционное кодирование — это метод представления стимулов с использованием совместной деятельности ряда нейронов. При популяционном кодировании каждый нейрон имеет распределение ответов по некоторому набору входов, и ответы многих нейронов могут быть объединены для определения некоторого значения входов. С теоретической точки зрения популяционное кодирование — одна из немногих математически хорошо сформулированных проблем в нейронауке. Оно охватывает основные черты нейронного кодирования и при этом достаточно просто для теоретического анализа. [43] Экспериментальные исследования показали, что эта парадигма кодирования широко используется в сенсорных и моторных областях мозга.
Например, в медиальной височной зрительной области (MT) нейроны настроены на направление движения объекта. [44] В ответ на объект, движущийся в определенном направлении, многие нейроны в MT активизируются с искаженным шумом и колоколообразным паттерном активности по всей популяции. Направление движения объекта извлекается из активности популяции, чтобы быть невосприимчивым к колебаниям, существующим в сигнале одного нейрона. Когда обезьян обучают перемещать джойстик к освещенной цели, один нейрон будет активизироваться для нескольких направлений цели. Однако он активизируется быстрее всего для одного направления и медленнее в зависимости от того, насколько близко цель находилась к «предпочтительному» направлению нейрона. [45] [46] Если каждый нейрон представляет движение в своем предпочтительном направлении, и вычисляется векторная сумма всех нейронов (каждый нейрон имеет частоту активации и предпочтительное направление), сумма указывает на направление движения. Таким образом, популяция нейронов кодирует сигнал для движения. [ необходима цитата ] Этот конкретный популяционный код называется популяционным векторным кодированием.
Коды популяции места и времени, называемые кодом усредненного-локализованного-синхронизированного-ответа (ALSR), были получены для нейронного представления слуховых акустических стимулов. Это использует как место или настройку внутри слухового нерва, так и фазовую синхронизацию внутри каждого нервного волокна слухового нерва. Первое представление ALSR было для устойчивых гласных; [47] представления ALSR частот высоты тона и форманты в сложных, неустойчивых стимулах были позже продемонстрированы для звонких-высотных, [48] и представлений форманты в слогах согласный-гласный. [49] Преимущество таких представлений заключается в том, что глобальные характеристики, такие как профили перехода высоты тона или форманты, могут быть представлены как глобальные характеристики по всему нерву одновременно посредством как кодирования скорости, так и кодирования места.
Популяционное кодирование также имеет ряд других преимуществ, включая снижение неопределенности из-за нейронной изменчивости и способность одновременно представлять ряд различных атрибутов стимула. Популяционное кодирование также намного быстрее, чем кодирование скорости, и может отражать изменения в условиях стимула почти мгновенно. [50] Отдельные нейроны в такой популяции обычно имеют разные, но перекрывающиеся селективности, так что многие нейроны, но не обязательно все, реагируют на данный стимул.
Обычно функция кодирования имеет пиковое значение, так что активность нейрона максимальна, если воспринимаемое значение близко к пиковому значению, и соответственно уменьшается для значений, менее близких к пиковому значению. [ требуется ссылка ] Из этого следует, что фактическое воспринимаемое значение может быть реконструировано из общей картины активности в наборе нейронов. Вектор кодирования является примером простого усреднения. Более сложный математический метод для выполнения такой реконструкции - это метод максимального правдоподобия , основанный на многомерном распределении нейронных ответов. Эти модели могут предполагать независимость, корреляции второго порядка [51] или даже более подробные зависимости, такие как модели максимальной энтропии более высокого порядка [52] или копулы [ 53] .
Модель корреляционного кодирования нейронной активации утверждает, что корреляции между потенциалами действия , или «шипами», в пределах серии спайков могут нести дополнительную информацию, выходящую за рамки простого времени спайков. Ранние работы предполагали, что корреляция между сериями спайков может только уменьшать, но никогда не увеличивать общую взаимную информацию , присутствующую в двух сериях спайков о характеристике стимула. [54] Однако позже было показано, что это неверно. Структура корреляции может увеличивать информационное содержание, если корреляции шума и сигнала имеют противоположные знаки. [55] Корреляции также могут нести информацию, отсутствующую в средней частоте срабатывания двух пар нейронов. Хороший пример этого существует в слуховой коре мартышки, анестезированной пентобарбиталом, в которой чистый тон вызывает увеличение количества коррелированных спайков, но не увеличение средней частоты срабатывания пар нейронов. [56]
Модель кодирования нейронной активности с независимыми спайками утверждает, что каждый отдельный потенциал действия , или «спайк», независим от каждого другого спайка в последовательности спайков . [20] [57]
Типичный популяционный код включает нейроны с гауссовой кривой настройки, средние значения которой линейно изменяются с интенсивностью стимула, что означает, что нейрон реагирует сильнее всего (в терминах спайков в секунду) на стимул, близкий к среднему значению. Фактическая интенсивность может быть восстановлена как уровень стимула, соответствующий среднему значению нейрона с наибольшим ответом. Однако шум, присущий нейронным ответам, означает, что функция оценки максимального правдоподобия является более точной.
Этот тип кода используется для кодирования непрерывных переменных, таких как положение сустава, положение глаза, цвет или частота звука. Любой отдельный нейрон слишком шумный, чтобы точно кодировать переменную с помощью кодирования скорости, но вся популяция обеспечивает большую точность и достоверность. Для популяции унимодальных кривых настройки, т. е. с одним пиком, точность обычно масштабируется линейно с числом нейронов. Следовательно, для половины точности требуется вдвое меньше нейронов. Напротив, когда кривые настройки имеют несколько пиков, как в ячейках сетки , которые представляют пространство, точность популяции может масштабироваться экспоненциально с числом нейронов. Это значительно уменьшает число нейронов, необходимых для той же точности. [58]
Разреженный код — это когда каждый элемент кодируется сильной активацией относительно небольшого набора нейронов. Для каждого элемента, который должен быть закодирован, это другой подмножество всех доступных нейронов. В отличие от разреженного кодирования датчиков, плотное кодирование датчиков подразумевает, что вся информация из возможных местоположений датчиков известна.
Как следствие, разреженность может быть сосредоточена на временной разреженности («активно относительно небольшое количество временных периодов») или на разреженности в активированной популяции нейронов. В этом последнем случае это может быть определено в одном временном периоде как количество активированных нейронов относительно общего количества нейронов в популяции. Это, по-видимому, является отличительной чертой нейронных вычислений, поскольку по сравнению с традиционными компьютерами информация массово распределяется по нейронам. Разреженное кодирование естественных изображений создает вейвлет -подобные ориентированные фильтры, которые напоминают рецептивные поля простых клеток в зрительной коре. [59] Емкость разреженных кодов может быть увеличена за счет одновременного использования временного кодирования, как это обнаружено в обонятельной системе саранчи. [60]
Учитывая потенциально большой набор входных шаблонов, алгоритмы разреженного кодирования (например, разреженный автокодировщик ) пытаются автоматически найти небольшое количество репрезентативных шаблонов, которые при объединении в правильных пропорциях воспроизводят исходные входные шаблоны. Разреженное кодирование для ввода затем состоит из этих репрезентативных шаблонов. Например, очень большой набор английских предложений может быть закодирован небольшим количеством символов (т. е. букв, цифр, знаков препинания и пробелов), объединенных в определенном порядке для конкретного предложения, и поэтому разреженное кодирование для английского языка будет состоять из этих символов.
Большинство моделей разреженного кодирования основаны на линейной генеративной модели. [61] В этой модели символы объединяются линейно для аппроксимации входных данных.
Более формально, если задан k-мерный набор действительных входных векторов , то целью разреженного кодирования является определение n k-мерных базисных векторов , соответствующих рецептивным полям нейронов, а также разреженного n-мерного вектора весов или коэффициентов для каждого входного вектора, так что линейная комбинация базисных векторов с пропорциями, заданными коэффициентами, приводит к близкому приближению к входному вектору: . [62]
Кодировки, генерируемые алгоритмами, реализующими линейную генеративную модель, можно классифицировать на кодировки с мягкой разреженностью и кодировки с жесткой разреженностью . [61] Они относятся к распределению коэффициентов базисного вектора для типичных входных данных. Кодировка с мягкой разреженностью имеет гладкое распределение , подобное гауссовскому , но более пиковое, чем гауссово, со многими нулевыми значениями, некоторыми малыми абсолютными значениями, меньшим количеством больших абсолютных значений и очень немногими очень большими абсолютными значениями. Таким образом, многие базисные векторы активны. Жесткая разреженность, с другой стороны, указывает на то, что есть много нулевых значений, нет или почти нет малых абсолютных значений, меньше больших абсолютных значений и очень немногие очень большие абсолютные значения, и, таким образом, немногие базисные векторы активны. Это привлекательно с метаболической точки зрения: меньше энергии используется, когда меньше нейронов активизируется. [61]
Другой мерой кодирования является то, является ли оно критически полным или сверхполным . Если число базисных векторов n равно размерности k входного набора, то кодирование называется критически полным. В этом случае плавные изменения входного вектора приводят к резким изменениям коэффициентов, и кодирование не способно изящно обрабатывать небольшие масштабирования, небольшие переводы или шум во входных данных. Если же число базисных векторов больше размерности входного набора, то кодирование сверхполное . Сверхполные кодирования плавно интерполируют между входными векторами и устойчивы к входному шуму. [63] Первичная зрительная кора человека оценивается как сверхполная в 500 раз, так что, например, участок ввода размером 14 x 14 (196-мерное пространство) кодируется примерно 100 000 нейронов. [61]
Другие модели основаны на поиске соответствия , алгоритме разреженного приближения , который находит «наилучшие соответствующие» проекции многомерных данных, и обучении словаря , методе обучения представления, который направлен на поиск разреженного матричного представления входных данных в форме линейной комбинации базовых элементов, а также самих этих базовых элементов. [64] [65] [66]
Разреженное кодирование может быть общей стратегией нейронных систем для увеличения объема памяти. Чтобы адаптироваться к окружающей среде, животные должны узнать, какие стимулы связаны с поощрениями или наказаниями, и отличить эти усиленные стимулы от похожих, но нерелевантных. Такие задачи требуют внедрения ассоциативной памяти , специфичной для стимулов , в которой только несколько нейронов из популяции реагируют на любой заданный стимул, и каждый нейрон реагирует только на несколько стимулов из всех возможных стимулов.
Теоретическая работа по разреженной распределенной памяти предполагает, что разреженное кодирование увеличивает емкость ассоциативной памяти за счет уменьшения перекрытия между представлениями. [67] Экспериментально разреженные представления сенсорной информации наблюдались во многих системах, включая зрение, [68] слух, [69] осязание, [70] и обоняние. [71] Однако, несмотря на накапливающиеся доказательства широко распространенного разреженного кодирования и теоретические аргументы в пользу его важности, демонстрация того, что разреженное кодирование улучшает специфичность стимула ассоциативной памяти, была труднодоступна.
В обонятельной системе дрозофилы разреженное кодирование запаха клетками Кеньона грибовидного тела , как полагают, генерирует большое количество точно адресуемых мест для хранения воспоминаний, специфичных для запаха. [72] Разреженность контролируется отрицательной обратной связью между клетками Кеньона и ГАМКергическими передними парными латеральными (APL) нейронами. Систематическая активация и блокада каждой ветви этой обратной связи показывает, что клетки Кеньона активируют нейроны APL, а нейроны APL ингибируют клетки Кеньона. Нарушение петли обратной связи между клетками Кеньона и APL уменьшает разреженность реакций на запах клеток Кеньона, увеличивает межзапаховые корреляции и не позволяет мухам учиться различать похожие, но не разные запахи. Эти результаты показывают, что ингибирование обратной связи подавляет активность клеток Кеньона для поддержания разреженного, декоррелированного кодирования запаха и, таким образом, специфичности воспоминаний по отношению к запаху. [73]
{{cite web}}
: CS1 maint: несколько имен: список авторов ( ссылка )