stringtranslate.com

Шипящая нейронная сеть

Насекомое управляется импульсной нейронной сетью, которая находит цель на неизвестной местности.

Спайковые нейронные сети ( SNN ) — это искусственные нейронные сети (ANN), которые более точно имитируют естественные нейронные сети. [1] Эти модели используют синхронизацию дискретных спайков в качестве основного носителя информации. [2]

В дополнение к нейронному и синаптическому состоянию, SNN включают концепцию времени в свою операционную модель. Идея заключается в том, что нейроны в SNN не передают информацию в каждом цикле распространения (как это происходит с типичными многослойными сетями персептрона ), а передают информацию только тогда, когда мембранный потенциал — внутреннее качество нейрона, связанное с его мембранным электрическим зарядом — достигает определенного значения, называемого порогом. Когда мембранный потенциал достигает порога, нейрон активируется и генерирует сигнал, который передается другим нейронам, которые, в свою очередь, увеличивают или уменьшают свои потенциалы в ответ на этот сигнал. Модель нейрона, которая активируется в момент пересечения порога, также называется моделью спайкового нейрона . [3]

Хотя ранее считалось, что мозг кодирует информацию через частоту спайков, которую можно рассматривать как аналоговый переменный выход традиционной ИНС, [4] исследования в области нейробиологии показали, что высокоскоростная обработка не может быть выполнена исключительно с помощью схемы, основанной на частоте. Например, люди могут выполнять задачу распознавания изображений со скоростью, требующей не более 10 мс времени обработки на нейрон через последовательные слои (от сетчатки до височной доли). Это временное окно слишком коротко для кодирования на основе частоты. Точные временные интервалы спайков в небольшом наборе спайковых нейронов также имеют более высокую емкость кодирования информации по сравнению с подходом, основанным на частоте. [5]

Наиболее известная модель нейрона со спайками — это модель «текучая интеграция и срабатывание» . [6] В модели «интеграция и срабатывание» мгновенный уровень активации (моделируемый как дифференциальное уравнение ) обычно считается состоянием нейрона, при этом входящие спайки повышают или понижают это значение, пока состояние в конечном итоге не затухнет или — если достигнут порог срабатывания — нейрон не сработает. После срабатывания переменная состояния сбрасывается до более низкого значения.

Существуют различные методы декодирования для интерпретации исходящей последовательности спайков как действительного числа, основанные либо на частоте спайков ( код скорости ), либо на времени до первого спайка после стимуляции, либо на интервале между спайками.

История

Модель импульсного нейрона
Искусственные синапсы на основе FTJ

Многие многослойные искусственные нейронные сети полностью связаны , получая входные данные от каждого нейрона в предыдущем слое и сигнализируя каждому нейрону в последующем слое. Хотя эти сети достигли прорывов во многих областях, они биологически неточны и не имитируют механизм работы нейронов в мозге живого существа. [ необходима цитата ]

Биологически вдохновленная модель Ходжкина-Хаксли для спайкового нейрона была предложена в 1952 году. Эта модель описывает, как инициируются и распространяются потенциалы действия . Связь между нейронами, которая требует обмена химическими нейротрансмиттерами в синаптической щели, описывается в различных моделях, таких как модель интеграции и активации , модель Фицхью-Нагумо (1961–1962) и модель Хиндмарша-Роуза (1984). Обычно используется модель интеграции и активации с утечкой (или ее производная), поскольку ее проще вычислить, чем модель Ходжкина-Хаксли. [7]

Хотя понятие искусственной спайковой нейронной сети стало очень популярным только в первой четверти двадцать первого века, [8] [9] [10] существует ряд исследований между 1980 и 1995 годами, которые поддержали эту концепцию и в которых первые модели этого типа искусственных нейронных сетей, по-видимому, имитировали неалгоритмические интеллектуальные системы обработки информации. [11] [12] [13] Однако само понятие спайковой нейронной сети как математической модели уже разрабатывалось в начале 1970-х годов. [14]

Основы

Информация в мозге представлена ​​в виде потенциалов действия (нейронных спайков), которые могут быть сгруппированы в спайковые последовательности или даже скоординированные волны мозговой активности. Фундаментальный вопрос нейронауки заключается в том, чтобы определить, общаются ли нейроны с помощью скорости или временного кода . [15] Временное кодирование предполагает, что один спайковый нейрон может заменить сотни скрытых единиц в сигмоидальной нейронной сети . [1]

SNN вычисляет в непрерывной, а не в дискретной области. Идея заключается в том, что нейроны могут не проверять активацию на каждой итерации распространения (как в случае типичной многослойной сети персептрона ), а только когда их мембранные потенциалы достигают определенного значения. Когда нейрон активируется, он вырабатывает сигнал, который передается связанным нейронам, повышая или понижая их мембранный потенциал.

В импульсной нейронной сети текущее состояние нейрона определяется как его мембранный потенциал (возможно, смоделированный как дифференциальное уравнение). [16] Входной импульс заставляет мембранный потенциал расти в течение некоторого периода времени, а затем постепенно снижаться. Были построены схемы кодирования для интерпретации этих импульсных последовательностей как числа, принимая во внимание как частоту импульсов, так и интервал импульсов. Может быть создана модель нейронной сети, основанная на времени генерации импульсов. [17] Используя точное время возникновения импульса, нейронная сеть может использовать больше информации и предлагать лучшие вычислительные свойства. [18]

Подход SNN создает непрерывный вывод вместо двоичного вывода традиционных искусственных нейронных сетей (ИНС). Импульсные последовательности нелегко интерпретировать, отсюда и необходимость в схемах кодирования, как указано выше. Однако представление импульсной последовательности может быть более подходящим для обработки пространственно-временных данных (или непрерывной классификации реальных сенсорных данных). [19] SNN рассматривают пространство, соединяя нейроны только с близлежащими нейронами, так что они обрабатывают входные блоки отдельно (аналогично CNN , использующим фильтры). Они рассматривают время, кодируя информацию как импульсные последовательности, чтобы не терять информацию при двоичном кодировании. Это позволяет избежать дополнительной сложности рекуррентной нейронной сети (RNN). Оказывается, импульсные нейроны являются более мощными вычислительными единицами, чем традиционные искусственные нейроны. [20]

SNN теоретически более мощны, чем так называемые «сети второго поколения», определенные в [20] как «[ИНС], основанные на вычислительных блоках, которые применяют функцию активации с непрерывным набором возможных выходных значений к взвешенной сумме (или полиному) входов; однако проблемы обучения SNN и требования к оборудованию ограничивают их использование. Хотя доступны неконтролируемые биологически вдохновленные методы обучения, такие как обучение Хебба и STDP , ни один эффективный контролируемый метод обучения не подходит для SNN, который мог бы обеспечить лучшую производительность, чем сети второго поколения. [20] Активация SNN на основе спайков не является дифференцируемой, что затрудняет разработку методов обучения на основе градиентного спуска для выполнения обратного распространения ошибок .

SNN требуют гораздо больших вычислительных затрат на моделирование реалистичных нейронных моделей, чем традиционные ANN. [21]

Импульсно-связанные нейронные сети (PCNN) часто путают с SNN. PCNN можно рассматривать как разновидность SNN.

В настоящее время при использовании SNN существует несколько проблем, над которыми исследователи активно работают. Первая проблема касается недифференцируемости нелинейности спайков. Выражения для методов как прямого, так и обратного обучения содержат производную функции нейронной активации, которая недифференцируема, поскольку выход нейрона равен либо 1, когда он спайк, либо 0 в противном случае. Это поведение «все или ничего» бинарной нелинейности спайков останавливает «течение» градиентов и делает нейроны LIF непригодными для оптимизации на основе градиента. Вторая проблема касается реализации самого алгоритма оптимизации. Стандартный BP может быть дорогим с точки зрения вычислений, памяти и связи и может плохо подходить для ограничений, диктуемых аппаратным обеспечением, которое его реализует (например, компьютер, мозг или нейроморфное устройство). [22] Что касается первой проблемы, то существует несколько подходов к ее решению. Вот некоторые из них:

  1. прибегая к полностью биологически вдохновленным локальным правилам обучения для скрытых единиц
  2. перевод традиционно обученных «скоростных» NN в SNN
  3. сглаживание сетевой модели до непрерывно дифференцируемой
  4. определение SG (суррогатного градиента) как непрерывной релаксации реальных градиентов

В разработке SNN включение дополнительной динамики нейронов, такой как адаптация частоты спайков (SFA), в модели нейронов знаменует собой заметный прогресс, повышая как эффективность, так и вычислительную мощность. [6] [23] Эти нейроны находятся между биологической сложностью и вычислительной сложностью. [24] Возникнув из биологических идей, SFA предлагает значительные вычислительные преимущества за счет снижения потребления энергии за счет эффективного кодирования, [25] особенно в случаях повторяющихся или интенсивных стимулов. Эта адаптация улучшает четкость сигнала на фоне шума и вводит элементарную кратковременную память на уровне нейронов, что, в свою очередь, улучшает точность и эффективность обработки информации. [26] В последнее время это явление в основном достигалось с помощью моделей компартментальных нейронов . Более простые версии представляют собой модели нейронов с адаптивными порогами, косвенный способ достижения SFA. Он снабжает SNN улучшенными возможностями обучения, даже при ограниченной синаптической пластичности, и повышает вычислительную эффективность. [27] [28] Эта функция снижает требования к слоям сети за счет снижения потребности в обработке спайков, тем самым сокращая вычислительную нагрузку и время доступа к памяти — существенные аспекты нейронных вычислений. Более того, SNN, использующие нейроны, способные к SFA, достигают уровней точности, которые соперничают с уровнями обычных искусственных нейронных сетей, включая те, которые основаны на моделях долговременной краткосрочной памяти, [29] [30] при этом требуя меньше нейронов для сопоставимых вычислительных задач. Эта эффективность не только оптимизирует вычислительный рабочий процесс, но и экономит пространство и энергию, предлагая прагматичный шаг вперед в практическом применении SNN для сложных вычислительных задач, сохраняя при этом приверженность технической целостности. Высокопроизводительные глубокие спайковые нейронные сети с 0,3 спайками на нейрон

Приложения

SNN в принципе могут применяться в тех же приложениях, что и традиционные ANN. [31] Кроме того, SNN могут моделировать центральную нервную систему биологических организмов, таких как насекомое, ищущее пищу без предварительного знания окружающей среды. [32] Благодаря их относительной реалистичности, их можно использовать для изучения работы биологических нейронных цепей . Начиная с гипотезы о топологии биологической нейронной цепи и ее функции, записи этой цепи можно сравнивать с выходными данными соответствующей SNN, оценивая правдоподобность гипотезы. Однако для SNN отсутствуют эффективные механизмы обучения, что может быть тормозящим для некоторых приложений, включая задачи компьютерного зрения.

По состоянию на 2019 год нейронные сети SNN отстают от искусственных нейронных сетей по точности, но разрыв сокращается и исчез в некоторых задачах. [33]

При использовании нейронных сетей SNN для данных на основе изображений изображения необходимо преобразовать в двоичные последовательности спайков. [34] Типы кодирования включают: [35]

Однако, Spiking Neural Networks очень чувствительны к своим параметрам, таким как порог мембраны, скорость распада или наклон сигмоидальной функции, которая приближает функцию Heavyside step к дифференцируемости. Некоторые работы проводили оптимизацию для преодоления чувствительности сети. [36]


Программное обеспечение

Разнообразный спектр прикладного программного обеспечения может моделировать SNN. Это программное обеспечение можно классифицировать в соответствии с его использованием:

Моделирование нейронных сетей

Неконтролируемое обучение с использованием сегнетоэлектрических синапсов

Они моделируют сложные нейронные модели с высоким уровнем детализации и точности. Большие сети обычно требуют длительной обработки. Кандидаты включают: [37]

Аппаратное обеспечение

Прогнозирование обучения STDP с помощью сегнетоэлектрических синапсов
Модель маршрутизации нейронной сети

Будущие нейроморфные архитектуры [40] будут включать миллиарды таких наносинапсов, что требует четкого понимания физических механизмов, ответственных за пластичность. Экспериментальные системы на основе сегнетоэлектрических туннельных переходов были использованы для того, чтобы показать, что STDP может быть использован из гетерогенного переключения поляризации. Благодаря комбинированной сканирующей зондовой визуализации, электрическому транспорту и молекулярной динамике атомного масштаба изменения проводимости могут быть смоделированы путем инверсии доменов, доминирующей в зародышеобразовании. Моделирование показывает, что массивы сегнетоэлектрических наносинапсов могут автономно учиться распознавать шаблоны предсказуемым образом, открывая путь к неконтролируемому обучению . [41]

Неконтролируемое обучение с использованием сегнетоэлектрических синапсов

Показатели

Возможности классификации сетей со спайками, обученных в соответствии с методами обучения без учителя [46], были протестированы на общих наборах данных, таких как Iris, Wisconsin Breast Cancer или Statlog Landsat. [47] [48] Были использованы различные подходы к кодированию информации и проектированию сетей. Например, двухслойная сеть прямой связи для кластеризации и классификации данных. На основе идеи, предложенной в Hopfield (1995), авторы реализовали модели локальных рецептивных полей, объединяющие свойства радиальных базисных функций (RBF) и нейронов со спайками для преобразования входных сигналов (классифицированных данных), имеющих представление с плавающей точкой, в представление со спайками. [49] [50]

Смотрите также

Ссылки

  1. ^ ab Maass W (1997). «Сети спайковых нейронов: Третье поколение моделей нейронных сетей». Neural Networks . 10 (9): 1659–1671. doi :10.1016/S0893-6080(97)00011-7. ISSN  0893-6080.
  2. ^ Оге, Даниэль; Хилле, Джулиан; Мюллер, Этьен; Кнолл, Алоис (2021-12-01). «Обзор методов кодирования для обработки сигналов в импульсных нейронных сетях». Neural Processing Letters . 53 (6): 4693–4710. doi : 10.1007/s11063-021-10562-2 . ISSN  1573-773X.
  3. ^ Gerstner W, Kistler WM (2002). Модели спайковых нейронов: отдельные нейроны, популяции, пластичность. Кембридж, Великобритания: Cambridge University Press. ISBN 0-511-07817-X. OCLC  57417395.
  4. ^ Ван, Сянвэнь; Линь, Сянхун; Дан, Сяочао (2020-05-01). «Управляемое обучение в импульсных нейронных сетях: обзор алгоритмов и оценок». Neural Networks . 125 : 258–280. doi : 10.1016/j.neunet.2020.02.011. ISSN  0893-6080. PMID  32146356. S2CID  212638634.
  5. ^ Тахерхани, Абузар; Белатрече, Аммар; Ли, Юхуа; Косма, Джорджина; Магуайр, Лиам П.; МакГиннити, ТМ (2020-02-01). «Обзор обучения в биологически правдоподобных импульсных нейронных сетях». Нейронные сети . 122 : 253–272. doi : 10.1016/j.neunet.2019.09.036. ISSN  0893-6080. PMID  31726331. S2CID  207904985.
  6. ^ ab Ganguly, Chittotosh; Bezugam, Sai Sukruth; Abs, Elisabeth; Payvand, Melika; Dey, Sounak; Suri, Manan (2024-02-01). "Адаптация частоты спайков: объединение нейронных моделей и нейроморфных приложений". Communications Engineering . 3 (1): 22. doi : 10.1038/s44172-024-00165-9 . ISSN  2731-3395. PMC 11053160 . 
  7. ^ Ли Д, Ли Г, Квон Д, Ли С, Ким И, Ким Дж (июнь 2018 г.). «Flexon: гибкий цифровой нейрон для эффективного моделирования импульсных нейронных сетей». 2018 ACM/IEEE 45-й ежегодный международный симпозиум по архитектуре компьютеров (ISCA) . стр. 275–288. doi :10.1109/isca.2018.00032. ISBN 978-1-5386-5984-7. S2CID  50778421.
  8. ^ Гудман, ДФ и Бретт, Р. (2008). Брайан: симулятор для импульсных нейронных сетей в Python. Frontiers in neuroinformatics, 2, 350.
  9. ^ Врикен, Дж. (2003). Пиковые нейронные сети, введение
  10. ^ Ямазаки, К.; Во-Хо, В.К.; Булсара, Д.; Ле, Н. (30 июня 2022 г.). «Спайковые нейронные сети и их применение: обзор». Brain Sciences . 12 (7): 863. doi : 10.3390/brainsci12070863 . PMC 9313413 . PMID  35884670. 
  11. ^ Баллард, Д. Х. (1987, июль). Модульное обучение в нейронных сетях. В трудах шестой Национальной конференции по искусственному интеллекту — Том 1 (стр. 279-284).
  12. ^ Peretto, P. (1984). Коллективные свойства нейронных сетей: подход статистической физики. Биологическая кибернетика, 50(1), 51-62.
  13. ^ Куроги, С. (1987). Модель нейронной сети для распознавания пространственно-временных образов. Биологическая кибернетика, 57(1), 103-114.
  14. ^ Андерсон, JA (1972). Простая нейронная сеть, генерирующая интерактивную память. Математические биологические науки , 14(3-4), 197-220.
  15. ^ Gerstner W (2001). "Spiking Neurons". В Maass W, Bishop CM (ред.). Pulsed Neural Networks . MIT Press. ISBN 978-0-262-63221-8.
  16. ^ Hodgkin, AL; Huxley, AF (1952-08-28). «Количественное описание мембранного тока и его применение к проводимости и возбуждению в нерве». Журнал физиологии . 117 (4): 500–544. doi :10.1113/jphysiol.1952.sp004764. ISSN  0022-3751. PMC 1392413. PMID 12991237  . 
  17. ^ Дэн, Янг; Пу, Му-Мин (июль 2006 г.). «Пластичность, зависящая от времени спайка: от синапса к восприятию». Physiological Reviews . 86 (3): 1033–1048. doi :10.1152/physrev.00030.2005. ISSN  0031-9333. PMID  16816145.
  18. ^ Нагорнов, Николай Н.; Ляхов, Павел А.; Бергерман, Максим В.; Калита, Диана И. (2024). «Современные тенденции улучшения технических характеристик приборов и систем цифровой обработки изображений». IEEE Access . 12 : 44659–44681. Bibcode : 2024IEEEEA..1244659N. doi : 10.1109/ACCESS.2024.3381493 . ISSN  2169-3536.
  19. ^ Ван Везель М. (2020). Надежная методология обучения модульных импульсных нейронных сетей для наборов данных временных рядов: с акцентом на управление жестами (диссертация магистра наук). Делфтский технический университет.
  20. ^ abc Maass W (1997). «Сети спайковых нейронов: Третье поколение моделей нейронных сетей». Neural Networks . 10 (9): 1659–1671. doi :10.1016/S0893-6080(97)00011-7.
  21. ^ Фурбер, Стив (август 2016 г.). «Крупномасштабные нейроморфные вычислительные системы». Журнал нейронной инженерии . 13 (5): 051001. Bibcode : 2016JNEng..13e1001F. doi : 10.1088/1741-2560/13/5/051001. ISSN  1741-2552. PMID  27529195.
  22. ^ Neftci, Emre O.; Mostafa, Hesham; Zenke, Friedemann (2019). «Суррогатное градиентное обучение в импульсных нейронных сетях: привнесение силы градиентной оптимизации в импульсные нейронные сети». Журнал обработки сигналов IEEE . 36 (6): 51–63. Bibcode : 2019ISPM...36f..51N. doi : 10.1109/msp.2019.2931595 .
  23. ^ Салаж, Дарьян; Субрамони, Ананд; Крайсникович, Сека; Беллек, Гийом; Легенштейн, Роберт; Маасс, Вольфганг (2021-07-26). О'Лири, Тимоти; Беренс, Тимоти Э.; Гутьеррес, Габриэль (ред.). «Адаптация частоты скачков поддерживает сетевые вычисления на основе временно распределенной информации». eLife . 10 : e65459. doi : 10.7554/eLife.65459 . ISSN  2050-084X. PMC 8313230 . PMID  34310281. 
  24. ^ Ижикевич, Э. М. (2004). «Какую модель использовать для кортикальных импульсных нейронов?». IEEE Transactions on Neural Networks . 15 (5): 1063–1070. doi :10.1109/tnn.2004.832719. PMID  15484883. S2CID  7354646. Получено 14.02.2024 .
  25. ^ Адиби, М., Макдональд, Дж. С., Клиффорд, К. В. и Арабзаде, Э. Адаптация повышает эффективность нейронного кодирования, несмотря на увеличение корреляций в изменчивости. J. Neurosci. 33, 2108–2120 (2013)
  26. ^ Лафлин, С. (1981). «Простая процедура кодирования увеличивает информационную емкость нейрона». Zeitschrift für Naturforschung C . 36 (9–10): 910–912. ISSN  0341-0382. ПМИД  7303823.
  27. ^ Querlioz, Damien; Bichler, Olivier; Dollfus, Philippe; Gamrat, Christian (2013). «Immunity to Device Variations in a Spiking Neural Network With Memristive Nanodevices». IEEE Transactions on Nanotechnology . 12 (3): 288–295. Bibcode : 2013ITNan..12..288Q. doi : 10.1109/TNANO.2013.2250995. S2CID  14416573. Получено 14.02.2024 .
  28. ^ Ямазаки, Кашу; Во-Хо, Вьет-Кхоа; Булсара, Даршан; Ле, Нган (июль 2022 г.). «Spiking Neural Networks and Their Applications: A Review». Brain Sciences . 12 (7): 863. doi : 10.3390/brainsci12070863 . ISSN  2076-3425. PMC 9313413 . PMID  35884670. 
  29. ^ Шабан, Ахмед; Безугам, Сай Сукрут; Сури, Манан (2021-07-09). «Адаптивный пороговый нейрон для рекуррентных импульсных нейронных сетей с аппаратной реализацией наноустройства». Nature Communications . 12 (1): 4234. Bibcode :2021NatCo..12.4234S. doi :10.1038/s41467-021-24427-8. ISSN  2041-1723. PMC 8270926 . PMID  34244491. 
  30. ^ Беллек, Гийом; Салаж, Дарьян; Субрамони, Ананд; Легенштейн, Роберт; Маасс, Вольфганг (2018-12-25), Долговременная кратковременная память и обучение обучению в сетях импульсных нейронов , arXiv : 1803.09574
  31. ^ Alnajjar F, Murase K (2008). «Простая аплизиа-подобная импульсная нейронная сеть для генерации адаптивного поведения автономных роботов». Adaptive Behavior . 14 (5): 306–324. doi :10.1177/1059712308093869. S2CID  16577867.
  32. ^ Чжан X, Сюй Z, Энрикес C, Феррари S (декабрь 2013 г.). «Косвенное обучение виртуального насекомого, управляемого нейронной сетью с помощью спайков». 52-я конференция IEEE по принятию решений и управлению . стр. 6798–6805. CiteSeerX 10.1.1.671.6351 . doi :10.1109/CDC.2013.6760966. ISBN  978-1-4673-5717-3. S2CID  13992150.
  33. ^ Tavanaei A, Ghodrati M, Kheradpisheh SR, Masquelier T, Maida A (март 2019 г.). «Глубокое обучение в импульсных нейронных сетях». Neural Networks . 111 : 47–63. arXiv : 1804.08150 . doi : 10.1016/j.neunet.2018.12.002. PMID  30682710. S2CID  5039751.
  34. ^ Ямазаки К, Во-Хо ВК, Булсара Д, Ле Н (июнь 2022 г.). «Спайковые нейронные сети и их применение: обзор». Науки о мозге . 12 (7): 863. doi : 10.3390/brainsci12070863 . PMC 9313413. PMID  35884670 . 
  35. ^ Ким Y, Парк H, Мойтра A, Бхаттачарджи A, Венкатеша Y, Панда P (31.01.2022). «Кодирование скорости или прямое кодирование: что лучше для точных, надежных и энергоэффективных импульсных нейронных сетей?». arXiv : 2202.03133 [cs.NE].
  36. ^ Рибейру, Бернардете; Антунес, Франциско; Пердигао, Дилан; Силва, Катарина (2024-08-05). «Сверточные импульсные нейронные сети, нацеленные на обучение и вывод в сильно несбалансированных наборах данных». Pattern Recognition Letters . doi :10.1016/j.patrec.2024.08.002.
  37. ^ Abbott LF, Nelson SB (ноябрь 2000 г.). «Синаптическая пластичность: приручение зверя». Nature Neuroscience . 3 (S11): 1178–1183. doi :10.1038/81453. PMID  11127835. S2CID  2048100.
  38. ^ Атия А. Ф., Парлос АГ (май 2000 г.). «Новые результаты обучения рекуррентных сетей: объединение алгоритмов и ускорение сходимости». Труды IEEE по нейронным сетям . 11 (3): 697–709. doi :10.1109/72.846741. PMID  18249797.
  39. ^ Санауллах С., Коравуна С., Рюкерт У., Юнгеблут Т. (август 2023 г.). «Оценка классификации изображений на основе нейронных сетей с использованием симулятора времени выполнения RAVSim». Международный журнал нейронных систем . 33 (9): 2350044. doi : 10.1142/S0129065723500442. PMID  37604777. S2CID  259445644.
  40. ^ Саттон RS, Барто AG (2002) Обучение с подкреплением: Введение. Bradford Books, MIT Press, Кембридж, Массачусетс.
  41. ^ Boyn S, Grollier J, Lecerf G, Xu B, Locatelli N, Fusil S и др. (апрель 2017 г.). «Обучение с помощью динамики сегнетоэлектрических доменов в твердотельных синапсах». Nature Communications . 8 : 14736. Bibcode :2017NatCo...814736B. doi :10.1038/ncomms14736. PMC 5382254 . PMID  28368007. 
  42. ^ Jin X, Furber SB, Woods JV (2008). «Эффективное моделирование импульсных нейронных сетей на масштабируемом чипе многопроцессорного процессора». 2008 IEEE Международная объединенная конференция по нейронным сетям (IEEE Всемирный конгресс по вычислительному интеллекту) . стр. 2812–2819. doi :10.1109/IJCNN.2008.4634194. ISBN 978-1-4244-1820-6. S2CID  2103654.
  43. ^ «Нейроморфные вычисления». Проект «Человеческий мозг» .
  44. ^ "Оборудование: Доступные системы". Проект "Человеческий мозг " . Получено 10.05.2020 .
  45. ^ Markoff J (8 августа 2014 г.). «IBM заявляет, что новый чип функционирует как мозг». The New York Times . стр. B1.
  46. ^ Ponulak F, Kasiński A (февраль 2010 г.). «Управляемое обучение в импульсных нейронных сетях с ReSuMe: последовательное обучение, классификация и смещение импульсов». Neural Computation . 22 (2): 467–510. doi :10.1162/neco.2009.11-08-901. PMID  19842989. S2CID  12572538.
  47. ^ Ньюман Д., Хеттих С., Блейк К., Мерц К. (1998). «Репозиторий баз данных машинного обучения UCI».
  48. ^ Bohte S, Kok JN, La Poutré H (2002). «Обратное распространение ошибки во временно кодируемых сетях импульсных нейронов». Neurocomputing . 48 (1–4): 17–37. doi :10.1016/S0925-2312(01)00658-0.
  49. ^ Pfister JP, Toyoizumi T, Barber D, Gerstner W (июнь 2006 г.). «Оптимальная пластичность, зависящая от времени спайка, для точного срабатывания потенциала действия при контролируемом обучении». Neural Computation . 18 (6): 1318–1348. arXiv : q-bio/0502037 . Bibcode :2005q.bio.....2037P. doi :10.1162/neco.2006.18.6.1318. PMID  16764506. S2CID  6379045.
  50. ^ Bohte SM, La Poutré H, Kok JN (март 2002 г.). «Неконтролируемая кластеризация с импульсными нейронами с помощью разреженного временного кодирования и многослойных сетей RBF». IEEE Transactions on Neural Networks . 13 (2): 426–435. doi :10.1109/72.991428. PMID  18244443.