stringtranslate.com

Случайная нейронная сеть

Случайная нейронная сеть ( RNN ) [1] — это математическое представление взаимосвязанной сети нейронов или клеток , которые обмениваются пиковыми сигналами . Она была изобретена Эролом Геленбе и связана с моделью G-сети сетей очередей, а также с моделями сети регуляции генов. Каждое состояние клетки представлено целым числом, значение которого увеличивается, когда клетка получает возбуждающий пик, и уменьшается, когда она получает тормозящий пик. Шипы могут возникать вне самой сети или они могут исходить от других клеток в сетях. Клетки, внутреннее возбуждающее состояние которых имеет положительное значение, могут посылать шипы любого типа другим клеткам в сети в соответствии с определенными зависящими от клетки скоростями пиков. Модель имеет математическое решение в стационарном состоянии, которое обеспечивает совместное распределение вероятностей сети с точки зрения индивидуальных вероятностей того, что каждая клетка возбуждена и способна посылать шипы. Вычисление этого решения основано на решении набора нелинейных алгебраических уравнений , параметры которых связаны с частотой всплесков отдельных клеток и их связью с другими клетками, а также с частотой поступления всплесков извне сети. RNN — это рекуррентная модель, т. е. нейронная сеть, которой разрешено иметь сложные циклы обратной связи. [2]

Кришна Палем и др. продемонстрировали высокоэнергетическую реализацию случайных нейронных сетей с использованием вероятностной технологии КМОП или PCMOS , которая оказалась примерно в 226–300 раз эффективнее с точки зрения соотношения «энергия-производительность-продукт». [3]

RNN также связаны с искусственными нейронными сетями , которые (как и случайные нейронные сети) имеют алгоритмы обучения на основе градиента . Алгоритм обучения для случайной нейронной сети с n-узлами, которая включает в себя петли обратной связи (это также рекуррентная нейронная сеть ), имеет вычислительную сложность O(n^3) (количество вычислений пропорционально кубу n, количеству нейронов). Случайная нейронная сеть также может использоваться с другими алгоритмами обучения, такими как обучение с подкреплением . Было показано, что RNN является универсальным аппроксиматором для ограниченных и непрерывных функций .

Смотрите также

Ссылки и источники

Ссылки
  1. ^ Эрол Геленбе. «Случайные нейронные сети с отрицательными и положительными сигналами и решение в виде продукта». Neural Computation, т. 1, № 4, стр. 502-510, 1989, MIT Press.
  2. ^ Эрол Геленбе. «Обучение в рекуррентной случайной нейронной сети» (PDF) . Neural Computation, т. 5, № 1, стр. 154–164, 1993, MIT Press.
  3. ^ Лакшми Н. Чакрапани; Бильге Э.С. Акгуль; Суреш Чемалавагу; Пинар Коркмаз; Кришна В. Палем; Баласубраманиан Сешасаи. «Сверхэффективные встраиваемые архитектуры SOC на основе вероятностной технологии CMOS (PCMOS)». Конференция по автоматизации проектирования и испытаний в Европе (DATE), 2006 г.
Источники