Резервуарные вычисления — это фреймворк для вычислений, полученный из теории рекуррентных нейронных сетей , который отображает входные сигналы в вычислительные пространства более высокого измерения посредством динамики фиксированной нелинейной системы, называемой резервуаром. [1] После того, как входной сигнал подается в резервуар, который рассматривается как «черный ящик», простой механизм считывания обучается считывать состояние резервуара и отображать его на желаемый выход. [1] Первым ключевым преимуществом этого фреймворка является то, что обучение выполняется только на этапе считывания, поскольку динамика резервуара фиксирована. [1] Вторым является то, что вычислительная мощность естественно доступных систем, как классических, так и квантово-механических, может быть использована для снижения эффективной вычислительной стоимости. [2]
Концепция резервуарных вычислений вытекает из использования рекурсивных соединений в нейронных сетях для создания сложной динамической системы. [3] Это обобщение более ранних архитектур нейронных сетей, таких как рекуррентные нейронные сети, машины с жидким состоянием и сети с эхо-состоянием . Резервуарные вычисления также распространяются на физические системы, которые не являются сетями в классическом смысле, а скорее непрерывными системами в пространстве и/или времени: например, буквальное «ведро воды» может служить резервуаром, который выполняет вычисления на входных данных, заданных как возмущения поверхности. [4] Было обнаружено, что результирующая сложность таких рекуррентных нейронных сетей полезна при решении различных задач, включая обработку языка и моделирование динамических систем. [3] Однако обучение рекуррентных нейронных сетей является сложным и вычислительно дорогим. [3] Резервуарные вычисления уменьшают эти связанные с обучением проблемы, фиксируя динамику резервуара и обучая только линейный выходной слой. [3]
Большое разнообразие нелинейных динамических систем может служить резервуаром, который выполняет вычисления. В последние годы полупроводниковые лазеры привлекли значительный интерес, поскольку вычисления могут быть быстрыми и энергоэффективными по сравнению с электрическими компонентами.
Недавние достижения в области как ИИ, так и квантовой теории информации привели к появлению концепции квантовых нейронных сетей . [5] Они обещают квантовую обработку информации, что является сложной задачей для классических сетей, но также могут найти применение в решении классических задач. [5] [6] В 2018 году была продемонстрирована физическая реализация архитектуры квантовых резервуарных вычислений в виде ядерных спинов в молекулярном твердом теле. [6] Однако эксперименты с ядерными спинами в [6] не продемонстрировали квантовые резервуарные вычисления как таковые, поскольку они не включали обработку последовательных данных. Скорее, данные были векторными входными данными, что делает это более точной демонстрацией квантовой реализации алгоритма случайной кухонной раковины [7] (также известного под названием экстремальных обучающихся машин в некоторых сообществах). В 2019 году была предложена еще одна возможная реализация процессоров квантовых резервуаров в виде двумерных фермионных решеток. [6] В 2020 году была предложена реализация резервуарных вычислений на квантовых компьютерах на основе вентилей и продемонстрирована на облачных сверхпроводящих квантовых компьютерах IBM ближайшего будущего. [8]
Резервуарные компьютеры использовались для анализа временных рядов . В частности, некоторые из их применений включают хаотическое предсказание временных рядов , [9] [10] разделение хаотических сигналов, [11] и вывод связей сетей из их динамики. [12]
«Резервуар» в резервуарных вычислениях — это внутренняя структура компьютера, которая должна обладать двумя свойствами: она должна состоять из отдельных нелинейных единиц и должна быть способна хранить информацию. Нелинейность описывает реакцию каждой единицы на входные данные, что позволяет резервуарным компьютерам решать сложные задачи. Резервуары способны хранить информацию, соединяя единицы в повторяющиеся циклы, где предыдущие входные данные влияют на последующую реакцию. Изменение реакции из-за прошлого позволяет компьютерам обучаться выполнять определенные задачи. [13]
Резервуары могут быть виртуальными или физическими. [13] Виртуальные резервуары обычно генерируются случайным образом и проектируются как нейронные сети. [13] [3] Виртуальные резервуары могут быть спроектированы так, чтобы иметь нелинейность и рекуррентные циклы, но, в отличие от нейронных сетей, связи между единицами рандомизированы и остаются неизменными на протяжении всего вычисления. [13] Физические резервуары возможны из-за присущей некоторым природным системам нелинейности. Взаимодействие между рябью на поверхности воды содержит нелинейную динамику, необходимую для создания резервуара, и был разработан RC распознавания образов путем первого ввода ряби с помощью электродвигателей, а затем записи и анализа ряби в показаниях. [1]
Считывание представляет собой слой нейронной сети, который выполняет линейное преобразование выходных данных резервуара. [1] Веса слоя считывания обучаются путем анализа пространственно-временных моделей резервуара после возбуждения известными входными данными и путем использования метода обучения, такого как линейная регрессия или регрессия гребня . [1] Поскольку его реализация зависит от пространственно-временных моделей резервуара, детали методов считывания подбираются под каждый тип резервуара. [1] Например, считывание для компьютера резервуара, использующего контейнер с жидкостью в качестве резервуара, может повлечь за собой наблюдение пространственно-временных моделей на поверхности жидкости. [1]
Ранним примером резервуарных вычислений была сеть реверберации контекста. [14] В этой архитектуре входной слой подается в высокоразмерную динамическую систему, которая считывается обучаемым однослойным персептроном . Были описаны два вида динамических систем: рекуррентная нейронная сеть с фиксированными случайными весами и непрерывная система реакции-диффузии, вдохновленная моделью морфогенеза Алана Тьюринга . На обучаемом слое персептрон связывает текущие входы с сигналами, которые отражаются в динамической системе; последние, как было сказано, обеспечивают динамический «контекст» для входов. На языке более поздних работ система реакции-диффузии служила резервуаром.
Модель Tree Echo State Network (TreeESN) представляет собой обобщение вычислительной среды резервуара для структурированных в дереве данных. [15]
Хаотическая машина жидкого состояния
Жидкость (т.е. резервуар) хаотической жидкостной машины (CLSM), [16] [17] или хаотический резервуар, состоит из хаотических спайковых нейронов, но которые стабилизируют свою активность, устанавливая единую гипотезу, которая описывает обученные входы машины. Это отличается от общих типов резервуаров, которые не стабилизируются. Стабилизация жидкости происходит посредством синаптической пластичности и контроля хаоса, которые управляют нейронными связями внутри жидкости. CLSM показала многообещающие результаты в изучении чувствительных данных временных рядов. [16] [17]
Этот тип обработки информации наиболее актуален, когда зависящие от времени входные сигналы отклоняются от внутренней динамики механизма. [18] Эти отклонения вызывают переходные процессы или временные нарушения, которые отображаются на выходе устройства. [18]
Расширение фреймворка резервуарных вычислений в сторону глубокого обучения с введением глубоких резервуарных вычислений и модели Deep Echo State Network (DeepESN) [19] [20] [21] [22] позволяет разрабатывать эффективно обученные модели для иерархической обработки временных данных, в то же время позволяя исследовать неотъемлемую роль слоистой композиции в рекуррентных нейронных сетях .
Квантовые резервуарные вычисления могут использовать нелинейную природу квантово-механических взаимодействий или процессов для формирования характерных нелинейных резервуаров [5] [6] [23] [8], но также могут быть реализованы с линейными резервуарами, когда введение входных данных в резервуар создает нелинейность. [24] Объединение машинного обучения и квантовых устройств приводит к появлению квантовых нейроморфных вычислений как новой области исследований. [25]
Гауссовские состояния являются парадигматическим классом состояний квантовых систем с непрерывными переменными . [26] Хотя в настоящее время их можно создавать и манипулировать, например, на современных оптических платформах, [27] естественно устойчивых к декогеренции , хорошо известно, что их недостаточно, например, для универсальных квантовых вычислений, поскольку преобразования, сохраняющие гауссовскую природу состояния, являются линейными. [28] Обычно линейная динамика также не была бы достаточной для нетривиальных резервуарных вычислений. Тем не менее, возможно использовать такую динамику для целей резервуарных вычислений, рассматривая сеть взаимодействующих квантовых гармонических осцилляторов и вводя входные данные путем периодических сбросов состояний подмножества осцилляторов. При подходящем выборе того, как состояния этого подмножества осцилляторов зависят от входных данных, наблюдаемые величины остальных осцилляторов могут стать нелинейными функциями входных данных, подходящими для резервуарных вычислений; Действительно, благодаря свойствам этих функций, даже универсальные вычисления резервуара становятся возможными путем объединения наблюдаемых величин с полиномиальной функцией считывания. [24] В принципе, такие резервуарные компьютеры могут быть реализованы с помощью управляемых многомодовых оптических параметрических процессов , [29] однако эффективное извлечение выходных данных из системы является сложной задачей, особенно в квантовом режиме, где необходимо учитывать обратное воздействие измерения .
В этой архитектуре рандомизированная связь между узлами решетки предоставляет резервуару свойство «черного ящика», присущее процессорам резервуара. [5] Затем резервуар возбуждается, что действует как вход, падающим оптическим полем . Считывание происходит в форме чисел занятости узлов решетки, которые являются естественными нелинейными функциями входа. [5]
В этой архитектуре квантово-механическая связь между спинами соседних атомов в молекулярном твердом теле обеспечивает нелинейность, необходимую для создания многомерного вычислительного пространства. [6] Затем резервуар возбуждается радиочастотным электромагнитным излучением, настроенным на резонансные частоты соответствующих ядерных спинов . [6] Считывание происходит путем измерения состояний ядерных спинов. [6]
Наиболее распространенной моделью квантовых вычислений является модель на основе вентилей, в которой квантовые вычисления выполняются путем последовательного применения унитарных квантовых вентилей к кубитам квантового компьютера. [30] Теория для реализации резервуарных вычислений на квантовом компьютере на основе вентилей с демонстрациями доказательства принципа на ряде сверхпроводящих шумных квантовых компьютеров среднего масштаба (NISQ) IBM [31] была представлена в [8] .