Ряд Вольтерры — это модель нелинейного поведения, аналогичная ряду Тейлора . Он отличается от ряда Тейлора своей способностью улавливать эффекты «памяти». Ряд Тейлора можно использовать для аппроксимации реакции нелинейной системы на заданный вход, если выход системы строго зависит от входа в данный момент времени. В ряду Вольтерры выход нелинейной системы зависит от входа в систему во все остальные моменты времени. Это дает возможность улавливать эффект «памяти» таких устройств, как конденсаторы и катушки индуктивности .
Он применялся в области медицины ( биомедицинской инженерии ) и биологии, особенно нейронауки . [1] Он также используется в электротехнике для моделирования интермодуляционных искажений во многих устройствах, включая усилители мощности и частотные смесители . [ требуется ссылка ] Его главное преимущество заключается в его обобщаемости: он может представлять широкий спектр систем. Таким образом, его иногда считают непараметрической моделью.
В математике ряд Вольтерры обозначает функциональное расширение динамического, нелинейного , инвариантного во времени функционала . Ряды Вольтерры часто используются при идентификации систем . Ряд Вольтерры, который используется для доказательства теоремы Вольтерры, представляет собой бесконечную сумму многомерных сверточных интегралов.
Ряд Вольтерры — это модернизированная версия теории аналитических функционалов итальянского математика Вито Вольтерры , изложенная в его работе, датируемой 1887 годом. [2] [3] Норберт Винер заинтересовался этой теорией в 1920-х годах благодаря своему контакту с учеником Вольтерры Полем Леви . Винер применил свою теорию броуновского движения для интегрирования аналитических функционалов Вольтерры. Использование ряда Вольтерры для системного анализа возникло из ограниченного доклада 1942 года военного времени [4] Винера, который тогда был профессором математики в Массачусетском технологическом институте . Он использовал ряд для приблизительного анализа эффекта радиолокационного шума в нелинейной схеме приемника. Отчет стал публичным после войны. [5] Как общий метод анализа нелинейных систем ряд Вольтерры начал использоваться примерно после 1957 года в результате серии докладов, сначала распространявшихся в частном порядке, из Массачусетского технологического института и других мест. [6] Само название, ряд Вольтерры , вошло в употребление несколько лет спустя.
Теорию ряда Вольтерра можно рассматривать с двух разных точек зрения:
Последняя перспектива функционального отображения используется чаще из-за предполагаемой инвариантности системы во времени.
Непрерывная система, инвариантная во времени , с x ( t ) в качестве входных данных и y ( t ) в качестве выходных данных может быть разложена в ряд Вольтерры следующим образом:
Здесь постоянный член в правой части обычно принимается равным нулю путем подходящего выбора выходного уровня . Функция называется ядром Вольтерра n -го порядка . Ее можно рассматривать как импульсную характеристику более высокого порядка системы. Для того чтобы представление было уникальным, ядра должны быть симметричны по n переменным . Если оно не симметрично, его можно заменить симметризованным ядром, которое является средним по n ! перестановкам этих n переменных .
Если N конечно, ряд называется усеченным . Если a , b и N конечны, ряд называется дважды конечным .
Иногда член n -го порядка делится на n !, что удобно, когда выход одной системы Вольтерра принимается в качестве входа другой («каскадирование»).
Условие причинности : Поскольку в любой физически реализуемой системе выход может зависеть только от предыдущих значений входа, ядра будут равны нулю, если любая из переменных отрицательна. Интегралы могут быть записаны в полудиапазоне от нуля до бесконечности. Таким образом, если оператор является причинным, .
Теорема Фреше об аппроксимации : использование ряда Вольтерры для представления функционального отношения, инвариантного ко времени, часто оправдывается ссылкой на теорему Фреше . Эта теорема утверждает, что функциональное отношение, инвариантное ко времени (удовлетворяющее некоторым очень общим условиям), может быть аппроксимировано равномерно и с произвольной степенью точности достаточно высоким рядом Вольтерры конечного порядка. Среди прочих условий требуется, чтобы множество допустимых входных функций, для которых будет иметь место аппроксимация, было компактным . Обычно оно принимается равностепенно непрерывным , равномерно ограниченным множеством функций, которое компактно по теореме Арцела–Асколи . Во многих физических ситуациях это предположение о входном множестве является разумным. Однако теорема не дает никаких указаний на то, сколько членов необходимо для хорошего приближения, что является существенным вопросом в приложениях.
Случай дискретного времени аналогичен случаю непрерывного времени, за исключением того, что интегралы заменяются суммированием:
где Каждая функция называется дискретным по времени ядром Вольтерра . Если P конечно, оператор ряда называется усеченным . Если a , b и P конечны, оператор ряда называется дважды конечным рядом Вольтерра . Если , оператор называется причинным .
Мы всегда можем считать, без потери общности, ядро симметричным. Фактически, для коммутативности умножения его всегда можно симметризировать, образовав новое ядро, взятое как среднее ядер для всех перестановок переменных .
Для каузальной системы с симметричными ядрами мы можем переписать n -й член приближенно в треугольной форме
Оценка коэффициентов Вольтерры по отдельности сложна, поскольку базисные функционалы ряда Вольтерры коррелированы. Это приводит к проблеме одновременного решения набора интегральных уравнений для коэффициентов. Следовательно, оценка коэффициентов Вольтерры обычно выполняется путем оценки коэффициентов ортогонализованного ряда, например ряда Винера , а затем пересчета коэффициентов исходного ряда Вольтерры. Основное преимущество ряда Вольтерры перед ортогонализованным рядом заключается в его интуитивной, канонической структуре, т. е. все взаимодействия входных данных имеют одну фиксированную степень. Ортогонализованные базисные функционалы, как правило, будут довольно сложными.
Важным аспектом, по которому различаются следующие методы, является то, должна ли ортогонализация базисных функционалов выполняться по идеализированной спецификации входного сигнала (например, гауссовский, белый шум ) или по фактической реализации входа (т. е. псевдослучайная, ограниченная, почти белая версия гауссовского белого шума или любой другой стимул). Последние методы, несмотря на отсутствие математической элегантности, оказались более гибкими (поскольку произвольные входы могут быть легко учтены) и точными (из-за эффекта, что идеализированная версия входного сигнала не всегда реализуема).
Этот метод, разработанный Ли и Шетценом, ортогонализирует по отношению к реальному математическому описанию сигнала, т.е. проекция на новые базисные функционалы основана на знании моментов случайного сигнала.
Мы можем записать ряд Вольтерра в терминах однородных операторов, как
где
Чтобы обеспечить ортогонализацию идентификации, ряды Вольтерры должны быть перестроены в терминах ортогональных неоднородных операторов G ( ряды Винера ):
Операторы G можно определить следующим образом:
всякий раз, когда — произвольный однородный Вольтерра, x ( n ) — некоторый стационарный белый шум (SWN) с нулевым средним значением и дисперсией A .
Вспоминая, что каждый функционал Вольтерры ортогонален всем функционалам Винера большего порядка, и рассматривая следующий функционал Вольтерры:
мы можем написать
Если x — это SWN, и, допуская , мы имеем
Итак, если исключить диагональные элементы, то
Если мы хотим рассмотреть диагональные элементы, то решение, предложенное Ли и Шетценом, следующее:
Главным недостатком этого метода является то, что ошибки оценки, сделанные для всех элементов ядер низшего порядка, будут влиять на каждый диагональный элемент порядка p посредством суммирования , задуманного как решение для оценки самих диагональных элементов. Существуют эффективные формулы для избежания этого недостатка и ссылки для оценки диагонального элемента ядра [7] [8]
После того, как ядра Винера были идентифицированы, ядра Вольтерра могут быть получены с помощью формул Винера-Вольтерра, как показано ниже для ряда Вольтерра пятого порядка:
В традиционном ортогональном алгоритме использование входов с высоким имеет преимущество в стимулировании нелинейности высокого порядка, чтобы достичь более точной идентификации ядра высокого порядка. Недостатком является то, что использование высоких значений приводит к высокой ошибке идентификации в ядрах низкого порядка, [9] в основном из-за неидеальности входа и ошибок усечения.
Напротив, использование низшего порядка в процессе идентификации может привести к лучшей оценке ядра низшего порядка, но может оказаться недостаточным для стимуляции нелинейности высшего порядка.
Это явление, которое можно назвать локальностью усеченного ряда Вольтерры, можно обнаружить, вычислив выходную ошибку ряда как функцию различных дисперсий входных данных. Этот тест можно повторить с рядами, идентифицированными с различными дисперсиями входных данных, получая различные кривые, каждая из которых имеет минимум в соответствии с дисперсией, использованной при идентификации.
Чтобы преодолеть это ограничение, следует использовать низкое значение для ядра низшего порядка и постепенно увеличивать его для ядер более высокого порядка. Это не теоретическая проблема в идентификации ядра Винера, поскольку функционалы Винера ортогональны друг другу, но необходима соответствующая нормализация в формулах преобразования Винера в Вольтерра для учета использования различных дисперсий. Кроме того, необходимы новые формулы преобразования Винера в Вольтерра.
Традиционную идентификацию ядра Винера следует изменить следующим образом: [9]
В приведенных выше формулах импульсные функции вводятся для идентификации диагональных точек ядра. Если ядра Винера извлекаются с помощью новых формул, необходимы следующие формулы Винера-Вольтерра (явные до пятого порядка):
Как можно видеть, недостаток предыдущей формулы [8] заключается в том, что для идентификации ядра n -го порядка все более низкие ядра должны быть идентифицированы снова с более высокой дисперсией. Однако выдающееся улучшение выходной MSE будет получено, если ядра Винера и Вольтерра будут получены с помощью новых формул. [9]
Этот метод был разработан Рэем и Грином (1994) и использует тот факт, что простая нейронная сеть с 2 полностью связанными слоями (т. е. многослойный персептрон ) вычислительно эквивалентна ряду Вольтерры и, следовательно, содержит ядра, скрытые в ее архитектуре. После того, как такая сеть была обучена успешно предсказывать выход на основе текущего состояния и памяти системы, ядра затем могут быть вычислены из весов и смещений этой сети.
Общее обозначение для ядра Вольтерра n -го порядка имеет вид
где — порядок, веса к линейному выходному узлу, коэффициенты полиномиального разложения выходной функции скрытых узлов, а — веса от входного слоя к нелинейному скрытому слою. Важно отметить, что этот метод позволяет извлекать ядро вплоть до числа задержек ввода в архитектуре сети. Кроме того, крайне важно тщательно сконструировать размер входного слоя сети, чтобы он представлял эффективную память системы.
Этот метод и его более эффективная версия (быстрый ортогональный алгоритм) были изобретены Коренбергом. [10] В этом методе ортогонализация выполняется эмпирически по фактическим входным данным. Было показано, что он работает точнее, чем метод кросскорреляции. Другое преимущество заключается в том, что для ортогонализации можно использовать произвольные входные данные и что для достижения желаемого уровня точности достаточно меньшего количества точек данных. Кроме того, оценка может выполняться постепенно, пока не будет выполнен какой-либо критерий.
Линейная регрессия — стандартный инструмент линейного анализа. Следовательно, одним из ее главных преимуществ является широкое распространение стандартных инструментов для эффективного решения линейных регрессий. Она имеет некоторую образовательную ценность, поскольку подчеркивает основное свойство рядов Вольтерра: линейную комбинацию нелинейных базисных функционалов. Для оценки должен быть известен порядок оригинала, поскольку базисные функционалы Вольтерра не ортогональны, и, таким образом, оценка не может быть выполнена пошагово.
Этот метод был изобретен Францем и Шёлькопфом [11] и основан на статистической теории обучения . Следовательно, этот подход также основан на минимизации эмпирической ошибки (часто называемой минимизацией эмпирического риска ). Франц и Шёлькопф предположили, что метод ядра может по сути заменить представление ряда Вольтерра, хотя и отметили, что последнее более интуитивно понятно. [12]
Этот метод был разработан ван Хемменом и его коллегами [13] и использует дельта-функции Дирака для выборки коэффициентов Вольтерра.