Теорема Винера–Хинчина

Теорема спектрального разложения автокорреляций стационарных процессов

В прикладной математике теорема Винера–Хинчина или теорема Винера–Хинчина , также известная как теорема Винера–Хинчина–Эйнштейна или теорема Хинчина–Колмогорова , утверждает, что автокорреляционная функция стационарного в широком смысле случайного процесса имеет спектральное разложение, заданное спектральной плотностью мощности этого процесса. ^{[1] [2] [3] [4] [5] [6] [7]}

История

Норберт Винер доказал эту теорему для случая детерминированной функции в 1930 году; ^[8] Александр Хинчин позже сформулировал аналогичный результат для стационарных случайных процессов и опубликовал этот вероятностный аналог в 1934 году. ^{[9] [10]} Альберт Эйнштейн объяснил эту идею без доказательств в краткой двухстраничной записке в 1914 году. ^{[11] [12]}

Непрерывный процесс

Для непрерывного времени теорема Винера–Хинчина гласит, что если — стационарный в широком смысле случайный процесс , автокорреляционная функция которого (иногда называемая автоковариацией ), определяемая в терминах статистического ожидаемого значения , существует и конечна при каждом лаге , то существует монотонная функция в частотной области или, что эквивалентно, неотрицательная мера Радона в частотной области, такая, что ${\displaystyle x}$ ${\displaystyle r_{xx}(\tau )=\mathbb {E} {\big [}x(t)^{*}\cdot x(t-\tau ){\big ]}}$ ${\displaystyle \tau }$ ${\displaystyle F(f)}$ ${\displaystyle -\infty <f<\infty }$ ${\displaystyle \mu }$

${\displaystyle r_{xx}(\tau )=\int _{-\infty }^{\infty }e^{2\pi i\tau f}\mu (df)=\int _{-\infty }^{\infty }e^{2\pi i\tau f}dF(f),}$

где интеграл — это интеграл Римана–Стилтьеса . ^{[1] [13]} Звездочка обозначает комплексно сопряженное значение и может быть опущена, если случайный процесс имеет вещественные значения. Это своего рода спектральное разложение функции автокорреляции. F называется спектральной функцией распределения мощности и является статистической функцией распределения. Иногда ее называют интегрированным спектром.

Преобразование Фурье для не существует в общем случае, поскольку стохастические случайные функции, как правило, не являются ни квадратично-интегрируемыми , ни абсолютно интегрируемыми . Также не предполагается, что она абсолютно интегрируема, поэтому ей также не нужно иметь преобразование Фурье. ${\displaystyle x(t)}$ ${\displaystyle r_{xx}}$

Однако, если мера абсолютно непрерывна , например, если процесс чисто недетерминирован, то дифференцируема почти всюду и мы можем записать . В этом случае можно определить , спектральную плотность мощности , взяв усредненную производную . Поскольку левая и правая производные существуют всюду, то есть мы можем положить всюду, ^[14] (получив, что F является интегралом ее усредненной производной ^[15] ), и теорема упрощается до ${\displaystyle \mu (df)=dF(f)}$ ${\displaystyle F}$ ${\displaystyle \mu (df)=S(f)df}$ ${\displaystyle S(f)}$ ${\displaystyle x(t)}$ ${\displaystyle F}$ ${\displaystyle F}$ ${\displaystyle S(f)={\frac {1}{2}}\left(\lim _{\varepsilon \downarrow 0}{\frac {1}{\varepsilon }}{\big (}F(f+\varepsilon )-F(f){\big )}+\lim _{\varepsilon \uparrow 0}{\frac {1}{\varepsilon }}{\big (}F(f+\varepsilon )-F(f){\big )}\right)}$

${\displaystyle r_{xx}(\tau )=\int _{-\infty }^{\infty }e^{2\pi i\tau f}\,S(f)df.}$

Если теперь предположить, что r и S удовлетворяют необходимым условиям для справедливости инверсии Фурье, то теорема Винера–Хинчина принимает простую форму, утверждая, что r и S являются парой преобразований Фурье, и

${\displaystyle S(f)=\int _{-\infty }^{\infty }r_{xx}(\tau )e^{-2\pi if\tau }\,d\tau .}$

Дискретный процесс

Для случая дискретного времени спектральная плотность мощности функции с дискретными значениями равна ${\displaystyle x_{n}}$

${\displaystyle S(\omega )={\frac {1}{2\pi }}\sum _{k=-\infty }^{\infty }r_{xx}(k)e^{-i\omega k}}$

где — угловая частота, используется для обозначения мнимой единицы (в технике иногда вместо нее используется буква ), а — дискретная автокорреляционная функция , определенная в ее детерминированной или стохастической формулировке. ${\displaystyle \omega =2\pi f}$ ${\displaystyle i}$ ${\displaystyle j}$ ${\displaystyle r_{xx}(k)}$ ${\displaystyle x_{n}}$

При условии, что это абсолютно суммируемо, т.е. ${\displaystyle r_{xx}}$

${\displaystyle \sum _{k=-\infty }^{\infty }|r_{xx}(k)|<+\infty }$

Тогда результат теоремы можно записать как

${\displaystyle r_{xx}(\tau )=\int _{-\pi }^{\pi }e^{i\tau \omega }S(\omega )d\omega }$

Будучи дискретной во времени последовательностью, спектральная плотность является периодической в ​​частотной области. По этой причине область определения функции обычно ограничивается (обратите внимание, что интервал открыт с одной стороны). ${\displaystyle S}$ ${\displaystyle [-\pi ,\pi ]}$

Приложение

Теорема полезна для анализа линейных систем с постоянной скоростью (LTI-систем), когда входы и выходы не являются квадратично интегрируемыми, поэтому их преобразования Фурье не существуют. Следствием является то, что преобразование Фурье автокорреляционной функции выхода LTI-системы равно произведению преобразования Фурье автокорреляционной функции входа системы на квадрат величины преобразования Фурье импульсного отклика системы. ^[16] Это работает даже тогда, когда преобразования Фурье входных и выходных сигналов не существуют, поскольку эти сигналы не являются квадратично интегрируемыми, поэтому входы и выходы системы не могут быть напрямую связаны преобразованием Фурье импульсного отклика.

Поскольку преобразование Фурье автокорреляционной функции сигнала представляет собой спектр мощности сигнала, это следствие эквивалентно утверждению, что спектр мощности выходного сигнала равен спектру мощности входного сигнала, умноженному на функцию передачи энергии .

Это следствие используется в параметрическом методе оценки спектра мощности.

Расхождения в терминологии

Во многих учебниках и во многих технических работах молчаливо предполагается, что инверсия Фурье автокорреляционной функции и спектральной плотности мощности справедлива, а теорема Винера–Хинчина формулируется очень просто, как если бы она гласила, что преобразование Фурье автокорреляционной функции равно спектральной плотности мощности , игнорируя все вопросы сходимости ^[17] (аналогично статье Эйнштейна ^[11] ). Но теорема (как она сформулирована здесь) была применена Норбертом Винером и Александром Хинчиным к выборочным функциям (сигналам) стационарных в широком смысле случайных процессов , сигналов, преобразований Фурье которых не существует. Вклад Винера состоял в том, чтобы придать смысл спектральному разложению автокорреляционной функции выборочной функции стационарного в широком смысле случайного процесса, даже когда интегралы для преобразования Фурье и инверсии Фурье не имеют смысла.

Еще больше усложняет проблему то, что дискретное преобразование Фурье всегда существует для цифровых последовательностей конечной длины, что означает, что теорему можно слепо применять для вычисления автокорреляций числовых последовательностей. Как упоминалось ранее, отношение этих дискретных выборочных данных к математической модели часто вводит в заблуждение, и связанные с этим ошибки могут проявляться как расхождение при изменении длины последовательности.

Некоторые авторы называют это функцией автоковариации. Затем они нормализуют ее, разделив на , чтобы получить то, что они называют функцией автокорреляции. ${\displaystyle R}$ ${\displaystyle R(0)}$

Ссылки

1. C. Chatfield (1989). Анализ временных рядов — Введение (четвертое издание). Chapman and Hall, Лондон. стр. 94–95. ISBN 0-412-31820-2.
2. Норберт Винер (1964). Временной ряд . MIT Press, Кембридж, Массачусетс. п. 42.
3. Ханнан, Э. Дж., «Стационарные временные ряды», в: Джон Итвелл, Мюррей Милгейт и Питер Ньюман, редакторы, The New Palgrave: A Dictionary of Economics. Временные ряды и статистика , Macmillan, Лондон, 1990, стр. 271.
4. Деннис Уорд Рикер (2003). Обработка эхо-сигнала. Springer. ISBN 1-4020-7395-X.
5. Леон В. Коуч II (2001). Цифровые и аналоговые системы связи (шестое изд.). Prentice Hall, Нью-Джерси. С. 406–409. ISBN 0-13-522583-3.
6. Кшиштоф Иневски (2007). Беспроводные технологии: схемы, системы и устройства. CRC Press. ISBN 978-0-8493-7996-3.
7. Джозеф В. Гудман (1985). Статистическая оптика . Wiley-Interscience. ISBN 0-471-01502-4.
8. Винер, Норберт (1930). «Обобщенный гармонический анализ». Acta Mathematica . 55 : 117–258. doi : 10.1007/bf02546511 .
9. DC Champeney (1987). "Спектры мощности и теоремы Винера". Справочник по теоремам Фурье . Cambridge University Press. стр. 102. ISBN 9780521265034. Основная теория Винера «обобщенного гармонического анализа» никоим образом не является вероятностной, и теоремы применяются к отдельным хорошо определенным функциям, а не к ансамблям функций [...] Дальнейшее развитие этих идей происходит в работах А. И. Хинчина (1894–1959) о стационарных случайных процессах (или стохастических процессах) [...] в контекстах, в которых не важно различать два подхода, теория часто упоминается как теория Винера—Хинчина.
10. Хинчин, Александр (1934). «Теория корреляции стационарных стохастических процессов». Математические Аннален . 109 (1): 604–615. дои : 10.1007/BF01449156. S2CID  122842868.
11. Эйнштейн, Альберт (1914). «Метод определения статистических значений наблюдений, касающихся величия, сумасшествия и нерегулярных колебаний». Архивы наук . 37 : 254–256. Бибкод : 1914ArS....37..254E.
12. Джерисон, Дэвид; Сингер, Изадор Мануэль; Струк, Дэниел В. (1997). Наследие Норберта Винера: Столетний симпозиум (Труды симпозиумов по чистой математике) . Американское математическое общество. стр. 95. ISBN 0-8218-0415-4.
13. Ханнан, Э.Дж. (1990). "Стационарные временные ряды". В Итвелл, Джон; Милгейт, Мюррей; Ньюман, Питер (ред.). Новый Палгрейв: Словарь экономики. Временные ряды и статистика . Лондон: Macmillan. стр. 271. ISBN 9781349208654.
14. Чатфилд, К. (1989). Анализ временных рядов — Введение (четвертое издание). Лондон: Chapman and Hall. стр. 96. ISBN 0-412-31820-2.
15. Champeney, DC (1987). Справочник по теоремам Фурье. Cambridge Univ. Press. С. 20–22. ISBN 9780521366885.
16. Шломо Энгельберг (2007). Случайные сигналы и шум: математическое введение. CRC Press. стр. 130. ISBN 978-0-8493-7554-5.
17. C. Chatfield (1989). Анализ временных рядов — Введение (четвертое издание). Chapman and Hall, Лондон. стр. 98. ISBN 0-412-31820-2.

Дальнейшее чтение

• Броквелл, Питер А.; Дэвис, Ричард Дж. (2002). Введение во временные ряды и прогнозирование (второе издание). Нью-Йорк: Springer-Verlag. ISBN 038721657X.
• Чатфилд, К. (1989). Анализ временных рядов — Введение (четвертое издание). Лондон: Chapman and Hall. ISBN 0412318202.
• Фуллер, Уэйн (1996). Введение в статистические временные ряды . Ряды Уайли в теории вероятностей и статистике (второе изд.). Нью-Йорк: Уайли. ISBN 0471552399.
• Винер, Норберт (1949). «Экстраполяция, интерполяция и сглаживание стационарных временных рядов» (документ). Кембридж, Массачусетс: Technology Press и Johns Hopkins Univ. Press.(секретный документ, написанный для военного министерства в 1943 году).
• Яглом, А. М. (1962). Введение в теорию стационарных случайных функций . Энглвуд Клиффс, Нью-Джерси: Prentice–Hall.