Стационарный процесс

Тип случайного процесса

В математике и статистике стационарный процесс (или строгий/строго стационарный процесс или сильный/строго стационарный процесс ) — это случайный процесс , безусловное совместное распределение вероятностей которого не меняется при сдвиге во времени. ^[1] Следовательно, такие параметры, как среднее значение и дисперсия , также не меняются со временем. Если провести линию через середину стационарного процесса, то она должна быть плоской; у него могут быть «сезонные» циклы вокруг линии тренда, но в целом он не имеет тенденции ни вверх, ни вниз.

Поскольку стационарность является допущением, лежащим в основе многих статистических процедур, используемых при анализе временных рядов , нестационарные данные часто преобразуются в стационарные. Наиболее распространенной причиной нарушения стационарности является тенденция среднего значения, которая может быть связана либо с наличием единичного корня , либо с детерминированной тенденцией. В первом случае единичного корня стохастические потрясения имеют постоянный эффект, и этот процесс не является возвратом к среднему значению . В последнем случае детерминистической тенденции процесс называется тренд-стационарным процессом , и стохастические потрясения имеют только временные эффекты, после которых переменная стремится к детерминированно развивающемуся (непостоянному) среднему значению.

Стационарный процесс с трендом не является строго стационарным, но его можно легко преобразовать в стационарный процесс, удалив основной тренд, который является исключительно функцией времени. Точно так же процессы с одним или несколькими единичными корнями можно сделать стационарными путем дифференцирования. Важным типом нестационарного процесса, который не включает в себя трендоподобное поведение, является циклостационарный процесс , который представляет собой стохастический процесс, циклически изменяющийся во времени.

Для многих приложений строгая стационарность является слишком ограничительной. Затем используются другие формы стационарности, такие как стационарность в широком смысле или стационарность N -го порядка . Определения различных видов стационарности у разных авторов неодинаковы (см. Другая терминология).

Строгая стационарность

Определение

Формально, пусть это случайный процесс и пусть представляет собой кумулятивную функцию распределения безусловного (т . е. без привязки к какому-либо конкретному начальному значению) совместного распределения в моменты времени . Тогда называется строго стационарным , сильно стационарным или стационарным в строгом смысле, если ^{[2] : с. 155} ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle F_{X}(x_{t_{1}+\tau },\ldots ,x_{t_{n}+\tau })}$ ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle t_{1}+\tau ,\ldots ,t_{n}+\tau }$ ${\displaystyle \left\{X_{t}\right\}}$

Т.к. не влияет , не зависит от времени. ${\displaystyle \tau }$ ${\displaystyle F_{X}(\cdot )}$ ${\displaystyle F_{X}}$

Примеры

Выше показаны два смоделированных процесса временных рядов: один стационарный, а другой нестационарный. Для каждого процесса сообщается расширенная статистика теста Дики-Фуллера (ADF) ; нестационарность не может быть отвергнута для второго процесса при уровне значимости 5% .

Белый шум — простейший пример стационарного процесса.

Примером стационарного процесса с дискретным временем , в котором выборочное пространство также дискретно (так что случайная величина может принимать одно из N возможных значений), является схема Бернулли . Другие примеры стационарного процесса с дискретным временем и непрерывным пространством выборки включают некоторые процессы авторегрессии и скользящего среднего , которые оба являются подмножествами модели авторегрессионного скользящего среднего . Модели с нетривиальным компонентом авторегрессии могут быть стационарными или нестационарными, в зависимости от значений параметров, а важными нестационарными особыми случаями являются случаи, когда в модели существуют единичные корни .

Пример 1

Пусть будет любой скалярной случайной величиной и определим временной ряд по формуле ${\displaystyle Y}$ ${\displaystyle \left\{X_{t}\right\}}$

${\displaystyle X_{t}=Y\qquad {\text{ for all }}t.}$

Тогда это стационарный временной ряд, для которого реализации состоят из ряда постоянных значений с разными постоянными значениями для каждой реализации. Закон больших чисел в этом случае не применяется, поскольку предельное значение среднего значения для одной реализации принимает случайное значение, определяемое , а не ожидаемое значение . ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle Y}$ ${\displaystyle Y}$

Среднее по времени не сходится, поскольку процесс не является эргодическим . ${\displaystyle X_{t}}$

Пример 2

В качестве еще одного примера стационарного процесса, для которого любая отдельная реализация имеет очевидно свободную от шума структуру, пусть будет равномерное распределение и определим временной ряд как ${\displaystyle Y}$ ${\displaystyle [0,2\pi ]}$ ${\displaystyle \left\{X_{t}\right\}}$

${\displaystyle X_{t}=\cos(t+Y)\quad {\text{ for }}t\in \mathbb {R} .}$

Тогда является строго стационарным, поскольку ( по модулю ) следует тому же равномерному распределению, что и для любого . ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle (t+Y)}$ ${\displaystyle 2\pi }$ ${\displaystyle Y}$ ${\displaystyle t}$

Пример 3

Имейте в виду, что слабо белый шум не обязательно является строго стационарным. Пусть – случайная величина, равномерно распределенная на интервале, и определим временной ряд ${\displaystyle \omega }$ ${\displaystyle (0,2\pi )}$ ${\displaystyle \left\{z_{t}\right\}}$

${\displaystyle z_{t}=\cos(t\omega )\quad (t=1,2,...)}$

Затем

${\displaystyle {\begin{aligned}\mathbb {E} (z_{t})&={\frac {1}{2\pi }}\int _{0}^{2\pi }\cos(t\omega )\,d\omega =0,\\\operatorname {Var} (z_{t})&={\frac {1}{2\pi }}\int _{0}^{2\pi }\cos ^{2}(t\omega )\,d\omega =1/2,\\\operatorname {Cov} (z_{t},z_{j})&={\frac {1}{2\pi }}\int _{0}^{2\pi }\cos(t\omega )\cos(j\omega )\,d\omega =0\quad \forall t\neq j.\end{aligned}}}$

То же самое относится и к белому шуму в слабом смысле (среднее значение и перекрестная ковариация равны нулю, а дисперсии одинаковы), однако он не является строго стационарным. ${\displaystyle \{z_{t}\}}$

Стационарность N -го порядка

В уравнении 1 распределение выборок случайного процесса должно быть равно распределению сдвинутых во времени выборок для всех . Стационарность N -го порядка — это более слабая форма стационарности, когда она требуется только для всех до определенного порядка . Случайный процесс называется стационарным N -го порядка, если: ^{[2] : p. 152} ${\displaystyle n}$ ${\displaystyle n}$ ${\displaystyle n}$ ${\displaystyle N}$ ${\displaystyle \left\{X_{t}\right\}}$

Слабая или расширенная стационарность

Определение

Более слабая форма стационарности, обычно используемая при обработке сигналов , известна как стационарность со слабым смыслом , стационарность с широким смыслом (WSS) или ковариационная стационарность . Случайные процессы WSS требуют только того, чтобы 1-й момент (т. е. среднее значение) и автоковариация не менялись во времени, а 2-й момент был конечен во все времена. Любой строго стационарный процесс, имеющий конечное среднее и ковариацию, также является WSS. ^{[3] : с. 299}

Итак, случайный процесс с непрерывным временем , который является WSS, имеет следующие ограничения на свою среднюю функцию и функцию автоковариации : ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle m_{X}(t)\triangleq \operatorname {E} [X_{t}]}$ ${\displaystyle K_{XX}(t_{1},t_{2})\triangleq \operatorname {E} [(X_{t_{1}}-m_{X}(t_{1}))(X_{t_{2}}-m_{X}(t_{2}))]}$

Первое свойство подразумевает, что средняя функция должна быть постоянной. Второе свойство подразумевает, что функция автоковариации зависит только от разницы между и и должна индексироваться только одной переменной, а не двумя переменными. ^{[2] : с. 159} Таким образом, вместо того, чтобы писать, ${\displaystyle m_{X}(t)}$ ${\displaystyle t_{1}}$ ${\displaystyle t_{2}}$

${\displaystyle \,\!K_{XX}(t_{1}-t_{2},0)\,}$

обозначения часто сокращаются заменой : ${\displaystyle \tau =t_{1}-t_{2}}$

${\displaystyle K_{XX}(\tau )\triangleq K_{XX}(t_{1}-t_{2},0)}$

Это также означает, что автокорреляция зависит только от , т.е. ${\displaystyle \tau =t_{1}-t_{2}}$

${\displaystyle \,\!R_{X}(t_{1},t_{2})=R_{X}(t_{1}-t_{2},0)\triangleq R_{X}(\tau ).}$

Третье свойство гласит, что вторые моменты должны быть конечны в любое время . ${\displaystyle t}$

Мотивация

Основное преимущество стационарности в широком смысле состоит в том, что она помещает временной ряд в контекст гильбертовых пространств . Пусть H будет гильбертовым пространством, порожденным { x ( t )} (то есть замыканием множества всех линейных комбинаций этих случайных величин в гильбертовом пространстве всех интегрируемых с квадратом случайных величин в данном вероятностном пространстве). Ввиду положительной определенности функции автоковариации из теоремы Бохнера следует , что существует положительная мера на вещественной прямой такая, что H изоморфно гильбертовому подпространству L ² ( µ ), порожденному { e ^{−2 π iξ⋅t} } . Тогда это дает следующее разложение типа Фурье для стационарного случайного процесса с непрерывным временем: существует стохастический процесс с ортогональными приращениями такой, что для всех ${\displaystyle \mu }$ ${\displaystyle \omega _{\xi }}$ ${\displaystyle t}$

${\displaystyle X_{t}=\int e^{-2\pi i\lambda \cdot t}\,d\omega _{\lambda },}$

где интеграл в правой части интерпретируется в подходящем (римановом) смысле. Тот же результат верен и для стационарного процесса с дискретным временем, где спектральная мера теперь определена на единичной окружности.

При обработке случайных сигналов WSS с помощью линейных , неизменяемых во времени ( LTI ) фильтров полезно думать о корреляционной функции как о линейном операторе . Поскольку это циркулянтный оператор (зависит только от разницы между двумя аргументами), его собственными функциями являются комплексные экспоненты Фурье . Кроме того, поскольку собственные функции операторов LTI также являются комплексными экспонентами , обработка LTI случайных сигналов WSS очень удобна — все вычисления могут выполняться в частотной области . Таким образом, предположение WSS широко используется в алгоритмах обработки сигналов .

Определение сложного случайного процесса

В случае, когда это сложный случайный процесс, функция автоковариации определяется как и, в дополнение к требованиям в уравнении 3 , требуется, чтобы функция псевдоавтоковариации зависела только от временной задержки. В формулах – WSS, если ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle K_{XX}(t_{1},t_{2})=\operatorname {E} [(X_{t_{1}}-m_{X}(t_{1})){\overline {(X_{t_{2}}-m_{X}(t_{2}))}}]}$ ${\displaystyle J_{XX}(t_{1},t_{2})=\operatorname {E} [(X_{t_{1}}-m_{X}(t_{1}))(X_{t_{2}}-m_{X}(t_{2}))]}$ ${\displaystyle \left\{X_{t}\right\}}$

Совместная стационарность

Понятие стационарности можно распространить на два случайных процесса.

Совместная строгая стационарность

Два случайных процесса и называются совместно стационарными в строгом смысле, если их совместное кумулятивное распределение остается неизменным при сдвигах во времени, т. е. если ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle \left\{Y_{t}\right\}}$ ${\displaystyle F_{XY}(x_{t_{1}},\ldots ,x_{t_{m}},y_{t_{1}^{'}},\ldots ,y_{t_{n}^{'}})}$

Совместная ( M + N )-го порядка стационарность

Два случайных процесса и называются совместно стационарными ( M  +  N )-го порядка, если: ^{[2] : p. 159} ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle \left\{Y_{t}\right\}}$

Слабая или расширенная стационарность суставов

Два случайных процесса и называются совместно стационарными в широком смысле, если они оба стационарны в широком смысле и их функция перекрестной ковариации зависит только от разницы во времени . Это можно резюмировать следующим образом: ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle \left\{Y_{t}\right\}}$ ${\displaystyle K_{XY}(t_{1},t_{2})=\operatorname {E} [(X_{t_{1}}-m_{X}(t_{1}))(Y_{t_{2}}-m_{Y}(t_{2}))]}$ ${\displaystyle \tau =t_{1}-t_{2}}$

Связь между типами стационарности

• Если случайный процесс стационарен N -го порядка, то он также стационарен М -го порядка для всех . ${\displaystyle M\leq N}$
• Если случайный процесс является стационарным второго порядка ( ) и имеет конечные вторые моменты, то он также является стационарным в широком смысле. ^{[2] : с. 159} ${\displaystyle N=2}$
• Если случайный процесс является стационарным в широком смысле, он не обязательно является стационарным второго порядка. ^{[2] : с. 159}
• Если случайный процесс стационарен в строгом смысле и имеет конечные вторые моменты, он стационарен в широком смысле. ^{[3] : с. 299}
• Если два случайных процесса совместно являются стационарными ( M  +  N )-го порядка, это не гарантирует, что отдельные процессы являются стационарными M -го или N -го порядка. ^{[2] : с. 159}

Другая терминология

Терминология, используемая для типов стационарности, отличных от строгой стационарности, может быть весьма неоднозначной. Ниже приведены некоторые примеры.

• Пристли использует стационарность до порядка m, если условия, аналогичные приведенным здесь для стационарности в широком смысле, применимы к моментам до порядка m . ^{[4] [5]} Таким образом, стационарность в широком смысле будет эквивалентна «стационарности порядка 2», что отличается от определения стационарности второго порядка, данного здесь.
• Хонарка и Каерс также используют предположение о стационарности в контексте многоточечной геостатистики, где статистика из более высоких n точек считается стационарной в пространственной области. ^[6]
• Тахмасеби и Сахими представили адаптивную методологию, основанную на Шенноне, которую можно использовать для моделирования любых нестационарных систем. ^[7]

Различие

Один из способов сделать некоторые временные ряды стационарными — вычислить различия между последовательными наблюдениями. Это известно как дифференцирование . Дифференцирование может помочь стабилизировать среднее значение временного ряда, устраняя изменения на уровне временного ряда и, таким образом, устраняя тенденции. Это также может устранить сезонность, если различия принимаются соответствующим образом (например, разность наблюдений с интервалом в 1 год для удаления первого года).

Преобразования, такие как логарифмы, могут помочь стабилизировать дисперсию временного ряда.

Одним из способов выявления нестационарных временных рядов является график АКФ . Иногда закономерности будут более заметны на графике АКФ, чем в исходном временном ряду; Тем не менее, это не всегда так. ^[8]

Другой подход к выявлению нестационарности — рассмотреть преобразование Лапласа ряда, которое выявляет как экспоненциальные тенденции, так и синусоидальную сезонность (сложные экспоненциальные тенденции). Также могут быть полезны родственные методы анализа сигналов , такие как вейвлет-преобразование и преобразование Фурье .

Смотрите также

• Процесс Леви
• Стационарный эргодический процесс
• Теорема Винера – Хинчина
• Эргодичность
• Статистическая закономерность
• Автокорреляция
• Вероятность Уиттла

Рекомендации

1. Ганюк, Пол А. (2017). Цепи Маркова: от теории к реализации и экспериментам . США, Нью-Джерси: Джон Уайли и сыновья. стр. 1–256. ISBN 978-1-119-38755-8.
2. Парк, Кун Иль (2018). Основы теории вероятности и случайных процессов с приложениями к средствам связи . Спрингер. ISBN 978-3-319-68074-3.
3. Ионут Флореску (7 ноября 2014 г.). Вероятность и случайные процессы . Джон Уайли и сыновья. ISBN 978-1-118-59320-2.
4. Пристли, МБ (1981). Спектральный анализ и временные ряды . Академическая пресса. ISBN 0-12-564922-3.
5. Пристли, МБ (1988). Нелинейный и нестационарный анализ временных рядов . Академическая пресса. ISBN 0-12-564911-8.
6. Хонарха, М.; Каерс, Дж. (2010). «Стохастическое моделирование закономерностей с использованием дистанционного моделирования закономерностей». Математические науки о Земле . 42 (5): 487–517. doi : 10.1007/s11004-010-9276-7.
7. Тахмасеби, П.; Сахими, М. (2015). «Реконструкция нестационарных неупорядоченных материалов и сред: водораздельное преобразование и функция взаимной корреляции» (PDF) . Физический обзор E . 91 (3): 032401. doi : 10.1103/PhysRevE.91.032401 . ПМИД  25871117.
8. «8.1 Стационарность и дифференцирование | OTexts» . www.otexts.org . Проверено 18 мая 2016 г.

дальнейшее чтение

• Эндерс, Уолтер (2010). Прикладные эконометрические временные ряды (Третье изд.). Нью-Йорк: Уайли. стр. 53–57. ISBN 978-0-470-50539-7.
• Естрович И.; Койл, Дж.Л.; Сейдич, Э (2015). «Влияние повышенной вязкости жидкости на стационарные характеристики сигнала ЭЭГ у здоровых взрослых». Исследования мозга . 1589 : 45–53. doi :10.1016/j.brainres.2014.09.035. ПМЦ  4253861 . ПМИД  25245522.
• Гайндман, Атанасопулос (2013). Прогнозирование: принципы и практика. Оттексты. https://www.otexts.org/fpp/8/1

Внешние ссылки

• Спектральное разложение случайной функции (Спрингер)