Авторегрессионная модель

Представление типа случайного процесса

В статистике, эконометрике и обработке сигналов модель авторегрессии ( AR ) является представлением типа случайного процесса; как таковая, она может использоваться для описания определенных изменяющихся во времени процессов в природе, экономике, поведении и т. д. Модель авторегрессии определяет, что выходная переменная линейно зависит от своих собственных предыдущих значений и от стохастического члена (несовершенно предсказуемого члена); таким образом, модель имеет форму стохастического разностного уравнения (или рекуррентного соотношения), которое не следует путать с дифференциальным уравнением . Вместе с моделью скользящего среднего (MA) она является особым случаем и ключевым компонентом более общих моделей авторегрессии–скользящего среднего (ARMA) и авторегрессии интегрированного скользящего среднего (ARIMA) временных рядов, которые имеют более сложную стохастическую структуру; она также является особым случаем векторной модели авторегрессии (VAR), которая состоит из системы из более чем одного взаимосвязанного стохастического разностного уравнения в более чем одной развивающейся случайной величине.

В отличие от модели скользящего среднего (MA), модель авторегрессии не всегда стационарна, поскольку может содержать единичный корень.

Большие языковые модели называются авторегрессионными, но они не являются классической авторегрессионной моделью в этом смысле, поскольку они нелинейны.

Определение

Обозначение указывает на авторегрессионную модель порядка p . Модель AR( p ) определяется как ${\displaystyle AR(p)}$

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}}$

где — параметры модели, а — белый шум . ^{[1] [2]} Это можно эквивалентно записать с использованием оператора обратного сдвига B как ${\displaystyle \varphi _{1},\ldots ,\varphi _{p}}$ ${\displaystyle \varepsilon _{t}}$

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}B^{i}X_{t}+\varepsilon _{t}}$

так что, перенеся член суммы в левую сторону и используя полиномиальную запись , мы имеем

${\displaystyle \phi [B]X_{t}=\varepsilon _{t}}$

Таким образом, авторегрессионную модель можно рассматривать как выходной сигнал фильтра с бесконечной импульсной характеристикой , входным сигналом которого является белый шум.

Некоторые ограничения параметров необходимы для того, чтобы модель оставалась стационарной в слабом смысле . Например, процессы в модели AR(1) с не являются стационарными. В более общем смысле, для того, чтобы модель AR( p ) была стационарной в слабом смысле, корни многочлена должны лежать вне единичной окружности , т. е. каждый (комплексный) корень должен удовлетворять (см. страницы 89,92 ^[3] ). ${\displaystyle |\varphi _{1}|\geq 1}$ ${\displaystyle \Phi (z):=\textstyle 1-\sum _{i=1}^{p}\varphi _{i}z^{i}}$ ${\displaystyle z_{i}}$ ${\displaystyle |z_{i}|>1}$

Межвременной эффект шоков

В процессе AR одноразовый шок влияет на значения эволюционирующей переменной бесконечно далеко в будущем. Например, рассмотрим модель AR(1) . Ненулевое значение для, скажем, в момент времени t =1 влияет на величину . Тогда по уравнению AR для в терминах , это влияет на величину . Тогда по уравнению AR для в терминах , это влияет на величину . Продолжение этого процесса показывает, что эффект никогда не заканчивается, хотя если процесс стационарен , то эффект уменьшается до нуля в пределе. ${\displaystyle X_{t}=\varphi _{1}X_{t-1}+\varepsilon _{t}}$ ${\displaystyle \varepsilon _{t}}$ ${\displaystyle X_{1}}$ ${\displaystyle \varepsilon _{1}}$ ${\displaystyle X_{2}}$ ${\displaystyle X_{1}}$ ${\displaystyle X_{2}}$ ${\displaystyle \varphi _{1}\varepsilon _{1}}$ ${\displaystyle X_{3}}$ ${\displaystyle X_{2}}$ ${\displaystyle X_{3}}$ ${\displaystyle \varphi _{1}^{2}\varepsilon _{1}}$ ${\displaystyle \varepsilon _{1}}$

Поскольку каждый шок влияет на значения X бесконечно далеко в будущем от момента их возникновения, любое заданное значение X _t подвержено влиянию шоков, происходящих бесконечно далеко в прошлом. Это также можно увидеть, переписав авторегрессию

${\displaystyle \phi (B)X_{t}=\varepsilon _{t}\,}$

(где постоянный член был подавлен путем предположения, что переменная измерялась как отклонения от ее среднего значения) как

${\displaystyle X_{t}={\frac {1}{\phi (B)}}\varepsilon _{t}\,.}$

При выполнении деления полиномов в правой части полином в операторе обратного сдвига, применяемом к , имеет бесконечный порядок, то есть в правой части уравнения появляется бесконечное число запаздывающих значений . ${\displaystyle \varepsilon _{t}}$ ${\displaystyle \varepsilon _{t}}$

Характеристический многочлен

Автокорреляционная функция процесса AR( p ) может быть выражена как ^{[ необходимая ссылка ]}

${\displaystyle \rho (\tau )=\sum _{k=1}^{p}a_{k}y_{k}^{-|\tau |},}$

где находятся корни многочлена ${\displaystyle y_{k}}$

${\displaystyle \phi (B)=1-\sum _{k=1}^{p}\varphi _{k}B^{k}}$

где B — оператор обратного сдвига , где — функция, определяющая авторегрессию, а где — коэффициенты в авторегрессии. Формула верна только в том случае, если все корни имеют кратность 1. ^{[ необходима цитата ]} ${\displaystyle \phi (\cdot )}$ ${\displaystyle \varphi _{k}}$

Автокорреляционная функция процесса AR( p ) представляет собой сумму затухающих экспонент.

• Каждый действительный корень вносит компонент в функцию автокорреляции, который убывает экспоненциально.
• Аналогично, каждая пара комплексно-сопряженных корней вносит вклад в экспоненциально затухающие колебания.

Графики AR(п) процессы

AR(0); AR(1) с параметром AR 0,3; AR(1) с параметром AR 0,9; AR(2) с параметрами AR 0,3 и 0,3; и AR(2) с параметрами AR 0,9 и −0,8

Простейшим процессом AR является AR(0), в котором нет зависимости между членами. Только член ошибки/инновации/шума вносит вклад в выход процесса, поэтому на рисунке AR(0) соответствует белому шуму.

Для процесса AR(1) с положительным только предыдущий член в процессе и шумовой член вносят вклад в выход. Если близко к 0, то процесс по-прежнему выглядит как белый шум, но по мере приближения к 1 выход получает больший вклад от предыдущего члена относительно шума. Это приводит к «сглаживанию» или интеграции выходного сигнала, аналогично фильтру нижних частот . ${\displaystyle \varphi }$ ${\displaystyle \varphi }$ ${\displaystyle \varphi }$

Для процесса AR(2) предыдущие два члена и шумовой член вносят вклад в выход. Если оба и положительны, выход будет напоминать фильтр нижних частот, при этом высокочастотная часть шума уменьшена. Если положительно, а отрицательно, то процесс благоприятствует изменению знака между членами процесса. Выход колеблется. Это можно сравнить с обнаружением края или обнаружением изменения направления. ${\displaystyle \varphi _{1}}$ ${\displaystyle \varphi _{2}}$ ${\displaystyle \varphi _{1}}$ ${\displaystyle \varphi _{2}}$

Пример: процесс AR(1)

Процесс AR(1) задается как: где — процесс белого шума с нулевым средним значением и постоянной дисперсией . (Примечание: нижний индекс был опущен.) Процесс является стационарным в слабом смысле , если , поскольку он получен как выход стабильного фильтра, входом которого является белый шум. (Если , то дисперсия зависит от временного лага t, так что дисперсия ряда расходится к бесконечности, когда t стремится к бесконечности, и, следовательно, не является стационарным в слабом смысле.) Предполагая , что среднее значение одинаково для всех значений t по самому определению стационарности в слабом смысле. Если среднее значение обозначается как , то из этого следует , и, следовательно, $${\displaystyle X_{t}=\varphi X_{t-1}+\varepsilon _{t}\,}$$ ${\displaystyle \varepsilon _{t}}$ ${\displaystyle \sigma _{\varepsilon }^{2}}$ ${\displaystyle \varphi _{1}}$ ${\displaystyle |\varphi |<1}$ ${\displaystyle \varphi =1}$ ${\displaystyle X_{t}}$ ${\displaystyle |\varphi |<1}$ ${\displaystyle \operatorname {E} (X_{t})}$ ${\displaystyle \mu }$ $${\displaystyle \operatorname {E} (X_{t})=\varphi \operatorname {E} (X_{t-1})+\operatorname {E} (\varepsilon _{t}),}$$ $${\displaystyle \mu =\varphi \mu +0,}$$

${\displaystyle \mu =0.}$

Дисперсия равна ​

${\displaystyle {\textrm {var}}(X_{t})=\operatorname {E} (X_{t}^{2})-\mu ^{2}={\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}},}$

где — стандартное отклонение . Это можно показать, заметив, что ${\displaystyle \sigma _{\varepsilon }}$ ${\displaystyle \varepsilon _{t}}$

${\displaystyle {\textrm {var}}(X_{t})=\varphi ^{2}{\textrm {var}}(X_{t-1})+\sigma _{\varepsilon }^{2},}$

и затем замечаем, что указанная выше величина является устойчивой неподвижной точкой этого отношения.

Автоковариация определяется как

${\displaystyle B_{n}=\operatorname {E} (X_{t+n}X_{t})-\mu ^{2}={\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}}\,\,\varphi ^{|n|}.}$

Видно, что автоковариационная функция затухает со временем затухания (также называемым постоянной времени ) . ^[4] ${\displaystyle \tau =1-\varphi }$

Спектральная плотность функции — это преобразование Фурье автоковариационной функции. В дискретных терминах это будет дискретно-временное преобразование Фурье:

${\displaystyle \Phi (\omega )={\frac {1}{\sqrt {2\pi }}}\,\sum _{n=-\infty }^{\infty }B_{n}e^{-i\omega n}={\frac {1}{\sqrt {2\pi }}}\,\left({\frac {\sigma _{\varepsilon }^{2}}{1+\varphi ^{2}-2\varphi \cos(\omega )}}\right).}$

Это выражение является периодическим из-за дискретной природы , что проявляется как косинусный член в знаменателе. Если мы предположим, что время выборки ( ) намного меньше времени затухания ( ), то мы можем использовать континуальное приближение для : ${\displaystyle X_{j}}$ ${\displaystyle \Delta t=1}$ ${\displaystyle \tau }$ ${\displaystyle B_{n}}$

${\displaystyle B(t)\approx {\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}}\,\,\varphi ^{|t|}}$

что дает лоренцев профиль для спектральной плотности:

${\displaystyle \Phi (\omega )={\frac {1}{\sqrt {2\pi }}}\,{\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}}\,{\frac {\gamma }{\pi (\gamma ^{2}+\omega ^{2})}}}$

где — угловая частота, связанная со временем затухания . ${\displaystyle \gamma =1/\tau }$ ${\displaystyle \tau }$

Альтернативное выражение для можно получить, сначала подставив в определяющее уравнение. Продолжая этот процесс N раз, получаем ${\displaystyle X_{t}}$ ${\displaystyle \varphi X_{t-2}+\varepsilon _{t-1}}$ ${\displaystyle X_{t-1}}$

${\displaystyle X_{t}=\varphi ^{N}X_{t-N}+\sum _{k=0}^{N-1}\varphi ^{k}\varepsilon _{t-k}.}$

При N, стремящемся к бесконечности, будет стремиться к нулю и: ${\displaystyle \varphi ^{N}}$

${\displaystyle X_{t}=\sum _{k=0}^{\infty }\varphi ^{k}\varepsilon _{t-k}.}$

Видно, что — это белый шум, свернутый с ядром плюс постоянное среднее значение. Если белый шум — это гауссовский процесс , то — также гауссовский процесс. В других случаях центральная предельная теорема указывает, что будет приблизительно нормально распределен, когда близок к единице. ${\displaystyle X_{t}}$ ${\displaystyle \varphi ^{k}}$ ${\displaystyle \varepsilon _{t}}$ ${\displaystyle X_{t}}$ ${\displaystyle X_{t}}$ ${\displaystyle \varphi }$

Для процесс будет геометрической прогрессией ( экспоненциальный рост или затухание). В этом случае решение можно найти аналитически: где — неизвестная константа ( начальное условие ). ${\displaystyle \varepsilon _{t}=0}$ ${\displaystyle X_{t}=\varphi X_{t-1}}$ ${\displaystyle X_{t}=a\varphi ^{t}}$ ${\displaystyle a}$

Явная форма среднего/разности процесса AR(1)

Модель AR(1) является дискретно-временным аналогом непрерывного процесса Орнштейна-Уленбека . Поэтому иногда полезно понимать свойства модели AR(1), представленной в эквивалентной форме. В этой форме модель AR(1) с параметром процесса задается как ${\displaystyle \theta \in \mathbb {R} }$

${\displaystyle X_{t+1}=X_{t}+(1-\theta )(\mu -X_{t})+\varepsilon _{t+1}}$, где , — среднее значение модели, а — процесс белого шума с нулевым средним значением и постоянной дисперсией . ${\displaystyle |\theta |<1\,}$ ${\displaystyle \mu :=E(X)}$ ${\displaystyle \{\epsilon _{t}\}}$ ${\displaystyle \sigma }$

Переписав это как и затем выведя (по индукции) , можно показать, что ${\displaystyle X_{t+1}=\theta X_{t}+(1-\theta )\mu +\varepsilon _{t+1}}$ ${\displaystyle X_{t+n}=\theta ^{n}X_{t}+(1-\theta ^{n})\mu +\Sigma _{i=1}^{n}\left(\theta ^{n-i}\epsilon _{t+i}\right)}$

${\displaystyle \operatorname {E} (X_{t+n}|X_{t})=\mu \left[1-\theta ^{n}\right]+X_{t}\theta ^{n}}$и

${\displaystyle \operatorname {Var} (X_{t+n}|X_{t})=\sigma ^{2}{\frac {1-\theta ^{2n}}{1-\theta ^{2}}}}$.

Выбор максимального лага

Частичная автокорреляция процесса AR(p) равна нулю при лагах, больших, чем p, поэтому соответствующим максимальным лагом p является тот, после которого все частичные автокорреляции равны нулю.

Расчет параметров АР

Существует много способов оценки коэффициентов, например, обычный метод наименьших квадратов или метод моментов (с помощью уравнений Юла–Уокера).

Модель AR( p ) задается уравнением

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}.\,}$

Он основан на параметрах , где i = 1, ..., p . Существует прямое соответствие между этими параметрами и функцией ковариации процесса, и это соответствие может быть инвертировано для определения параметров из функции автокорреляции (которая сама получается из ковариаций). Это делается с помощью уравнений Юла–Уокера. ${\displaystyle \varphi _{i}}$

Уравнения Юла–Уокера

Уравнения Юла–Уокера, названные в честь Удни Юла и Гилберта Уокера , ^{[5] [6]} представляют собой следующий набор уравнений. ^[7]

${\displaystyle \gamma _{m}=\sum _{k=1}^{p}\varphi _{k}\gamma _{m-k}+\sigma _{\varepsilon }^{2}\delta _{m,0},}$

где m  = 0, …,  p , что дает p  + 1 уравнений. Здесь — автоковариационная функция X _t , — стандартное отклонение входного шумового процесса, — дельта-функция Кронекера . ${\displaystyle \gamma _{m}}$ ${\displaystyle \sigma _{\varepsilon }}$ ${\displaystyle \delta _{m,0}}$

Поскольку последняя часть отдельного уравнения не равна нулю только при m  = 0 , систему уравнений можно решить, представив уравнения для m  > 0 в матричной форме, получив таким образом уравнение

${\displaystyle {\begin{bmatrix}\gamma _{1}\\\gamma _{2}\\\gamma _{3}\\\vdots \\\gamma _{p}\\\end{bmatrix}}={\begin{bmatrix}\gamma _{0}&\gamma _{-1}&\gamma _{-2}&\cdots \\\gamma _{1}&\gamma _{0}&\gamma _{-1}&\cdots \\\gamma _{2}&\gamma _{1}&\gamma _{0}&\cdots \\\vdots &\vdots &\vdots &\ddots \\\gamma _{p-1}&\gamma _{p-2}&\gamma _{p-3}&\cdots \\\end{bmatrix}}{\begin{bmatrix}\varphi _{1}\\\varphi _{2}\\\varphi _{3}\\\vdots \\\varphi _{p}\\\end{bmatrix}}}$

которое можно решить для всех Оставшееся уравнение для m = 0 имеет вид ${\displaystyle \{\varphi _{m};m=1,2,\dots ,p\}.}$

${\displaystyle \gamma _{0}=\sum _{k=1}^{p}\varphi _{k}\gamma _{-k}+\sigma _{\varepsilon }^{2},}$

которые, как только они известны, могут быть решены для ${\displaystyle \{\varphi _{m};m=1,2,\dots ,p\}}$ ${\displaystyle \sigma _{\varepsilon }^{2}.}$

Альтернативная формулировка в терминах функции автокорреляции . Параметры AR определяются первыми p +1 элементами функции автокорреляции. Затем полная функция автокорреляции может быть получена путем рекурсивного вычисления ^[8] ${\displaystyle \rho (\tau )}$

${\displaystyle \rho (\tau )=\sum _{k=1}^{p}\varphi _{k}\rho (k-\tau )}$

Примеры некоторых низкоуровневых AR( p ) процессов

• р =1
  • ${\displaystyle \gamma _{1}=\varphi _{1}\gamma _{0}}$
  • Следовательно ${\displaystyle \rho _{1}=\gamma _{1}/\gamma _{0}=\varphi _{1}}$
• р =2
  • Уравнения Юла–Уокера для процесса AR(2) имеют вид

    ${\displaystyle \gamma _{1}=\varphi _{1}\gamma _{0}+\varphi _{2}\gamma _{-1}}$

    ${\displaystyle \gamma _{2}=\varphi _{1}\gamma _{1}+\varphi _{2}\gamma _{0}}$

    • Помните, что ${\displaystyle \gamma _{-k}=\gamma _{k}}$
    • Используя первое уравнение, получаем ${\displaystyle \rho _{1}=\gamma _{1}/\gamma _{0}={\frac {\varphi _{1}}{1-\varphi _{2}}}}$
    • Использование формулы рекурсии дает ${\displaystyle \rho _{2}=\gamma _{2}/\gamma _{0}={\frac {\varphi _{1}^{2}-\varphi _{2}^{2}+\varphi _{2}}{1-\varphi _{2}}}}$

Оценка параметров АР

Приведенные выше уравнения (уравнения Юла–Уокера) предоставляют несколько путей оценки параметров модели AR( p ) путем замены теоретических ковариаций оценочными значениями. ^[9] Некоторые из этих вариантов можно описать следующим образом:

• Оценка автоковариаций или автокорреляций. Здесь каждый из этих членов оценивается отдельно, с использованием обычных оценок. Существуют различные способы сделать это, и выбор между ними влияет на свойства схемы оценки. Например, отрицательные оценки дисперсии могут быть получены некоторыми выборами.
• Формулировка как задача регрессии наименьших квадратов , в которой строится обычная задача прогнозирования наименьших квадратов, основанная на прогнозировании значений X _t на предыдущих значениях p того же ряда. Это можно рассматривать как схему прямого прогнозирования. Нормальные уравнения для этой задачи можно рассматривать как соответствующие приближению матричной формы уравнений Юла–Уокера, в которых каждое появление автоковариации того же лага заменяется немного другой оценкой.
• Формулировка как расширенная форма обычной задачи прогнозирования наименьших квадратов. Здесь два набора уравнений прогнозирования объединены в одну схему оценки и один набор нормальных уравнений. Один набор — это набор уравнений прямого прогнозирования, а другой — соответствующий набор уравнений обратного прогнозирования, относящийся к обратному представлению модели AR:

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}X_{t+i}+\varepsilon _{t}^{*}\,.}$

Здесь предсказанные значения X _t будут основаны на будущих значениях p того же ряда. ^{[ необходимо разъяснение ]} Этот способ оценки параметров AR принадлежит Джону Паркеру Бергу ^[10] и называется методом Берга: ^[11] Берг и более поздние авторы называли эти конкретные оценки «оценками максимальной энтропии», ^[12] но рассуждения, лежащие в основе этого, применимы к использованию любого набора оцененных параметров AR. По сравнению со схемой оценки, использующей только уравнения прямого прогнозирования, производятся другие оценки автоковариаций, и оценки имеют другие свойства стабильности. Оценки Берга особенно связаны с оценкой максимальной энтропии спектра . ^[13]

Другие возможные подходы к оценке включают оценку максимального правдоподобия . Доступны два различных варианта максимального правдоподобия: в одном (в целом эквивалентном схеме наименьших квадратов прямого прогнозирования) рассматриваемая функция правдоподобия соответствует условному распределению более поздних значений в ряду при заданных начальных значениях p в ряду; во втором рассматриваемая функция правдоподобия соответствует безусловному совместному распределению всех значений в наблюдаемом ряду. Существенные различия в результатах этих подходов могут возникать, если наблюдаемый ряд короткий или если процесс близок к нестационарности.

Спектр

Спектральная плотность мощности (СПМ) процесса AR( p ) с дисперсией шума равна ^[8] ${\displaystyle \mathrm {Var} (Z_{t})=\sigma _{Z}^{2}}$

${\displaystyle S(f)={\frac {\sigma _{Z}^{2}}{|1-\sum _{k=1}^{p}\varphi _{k}e^{-i2\pi fk}|^{2}}}.}$

АР(0)

Для белого шума (AR(0))

${\displaystyle S(f)=\sigma _{Z}^{2}.}$

АР(1)

Для АР(1)

${\displaystyle S(f)={\frac {\sigma _{Z}^{2}}{|1-\varphi _{1}e^{-2\pi if}|^{2}}}={\frac {\sigma _{Z}^{2}}{1+\varphi _{1}^{2}-2\varphi _{1}\cos 2\pi f}}}$

• Если есть один спектральный пик в , часто называемый красным шумом . По мере приближения к 1, на низких частотах наблюдается более сильная мощность, т.е. большие временные задержки. Это фильтр нижних частот, при применении к полному спектру света все, кроме красного света, будет отфильтровано. ${\displaystyle \varphi _{1}>0}$ ${\displaystyle f=0}$ ${\displaystyle \varphi _{1}}$
• Если есть минимум в , часто называемый синим шумом . Это также действует как фильтр верхних частот, все, кроме синего света, будет отфильтровано. ${\displaystyle \varphi _{1}<0}$ ${\displaystyle f=0}$

АР(2)

Поведение процесса AR(2) полностью определяется корнями его характеристического уравнения , которое выражается через оператор запаздывания следующим образом:

${\displaystyle 1-\varphi _{1}B-\varphi _{2}B^{2}=0,}$

или, что эквивалентно, полюсами его передаточной функции , которая определяется в области Z как:

${\displaystyle H_{z}=(1-\varphi _{1}z^{-1}-\varphi _{2}z^{-2})^{-1}.}$

Отсюда следует, что полюсами являются значения z, удовлетворяющие:

${\displaystyle 1-\varphi _{1}z^{-1}-\varphi _{2}z^{-2}=0}$,

что дает:

${\displaystyle z_{1},z_{2}={\frac {1}{2\varphi _{2}}}\left(\varphi _{1}\pm {\sqrt {\varphi _{1}^{2}+4\varphi _{2}}}\right)}$.

${\displaystyle z_{1}}$и являются обратными величинами характеристических корней, а также собственными значениями матрицы временного обновления: ${\displaystyle z_{2}}$

${\displaystyle {\begin{bmatrix}\varphi _{1}&\varphi _{2}\\1&0\end{bmatrix}}}$

Процессы AR(2) можно разделить на три группы в зависимости от характеристик их корней/полюсов:

• При , процесс имеет пару комплексно-сопряженных полюсов, создавая пик средней частоты при: ${\displaystyle \varphi _{1}^{2}+4\varphi _{2}<0}$

${\displaystyle f^{*}={\frac {1}{2\pi }}\cos ^{-1}\left({\frac {\varphi _{1}}{2{\sqrt {-\varphi _{2}}}}}\right),}$

с шириной полосы пропускания около пика, обратно пропорциональной модулям полюсов:

${\displaystyle |z_{1}|=|z_{2}|={\sqrt {-\varphi _{2}}}.}$

Все члены, включающие квадратные корни, являются действительными в случае комплексных полюсов, поскольку они существуют только тогда, когда . ${\displaystyle \varphi _{2}<0}$

В противном случае процесс имеет реальные корни, и:

• Когда он действует как фильтр нижних частот на белом шуме со спектральным пиком в ${\displaystyle \varphi _{1}>0}$ ${\displaystyle f=0}$
• Когда он действует как фильтр верхних частот для белого шума со спектральным пиком при . ${\displaystyle \varphi _{1}<0}$ ${\displaystyle f=1/2}$

Процесс нестационарен, когда полюса находятся на единичной окружности или вне ее, или, что эквивалентно, когда характеристические корни находятся на единичной окружности или внутри нее. Процесс устойчив, когда полюса находятся строго внутри единичной окружности (корни строго вне единичной окружности), или, что эквивалентно, когда коэффициенты находятся в треугольнике . ${\displaystyle -1\leq \varphi _{2}\leq 1-|\varphi _{1}|}$

Полную функцию PSD можно выразить в вещественной форме следующим образом:

${\displaystyle S(f)={\frac {\sigma _{Z}^{2}}{1+\varphi _{1}^{2}+\varphi _{2}^{2}-2\varphi _{1}(1-\varphi _{2})\cos(2\pi f)-2\varphi _{2}\cos(4\pi f)}}}$

Реализации в статистических пакетах

• R – пакет stats включает функцию ar ; ^[14] пакет astsa включает функцию sarima для соответствия различным моделям, включая AR. ^[15]
• MATLAB – Econometrics Toolbox ^[16] и System Identification Toolbox ^[17] включают в себя модели дополненной реальности. ^[18]
• MATLAB и Octave – набор инструментов TSA содержит несколько функций оценки для одномерных, многомерных и адаптивных моделей дополненной реальности. ^[19]
• PyMC 3 — фреймворк байесовской статистики и вероятностного программирования, поддерживающий режимы AR с задержками p .
• bayesloop – поддерживает вывод параметров и выбор модели для процесса AR-1 с параметрами, изменяющимися во времени. ^[20]
• Python – statsmodels.org размещает модель дополненной реальности. ^[21]

Импульсный ответ

Импульсный отклик системы — это изменение эволюционирующей переменной в ответ на изменение значения шокового термина k периодов ранее, как функция k . Поскольку модель AR является частным случаем векторной авторегрессионной модели, здесь применяется вычисление импульсного отклика в векторной авторегрессии#импульсный отклик .

н- прогнозирование на шаг вперед

После того, как параметры авторегрессии

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}\,}$

были оценены, авторегрессия может быть использована для прогнозирования произвольного количества периодов в будущем. Сначала используйте t для обозначения первого периода, для которого данные еще не доступны; подставьте известные предыдущие значения X _t-i для i = 1, ..., p в уравнение авторегрессии, при этом установив погрешность, равную нулю (потому что мы прогнозируем X _t как равную его ожидаемому значению, а ожидаемое значение ненаблюдаемого погрешного члена равно нулю). Выход уравнения авторегрессии является прогнозом для первого ненаблюдаемого периода. Затем используйте t для обозначения следующего периода, для которого данные еще не доступны; снова уравнение авторегрессии используется для составления прогноза, с одним отличием: значение X за один период до прогнозируемого в данный момент периода неизвестно, поэтому вместо него используется его ожидаемое значение — предсказанное значение, полученное на предыдущем этапе прогнозирования. Затем для будущих периодов используется та же процедура, каждый раз используя еще одно прогнозируемое значение в правой части прогностического уравнения до тех пор, пока после p прогнозов все p значений в правой части не станут прогнозируемыми значениями из предыдущих шагов. ${\displaystyle \varepsilon _{t}}$

Существует четыре источника неопределенности в отношении прогнозов, полученных таким образом: (1) неопределенность относительно того, является ли модель авторегрессии правильной моделью; (2) неопределенность относительно точности прогнозируемых значений, которые используются в качестве запаздывающих значений в правой части уравнения авторегрессии; (3) неопределенность относительно истинных значений коэффициентов авторегрессии; и (4) неопределенность относительно значения погрешности для прогнозируемого периода. Каждый из последних трех может быть количественно определен и объединен, чтобы получить доверительный интервал для прогнозов на n шагов вперед; доверительный интервал будет становиться шире по мере увеличения n из-за использования все большего числа оценочных значений для переменных правой части. ${\displaystyle \varepsilon _{t}\,}$

Смотрите также

• Модель скользящей средней
• Линейное разностное уравнение
• Прогностическая аналитика
• Линейное предиктивное кодирование
• Резонанс
• Рекурсия Левинсона
• Процесс Орнштейна-Уленбека
• Бесконечный импульсный отклик

Примечания

1. Бокс, Джордж Э. П. (1994). Анализ временных рядов: прогнозирование и контроль. Гвилим М. Дженкинс, Грегори К. Рейнсел (3-е изд.). Энглвуд Клиффс, Нью-Джерси: Prentice Hall. стр. 54. ISBN 0-13-060774-6. OCLC  28888762.
2. Шамвей, Роберт Х. (2000). Анализ временных рядов и его применение. Дэвид С. Стоффер. Нью-Йорк: Springer. С. 90–91. ISBN 0-387-98950-1. OCLC  42392178. Архивировано из оригинала 2023-04-16 . Получено 2022-09-03 .
3. Шамвей, Роберт Х.; Стоффер, Дэвид (2010). Анализ временных рядов и его применение: с примерами R (3-е изд.). Springer. ISBN 978-1441978646.
4. Лай, Дихуэй; и Лу, Бинфэн; «Понимание модели авторегрессии для временных рядов как детерминированной динамической системы». Архивировано 24.03.2023 в Wayback Machine , в Predictive Analytics and Futurism , июнь 2017 г., номер 15, июнь 2017 г., страницы 7–9.
5. Юл, Г. Удни (1927) «О методе исследования периодичности в возмущенных рядах с особым упором на числа солнечных пятен Вольфера». Архивировано 14 мая 2011 г. в Wayback Machine , Philosophical Transactions of the Royal Society of London , Ser. A, Vol. 226, 267–298.]
6. Уокер, Гилберт (1931) «О периодичности в рядах связанных терминов». Архивировано 7 июня 2011 г. в Wayback Machine , Труды Лондонского королевского общества , Сер. A, том 131, 518–532.
7. Теодоридис, Сергиос (2015-04-10). "Глава 1. Вероятность и стохастические процессы". Машинное обучение: байесовская и оптимизационная перспектива . Academic Press, 2015. стр. 9–51. ISBN 978-0-12-801522-3.
8. Фон Шторх, Ганс; Цвирс, Фрэнсис В. (2001). Статистический анализ в климатических исследованиях . Cambridge University Press. doi :10.1017/CBO9780511612336. ISBN 0-521-01230-9.^{[ нужна страница ]}
9. Эшель, Гидон. "Уравнения Юла Уокера для коэффициентов AR" (PDF) . stat.wharton.upenn.edu . Архивировано (PDF) из оригинала 2018-07-13 . Получено 2019-01-27 .
10. Берг, Джон Паркер (1968); «Новый метод анализа данных временных рядов», в Modern Spectrum Analysis (под редакцией Д. Г. Чайлдерса), Институт перспективных исследований НАТО по обработке сигналов с упором на подводную акустику. IEEE Press, Нью-Йорк.
11. Броквелл, Питер Дж.; Дальхаус, Райнер; Триндаде, А. Александр (2005). «Модифицированные алгоритмы Бёрга для многомерной авторегрессии подмножеств» (PDF) . Statistica Sinica . 15 : 197–213. Архивировано из оригинала (PDF) 2012-10-21.
12. Берг, Джон Паркер (1967) «Спектральный анализ с максимальной энтропией», Труды 37-го заседания Общества геофизиков-разведчиков , Оклахома-Сити, Оклахома.
13. Bos, Robert; De Waele, Stijn; Broersen, Piet MT (2002). «Авторегрессионная спектральная оценка путем применения алгоритма Burg к нерегулярно выбранным данным». IEEE Transactions on Instrumentation and Measurement . 51 (6): 1289. Bibcode : 2002ITIM...51.1289B. doi : 10.1109/TIM.2002.808031. Архивировано из оригинала 2023-04-16 . Получено 2019-12-11 .
14. "Подгонка авторегрессионных моделей к временным рядам" Архивировано 28 января 2016 г. на Wayback Machine (на языке R)
15. Стоффер, Дэвид; Пойзон, Ники (2023-01-09). "astsa: Прикладной статистический анализ временных рядов" . Получено 20 августа 2023 г.
16. "Econometrics Toolbox". www.mathworks.com . Архивировано из оригинала 2023-04-16 . Получено 2022-02-16 .
17. "System Identification Toolbox". www.mathworks.com . Архивировано из оригинала 2022-02-16 . Получено 2022-02-16 .
18. "Модель авторегрессии - MATLAB и Simulink". www.mathworks.com . Архивировано из оригинала 2022-02-16 . Получено 2022-02-16 .
19. "The Time Series Analysis (TSA) toolbox for Octave and MATLAB". pub.ist.ac.at . Архивировано из оригинала 2012-05-11 . Получено 2012-04-03 .
20. "christophmark/bayesloop". 7 декабря 2021 г. Архивировано из оригинала 28 сентября 2020 г. Получено 4 сентября 2018 г. – через GitHub.
21. "statsmodels.tsa.ar_model.AutoReg — документация statsmodels 0.12.2". www.statsmodels.org . Архивировано из оригинала 2021-02-28 . Получено 2021-04-29 .

Ссылки

• Миллс, Теренс К. (1990). Методы временных рядов для экономистов . Cambridge University Press. ISBN 9780521343398.
• Персиваль, Дональд Б.; Уолден, Эндрю Т. (1993). Спектральный анализ для физических приложений . Cambridge University Press. Bibcode :1993sapa.book.....P.
• Пандит, Судхакар М.; Ву, Шиен-Мин (1983). Временные ряды и системный анализ с приложениями . John Wiley & Sons.

Внешние ссылки

• Авторегрессионный анализ (AR) Пола Бурка
• Лекция по эконометрике (тема: Авторегрессионные модели) на YouTube от Марка Тома