Модель авторегрессионного скользящего среднего

Статистическая модель, используемая в анализе временных рядов

В статистическом анализе временных рядов модели авторегрессии и скользящего среднего ( ARMA ) являются способом описания (слабо) стационарного стохастического процесса с использованием авторегрессии (AR) и скользящего среднего (MA), каждое с полиномом. Они являются инструментом для понимания ряда и прогнозирования будущих значений. AR включает регрессию переменной на ее собственные запаздывающие (т. е. прошлые) значения. MA включает моделирование ошибки как линейной комбинации членов ошибки, происходящих одновременно и в разное время в прошлом. Модель обычно обозначается ARMA( p , q ), где p — порядок AR, а q — порядок MA.

Общая модель ARMA была описана в диссертации Питера Уиттла 1951 года «Проверка гипотез в анализе временных рядов» и популяризирована в книге 1970 года Джорджа Э. П. Бокса и Гвилима Дженкинса .

Модели ARMA можно оценить с помощью метода Бокса–Дженкинса .

Математическая формулировка

Авторегрессионная модель

Обозначение AR( p ) относится к авторегрессионной модели порядка p . Модель AR( p ) записывается как

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}}$

где - параметры , а случайная величина - белый шум , обычно независимые и одинаково распределенные (iid) нормальные случайные величины . ^{[1] [2]} ${\displaystyle \varphi _{1},\ldots ,\varphi _{p}}$ ${\displaystyle \varepsilon _{t}}$

Для того, чтобы модель оставалась стационарной , корни ее характеристического полинома должны лежать вне единичной окружности. Например, процессы в модели AR(1) с не являются стационарными, поскольку корень лежит внутри единичной окружности. ^[3] ${\displaystyle |\varphi _{1}|\geq 1}$ ${\displaystyle 1-\varphi _{1}B=0}$

Расширенный тест Дики–Фуллера оценивает стабильность компонентов IMF и тренда. Для стационарных временных рядов используется модель ARMA, а для нестационарных рядов используются модели LSTM для получения абстрактных признаков. Окончательное значение получается путем реконструкции прогнозируемых результатов каждого временного ряда.

Модель скользящей средней

Обозначение MA( q ) относится к модели скользящей средней порядка q :

${\displaystyle X_{t}=\mu +\varepsilon _{t}+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i}\,}$

где — параметры модели, — ожидание (часто принимаемое равным 0), а , ..., — независимые случайные величины, являющиеся белым шумом, которые обычно являются нормальными случайными величинами. ^[4] ${\displaystyle \theta _{1},...,\theta _{q}}$ ${\displaystyle \mu }$ ${\displaystyle X_{t}}$ ${\displaystyle \varepsilon _{1}}$ ${\displaystyle \varepsilon _{t}}$

Модель АРМА

Обозначение ARMA( p , q ) относится к модели с p авторегрессионными членами и q членами скользящего среднего. Эта модель содержит модели AR( p ) и MA( q ), ^[5]

${\displaystyle X_{t}=\varepsilon _{t}+\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i}.\,}$

С точки зрения оператора задержки

В некоторых текстах модели определяются с помощью оператора лага L. В этих терминах модель AR( p ) задается как

${\displaystyle \varepsilon _{t}=\left(1-\sum _{i=1}^{p}\varphi _{i}L^{i}\right)X_{t}=\varphi (L)X_{t}\,}$

где представляет собой многочлен ${\displaystyle \varphi }$

${\displaystyle \varphi (L)=1-\sum _{i=1}^{p}\varphi _{i}L^{i}.\,}$

Модель MA( q ) определяется как

${\displaystyle X_{t}-\mu =\left(1+\sum _{i=1}^{q}\theta _{i}L^{i}\right)\varepsilon _{t}=\theta (L)\varepsilon _{t},\,}$

где представляет собой многочлен ${\displaystyle \theta }$

${\displaystyle \theta (L)=1+\sum _{i=1}^{q}\theta _{i}L^{i}.\,}$

Наконец, комбинированная модель ARMA( p , q ) имеет вид

${\displaystyle \left(1-\sum _{i=1}^{p}\varphi _{i}L^{i}\right)X_{t}=\left(1+\sum _{i=1}^{q}\theta _{i}L^{i}\right)\varepsilon _{t}\,,}$

или более кратко,

${\displaystyle \varphi (L)X_{t}=\theta (L)\varepsilon _{t}\,}$

или

${\displaystyle {\frac {\varphi (L)}{\theta (L)}}X_{t}=\varepsilon _{t}\,.}$

Эта форма используется в Box , Jenkins & Reinsel. ^[6]

Более того, начав суммирование с и положив и , то получим еще более элегантную формулировку: ${\displaystyle i=0}$ ${\displaystyle \phi _{0}=-1}$ ${\displaystyle \theta _{0}=1}$ ${\displaystyle -\sum _{i=0}^{p}\phi _{i}L^{i}\;X_{t}=\sum _{i=0}^{q}\theta _{i}L^{i}\;\varepsilon _{t}\,.}$

Спектр

Спектральная плотность процесса ARMA равна, где — дисперсия белого шума, — характеристический полином части скользящего среднего модели ARMA, а — характеристический полином части авторегрессии модели ARMA. ^{[7] [8]} $${\displaystyle S(f)={\frac {\sigma ^{2}}{2\pi }}\left\vert {\frac {\theta (e^{-if})}{\phi (e^{-if})}}\right\vert ^{2}}$$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle \theta }$ ${\displaystyle \phi }$

Подходящие модели

Выбираяпид

Соответствующее значение p в модели ARMA( p , q ) можно найти, построив графики функций частичной автокорреляции . Аналогично, q можно оценить, используя функции автокорреляции . Оба значения p и q можно определить одновременно, используя расширенные функции автокорреляции (EACF). ^[9] Дополнительную информацию можно получить, рассмотрев те же функции для остатков модели, подобранной с начальным выбором p и q .

Броквелл и Дэвис рекомендуют использовать информационный критерий Акаике (AIC) для нахождения p и q . ^[10] Другим вариантом является информационный критерий Байеса (BIC).

Оценочные коэффициенты

После выбора p и q модели ARMA можно подогнать с помощью регрессии наименьших квадратов , чтобы найти значения параметров, которые минимизируют ошибку. Хорошей практикой является нахождение наименьших значений p и q , которые обеспечивают приемлемое соответствие данным. Для чистой модели AR можно использовать уравнения Юла-Уокера , чтобы обеспечить соответствие.

Результаты ARMA используются в первую очередь для прогнозирования (предсказания), а не для установления причинно-следственной связи, как в других областях эконометрики и методах регрессии, таких как OLS и 2SLS.

Реализации программного обеспечения

• В R стандартный пакет statsимеет функцию arima, описанную в ARIMA Modelling of Time Series. Пакет astsa имеет улучшенный скрипт, называемый sarimaдля подгонки моделей ARMA (сезонных и несезонных) и sarima.simдля моделирования данных из этих моделей. Пакеты расширения содержат связанные и расширенные функции: пакет tseriesвключает функцию arma(), описанную в "Подгонка моделей ARMA к временным рядам"; пакет fracdiff содержит fracdiff()для дробно интегрированных процессов ARMA; а пакет forecast включает auto.arimaдля выбора экономного набора p, q . Представление задач CRAN для временных рядов содержит ссылки на большинство из них.
• Mathematica имеет полную библиотеку функций временных рядов, включая ARMA. ^[11]
• MATLAB включает такие функции, как arma, ar и arx для оценки авторегрессионных, экзогенных авторегрессионных и ARMAX моделей. Подробности см. в System Identification Toolbox и Econometrics Toolbox.
• У Julia есть пакеты, разработанные сообществом, которые реализуют подгонку с помощью модели ARMA, например arma.jl.
• В Python есть statsmodelsпакет S, который включает множество моделей и функций для анализа временных рядов, включая ARMA. Ранее часть библиотеки scikit-learn , теперь она является автономной и хорошо интегрируется с Pandas .
• PyFlux имеет реализацию моделей ARIMAX на языке Python, включая байесовские модели ARIMAX.
• Числовые библиотеки IMSL — это библиотеки функций численного анализа, включая процедуры ARMA и ARIMA, реализованные на стандартных языках программирования, таких как C, Java, C# .NET и Fortran.
• gretl может оценивать модели ARMA, как упоминалось здесь
• Дополнительный пакет GNU Octave octave-forge поддерживает модели дополненной реальности.
• Stata включает функцию arima. для моделей ARMA и ARIMA .
• SuanShu — это библиотека численных методов Java, реализующая одномерные/многомерные модели ARMA, ARIMA, ARMAX и т. д., описанная в «SuanShu, численной и статистической библиотеке Java».
• SAS имеет эконометрический пакет ETS, который оценивает модели ARIMA. Подробности см.

История и интерпретации

Общая модель ARMA была описана в диссертации 1951 года Питера Уиттла , который использовал математический анализ ( ряды Лорана и анализ Фурье ) и статистический вывод. ^{[12] [13]} Модели ARMA были популяризированы книгой 1970 года Джорджа Э. П. Бокса и Дженкинса, которые изложили итеративный ( Бокса–Дженкинса ) метод для их выбора и оценки. Этот метод был полезен для полиномов низкого порядка (степени три или ниже). ^[14]

По сути, ARMA — это фильтр с бесконечной импульсной характеристикой , применяемый к белому шуму с некоторой дополнительной интерпретацией.

В цифровой обработке сигналов ARMA представлен в виде цифрового фильтра с белым шумом на входе и процессом ARMA на выходе.

Приложения

ARMA подходит, когда система является функцией серии ненаблюдаемых шоков (часть MA или скользящей средней), а также ее собственного поведения. Например, цены акций могут быть шокированы фундаментальной информацией, а также демонстрировать технические тренды и эффекты возврата к среднему из-за участников рынка. ^{[ необходима цитата ]}

Обобщения

Существуют различные обобщения ARMA. Нелинейная AR (NAR), нелинейная MA (NMA) и нелинейная ARMA (NARMA) моделируют нелинейную зависимость от прошлых значений и ошибок. Векторная AR (VAR) и векторная ARMA (VARMA) моделируют многомерные временные ряды. Авторегрессионная интегрированная скользящая средняя (ARIMA) моделирует нестационарные временные ряды (то есть, среднее значение которых изменяется со временем). Авторегрессионная условная гетероскедастичность (ARCH) моделирует временные ряды, в которых изменяется дисперсия. Сезонная ARIMA (SARIMA или периодическая ARMA) моделирует периодическую вариацию. Авторегрессионная дробно-интегрированная скользящая средняя (ARFIMA или дробная ARIMA, FARIMA) модель временного ряда, которая демонстрирует длинную память . Многомасштабная AR (MAR) индексируется узлами дерева вместо целых чисел.

Модель авторегрессии – скользящего среднего с экзогенными входами (ARMAX)

Обозначение ARMAX( p , q , b ) относится к модели с p авторегрессионными членами, q членами скользящего среднего и b экзогенными входными членами. Последний член представляет собой линейную комбинацию последних b членов известного и внешнего временного ряда . Он задается как: ${\displaystyle d_{t}}$

${\displaystyle X_{t}=\varepsilon _{t}+\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i}+\sum _{i=1}^{b}\eta _{i}d_{t-i}.\,}$

где - параметры экзогенного входа . ${\displaystyle \eta _{1},\ldots ,\eta _{b}}$ ${\displaystyle d_{t}}$

Определены некоторые нелинейные варианты моделей с экзогенными переменными: см., например, Нелинейная авторегрессионная экзогенная модель .

Статистические пакеты реализуют модель ARMAX посредством использования «экзогенных» (то есть независимых) переменных. Необходимо соблюдать осторожность при интерпретации выходных данных этих пакетов, поскольку оцениваемые параметры обычно (например, в R ^[15] и gretl ) относятся к регрессии:

${\displaystyle X_{t}-m_{t}=\varepsilon _{t}+\sum _{i=1}^{p}\varphi _{i}(X_{t-i}-m_{t-i})+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i}.\,}$

где включает все экзогенные (или независимые) переменные: ${\displaystyle m_{t}}$

${\displaystyle m_{t}=c+\sum _{i=0}^{b}\eta _{i}d_{t-i}.\,}$

Смотрите также

• Авторегрессионное интегрированное скользящее среднее (ARIMA)
• Экспоненциальное сглаживание
• Линейное предиктивное кодирование
• Прогностическая аналитика
• Бесконечный импульсный отклик
• Конечный импульсный отклик

Ссылки

1. Бокс, Джордж Э. П. (1994). Анализ временных рядов: прогнозирование и контроль. Гвилим М. Дженкинс, Грегори К. Рейнсел (3-е изд.). Энглвуд Клиффс, Нью-Джерси: Prentice Hall. стр. 54. ISBN 0-13-060774-6. OCLC  28888762.
2. Шамвей, Роберт Х. (2000). Анализ временных рядов и его применение. Дэвид С. Стоффер. Нью-Йорк: Springer. С. 90–91. ISBN 0-387-98950-1. OCLC  42392178.
3. Бокс, Джордж Э.П.; Дженкинс, Гвилим М.; Рейнсел, Грегори К. (1994). Анализ временных рядов: прогнозирование и контроль (3-е изд.). Энглвуд Клиффс, Нью-Джерси: Prentice Hall. стр. 54–55. ISBN 0-13-060774-6. OCLC  28888762.
4. Бокс, Джордж Э.П.; Дженкинс, Гвилим М.; Рейнсел, Грегори К.; Льюнг, Грета М. (2016). Анализ временных рядов: прогнозирование и контроль (5-е изд.). Хобокен, Нью-Джерси: John Wiley & Sons, Incorporated. стр. 53. ISBN 978-1-118-67492-5. OCLC  908107438.
5. Шамвей, Роберт Х. (2000). Анализ временных рядов и его применение. Дэвид С. Стоффер. Нью-Йорк: Springer. стр. 98. ISBN 0-387-98950-1. OCLC  42392178.
6. Бокс, Джордж; Дженкинс, Гвилим М.; Рейнсел, Грегори К. (1994). Анализ временных рядов: прогнозирование и управление (третье изд.). Prentice-Hall. ISBN 0130607746.
7. Розенблатт, Мюррей (2000). Гауссовские и негауссовские линейные временные ряды и случайные поля. Нью-Йорк: Springer. С. 10. ISBN 0-387-98917-X. OCLC  42061096.
8. Wei, William WS (1990). Анализ временных рядов: одномерные и многомерные методы. Редвуд-Сити, Калифорния: Addison-Wesley Pub. стр. 242–243. ISBN 0-201-15911-2. OCLC  18166355.
9. Университет штата Миссури. «Спецификация модели, анализ временных рядов» (PDF) .
10. Брокуэлл, П.Дж.; Дэвис, РА (2009). Временные ряды: теория и методы (2-е изд.). Нью-Йорк: Спрингер. п. 273. ИСБН 9781441903198.
11. Функции временных рядов в Mathematica. Архивировано 24 ноября 2011 г. на Wayback Machine.
12. Ханнан, Эдвард Джеймс (1970). Множественные временные ряды . Ряды Уайли в вероятности и математической статистике. Нью-Йорк: John Wiley and Sons.
13. Уиттл, П. (1951). Проверка гипотез в анализе временных рядов . Альмквист и Викселль.Уиттл, П. (1963). Прогнозирование и регулирование . English Universities Press. ISBN 0-8166-1147-5.

    Переиздано как: Whittle, P. (1983). Прогнозирование и регулирование линейными методами наименьших квадратов . Издательство Миннесотского университета. ISBN 0-8166-1148-3.

14. Ханнан и Дейстлер (1988, стр. 227): Ханнан, Э. Дж .; Дейстлер, Манфред (1988). Статистическая теория линейных систем . Ряды Уайли в теории вероятностей и математической статистике. Нью-Йорк: John Wiley and Sons.
15. Моделирование временных рядов ARIMA, документация R

Дальнейшее чтение

• Миллс, Теренс К. (1990). Методы временных рядов для экономистов . Cambridge University Press. ISBN 0521343399.
• Персиваль, Дональд Б.; Уолден, Эндрю Т. (1993). Спектральный анализ для физических приложений . Cambridge University Press. ISBN 052135532X.
• Франк, К.; Закоян, Ж.-М. (2005), «Последние результаты для линейных моделей временных рядов с не независимыми инновациями», в Дюшен, П.; Ремиллард, Б. (ред.), Статистическое моделирование и анализ для сложных проблем с данными , Springer, стр. 241–265, CiteSeerX  10.1.1.721.1754.
• Shumway, RH и Stoffer, DS (2017). Анализ временных рядов и его применение с примерами R. Springer. DOI: 10.1007/978-3-319-52452-8