Автокорреляция

Корреляция сигнала со сдвинутой во времени его копией как функция сдвига

Выше: График серии из 100 случайных чисел, скрывающий функцию синуса . Ниже: Функция синуса, выявленная в коррелограмме, полученной с помощью автокорреляции.

Визуальное сравнение свертки, кросс-корреляции и автокорреляции . Для операций, включающих функцию f , и предполагая, что высота f равна 1,0, значение результата в 5 различных точках указано затененной областью под каждой точкой. Кроме того, симметрия f является причиной и в этом примере они идентичны. ${\displaystyle g*f}$ ${\displaystyle f\star g}$

Автокорреляция , иногда называемая последовательной корреляцией в случае дискретного времени , представляет собой корреляцию сигнала с задержанной копией самого себя как функцию задержки. Неформально, это сходство между наблюдениями случайной величины как функция временной задержки между ними. Анализ автокорреляции представляет собой математический инструмент для поиска повторяющихся закономерностей , таких как наличие периодического сигнала, скрытого шумом , или определение отсутствующей основной частоты в сигнале, подразумеваемой его гармоническими частотами. Он часто используется в обработке сигналов для анализа функций или рядов значений, таких как сигналы во временной области .

Различные области исследований определяют автокорреляцию по-разному, и не все эти определения эквивалентны. В некоторых областях этот термин используется взаимозаменяемо с автоковариацией .

Процессы единичного корня , процессы со стационарным трендом , процессы авторегрессии и процессы скользящего среднего являются частными формами процессов с автокорреляцией.

Автокорреляция случайных процессов

В статистике автокорреляция реального или сложного случайного процесса — это корреляция Пирсона между значениями процесса в разные моменты времени как функция двух моментов времени или временного лага. Пусть — случайный процесс, а — любая точка во времени ( может быть целым числом для дискретного процесса или действительным числом для непрерывного процесса). Тогда — это значение (или реализация ), полученное заданным запуском процесса в момент времени . Предположим, что процесс имеет среднее значение и дисперсию в момент времени для каждого . Тогда определение функции автокорреляции между моментами времени и равно ^{[1] : стр.388  [2] : стр.165} ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle t}$ ${\displaystyle t}$ ${\displaystyle X_{t}}$ ${\displaystyle t}$ ${\displaystyle \mu _{t}}$ ${\displaystyle \sigma _{t}^{2}}$ ${\displaystyle t}$ ${\displaystyle t}$ ${\displaystyle t_{1}}$ ${\displaystyle t_{2}}$

${\displaystyle \operatorname {R} _{XX}(t_{1},t_{2})=\operatorname {E} \left[X_{t_{1}}{\overline {X}}_{t_{2}}\right]}$

где — оператор ожидаемого значения , а черта представляет комплексное сопряжение . Обратите внимание, что ожидание может быть не совсем определено . ${\displaystyle \operatorname {E} }$

Вычитание среднего значения перед умножением дает функцию автоковариации между временами и : ^{[1] : стр.392  [2] : стр.168} ${\displaystyle t_{1}}$ ${\displaystyle t_{2}}$

${\displaystyle \operatorname {K} _{XX}(t_{1},t_{2})=\operatorname {E} \left[(X_{t_{1}}-\mu _{t_{1}}){\overline {(X_{t_{2}}-\mu _{t_{2}})}}\right]=\operatorname {E} \left[X_{t_{1}}{\overline {X}}_{t_{2}}\right]-\mu _{t_{1}}{\overline {\mu }}_{t_{2}}}$

Обратите внимание, что это выражение не является хорошо определенным для всех временных рядов или процессов, поскольку среднее значение может не существовать, или дисперсия может быть равна нулю (для постоянного процесса) или бесконечности (для процессов с распределением, не имеющим хорошо ведущих себя моментов, таких как определенные типы степенного закона ).

Определение стационарного случайного процесса в широком смысле

Если — стационарный процесс в широком смысле , то среднее значение и дисперсия не зависят от времени, и далее функция автоковариации зависит только от лага между и : автоковариация зависит только от временного расстояния между парой значений, но не от их положения во времени. Это далее подразумевает, что автоковариация и автокорреляция могут быть выражены как функция лага во времени, и что это будет четная функция лага . Это дает более знакомые формы для функции автокорреляции ^{[1] : стр.395} ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle t_{1}}$ ${\displaystyle t_{2}}$ ${\displaystyle \tau =t_{2}-t_{1}}$

${\displaystyle \operatorname {R} _{XX}(\tau )=\operatorname {E} \left[X_{t+\tau }{\overline {X}}_{t}\right]}$

и функция автоковариации :

${\displaystyle \operatorname {K} _{XX}(\tau )=\operatorname {E} \left[(X_{t+\tau }-\mu ){\overline {(X_{t}-\mu )}}\right]=\operatorname {E} \left[X_{t+\tau }{\overline {X}}_{t}\right]-\mu {\overline {\mu }}}$

В частности, обратите внимание, что

$${\displaystyle \operatorname {K} _{XX}(0)=\sigma ^{2}.}$$

Нормализация

В некоторых дисциплинах (например, в статистике и анализе временных рядов ) общепринятой практикой является нормализация функции автоковариации для получения зависящего от времени коэффициента корреляции Пирсона . Однако в других дисциплинах (например, в инженерии) нормализация обычно опускается, а термины «автокорреляция» и «автоковариация» используются взаимозаменяемо.

Определение коэффициента автокорреляции случайного процесса: ^{[2] : стр.169}

$${\displaystyle \rho _{XX}(t_{1},t_{2})={\frac {\operatorname {K} _{XX}(t_{1},t_{2})}{\sigma _{t_{1}}\sigma _{t_{2}}}}={\frac {\operatorname {E} \left[(X_{t_{1}}-\mu _{t_{1}}){\overline {(X_{t_{2}}-\mu _{t_{2}})}}\right]}{\sigma _{t_{1}}\sigma _{t_{2}}}}.}$$

Если функция хорошо определена, ее значение должно лежать в диапазоне , где 1 указывает на идеальную корреляцию, а −1 указывает на идеальную антикорреляцию . ${\displaystyle \rho _{XX}}$ ${\displaystyle [-1,1]}$

Для стационарного в широком смысле процесса (WSS) определение следующее:

$${\displaystyle \rho _{XX}(\tau )={\frac {\operatorname {K} _{XX}(\tau )}{\sigma ^{2}}}={\frac {\operatorname {E} \left[(X_{t+\tau }-\mu ){\overline {(X_{t}-\mu )}}\right]}{\sigma ^{2}}}}$$.

Нормализация важна как потому, что интерпретация автокорреляции как корреляции обеспечивает не зависящую от масштаба меру силы статистической зависимости , так и потому, что нормализация влияет на статистические свойства оцененных автокорреляций.

Характеристики

Свойство симметрии

Тот факт, что функция автокорреляции является четной функцией, можно сформулировать следующим образом ^{[2] : стр.171} соответственно для процесса WSS: ^{[2] : стр.173} ${\displaystyle \operatorname {R} _{XX}}$ $${\displaystyle \operatorname {R} _{XX}(t_{1},t_{2})={\overline {\operatorname {R} _{XX}(t_{2},t_{1})}}}$$ $${\displaystyle \operatorname {R} _{XX}(\tau )={\overline {\operatorname {R} _{XX}(-\tau )}}.}$$

Максимум при нуле

Для процесса WSS: ^{[2] : стр.174} Обратите внимание, что это всегда реально. $${\displaystyle \left|\operatorname {R} _{XX}(\tau )\right|\leq \operatorname {R} _{XX}(0)}$$ ${\displaystyle \operatorname {R} _{XX}(0)}$

Неравенство Коши–Шварца

Неравенство Коши –Шварца , неравенство для случайных процессов: ^{[1] : стр.392} $${\displaystyle \left|\operatorname {R} _{XX}(t_{1},t_{2})\right|^{2}\leq \operatorname {E} \left[|X_{t_{1}}|^{2}\right]\operatorname {E} \left[|X_{t_{2}}|^{2}\right]}$$

Автокорреляция белого шума

Автокорреляция непрерывного во времени сигнала белого шума будет иметь выраженный пик (представленный дельта-функцией Дирака ) при и будет точно такой же для всех остальных . ${\displaystyle \tau =0}$ ${\displaystyle 0}$ ${\displaystyle \tau }$

Теорема Винера–Хинчина

Теорема Винера –Хинчина связывает автокорреляционную функцию со спектральной плотностью мощности посредством преобразования Фурье : ${\displaystyle \operatorname {R} _{XX}}$ ${\displaystyle S_{XX}}$

$${\displaystyle \operatorname {R} _{XX}(\tau )=\int _{-\infty }^{\infty }S_{XX}(f)e^{i2\pi f\tau }\,{\rm {d}}f}$$

$${\displaystyle S_{XX}(f)=\int _{-\infty }^{\infty }\operatorname {R} _{XX}(\tau )e^{-i2\pi f\tau }\,{\rm {d}}\tau .}$$

Для действительных функций симметричная автокорреляционная функция имеет действительное симметричное преобразование, поэтому теорему Винера–Хинчина можно переписать только через действительные косинусы:

$${\displaystyle \operatorname {R} _{XX}(\tau )=\int _{-\infty }^{\infty }S_{XX}(f)\cos(2\pi f\tau )\,{\rm {d}}f}$$

$${\displaystyle S_{XX}(f)=\int _{-\infty }^{\infty }\operatorname {R} _{XX}(\tau )\cos(2\pi f\tau )\,{\rm {d}}\tau .}$$

Автокорреляция случайных векторов

(Потенциально зависящая от времени) автокорреляционная матрица (также называемая вторым моментом) (потенциально зависящего от времени) случайного вектора — это матрица, содержащая в качестве элементов автокорреляции всех пар элементов случайного вектора . Автокорреляционная матрица используется в различных алгоритмах цифровой обработки сигналов . ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\rm {T}}}$ ${\displaystyle n\times n}$ ${\displaystyle \mathbf {X} }$

Для случайного вектора, содержащего случайные элементы , ожидаемое значение и дисперсия которых существуют, автокорреляционная матрица определяется следующим образом: ^{[3] : стр.190  [1] : стр.334} ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\rm {T}}}$

${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {X} }\triangleq \ \operatorname {E} \left[\mathbf {X} \mathbf {X} ^{\rm {T}}\right]}$

где обозначает транспонированную матрицу размерностей . ${\displaystyle {}^{\rm {T}}}$ ${\displaystyle n\times n}$

Написано покомпонентно:

$${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {X} }={\begin{bmatrix}\operatorname {E} [X_{1}X_{1}]&\operatorname {E} [X_{1}X_{2}]&\cdots &\operatorname {E} [X_{1}X_{n}]\\\\\operatorname {E} [X_{2}X_{1}]&\operatorname {E} [X_{2}X_{2}]&\cdots &\operatorname {E} [X_{2}X_{n}]\\\\\vdots &\vdots &\ddots &\vdots \\\\\operatorname {E} [X_{n}X_{1}]&\operatorname {E} [X_{n}X_{2}]&\cdots &\operatorname {E} [X_{n}X_{n}]\\\\\end{bmatrix}}}$$

Если — сложный случайный вектор , то матрица автокорреляции определяется как ${\displaystyle \mathbf {Z} }$

$${\displaystyle \operatorname {R} _{\mathbf {Z} \mathbf {Z} }\triangleq \ \operatorname {E} [\mathbf {Z} \mathbf {Z} ^{\rm {H}}].}$$

Здесь обозначает эрмитово транспонирование . ${\displaystyle {}^{\rm {H}}}$

Например, если — случайный вектор, то — матрица, -й элемент которой равен . ${\displaystyle \mathbf {X} =\left(X_{1},X_{2},X_{3}\right)^{\rm {T}}}$ ${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {X} }}$ ${\displaystyle 3\times 3}$ ${\displaystyle (i,j)}$ ${\displaystyle \operatorname {E} [X_{i}X_{j}]}$

Свойства автокорреляционной матрицы

• Матрица автокорреляции является эрмитовой матрицей для комплексных случайных векторов и симметричной матрицей для действительных случайных векторов. ^{[3] : стр.190}
• Матрица автокорреляции является положительно полуопределенной матрицей , ^{[3] : с.190} т.е. для действительного случайного вектора, и соответственно в случае комплексного случайного вектора. ${\displaystyle \mathbf {a} ^{\mathrm {T} }\operatorname {R} _{\mathbf {X} \mathbf {X} }\mathbf {a} \geq 0\quad {\text{for all }}\mathbf {a} \in \mathbb {R} ^{n}}$ ${\displaystyle \mathbf {a} ^{\mathrm {H} }\operatorname {R} _{\mathbf {Z} \mathbf {Z} }\mathbf {a} \geq 0\quad {\text{for all }}\mathbf {a} \in \mathbb {C} ^{n}}$
• Все собственные значения матрицы автокорреляции действительны и неотрицательны.
• Автоковариационная матрица связана с автокорреляционной матрицей следующим образом: Соответственно для сложных случайных векторов: $${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}]=\operatorname {R} _{\mathbf {X} \mathbf {X} }-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {X} ]^{\rm {T}}}$$ $${\displaystyle \operatorname {K} _{\mathbf {Z} \mathbf {Z} }=\operatorname {E} [(\mathbf {Z} -\operatorname {E} [\mathbf {Z} ])(\mathbf {Z} -\operatorname {E} [\mathbf {Z} ])^{\rm {H}}]=\operatorname {R} _{\mathbf {Z} \mathbf {Z} }-\operatorname {E} [\mathbf {Z} ]\operatorname {E} [\mathbf {Z} ]^{\rm {H}}}$$

Автокорреляция детерминированных сигналов

В обработке сигналов приведенное выше определение часто используется без нормализации, то есть без вычитания среднего значения и деления на дисперсию. Когда функция автокорреляции нормализована по среднему значению и дисперсии, ее иногда называют коэффициентом автокорреляции ^[4] или функцией автоковариации.

Автокорреляция непрерывного во времени сигнала

При наличии сигнала непрерывная автокорреляция чаще всего определяется как непрерывный интеграл взаимной корреляции с самим собой при задержке . ^{[1] : стр.411} ${\displaystyle f(t)}$ ${\displaystyle R_{ff}(\tau )}$ ${\displaystyle f(t)}$ ${\displaystyle \tau }$

${\displaystyle R_{ff}(\tau )=\int _{-\infty }^{\infty }f(t+\tau ){\overline {f(t)}}\,{\rm {d}}t=\int _{-\infty }^{\infty }f(t){\overline {f(t-\tau )}}\,{\rm {d}}t}$

где представляет собой комплексное сопряжение . Обратите внимание, что параметр в интеграле является фиктивной переменной и необходим только для вычисления интеграла. Он не имеет конкретного значения. ${\displaystyle {\overline {f(t)}}}$ ${\displaystyle f(t)}$ ${\displaystyle t}$

Автокорреляция дискретного по времени сигнала

Дискретная автокорреляция при задержке для дискретного по времени сигнала равна ${\displaystyle R}$ ${\displaystyle \ell }$ ${\displaystyle y(n)}$

${\displaystyle R_{yy}(\ell )=\sum _{n\in Z}y(n)\,{\overline {y(n-\ell )}}}$

Вышеуказанные определения работают для сигналов, которые являются квадратно-интегрируемыми или квадратно-суммируемыми, то есть, с конечной энергией. Сигналы, которые "длятся вечно", рассматриваются вместо этого как случайные процессы, в этом случае необходимы другие определения, основанные на ожидаемых значениях. Для широко-смысловых стационарных случайных процессов автокорреляции определяются как

$${\displaystyle {\begin{aligned}R_{ff}(\tau )&=\operatorname {E} \left[f(t){\overline {f(t-\tau )}}\right]\\R_{yy}(\ell )&=\operatorname {E} \left[y(n)\,{\overline {y(n-\ell )}}\right].\end{aligned}}}$$

Для процессов, которые не являются стационарными , это также будут функции , или . ${\displaystyle t}$ ${\displaystyle n}$

Для процессов, которые также являются эргодическими , ожидание может быть заменено пределом среднего по времени. Автокорреляция эргодического процесса иногда определяется как или приравнивается к ^[4]

$${\displaystyle {\begin{aligned}R_{ff}(\tau )&=\lim _{T\rightarrow \infty }{\frac {1}{T}}\int _{0}^{T}f(t+\tau ){\overline {f(t)}}\,{\rm {d}}t\\R_{yy}(\ell )&=\lim _{N\rightarrow \infty }{\frac {1}{N}}\sum _{n=0}^{N-1}y(n)\,{\overline {y(n-\ell )}}.\end{aligned}}}$$

Преимущество этих определений заключается в том, что они дают разумные, четко определенные однопараметрические результаты для периодических функций, даже если эти функции не являются результатом стационарных эргодических процессов.

В качестве альтернативы сигналы, которые длятся вечно, можно обработать с помощью анализа функции кратковременной автокорреляции, используя конечные временные интегралы. (См. кратковременное преобразование Фурье для получения информации о соответствующем процессе.)

Определение периодических сигналов

Если — непрерывная периодическая функция периода , то интегрирование от до заменяется интегрированием по любому интервалу длины : ${\displaystyle f}$ ${\displaystyle T}$ ${\displaystyle -\infty }$ ${\displaystyle \infty }$ ${\displaystyle [t_{0},t_{0}+T]}$ ${\displaystyle T}$

$${\displaystyle R_{ff}(\tau )\triangleq \int _{t_{0}}^{t_{0}+T}f(t+\tau ){\overline {f(t)}}\,dt}$$

что эквивалентно

$${\displaystyle R_{ff}(\tau )\triangleq \int _{t_{0}}^{t_{0}+T}f(t){\overline {f(t-\tau )}}\,dt}$$

Характеристики

Далее мы опишем свойства только одномерных автокорреляций, поскольку большинство свойств легко переносятся из одномерного случая в многомерные. Эти свойства сохраняются для стационарных процессов в широком смысле . ^[5]

• Фундаментальным свойством автокорреляции является симметрия, , что легко доказать из определения. В непрерывном случае ${\displaystyle R_{ff}(\tau )=R_{ff}(-\tau )}$
  • автокорреляция является четной функцией, когда является действительной функцией, и ${\displaystyle R_{ff}(-\tau )=R_{ff}(\tau )}$ ${\displaystyle f}$
  • автокорреляция является эрмитовой функцией, когда — сложная функция . ${\displaystyle R_{ff}(-\tau )=R_{ff}^{*}(\tau )}$ ${\displaystyle f}$
• Непрерывная автокорреляционная функция достигает своего пика в начале координат, где она принимает действительное значение, т.е. для любой задержки , . ^{[1] : стр.410} Это следствие неравенства перестановки . Тот же результат имеет место и в дискретном случае. ${\displaystyle \tau }$ ${\displaystyle |R_{ff}(\tau )|\leq R_{ff}(0)}$
• Автокорреляция периодической функции сама по себе периодична с тем же периодом.
• Автокорреляция суммы двух полностью некоррелированных функций (взаимная корреляция равна нулю для всех ) представляет собой сумму автокорреляций каждой функции в отдельности. ${\displaystyle \tau }$
• Поскольку автокорреляция является особым типом кросс-корреляции , она сохраняет все свойства кросс-корреляции.
• Используя символ для представления свертки , а — это функция, которая манипулирует функцией и определяется как , определение для можно записать как: ${\displaystyle *}$ ${\displaystyle g_{-1}}$ ${\displaystyle f}$ ${\displaystyle g_{-1}(f)(t)=f(-t)}$ ${\displaystyle R_{ff}(\tau )}$ $${\displaystyle R_{ff}(\tau )=(f*g_{-1}({\overline {f}}))(\tau )}$$

Многомерная автокорреляция

Многомерная автокорреляция определяется аналогично. Например, в трех измерениях автокорреляция квадратично-суммируемого дискретного сигнала будет

$${\displaystyle R(j,k,\ell )=\sum _{n,q,r}x_{n,q,r}\,{\overline {x}}_{n-j,q-k,r-\ell }.}$$

Когда перед вычислением функции автокорреляции из сигналов вычитаются средние значения, результирующая функция обычно называется функцией автоковариации.

Эффективные вычисления

Для данных, выраженных в виде дискретной последовательности, часто необходимо вычислить автокорреляцию с высокой вычислительной эффективностью . Метод грубой силы, основанный на определении обработки сигнала, может быть использован, когда размер сигнала мал. Например, чтобы вычислить автокорреляцию реальной последовательности сигнала (т. е. , и для всех других значений i ) вручную, мы сначала осознаем, что только что данное определение такое же, как и «обычное» умножение, но со сдвигами вправо, где каждое вертикальное сложение дает автокорреляцию для определенных значений лага: ${\displaystyle R_{xx}(j)=\sum _{n}x_{n}\,{\overline {x}}_{n-j}}$ ${\displaystyle x=(2,3,-1)}$ ${\displaystyle x_{0}=2,x_{1}=3,x_{2}=-1}$ ${\displaystyle x_{i}=0}$ $${\displaystyle {\begin{array}{rrrrrr}&2&3&-1\\\times &2&3&-1\\\hline &-2&-3&1\\&&6&9&-3\\+&&&4&6&-2\\\hline &-2&3&14&3&-2\end{array}}}$$

Таким образом, требуемая последовательность автокорреляции равна , где и автокорреляция для других значений лага равна нулю. В этом вычислении мы не выполняем операцию переноса во время сложения, как это обычно происходит при обычном умножении. Обратите внимание, что мы можем сократить вдвое количество требуемых операций, используя внутреннюю симметрию автокорреляции. Если сигнал оказывается периодическим, то мы получаем круговую автокорреляцию (похожую на круговую свертку ), где левый и правый хвосты предыдущей последовательности автокорреляции будут перекрываться и давать , которая имеет тот же период, что и последовательность сигнала . Процедуру можно рассматривать как применение свойства свертки Z-преобразования дискретного сигнала. ${\displaystyle R_{xx}=(-2,3,14,3,-2)}$ ${\displaystyle R_{xx}(0)=14,}$ ${\displaystyle R_{xx}(-1)=R_{xx}(1)=3,}$ ${\displaystyle R_{xx}(-2)=R_{xx}(2)=-2,}$ ${\displaystyle x=(\ldots ,2,3,-1,2,3,-1,\ldots ),}$ ${\displaystyle R_{xx}=(\ldots ,14,1,1,14,1,1,\ldots )}$ ${\displaystyle x.}$

В то время как алгоритм грубой силы имеет порядок n ² , существует несколько эффективных алгоритмов, которые могут вычислять автокорреляцию в порядке n log( n ) . Например, теорема Винера–Хинчина позволяет вычислять автокорреляцию из необработанных данных X ( t ) с двумя быстрыми преобразованиями Фурье (БПФ): ^{[6] [ нужна страница ]}

$${\displaystyle {\begin{aligned}F_{R}(f)&=\operatorname {FFT} [X(t)]\\S(f)&=F_{R}(f)F_{R}^{*}(f)\\R(\tau )&=\operatorname {IFFT} [S(f)]\end{aligned}}}$$

где IFFT обозначает обратное быстрое преобразование Фурье . Звездочка обозначает комплексно-сопряженное .

В качестве альтернативы, множественную τ -корреляцию можно выполнить, используя расчет методом грубой силы для низких значений τ , а затем постепенно объединяя данные X ( t ) с логарифмической плотностью для вычисления более высоких значений, что приведет к той же эффективности n log( n ) , но с меньшими требованиями к памяти. ^{[7] [8]}

Оценка

Для дискретного процесса с известным средним значением и дисперсией, для которого мы наблюдаем наблюдения , оценка коэффициента автокорреляции может быть получена как ${\displaystyle n}$ ${\displaystyle \{X_{1},\,X_{2},\,\ldots ,\,X_{n}\}}$

$${\displaystyle {\hat {R}}(k)={\frac {1}{(n-k)\sigma ^{2}}}\sum _{t=1}^{n-k}(X_{t}-\mu )(X_{t+k}-\mu )}$$

для любого положительного целого числа . Когда известны истинное среднее и дисперсия , эта оценка является несмещенной . Если истинное среднее и дисперсия процесса неизвестны, есть несколько возможностей: ${\displaystyle k<n}$ ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}}$

• Если и заменить стандартными формулами для выборочного среднего и выборочной дисперсии, то это будет смещенная оценка . ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}}$
• Оценка на основе периодограммы заменяет в приведенной выше формуле на . Эта оценка всегда смещена; однако она обычно имеет меньшую среднеквадратичную ошибку . ^{[9] [10]} ${\displaystyle n-k}$ ${\displaystyle n}$
• Другие возможности вытекают из обработки двух частей данных по отдельности и расчета отдельных выборочных средних значений и/или выборочных дисперсий для использования при определении оценки. ^{[ необходима ссылка ]} ${\displaystyle \{X_{1},\,X_{2},\,\ldots ,\,X_{n-k}\}}$ ${\displaystyle \{X_{k+1},\,X_{k+2},\,\ldots ,\,X_{n}\}}$

Преимущество оценок последнего типа заключается в том, что набор оцененных автокорреляций, как функция , затем формирует функцию, которая является допустимой автокорреляцией в том смысле, что можно определить теоретический процесс, имеющий именно эту автокорреляцию. Другие оценки могут страдать от проблемы, что если они используются для вычисления дисперсии линейной комбинации 's, то вычисленная дисперсия может оказаться отрицательной. ^[11] ${\displaystyle k}$ ${\displaystyle X}$

Регрессионный анализ

В регрессионном анализе с использованием данных временных рядов автокорреляция в интересующей переменной обычно моделируется либо с помощью модели авторегрессии (AR), модели скользящего среднего (MA), их комбинации в виде модели авторегрессии-скользящего среднего (ARMA) или расширения последней, называемой моделью авторегрессии с интегрированным скользящим средним (ARIMA). С несколькими взаимосвязанными рядами данных используется векторная авторегрессия (VAR) или ее расширения.

В обычном методе наименьших квадратов (OLS) адекватность спецификации модели может быть частично проверена путем установления наличия автокорреляции остатков регрессии . Проблемная автокорреляция ошибок, которые сами по себе не наблюдаются, обычно может быть обнаружена, поскольку она создает автокорреляцию в наблюдаемых остатках. (Ошибки также известны как «члены ошибки» в эконометрике .) Автокорреляция ошибок нарушает предположение обычного метода наименьших квадратов о том, что члены ошибки не коррелируют, что означает, что теорема Гаусса-Маркова неприменима, и что оценки OLS больше не являются наилучшими линейными несмещенными оценками ( BLUE ). Хотя это не смещает оценки коэффициентов OLS, стандартные ошибки имеют тенденцию быть недооцененными (а t-оценки переоценены), когда автокорреляции ошибок при малых лагах положительны.

Традиционным тестом на наличие автокорреляции первого порядка является статистика Дарбина-Уотсона или, если объясняющие переменные включают зависимую переменную с лагом, статистика Дарбина h . Однако Дарбина-Уотсона можно линейно сопоставить с корреляцией Пирсона между значениями и их лагами. ^[12] Более гибким тестом, охватывающим автокорреляцию более высоких порядков и применимым независимо от того, включают ли регрессоры лаги зависимой переменной, является тест Бреуша-Годфри . Он включает вспомогательную регрессию, в которой остатки, полученные при оценке интересующей модели, регрессируются на (a) исходные регрессоры и (b) k лаги остатков, где «k» — порядок теста. Простейшая версия тестовой статистики из этой вспомогательной регрессии — TR ² , где T — размер выборки, а R ² — коэффициент детерминации . При нулевой гипотезе об отсутствии автокорреляции эта статистика асимптотически распределена как ${\displaystyle \chi ^{2}}$ с k степенями свободы.

Реакции на ненулевую автокорреляцию включают обобщенные наименьшие квадраты и оценку HAC Ньюи-Уэста (гетероскедастичность и согласованность автокорреляции). ^[13]

При оценке модели скользящего среднего (MA) функция автокорреляции используется для определения соответствующего числа запаздывающих членов ошибки, которые следует включить. Это основано на том факте, что для процесса MA порядка q мы имеем , для , и , для . ${\displaystyle R(\tau )\neq 0}$ ${\displaystyle \tau =0,1,\ldots ,q}$ ${\displaystyle R(\tau )=0}$ ${\displaystyle \tau >q}$

Приложения

Способность автокорреляции находить повторяющиеся закономерности в данных открывает множество возможностей для ее применения, в том числе:

• Автокорреляционный анализ широко используется в спектроскопии флуоресцентной корреляции ^[14] для получения количественной информации о диффузии на молекулярном уровне и химических реакциях. ^[15]
• Другим применением автокорреляции является измерение оптических спектров и измерение очень коротких световых импульсов, создаваемых лазерами , причем в обоих случаях используются оптические автокорреляторы .
• Автокорреляция используется для анализа данных динамического рассеяния света , что, в частности, позволяет определять распределение размеров частиц нанометрового размера или мицелл, взвешенных в жидкости. Лазер, освещающий смесь, создает спекл-узор , который является результатом движения частиц. Автокорреляцию сигнала можно проанализировать с точки зрения диффузии частиц. Из этого, зная вязкость жидкости, можно рассчитать размеры частиц.
• Используется в системе GPS для коррекции задержки распространения или временного сдвига между моментом времени передачи несущего сигнала на спутниках и моментом времени на приемнике на земле. Это делается путем генерации приемником сигнала-реплики 1023-битного кода C/A (Coarse/Acquisition) и генерации строк кодовых чипов [-1,1] в пакетах по десять за раз или 10 230 чипов (1023 × 10), слегка смещаясь по мере продвижения, чтобы приспособиться к доплеровскому сдвигу во входящем спутниковом сигнале , пока сигнал-реплика приемника и коды спутникового сигнала не совпадут. ^[16]
• Интенсивность малоуглового рентгеновского рассеяния наноструктурированной системы представляет собой преобразование Фурье пространственной автокорреляционной функции электронной плотности.
• В науке о поверхности и сканирующей зондовой микроскопии автокорреляция используется для установления связи между морфологией поверхности и функциональными характеристиками. ^[17]
• В оптике нормализованные автокорреляции и кросс-корреляции дают степень когерентности электромагнитного поля.
• В астрономии автокорреляция может определять частоту пульсаров .
• В музыке автокорреляция (при применении на временных масштабах меньше секунды) используется как алгоритм определения высоты тона как для настройщиков инструментов, так и для «Auto Tune» (используется как эффект искажения или для исправления интонации). ^[18] При применении на временных масштабах больше секунды автокорреляция может идентифицировать музыкальный ритм , например, для определения темпа .
• Автокорреляция в пространстве, а не во времени, посредством функции Паттерсона , используется рентгенодифракционистами для восстановления «информации о фазе Фурье» о положениях атомов, которую невозможно получить только с помощью дифракции.
• В статистике пространственная автокорреляция между местоположениями выборки также помогает оценить неопределенность среднего значения при выборке неоднородной популяции.
• Алгоритм SEQUEST для анализа масс-спектров использует автокорреляцию в сочетании с кросс-корреляцией для оценки сходства наблюдаемого спектра с идеализированным спектром, представляющим пептид .
• В астрофизике автокорреляция используется для изучения и характеристики пространственного распределения галактик во Вселенной, а также при многоволновых наблюдениях маломассивных рентгеновских двойных систем .
• В панельных данных пространственная автокорреляция относится к корреляции переменной с самой собой в пространстве.
• При анализе данных Монте-Карло с использованием цепей Маркова для правильного определения погрешности необходимо учитывать автокорреляцию.
• В науках о Земле (в частности, в геофизике ) его можно использовать для вычисления автокорреляционного сейсмического атрибута на основе трехмерной сейсмической съемки под землей.
• В медицинской ультразвуковой визуализации автокорреляция используется для визуализации кровотока.
• При межвременном выборе портфеля наличие или отсутствие автокорреляции в норме доходности актива может повлиять на оптимальную долю портфеля, которую следует удерживать в этом активе.
• В цифровых реле автокорреляция использовалась для точного измерения частоты энергосистемы. ^[19]

Серийная зависимость

Последовательная зависимость тесно связана с понятием автокорреляции, но представляет собой отдельную концепцию (см. Корреляция и зависимость ). В частности, возможна последовательная зависимость, но без (линейной) корреляции. Однако в некоторых областях эти два термина используются как синонимы.

Временной ряд случайной величины имеет последовательную зависимость, если значение в какой-то момент времени в ряду статистически зависит от значения в другой момент времени . Ряд является последовательно независимым, если нет зависимости между любой парой. ${\displaystyle t}$ ${\displaystyle s}$

Если временной ряд является стационарным , то статистическая зависимость между парой будет означать, что существует статистическая зависимость между всеми парами значений с одинаковым лагом . ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle (X_{t},X_{s})}$ ${\displaystyle \tau =s-t}$

Смотрите также

• Автокорреляционная матрица
• Автокорреляция формального слова
• Метод автокорреляции
• Автокоррелятор
• Оценка Кокрейна-Оркатта (преобразование для автокоррелированных членов ошибки)
• Корреляционная функция
• Коррелограмма
• Кросс-корреляция
• CUSUM
• Флуоресцентная корреляционная спектроскопия
• Оптическая автокорреляция
• Частичная автокорреляционная функция
• Филогенетическая автокорреляция (проблема Гальтона)
• Алгоритм определения высоты тона
• Преобразование Прайса – Уинстена
• Масштабированная корреляция
• Тройная корреляция
• Непредвзятая оценка стандартного отклонения

Ссылки

1. Губнер, Джон А. (2006). Вероятность и случайные процессы для инженеров-электриков и компьютерщиков . Cambridge University Press. ISBN 978-0-521-86470-1.
2. Кун Иль Пак, Основы теории вероятностей и стохастических процессов с приложениями к коммуникациям, Springer, 2018, ISBN 978-3-319-68074-3 
3. Папулис, Афанасий, Вероятность, случайные величины и стохастические процессы , McGraw-Hill, 1991
4. Dunn, Patrick F. (2005). Измерение и анализ данных для инженерии и науки . Нью-Йорк: McGraw–Hill. ISBN 978-0-07-282538-1.
5. Прокис, Джон (31 августа 2001 г.). Communication Systems Engineering (2-е издание) (2-е изд.). Pearson. стр. 168. ISBN 978-0130617934.
6. Бокс, GEP; Дженкинс, GM; Рейнсел, GC (1994). Анализ временных рядов: прогнозирование и управление (3-е изд.). Верхняя Сэддл-Ривер, Нью-Джерси: Prentice–Hall. ISBN 978-0130607744.
7. Френкель, Д.; Смит, Б. (2002). "глава 4.4.2". Понимание молекулярного моделирования (2-е изд.). Лондон: Academic Press. ISBN 978-0122673511.
8. Colberg, P.; Höfling, F. (2011). «Высокоускоренное моделирование динамики стекла с использованием графических процессоров: предостережения об ограниченной точности с плавающей точкой». Comput. Phys. Commun. 182 (5): 1120–1129. arXiv : 0912.3824 . Bibcode :2011CoPhC.182.1120C. doi :10.1016/j.cpc.2011.01.009. S2CID  7173093.
9. Пристли, МБ (1982). Спектральный анализ и временные ряды . Лондон, Нью-Йорк: Academic Press. ISBN 978-0125649018.
10. Персиваль, Дональд Б.; Эндрю Т. Уолден (1993). Спектральный анализ для физических приложений: многоконтурные и обычные одномерные методы . Cambridge University Press. стр. 190–195. ISBN 978-0-521-43541-3.
11. Персиваль, Дональд Б. (1993). «Три любопытных свойства выборочной дисперсии и автоковариации для стационарных процессов с неизвестным средним». Американский статистик . 47 (4): 274–276. doi :10.1080/00031305.1993.10475997.
12. "Методы последовательной корреляции". Статистические идеи . 26 мая 2014 г.
13. Баум, Кристофер Ф. (2006). Введение в современную эконометрику с использованием Stata . Stata Press. ISBN 978-1-59718-013-9.
14. Элсон, Эллиот Л. (декабрь 2011 г.). «Флуоресцентная корреляционная спектроскопия: прошлое, настоящее, будущее». Biophysical Journal . 101 (12): 2855–2870. Bibcode :2011BpJ...101.2855E. doi :10.1016/j.bpj.2011.11.012. PMC 3244056 . PMID  22208184. 
15. Холыст, Роберт; Поневьерский, Анджей; Чжан, Сюйчжу (2017). «Аналитическая форма функции автокорреляции для спектроскопии корреляции флуоресценции». Soft Matter . 13 (6): 1267–1275. Bibcode :2017SMat...13.1267H. doi : 10.1039/C6SM02643E . ISSN  1744-683X. PMID  28106203.
16. Ван Сикл, Ян (2008). GPS для землемеров (третье изд.). CRC Press. стр. 18–19. ISBN 978-0-8493-9195-8.
17. Калвани, Пайам Раджаби; Джахангири, Али Реза; Шапури, Саманех; Сари, Амирхоссейн; Джалили, Юсеф Сейед (август 2019 г.). «Многомодовый АСМ-анализ тонких пленок оксида цинка, легированного алюминием, распыленных при различных температурах подложки для оптоэлектронных приложений». Сверхрешетки и микроструктуры . 132 : 106173. doi :10.1016/j.spmi.2019.106173. S2CID  198468676.
18. Тиранджил, Джош (2009-02-05). "Автонастройка: почему поп-музыка звучит идеально". Time . Архивировано из оригинала 10 февраля 2009 г.
19. Kasztenny, Bogdan (март 2016 г.). "Новый метод быстрого измерения частоты для приложений защиты" (PDF) . Schweitzer Engineering Laboratories. Архивировано (PDF) из оригинала 2022-10-09 . Получено 28 мая 2022 г. .

Дальнейшее чтение

• Кмента, Ян (1986). Элементы эконометрики (Второе изд.). Нью-Йорк: Macmillan. С. 298–334. ISBN 978-0-02-365070-3.
• Марно Вербек (10 августа 2017 г.). Руководство по современной эконометрике. Wiley. ISBN 978-1-119-40110-0.
• Солтаналян, Моджтаба; Стойка, Петре (2012). «Вычислительное проектирование последовательностей с хорошими корреляционными свойствами». Труды IEEE по обработке сигналов . 60 (5): 2180. Bibcode : 2012ITSP...60.2180S. doi : 10.1109/TSP.2012.2186134.
• Соломон В. Голомб и Гуан Гун . Проектирование сигнала для хорошей корреляции: для беспроводной связи, криптографии и радаров. Cambridge University Press, 2005.
• Клапетек, Петр (2018). Количественная обработка данных в сканирующей зондовой микроскопии: применение СЗМ в нанометрологии (второе изд.). Elsevier. стр. 108–112 ISBN 9780128133477 . 
• Вайсштейн, Эрик В. «Автокорреляция». MathWorld .