Автокорреляция

Корреляция сигнала со своей сдвинутой во времени копией как функция сдвига

Вверху: график серии из 100 случайных чисел, скрывающих синусоидальную функцию. Внизу: синусоидальная функция, показанная на коррелограмме , полученной с помощью автокорреляции.

Визуальное сравнение свертки, взаимной корреляции и автокорреляции . Для операций с функцией f и при условии, что высота f равна 1,0, значение результата в 5 разных точках обозначается заштрихованной областью под каждой точкой. Кроме того, причиной является симметрия f , и в этом примере они идентичны. ${\displaystyle g*f}$ ${\displaystyle f\star g}$

Автокорреляция , иногда известная как последовательная корреляция в случае дискретного времени , представляет собой корреляцию сигнала с его задержанной копией как функцию задержки. Неформально это сходство между наблюдениями случайной величины как функция временного лага между ними. Анализ автокорреляции — это математический инструмент для поиска повторяющихся закономерностей, таких как наличие периодического сигнала, скрытого шумом , или определение недостающей основной частоты в сигнале, подразумеваемой его гармоническими частотами. Он часто используется при обработке сигналов для анализа функций или серий значений, таких как сигналы во временной области .

В разных областях исследований автокорреляция определяется по-разному, и не все эти определения эквивалентны. В некоторых областях этот термин используется как синоним автоковариации .

Процессы с единичным корнем , стационарные по тренду процессы , авторегрессионные процессы и процессы скользящего среднего представляют собой особые формы процессов с автокорреляцией.

Автокорреляция случайных процессов

В статистике автокорреляция реального или сложного случайного процесса представляет собой корреляцию Пирсона между значениями процесса в разное время в зависимости от двух времен или временной задержки. Пусть это случайный процесс и любой момент времени ( может быть целым числом для процесса с дискретным временем или действительным числом для процесса с непрерывным временем ). Тогда является ли ценность (или реализация ) произведенной данным запуском процесса в определенный момент времени . Предположим, что процесс имеет среднее значение и дисперсию во времени для каждого из них . Тогда определение автокорреляционной функции между временем и будет следующим: ^{[1] : стр.388  [2] : стр.165} ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle t}$ ${\displaystyle t}$ ${\displaystyle X_{t}}$ ${\displaystyle t}$ ${\displaystyle \mu _{t}}$ ${\displaystyle \sigma _{t}^{2}}$ ${\displaystyle t}$ ${\displaystyle t}$ ${\displaystyle t_{1}}$ ${\displaystyle t_{2}}$

${\displaystyle \operatorname {R} _{XX}(t_{1},t_{2})=\operatorname {E} \left[X_{t_{1}}{\overline {X}}_{t_{2}}\right]}$

где — оператор ожидаемого значения , а черта представляет собой комплексное сопряжение . Обратите внимание, что ожидание может быть неточно определено . ${\displaystyle \operatorname {E} }$

Вычитание среднего значения перед умножением дает функцию автоковариации между временем и : ^{[1] : стр. 392  [2] : стр. 168} ${\displaystyle t_{1}}$ ${\displaystyle t_{2}}$

${\displaystyle \operatorname {K} _{XX}(t_{1},t_{2})=\operatorname {E} \left[(X_{t_{1}}-\mu _{t_{1}}){\overline {(X_{t_{2}}-\mu _{t_{2}})}}\right]=\operatorname {E} \left[X_{t_{1}}{\overline {X}}_{t_{2}}\right]-\mu _{t_{1}}{\overline {\mu }}_{t_{2}}}$

Обратите внимание, что это выражение не является четко определенным для всех временных рядов или процессов, поскольку среднее значение может не существовать, или дисперсия может быть нулевой (для постоянного процесса) или бесконечной (для процессов с распределением, в котором отсутствуют моменты хорошего поведения, такие как определенные виды степенного закона ).

Определение стационарного случайного процесса в широком смысле

Если это стационарный процесс в широком смысле , то среднее значение и дисперсия не зависят от времени, и, кроме того, функция автоковариации зависит только от задержки между и : автоковариация зависит только от расстояния во времени между парой значений, но не от их положение во времени. Это также означает, что автоковариация и автокорреляция могут быть выражены как функция временной задержки, и что это будет четная функция задержки . Это дает более знакомые формы автокорреляционной функции ^{[1] : стр.395.} ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle t_{1}}$ ${\displaystyle t_{2}}$ ${\displaystyle \tau =t_{2}-t_{1}}$

${\displaystyle \operatorname {R} _{XX}(\tau )=\operatorname {E} \left[X_{t+\tau }{\overline {X}}_{t}\right]}$

и функция автоковариации :

${\displaystyle \operatorname {K} _{XX}(\tau )=\operatorname {E} \left[(X_{t+\tau }-\mu ){\overline {(X_{t}-\mu )}}\right]=\operatorname {E} \left[X_{t+\tau }{\overline {X}}_{t}\right]-\mu {\overline {\mu }}}$

В частности, отметим, что

$${\displaystyle \operatorname {K} _{XX}(0)=\sigma ^{2}.}$$

Нормализация

В некоторых дисциплинах (например, в статистике и анализе временных рядов ) обычной практикой является нормализация автоковариационной функции для получения зависящего от времени коэффициента корреляции Пирсона . Однако в других дисциплинах (например, инженерных) от нормализации обычно отказываются и термины «автокорреляция» и «автоковариация» используются как синонимы.

Определение коэффициента автокорреляции случайного процесса ^{[2] : стр.169.}

$${\displaystyle \rho _{XX}(t_{1},t_{2})={\frac {\operatorname {K} _{XX}(t_{1},t_{2})}{\sigma _{t_{1}}\sigma _{t_{2}}}}={\frac {\operatorname {E} \left[(X_{t_{1}}-\mu _{t_{1}}){\overline {(X_{t_{2}}-\mu _{t_{2}})}}\right]}{\sigma _{t_{1}}\sigma _{t_{2}}}}.}$$

Если функция четко определена, ее значение должно лежать в диапазоне , где 1 указывает на идеальную корреляцию, а -1 указывает на идеальную антикорреляцию . ${\displaystyle \rho _{XX}}$ ${\displaystyle [-1,1]}$

Для стационарного процесса в широком смысле (WSS) определение таково:

$${\displaystyle \rho _{XX}(\tau )={\frac {\operatorname {K} _{XX}(\tau )}{\sigma ^{2}}}={\frac {\operatorname {E} \left[(X_{t+\tau }-\mu ){\overline {(X_{t}-\mu )}}\right]}{\sigma ^{2}}}}$$.

Нормализация важна как потому, что интерпретация автокорреляции как корреляции обеспечивает безмасштабную меру силы статистической зависимости , так и потому, что нормализация влияет на статистические свойства оцененных автокорреляций.

Характеристики

Свойство симметрии

Тот факт, что функция автокорреляции является четной функцией, можно сформулировать как ^{[2] : стр. 171} соответственно для процесса WSS: ^{[2] : стр. 173} ${\displaystyle \operatorname {R} _{XX}}$ $${\displaystyle \operatorname {R} _{XX}(t_{1},t_{2})={\overline {\operatorname {R} _{XX}(t_{2},t_{1})}}}$$ $${\displaystyle \operatorname {R} _{XX}(\tau )={\overline {\operatorname {R} _{XX}(-\tau )}}.}$$

Максимум на нуле

Для процесса WSS: ^{[2] : стр. 174} Обратите внимание, что это всегда реально. $${\displaystyle \left|\operatorname {R} _{XX}(\tau )\right|\leq \operatorname {R} _{XX}(0)}$$ ${\displaystyle \operatorname {R} _{XX}(0)}$

Неравенство Коши – Шварца

Неравенство Коши –Шварца , неравенство для случайных процессов: ^{[1] : с.392} $${\displaystyle \left|\operatorname {R} _{XX}(t_{1},t_{2})\right|^{2}\leq \operatorname {E} \left[|X_{t_{1}}|^{2}\right]\operatorname {E} \left[|X_{t_{2}}|^{2}\right]}$$

Автокорреляция белого шума

Автокорреляция непрерывного сигнала белого шума будет иметь сильный пик (представленный дельта-функцией Дирака ) при и будет точно для всех остальных . ${\displaystyle \tau =0}$ ${\displaystyle 0}$ ${\displaystyle \tau }$

Теорема Винера – Хинчина

Теорема Винера-Хинчина связывает автокорреляционную функцию со спектральной плотностью мощности посредством преобразования Фурье : ${\displaystyle \operatorname {R} _{XX}}$ ${\displaystyle S_{XX}}$

$${\displaystyle \operatorname {R} _{XX}(\tau )=\int _{-\infty }^{\infty }S_{XX}(f)e^{i2\pi f\tau }\,{\rm {d}}f}$$

$${\displaystyle S_{XX}(f)=\int _{-\infty }^{\infty }\operatorname {R} _{XX}(\tau )e^{-i2\pi f\tau }\,{\rm {d}}\tau .}$$

Для вещественнозначных функций симметричная автокорреляционная функция имеет вещественное симметричное преобразование, поэтому теорему Винера – Хинчина можно перевыразить только через действительные косинусы:

$${\displaystyle \operatorname {R} _{XX}(\tau )=\int _{-\infty }^{\infty }S_{XX}(f)\cos(2\pi f\tau )\,{\rm {d}}f}$$

$${\displaystyle S_{XX}(f)=\int _{-\infty }^{\infty }\operatorname {R} _{XX}(\tau )\cos(2\pi f\tau )\,{\rm {d}}\tau .}$$

Автокорреляция случайных векторов

Матрица автокорреляции (потенциально зависящая от времени) (также называемая вторым моментом) случайного вектора (потенциально зависящего от времени) представляет собой матрицу, содержащую в качестве элементов автокорреляции всех пар элементов случайного вектора . Матрица автокорреляции используется в различных алгоритмах цифровой обработки сигналов . ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\rm {T}}}$ ${\displaystyle n\times n}$ ${\displaystyle \mathbf {X} }$

Для случайного вектора , содержащего случайные элементы , ожидаемое значение и дисперсия которых существуют, матрица автокорреляции определяется формулой ^{[3] : стр. 190  [1] : стр. 334} ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\rm {T}}}$

${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {X} }\triangleq \ \operatorname {E} \left[\mathbf {X} \mathbf {X} ^{\rm {T}}\right]}$

где обозначает транспонированную матрицу размерностей . ${\displaystyle {}^{\rm {T}}}$ ${\displaystyle n\times n}$

Написано покомпонентно:

$${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {X} }={\begin{bmatrix}\operatorname {E} [X_{1}X_{1}]&\operatorname {E} [X_{1}X_{2}]&\cdots &\operatorname {E} [X_{1}X_{n}]\\\\\operatorname {E} [X_{2}X_{1}]&\operatorname {E} [X_{2}X_{2}]&\cdots &\operatorname {E} [X_{2}X_{n}]\\\\\vdots &\vdots &\ddots &\vdots \\\\\operatorname {E} [X_{n}X_{1}]&\operatorname {E} [X_{n}X_{2}]&\cdots &\operatorname {E} [X_{n}X_{n}]\\\\\end{bmatrix}}}$$

Если — комплексный случайный вектор , матрица автокорреляции вместо этого определяется формулой ${\displaystyle \mathbf {Z} }$

$${\displaystyle \operatorname {R} _{\mathbf {Z} \mathbf {Z} }\triangleq \ \operatorname {E} [\mathbf {Z} \mathbf {Z} ^{\rm {H}}].}$$

Здесь обозначает эрмитово транспонирование . ${\displaystyle {}^{\rm {H}}}$

Например, если это случайный вектор, то это матрица, -я запись которой равна . ${\displaystyle \mathbf {X} =\left(X_{1},X_{2},X_{3}\right)^{\rm {T}}}$ ${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {X} }}$ ${\displaystyle 3\times 3}$ ${\displaystyle (i,j)}$ ${\displaystyle \operatorname {E} [X_{i}X_{j}]}$

Свойства автокорреляционной матрицы

• Матрица автокорреляции представляет собой эрмитову матрицу для комплексных случайных векторов и симметричную матрицу для вещественных случайных векторов. ^{[3] : стр. 190}
• Матрица автокорреляции представляет собой положительную полуопределенную матрицу , ^{[3] : стр.190} , т.е. для вещественного случайного вектора и соответственно в случае комплексного случайного вектора. ${\displaystyle \mathbf {a} ^{\mathrm {T} }\operatorname {R} _{\mathbf {X} \mathbf {X} }\mathbf {a} \geq 0\quad {\text{for all }}\mathbf {a} \in \mathbb {R} ^{n}}$ ${\displaystyle \mathbf {a} ^{\mathrm {H} }\operatorname {R} _{\mathbf {Z} \mathbf {Z} }\mathbf {a} \geq 0\quad {\text{for all }}\mathbf {a} \in \mathbb {C} ^{n}}$
• Все собственные значения матрицы автокорреляции действительны и неотрицательны.
• Матрица автоковариации связана с матрицей автокорреляции следующим образом: Соответственно для комплексных случайных векторов: $${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}]=\operatorname {R} _{\mathbf {X} \mathbf {X} }-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {X} ]^{\rm {T}}}$$ $${\displaystyle \operatorname {K} _{\mathbf {Z} \mathbf {Z} }=\operatorname {E} [(\mathbf {Z} -\operatorname {E} [\mathbf {Z} ])(\mathbf {Z} -\operatorname {E} [\mathbf {Z} ])^{\rm {H}}]=\operatorname {R} _{\mathbf {Z} \mathbf {Z} }-\operatorname {E} [\mathbf {Z} ]\operatorname {E} [\mathbf {Z} ]^{\rm {H}}}$$

Автокорреляция детерминированных сигналов

В обработке сигналов приведенное выше определение часто используется без нормализации, то есть без вычитания среднего значения и деления на дисперсию. Когда автокорреляционная функция нормируется по среднему значению и дисперсии, ее иногда называют коэффициентом автокорреляции ^[4] или автоковариационной функцией.

Автокорреляция непрерывного сигнала

Учитывая сигнал , непрерывная автокорреляция чаще всего определяется как непрерывный интеграл взаимной корреляции с самим собой при задержке . ^{[1] : стр. 411} ${\displaystyle f(t)}$ ${\displaystyle R_{ff}(\tau )}$ ${\displaystyle f(t)}$ ${\displaystyle \tau }$

${\displaystyle R_{ff}(\tau )=\int _{-\infty }^{\infty }f(t+\tau ){\overline {f(t)}}\,{\rm {d}}t=\int _{-\infty }^{\infty }f(t){\overline {f(t-\tau )}}\,{\rm {d}}t}$

где представляет собой комплексно-сопряженное число . Обратите внимание, что параметр в интеграле является фиктивной переменной и необходим только для вычисления интеграла. Оно не имеет конкретного значения. ${\displaystyle {\overline {f(t)}}}$ ${\displaystyle f(t)}$ ${\displaystyle t}$

Автокорреляция сигнала дискретного времени

Дискретная автокорреляция с задержкой для сигнала с дискретным временем равна ${\displaystyle R}$ ${\displaystyle \ell }$ ${\displaystyle y(n)}$

${\displaystyle R_{yy}(\ell )=\sum _{n\in Z}y(n)\,{\overline {y(n-\ell )}}}$

Приведенные выше определения применимы к сигналам, которые интегрируются с квадратом или суммируются с квадратом, то есть имеют конечную энергию. Вместо этого сигналы, которые «длятся вечно», рассматриваются как случайные процессы, и в этом случае необходимы другие определения, основанные на ожидаемых значениях. Для стационарных случайных процессов в широком смысле автокорреляции определяются как

$${\displaystyle {\begin{aligned}R_{ff}(\tau )&=\operatorname {E} \left[f(t){\overline {f(t-\tau )}}\right]\\R_{yy}(\ell )&=\operatorname {E} \left[y(n)\,{\overline {y(n-\ell )}}\right].\end{aligned}}}$$

Для процессов, которые не являются стационарными , это также будут функции , или . ${\displaystyle t}$ ${\displaystyle n}$

Для процессов, которые также являются эргодическими , математическое ожидание можно заменить пределом среднего по времени. Автокорреляция эргодического процесса иногда определяется или приравнивается к ^[4]

$${\displaystyle {\begin{aligned}R_{ff}(\tau )&=\lim _{T\rightarrow \infty }{\frac {1}{T}}\int _{0}^{T}f(t+\tau ){\overline {f(t)}}\,{\rm {d}}t\\R_{yy}(\ell )&=\lim _{N\rightarrow \infty }{\frac {1}{N}}\sum _{n=0}^{N-1}y(n)\,{\overline {y(n-\ell )}}.\end{aligned}}}$$

Преимущество этих определений состоит в том, что они дают разумные, четко определенные однопараметрические результаты для периодических функций, даже если эти функции не являются результатом стационарных эргодических процессов.

Альтернативно, сигналы, которые длятся вечно, можно обрабатывать с помощью кратковременного анализа автокорреляционной функции с использованием интегралов конечного времени. ( Связанный процесс см. в разделе кратковременное преобразование Фурье .)

Определение периодических сигналов

Если – непрерывная периодическая функция периода , то интегрирование от до заменяется интегрированием по любому интервалу длины : ${\displaystyle f}$ ${\displaystyle T}$ ${\displaystyle -\infty }$ ${\displaystyle \infty }$ ${\displaystyle [t_{0},t_{0}+T]}$ ${\displaystyle T}$

$${\displaystyle R_{ff}(\tau )\triangleq \int _{t_{0}}^{t_{0}+T}f(t+\tau ){\overline {f(t)}}\,dt}$$

что эквивалентно

$${\displaystyle R_{ff}(\tau )\triangleq \int _{t_{0}}^{t_{0}+T}f(t){\overline {f(t-\tau )}}\,dt}$$

Характеристики

Далее мы будем описывать свойства только одномерных автокорреляций, поскольку большинство свойств легко переносится из одномерного случая в многомерные случаи. Эти свойства справедливы для стационарных процессов в широком смысле . ^[5]

• Фундаментальным свойством автокорреляции является симметрия, что легко доказать из определения. В непрерывном случае ${\displaystyle R_{ff}(\tau )=R_{ff}(-\tau )}$
  • автокорреляция является четной функцией, если это действительная функция, и ${\displaystyle R_{ff}(-\tau )=R_{ff}(\tau )}$ ${\displaystyle f}$
  • автокорреляция является эрмитовой функцией , если – комплексная функция . ${\displaystyle R_{ff}(-\tau )=R_{ff}^{*}(\tau )}$ ${\displaystyle f}$
• Непрерывная автокорреляционная функция достигает своего максимума в начале координат, где она принимает действительное значение, т.е. при любой задержке , . ^{[1] : с.410} Это следствие перестановочного неравенства . Тот же результат справедлив и в дискретном случае. ${\displaystyle \tau }$ ${\displaystyle |R_{ff}(\tau )|\leq R_{ff}(0)}$
• Автокорреляция периодической функции сама по себе является периодической с тем же периодом.
• Автокорреляция суммы двух совершенно некоррелированных функций (взаимная корреляция равна нулю для всех ) представляет собой сумму автокорреляций каждой функции в отдельности. ${\displaystyle \tau }$
• Поскольку автокорреляция представляет собой особый тип взаимной корреляции , она сохраняет все свойства взаимной корреляции.
• Используя символ для обозначения свертки и функции, которая манипулирует функцией и определяется как , определение для может быть записано как: ${\displaystyle *}$ ${\displaystyle g_{-1}}$ ${\displaystyle f}$ ${\displaystyle g_{-1}(f)(t)=f(-t)}$ ${\displaystyle R_{ff}(\tau )}$ $${\displaystyle R_{ff}(\tau )=(f*g_{-1}({\overline {f}}))(\tau )}$$

Многомерная автокорреляция

Многомерная автокорреляция определяется аналогично. Например, в трех измерениях автокорреляция дискретного сигнала , суммируемого с квадратом, будет равна

$${\displaystyle R(j,k,\ell )=\sum _{n,q,r}x_{n,q,r}\,{\overline {x}}_{n-j,q-k,r-\ell }.}$$

Когда средние значения вычитаются из сигналов перед вычислением автокорреляционной функции, результирующую функцию обычно называют функцией автоковариации.

Эффективные вычисления

Для данных, выраженных в виде дискретной последовательности, часто необходимо вычислить автокорреляцию с высокой вычислительной эффективностью . Метод грубой силы , основанный на определении обработки сигнала, можно использовать, когда размер сигнала небольшой. Например, чтобы вычислить автокорреляцию реальной сигнальной последовательности (т. е . и для всех других значений i ) вручную, мы сначала осознаем, что только что данное определение такое же, как «обычное» умножение, но со сдвигами вправо, где каждое вертикальное сложение дает автокорреляцию для определенных значений задержки: ${\displaystyle R_{xx}(j)=\sum _{n}x_{n}\,{\overline {x}}_{n-j}}$ ${\displaystyle x=(2,3,-1)}$ ${\displaystyle x_{0}=2,x_{1}=3,x_{2}=-1}$ ${\displaystyle x_{i}=0}$ $${\displaystyle {\begin{array}{rrrrrr}&2&3&-1\\\times &2&3&-1\\\hline &-2&-3&1\\&&6&9&-3\\+&&&4&6&-2\\\hline &-2&3&14&3&-2\end{array}}}$$

Таким образом, требуемая последовательность автокорреляции равна , где и автокорреляция для других значений задержки равна нулю. В этом вычислении мы не выполняем операцию переноса во время сложения, как это обычно происходит при обычном умножении. Обратите внимание, что мы можем вдвое сократить количество необходимых операций, используя присущую автокорреляции симметрию. Если сигнал окажется периодическим, т.е. тогда мы получим круговую автокорреляцию (похожую на круговую свертку ), где левый и правый хвосты предыдущей последовательности автокорреляции будут перекрываться и давать тот же период, что и последовательность сигналов. Процедуру можно рассматривать как как применение свойства свертки Z-преобразования дискретного сигнала. ${\displaystyle R_{xx}=(-2,3,14,3,-2)}$ ${\displaystyle R_{xx}(0)=14,}$ ${\displaystyle R_{xx}(-1)=R_{xx}(1)=3,}$ ${\displaystyle R_{xx}(-2)=R_{xx}(2)=-2,}$ ${\displaystyle x=(\ldots ,2,3,-1,2,3,-1,\ldots ),}$ ${\displaystyle R_{xx}=(\ldots ,14,1,1,14,1,1,\ldots )}$ ${\displaystyle x.}$

Хотя алгоритм грубой силы имеет порядок n ² , существует несколько эффективных алгоритмов, которые могут вычислять автокорреляцию порядка n log( n ) . Например, теорема Винера-Хинчина позволяет вычислить автокорреляцию на основе необработанных данных X ( t ) с помощью двух быстрых преобразований Фурье (БПФ): ^{[6] [ нужна страница ]}

$${\displaystyle {\begin{aligned}F_{R}(f)&=\operatorname {FFT} [X(t)]\\S(f)&=F_{R}(f)F_{R}^{*}(f)\\R(\tau )&=\operatorname {IFFT} [S(f)]\end{aligned}}}$$

где IFFT обозначает обратное быстрое преобразование Фурье . Звездочка обозначает комплексно-сопряженное число .

Альтернативно, множественная корреляция τ может быть выполнена с использованием грубого расчета для низких значений τ , а затем постепенного группирования данных X ( t ) с логарифмической плотностью для вычисления более высоких значений, что приводит к той же эффективности n log( n ) , но с меньшими требованиями к памяти. ^{[7] [8]}

Оценка

Для дискретного процесса с известным средним значением и дисперсией, для которого мы наблюдаем наблюдения , оценку коэффициента автокорреляции можно получить как ${\displaystyle n}$ ${\displaystyle \{X_{1},\,X_{2},\,\ldots ,\,X_{n}\}}$

$${\displaystyle {\hat {R}}(k)={\frac {1}{(n-k)\sigma ^{2}}}\sum _{t=1}^{n-k}(X_{t}-\mu )(X_{t+k}-\mu )}$$

для любого положительного целого числа . Когда известны истинное среднее значение и дисперсия , эта оценка является несмещенной . Если истинное среднее значение и дисперсия процесса неизвестны, есть несколько возможностей: ${\displaystyle k<n}$ ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}}$

• Если и заменить стандартными формулами для выборочного среднего и выборочной дисперсии, то это будет смещенная оценка . ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}}$
• Оценка на основе периодограммы заменяет в приведенной выше формуле на . Эта оценка всегда смещена; однако обычно он имеет меньшую среднеквадратическую ошибку . ^{[9] [10]} ${\displaystyle n-k}$ ${\displaystyle n}$
• Другие возможности связаны с обработкой двух частей данных по отдельности и расчетом отдельных выборочных средних значений и/или выборочных дисперсий для использования при определении оценки. ^{[ нужна цитата ]} ${\displaystyle \{X_{1},\,X_{2},\,\ldots ,\,X_{n-k}\}}$ ${\displaystyle \{X_{k+1},\,X_{k+2},\,\ldots ,\,X_{n}\}}$

Преимущество оценок последнего типа состоит в том, что набор оцененных автокорреляций как функция от затем образует функцию, которая является действительной автокорреляцией в том смысле, что можно определить теоретический процесс, имеющий именно эту автокорреляцию. Другие оценки могут страдать от проблемы: если они используются для расчета дисперсии линейной комбинации цифр , рассчитанная дисперсия может оказаться отрицательной. ^[11] ${\displaystyle k}$ ${\displaystyle X}$

Регрессивный анализ

В регрессионном анализе с использованием данных временных рядов автокорреляция интересующей переменной обычно моделируется либо с помощью модели авторегрессии (AR), модели скользящего среднего (MA), их комбинации в виде модели авторегрессии-скользящего среднего (ARMA) или модели скользящего среднего авторегрессии (ARMA). расширение последней называется авторегрессионной интегрированной моделью скользящего среднего (ARIMA). При работе с несколькими взаимосвязанными рядами данных используется векторная авторегрессия (VAR) или ее расширения.

В методе обычных наименьших квадратов (МНК) адекватность спецификации модели можно частично проверить, установив, существует ли автокорреляция остатков регрессии . Проблемную автокорреляцию ошибок, которые сами по себе не наблюдаются, обычно можно обнаружить, поскольку она приводит к автокорреляции наблюдаемых остатков. (Ошибки также известны как «члены ошибок» в эконометрике .) Автокорреляция ошибок нарушает обычное предположение метода наименьших квадратов о том, что члены ошибок некоррелированы, а это означает, что теорема Гаусса Маркова не применяется и что оценки OLS больше не являются лучшими. Линейные несмещенные оценки ( СИНИЙ ). Хотя это не искажает оценки коэффициентов МНК, стандартные ошибки имеют тенденцию недооцениваться (а t-показатели переоцениваются), когда автокорреляция ошибок при малых задержках положительна.

Традиционным тестом на наличие автокорреляции первого порядка является статистика Дурбина-Ватсона или, если объясняющие переменные включают запаздывающую зависимую переменную, статистика Дурбина h . Однако корреляцию Дурбина-Ватсона можно линейно сопоставить с корреляцией Пирсона между значениями и их задержками. ^[12] Более гибким тестом, охватывающим автокорреляцию более высоких порядков и применимым независимо от того, включают ли регрессоры лаги зависимой переменной, является тест Бреуша-Годфри . Это включает в себя вспомогательную регрессию, в которой остатки, полученные в результате оценки интересующей модели, регрессируются по (а) исходным регрессорам и (б) k задержкам остатков, где «k» — порядок теста. Самая простая версия тестовой статистики из этой вспомогательной регрессии — TR ² , где T — размер выборки, а R ² — коэффициент детерминации . При нулевой гипотезе отсутствия автокорреляции эта статистика распределяется асимптотически, как и ${\displaystyle \chi ^{2}}$ с k степенями свободы.

Ответы на ненулевую автокорреляцию включают обобщенные методы наименьших квадратов и оценку HAC Ньюи-Уэста (согласованность гетероскедастичности и автокорреляции). ^[13]

При оценке модели скользящего среднего (MA) функция автокорреляции используется для определения соответствующего количества включенных членов с задержкой. Это основано на том факте, что для процесса MA порядка q мы имеем , for , и , for . ${\displaystyle R(\tau )\neq 0}$ ${\displaystyle \tau =0,1,\ldots ,q}$ ${\displaystyle R(\tau )=0}$ ${\displaystyle \tau >q}$

Приложения

Способность автокорреляции находить повторяющиеся закономерности в данных находит множество применений, в том числе:

• Автокорреляционный анализ широко используется во флуоресцентной корреляционной спектроскопии ^[14] для количественного понимания диффузии и химических реакций на молекулярном уровне. ^[15]
• Другим применением автокорреляции является измерение оптических спектров и измерение световых импульсов очень короткой длительности , создаваемых лазерами , оба с использованием оптических автокорреляторов .
• Автокорреляция используется для анализа данных динамического светорассеяния , что, в частности, позволяет определять распределение частиц нанометрового размера или мицелл по размерам , суспендированных в жидкости. Лазер, освещающий смесь, создает спекл-паттерн , возникающий в результате движения частиц. Автокорреляцию сигнала можно анализировать с точки зрения диффузии частиц. Отсюда, зная вязкость жидкости, можно рассчитать размеры частиц.
• Используется в системе GPS для коррекции задержки распространения или временного сдвига между моментом времени передачи несущего сигнала на спутниках и моментом времени в приемнике на земле. Это делается за счет того, что приемник генерирует сигнал-реплику 1023-битного кода C/A (грубый/сбор данных) и генерирует строки кодовых чипов [-1,1] в пакетах по десять за раз, или 10230 чипов (1023 × 10), слегка смещаясь по мере продвижения, чтобы учесть доплеровский сдвиг входящего спутникового сигнала, пока сигнал-реплика приемника и коды спутникового сигнала не совпадут. ^[16]
• Интенсивность малоуглового рассеяния рентгеновских лучей наноструктурированной системой представляет собой Фурье-преобразование пространственной автокорреляционной функции электронной плотности.
• В науках о поверхности и сканирующей зондовой микроскопии автокорреляция используется для установления связи между морфологией поверхности и функциональными характеристиками. ^[17]
• В оптике нормированные автокорреляции и взаимные корреляции дают степень когерентности электромагнитного поля.
• В астрономии автокорреляция может определять частоту пульсаров .
• В музыке автокорреляция (при применении во временных масштабах менее секунды) используется в качестве алгоритма определения высоты звука как для тюнеров инструментов, так и для «автонастройки» (используется как эффект искажения или для фиксации интонации). ^[18] При применении во временных масштабах больше секунды автокорреляция может идентифицировать музыкальный ритм , например, для определения темпа .
• Автокорреляция в пространстве, а не во времени, посредством функции Паттерсона , используется специалистами по рентгеновской дифракции, чтобы помочь восстановить «фазовую информацию Фурье» о положениях атомов, недоступную только с помощью дифракции.
• В статистике пространственная автокорреляция между местоположениями выборки также помогает оценить неопределенность среднего значения при выборке гетерогенной совокупности.
• Алгоритм SEQUEST для анализа масс-спектров использует автокорреляцию в сочетании с взаимной корреляцией для оценки сходства наблюдаемого спектра с идеализированным спектром, представляющим пептид .
• В астрофизике автокорреляция используется для изучения и характеристики пространственного распределения галактик во Вселенной, а также в многоволновых наблюдениях рентгеновских двойных систем малой массы .
• В панельных данных пространственная автокорреляция относится к корреляции переменной самой с собой через пространство.
• При анализе данных Монте-Карло цепи Маркова для правильного определения ошибок необходимо учитывать автокорреляцию.
• В науках о Земле (в частности, в геофизике ) его можно использовать для расчета автокорреляционного сейсмического атрибута на основе трехмерной сейсмической съемки под землей.
• В медицинской ультразвуковой визуализации автокорреляция используется для визуализации кровотока.
• При межвременном выборе портфеля наличие или отсутствие автокорреляции в норме доходности актива может повлиять на оптимальную часть портфеля, которую можно держать в этом активе.
• В числовых реле автокорреляция использовалась для точного измерения частоты энергосистемы. ^[19]

Серийная зависимость

Серийная зависимость тесно связана с понятием автокорреляции, но представляет собой отдельную концепцию (см. Корреляция и зависимость ). В частности, возможна серийная зависимость, но не (линейная) корреляция. Однако в некоторых областях эти два термина используются как синонимы.

Временной ряд случайной величины имеет серийную зависимость, если значение в какой-то момент ряда статистически зависит от значения в другой момент времени . Серия серийно независима, если между какой-либо парой нет зависимости. ${\displaystyle t}$ ${\displaystyle s}$

Если временной ряд является стационарным , то статистическая зависимость между парой будет означать, что существует статистическая зависимость между всеми парами значений с одинаковым лагом . ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle (X_{t},X_{s})}$ ${\displaystyle \tau =s-t}$

Смотрите также

• Матрица автокорреляции
• Автокорреляция формального слова
• Метод автокорреляции
• Автокоррелятор
• Оценка Кокрейна – Оркатта (преобразование для автокоррелированных ошибок)
• Корреляционная функция
• Коррелограмма
• Взаимная корреляция
• КУСУМ
• Флуоресцентная корреляционная спектроскопия
• Оптическая автокорреляция
• Частичная автокорреляционная функция
• Филогенетическая автокорреляция (проблема Гальтона)
• Алгоритм определения высоты тона
• Преобразование Прайса – Уинстена
• Масштабированная корреляция
• Тройная корреляция
• Непредвзятая оценка стандартного отклонения

Рекомендации

1. Губнер, Джон А. (2006). Вероятность и случайные процессы для инженеров-электриков и вычислительной техники . Издательство Кембриджского университета. ISBN 978-0-521-86470-1.
2. Кун Иль Парк, Основы теории вероятностей и случайных процессов с применением в коммуникациях, Springer, 2018, ISBN 978-3-319-68074-3 
3. Папулис, Афанасий, Вероятность, случайные величины и случайные процессы , McGraw-Hill, 1991
4. Данн, Патрик Ф. (2005). Измерения и анализ данных для техники и науки . Нью-Йорк: МакГроу-Хилл. ISBN 978-0-07-282538-1.
5. Проакис, Джон (31 августа 2001 г.). Инженерия систем связи (2-е издание) (2-е изд.). Пирсон. п. 168. ИСБН 978-0130617934.
6. Коробка, GEP; Дженкинс, генеральный директор; Рейнзель, GC (1994). Анализ временных рядов: прогнозирование и контроль (3-е изд.). Река Аппер-Сэддл, Нью-Джерси: Прентис-Холл. ISBN 978-0130607744.
7. Френкель, Д.; Смит, Б. (2002). «глава 4.4.2». Понимание молекулярного моделирования (2-е изд.). Лондон: Академическая пресса. ISBN 978-0122673511.
8. Кольберг, П.; Хёфлинг, Ф. (2011). «Высокоускоренное моделирование стеклянной динамики с использованием графических процессоров: предостережения по поводу ограниченной точности вычислений с плавающей запятой». Вычислить. Физ. Коммун. 182 (5): 1120–1129. arXiv : 0912.3824 . Бибкод : 2011CoPhC.182.1120C. дои : 10.1016/j.cpc.2011.01.009. S2CID  7173093.
9. Пристли, МБ (1982). Спектральный анализ и временные ряды . Лондон, Нью-Йорк: Академическая пресса. ISBN 978-0125649018.
10. Персиваль, Дональд Б.; Эндрю Т. Уолден (1993). Спектральный анализ для физических приложений: многомерные и традиционные одномерные методы . Издательство Кембриджского университета. стр. 190–195. ISBN 978-0-521-43541-3.
11. Персиваль, Дональд Б. (1993). «Три любопытных свойства выборочной дисперсии и автоковариации для стационарных процессов с неизвестным средним значением». Американский статистик . 47 (4): 274–276. дои : 10.1080/00031305.1993.10475997.
12. «Методы серийной корреляции». Статистические идеи . 26 мая 2014 г.
13. Баум, Кристофер Ф. (2006). Введение в современную эконометрику с использованием Stata . Стата Пресс. ISBN 978-1-59718-013-9.
14. Элсон, Эллиот Л. (декабрь 2011 г.). «Флуоресцентная корреляционная спектроскопия: прошлое, настоящее, будущее». Биофизический журнал . 101 (12): 2855–2870. Бибкод : 2011BpJ...101.2855E. дои : 10.1016/j.bpj.2011.11.012. ПМК 3244056 . ПМИД  22208184. 
15. Холист, Роберт; Поневерский, Анджей; Чжан, Сюйчжу (2017). «Аналитическая форма автокорреляционной функции для корреляционной спектроскопии флуоресценции». Мягкая материя . 13 (6): 1267–1275. Бибкод : 2017SMat...13.1267H. дои : 10.1039/C6SM02643E . ISSN  1744-683X. ПМИД  28106203.
16. Ван Сикл, январь (2008). GPS для землемеров (Третье изд.). ЦРК Пресс. стр. 18–19. ISBN 978-0-8493-9195-8.
17. Калвани, Пайам Раджаби; Джахангири, Али Реза; Шапури, Самане; Сари, Амирхоссейн; Джалили, Юсеф Сейед (август 2019 г.). «Многомодовый АСМ-анализ тонких пленок оксида цинка, легированного алюминием, напыленных при различных температурах подложки, для оптоэлектронных приложений». Сверхрешетки и микроструктуры . 132 : 106173. doi : 10.1016/j.spmi.2019.106173. S2CID  198468676.
18. Тирангиэль, Джош (5 февраля 2009 г.). «Автонастройка: почему поп-музыка звучит идеально». Время . Архивировано из оригинала 10 февраля 2009 года.
19. Кастенный, Богдан (март 2016 г.). «Новый метод быстрого измерения частоты для приложений защиты» (PDF) . Инженерные лаборатории Швейцера. Архивировано (PDF) из оригинала 9 октября 2022 г. Проверено 28 мая 2022 г.

дальнейшее чтение

• Кмента, Ян (1986). Элементы эконометрики (второе изд.). Нью-Йорк: Макмиллан. стр. 298–334. ISBN 978-0-02-365070-3.
• Марно Вербек (10 августа 2017 г.). Руководство по современной эконометрике. Уайли. ISBN 978-1-119-40110-0.
• Моджтаба Солтаналян и Петре Стойка. «Вычислительный дизайн последовательностей с хорошими корреляционными свойствами». Транзакции IEEE по обработке сигналов, 60.5 (2012): 2180–2193.
• Соломон В. Голомб и Гуан Гун. Проектирование сигналов для хорошей корреляции: для беспроводной связи, криптографии и радаров. Издательство Кембриджского университета, 2005.
• Клапетек, Петр (2018). Количественная обработка данных в сканирующей зондовой микроскопии: приложения СЗМ для нанометрологии (второе изд.). Эльзевир. стр. 108–112 ISBN 9780128133477 . 
• Вайсштейн, Эрик В. «Автокорреляция». Математический мир .