Корреляция сигнала со своей сдвинутой во времени копией как функция сдвига
Вверху: график серии из 100 случайных чисел, скрывающих синусоидальную функцию. Внизу: синусоидальная функция, показанная на коррелограмме, полученной с помощью автокорреляции.Визуальное сравнение свертки, взаимной корреляции и автокорреляции . Для операций с функцией f и при условии, что высота f равна 1,0, значение результата в 5 разных точках обозначается заштрихованной областью под каждой точкой. Кроме того, причиной является симметрия f , и в этом примере они идентичны.
Автокорреляция , иногда известная как последовательная корреляция в случае дискретного времени , представляет собой корреляцию сигнала с его задержанной копией как функцию задержки. Неформально это сходство между наблюдениями случайной величины как функция временного лага между ними. Анализ автокорреляции — это математический инструмент для поиска повторяющихся закономерностей, таких как наличие периодического сигнала, скрытого шумом , или определение недостающей основной частоты в сигнале, подразумеваемой его гармоническими частотами. Он часто используется при обработке сигналов для анализа функций или серий значений, таких как сигналы во временной области .
В разных областях исследований автокорреляция определяется по-разному, и не все эти определения эквивалентны. В некоторых областях этот термин используется как синоним автоковариации .
В статистике автокорреляция реального или сложного случайного процесса представляет собой корреляцию Пирсона между значениями процесса в разное время в зависимости от двух времен или временной задержки. Пусть это случайный процесс и любой момент времени ( может быть целым числом для процесса с дискретным временем или действительным числом для процесса с непрерывным временем ). Тогда является ли ценность (или реализация ) произведенной данным запуском процесса в определенный момент времени . Предположим, что процесс имеет среднее значение и дисперсию во времени для каждого из них . Тогда определение автокорреляционной функции между временем и будет следующим : [1] : стр.388 [2] : стр.165
Вычитание среднего значения перед умножением дает функцию автоковариации между временем и : [1] : стр. 392 [2] : стр. 168
Обратите внимание, что это выражение не определено четко для всех временных рядов или процессов, поскольку среднее значение может не существовать, или дисперсия может быть нулевой (для постоянного процесса) или бесконечной (для процессов с распределением, в котором отсутствуют моменты с хорошим поведением, такие как определенные виды степенного закона ).
Определение стационарного случайного процесса в широком смысле
Если это стационарный процесс в широком смысле, то среднее значение и дисперсия не зависят от времени, и, кроме того, функция автоковариации зависит только от задержки между и : автоковариация зависит только от расстояния во времени между парой значений, но не от их положение во времени. Это также означает, что автоковариация и автокорреляция могут быть выражены как функция временной задержки, и что это будет четная функция задержки . Это дает более знакомые формы автокорреляционной функции [1] : стр.395.
Определение коэффициента автокорреляции случайного процесса [2] : стр.169.
Если функция четко определена, ее значение должно лежать в диапазоне , где 1 указывает на идеальную корреляцию, а -1 указывает на идеальную антикорреляцию .
Нормализация важна как потому, что интерпретация автокорреляции как корреляции обеспечивает безмасштабную меру силы статистической зависимости , так и потому, что нормализация влияет на статистические свойства оцененных автокорреляций.
Характеристики
Свойство симметрии
Тот факт, что автокорреляционная функция является четной функцией, можно сформулировать как [2] : стр.171.
Автокорреляция непрерывного сигнала белого шума будет иметь сильный пик (представленный дельта-функцией Дирака ) при и будет точно для всех остальных .
Для вещественнозначных функций симметричная автокорреляционная функция имеет вещественное симметричное преобразование, поэтому теорему Винера – Хинчина можно перевыразить только через действительные косинусы:
Автокорреляция случайных векторов
Матрица автокорреляции (потенциально зависящая от времени) (также называемая вторым моментом) случайного вектора (потенциально зависящего от времени) представляет собой матрицу, содержащую в качестве элементов автокорреляции всех пар элементов случайного вектора . Матрица автокорреляции используется в различных алгоритмах цифровой обработки сигналов .
Например, если это случайный вектор, то это матрица, -я запись которой равна .
Свойства автокорреляционной матрицы
Матрица автокорреляции представляет собой эрмитову матрицу для комплексных случайных векторов и симметричную матрицу для вещественных случайных векторов. [3] : стр. 190
Матрица автокорреляции представляет собой положительную полуопределенную матрицу , [3] : стр.190 , т.е. для вещественного случайного вектора и соответственно в случае комплексного случайного вектора.
Все собственные значения матрицы автокорреляции действительны и неотрицательны.
Матрица автоковариации связана с матрицей автокорреляции следующим образом:
Соответственно для сложных случайных векторов:
Автокорреляция детерминированных сигналов
В обработке сигналов приведенное выше определение часто используется без нормализации, то есть без вычитания среднего значения и деления на дисперсию. Когда автокорреляционная функция нормируется по среднему значению и дисперсии, ее иногда называют коэффициентом автокорреляции [4] или автоковариационной функцией.
Автокорреляция непрерывного сигнала
Учитывая сигнал , непрерывная автокорреляция чаще всего определяется как непрерывный интеграл взаимной корреляции с самим собой при задержке . [1] : стр. 411
где представляет собой комплексно-сопряженное число . Обратите внимание, что параметр в интеграле является фиктивной переменной и необходим только для вычисления интеграла. Оно не имеет конкретного значения.
Автокорреляция сигнала дискретного времени
Дискретная автокорреляция с задержкой для сигнала с дискретным временем равна
Приведенные выше определения применимы к сигналам, которые интегрируются с квадратом или суммируются с квадратом, то есть имеют конечную энергию. Вместо этого сигналы, которые «длятся вечно», рассматриваются как случайные процессы, и в этом случае необходимы другие определения, основанные на ожидаемых значениях. Для стационарных случайных процессов в широком смысле автокорреляции определяются как
Для процессов, которые не являются стационарными , это также будут функции , или .
Для процессов, которые также являются эргодическими , математическое ожидание можно заменить пределом среднего по времени. Автокорреляция эргодического процесса иногда определяется или приравнивается к [4]
Эти определения имеют то преимущество, что они дают разумные, четко определенные однопараметрические результаты для периодических функций, даже если эти функции не являются результатом стационарных эргодических процессов.
Альтернативно, сигналы, которые длятся вечно, можно обрабатывать с помощью кратковременного анализа автокорреляционной функции с использованием интегралов конечного времени. ( Связанный процесс см. в разделе кратковременное преобразование Фурье .)
Определение периодических сигналов
Если – непрерывная периодическая функция периода , то интегрирование от до заменяется интегрированием по любому интервалу длины :
что эквивалентно
Характеристики
Далее мы будем описывать свойства только одномерных автокорреляций, поскольку большинство свойств легко переносится из одномерного случая в многомерные случаи. Эти свойства справедливы для стационарных процессов в широком смысле . [5]
Фундаментальным свойством автокорреляции является симметрия, что легко доказать из определения. В непрерывном случае
автокорреляция является четной функцией, если это действительная функция, и
Непрерывная автокорреляционная функция достигает своего максимума в начале координат, где она принимает действительное значение, т.е. при любой задержке , . [1] : с.410 Это следствие перестановочного неравенства . Тот же результат справедлив и в дискретном случае.
Автокорреляция периодической функции сама по себе является периодической с тем же периодом.
Автокорреляция суммы двух совершенно некоррелированных функций (взаимная корреляция равна нулю для всех ) представляет собой сумму автокорреляций каждой функции в отдельности.
Поскольку автокорреляция представляет собой особый тип взаимной корреляции , она сохраняет все свойства взаимной корреляции.
Используя символ для обозначения свертки и функции, которая манипулирует функцией и определяется как , определение для может быть записано как:
Многомерная автокорреляция
Многомерная автокорреляция определяется аналогично . Например, в трех измерениях автокорреляция дискретного сигнала, суммируемого с квадратом, будет равна
Когда средние значения вычитаются из сигналов перед вычислением автокорреляционной функции, результирующую функцию обычно называют функцией автоковариации.
Эффективные вычисления
Для данных, выраженных в виде дискретной последовательности, часто необходимо вычислить автокорреляцию с высокой вычислительной эффективностью . Метод грубой силы , основанный на определении обработки сигнала, можно использовать, когда размер сигнала небольшой. Например, чтобы вычислить автокорреляцию реальной сигнальной последовательности (т. е . и для всех других значений i ) вручную, мы сначала осознаем, что только что данное определение такое же, как «обычное» умножение, но со сдвигами вправо, где каждое вертикальное сложение дает автокорреляцию для определенных значений задержки:
Таким образом, требуемая последовательность автокорреляции равна , где и автокорреляция для других значений задержки равна нулю. В этом вычислении мы не выполняем операцию переноса во время сложения, как это обычно происходит при обычном умножении. Обратите внимание, что мы можем вдвое сократить количество необходимых операций, используя присущую автокорреляции симметрию. Если сигнал окажется периодическим, т.е. тогда мы получим круговую автокорреляцию (похожую на круговую свертку ), где левый и правый хвосты предыдущей последовательности автокорреляции будут перекрываться и давать тот же период, что и последовательность сигналов. Процедуру можно рассматривать как как применение свойства свертки Z-преобразования дискретного сигнала.
Хотя алгоритм грубой силы имеет порядок n 2 , существует несколько эффективных алгоритмов, которые могут вычислять автокорреляцию порядка n log( n ) . Например, теорема Винера-Хинчина позволяет вычислить автокорреляцию на основе необработанных данных X ( t ) с помощью двух быстрых преобразований Фурье (БПФ): [6] [ нужна страница ]
Альтернативно, множественная корреляция τ может быть выполнена с использованием грубого расчета для низких значений τ , а затем постепенного объединения данных X ( t ) с логарифмической плотностью для вычисления более высоких значений, что приводит к той же эффективности n log( n ) , но с меньшими требованиями к памяти. [7] [8]
Оценка
Для дискретного процесса с известным средним значением и дисперсией, для которого мы наблюдаем наблюдения , оценку коэффициента автокорреляции можно получить как
для любого положительного целого числа . Когда известны истинное среднее значение и дисперсия , эта оценка является несмещенной . Если истинное среднее значение и дисперсия процесса неизвестны, есть несколько возможностей:
Если и заменить стандартными формулами для выборочного среднего и выборочной дисперсии, то это будет смещенная оценка .
Оценка на основе периодограммы заменяет в приведенной выше формуле на . Эта оценка всегда смещена; однако обычно он имеет меньшую среднеквадратическую ошибку. [9] [10]
Другие возможности связаны с обработкой двух частей данных по отдельности и расчетом отдельных выборочных средних значений и/или выборочных дисперсий для использования при определении оценки. [ нужна цитата ]
Преимущество оценок последнего типа состоит в том, что набор оцененных автокорреляций как функция от затем образует функцию, которая является действительной автокорреляцией в том смысле, что можно определить теоретический процесс, имеющий именно эту автокорреляцию. Другие оценки могут страдать от проблемы: если они используются для расчета дисперсии линейной комбинации цифр , рассчитанная дисперсия может оказаться отрицательной. [11]
В методе обычных наименьших квадратов (OLS) адекватность спецификации модели можно частично проверить, установив, существует ли автокорреляция остатков регрессии . Проблемную автокорреляцию ошибок, которые сами по себе не наблюдаются, обычно можно обнаружить, поскольку она приводит к автокорреляции наблюдаемых остатков. (Ошибки также известны как «члены ошибок» в эконометрике .) Автокорреляция ошибок нарушает обычное предположение метода наименьших квадратов о том, что члены ошибок некоррелированы, а это означает, что теорема Гаусса Маркова не применяется и что оценки OLS больше не являются лучшими. Линейные несмещенные оценки ( СИНИЙ ). Хотя это не искажает оценки коэффициентов МНК, стандартные ошибки имеют тенденцию недооцениваться (а t-показатели переоцениваются), когда автокорреляция ошибок при малых задержках положительна.
Традиционным тестом на наличие автокорреляции первого порядка является статистика Дурбина-Ватсона или, если объясняющие переменные включают запаздывающую зависимую переменную, h-статистика Дурбина . Однако корреляцию Дурбина-Ватсона можно линейно сопоставить с корреляцией Пирсона между значениями и их задержками. [12] Более гибким тестом, охватывающим автокорреляцию более высоких порядков и применимым независимо от того, включают ли регрессоры лаги зависимой переменной, является тест Бреуша-Годфри . Это включает в себя вспомогательную регрессию, в которой остатки, полученные в результате оценки интересующей модели, регрессируются по (а) исходным регрессорам и (б) k задержкам остатков, где «k» — порядок теста. Самая простая версия тестовой статистики из этой вспомогательной регрессии — TR 2 , где T — размер выборки, а R 2 — коэффициент детерминации . При нулевой гипотезе отсутствия автокорреляции эта статистика распределяется асимптотически, как и с k степенями свободы.
При оценке модели скользящего среднего (MA) функция автокорреляции используется для определения соответствующего количества включенных членов с запаздыванием. Это основано на том факте, что для процесса MA порядка q мы имеем , for , и , for .
Приложения
Автокорреляционный анализ широко используется во флуоресцентной корреляционной спектроскопии [14] для количественного понимания диффузии и химических реакций на молекулярном уровне. [15]
Автокорреляция используется для анализа данных динамического светорассеяния , что, в частности, позволяет определять распределение частиц нанометрового размера или мицелл по размерам , суспендированных в жидкости. Лазер, освещающий смесь, создает спекл-паттерн , возникающий в результате движения частиц. Автокорреляцию сигнала можно анализировать с точки зрения диффузии частиц. Отсюда, зная вязкость жидкости, можно рассчитать размеры частиц.
Используется в системе GPS для коррекции задержки распространения или временного сдвига между моментом времени передачи несущего сигнала на спутниках и моментом времени в приемнике на земле. Это делается за счет того, что приемник генерирует сигнал-реплику 1023-битного кода C/A (грубый/сбор данных) и генерирует строки кодовых чипов [-1,1] в пакетах по десять за раз, или 10230 чипов (1023 × 10), слегка смещаясь по мере продвижения, чтобы учесть доплеровский сдвиг входящего спутникового сигнала, пока сигнал-реплика приемника и коды спутникового сигнала не совпадут. [16]
Интенсивность малоуглового рассеяния рентгеновских лучей наноструктурированной системой представляет собой Фурье-преобразование пространственной автокорреляционной функции электронной плотности.
Автокорреляция в пространстве, а не во времени, посредством функции Паттерсона , используется специалистами по рентгеновской дифракции, чтобы помочь восстановить «фазовую информацию Фурье» о положениях атомов, недоступную только с помощью дифракции.
В статистике пространственная автокорреляция между местоположениями выборки также помогает оценить неопределенность среднего значения при выборке гетерогенной совокупности.
Алгоритм SEQUEST для анализа масс-спектров использует автокорреляцию в сочетании с взаимной корреляцией для оценки сходства наблюдаемого спектра с идеализированным спектром, представляющим пептид .
В астрофизике автокорреляция используется для изучения и характеристики пространственного распределения галактик во Вселенной, а также в многоволновых наблюдениях рентгеновских двойных систем малой массы .
В панельных данных пространственная автокорреляция относится к корреляции переменной самой с собой через пространство.
При анализе данных Монте-Карло цепи Маркова для правильного определения ошибок необходимо учитывать автокорреляцию.
В науках о Земле (в частности, в геофизике ) его можно использовать для расчета автокорреляционного сейсмического атрибута на основе трехмерной сейсмической съемки под землей.
Автокорреляция использовалась для точного измерения частоты энергосистемы в цифровых реле . [19]
Серийная зависимость
Серийная зависимость тесно связана с понятием автокорреляции, но представляет собой отдельную концепцию (см. Корреляция и зависимость ). В частности, возможна серийная зависимость, но не (линейная) корреляция. Однако в некоторых областях эти два термина используются как синонимы.
Временной ряд случайной величины имеет серийную зависимость, если значение в какой-то момент ряда статистически зависит от значения в другой момент времени . Серия серийно независима, если между какой-либо парой нет зависимости.
Если временной ряд является стационарным , то статистическая зависимость между парой будет означать, что существует статистическая зависимость между всеми парами значений с одинаковым лагом .
^ abcdefg Губнер, Джон А. (2006). Вероятность и случайные процессы для инженеров-электриков и вычислительной техники . Издательство Кембриджского университета. ISBN 978-0-521-86470-1.
^ abcdef Кун Иль Парк, Основы теории вероятностей и случайных процессов с применением в коммуникациях, Springer, 2018, ISBN 978-3-319-68074-3
^ abc Папулис, Афанасий, Вероятность, случайные величины и случайные процессы , McGraw-Hill, 1991
^ Аб Данн, Патрик Ф. (2005). Измерения и анализ данных для техники и науки . Нью-Йорк: МакГроу-Хилл. ISBN978-0-07-282538-1.
↑ Проакис, Джон (31 августа 2001 г.). Инженерия систем связи (2-е издание) (2-е изд.). Пирсон. п. 168. ИСБН978-0130617934.
^ Коробка, GEP; Дженкинс, генеральный директор; Рейнзель, GC (1994). Анализ временных рядов: прогнозирование и контроль (3-е изд.). Река Аппер-Сэддл, Нью-Джерси: Прентис-Холл. ISBN978-0130607744.
^ Кольберг, П.; Хёфлинг, Ф. (2011). «Высокоускоренное моделирование стеклянной динамики с использованием графических процессоров: предостережения по поводу ограниченной точности вычислений с плавающей запятой». Вычислить. Физ. Коммун. 182 (5): 1120–1129. arXiv : 0912.3824 . Бибкод : 2011CoPhC.182.1120C. дои :10.1016/j.cpc.2011.01.009. S2CID 7173093.
^ Пристли, МБ (1982). Спектральный анализ и временные ряды . Лондон, Нью-Йорк: Академическая пресса. ISBN978-0125649018.
^ Персиваль, Дональд Б.; Эндрю Т. Уолден (1993). Спектральный анализ для физических приложений: многомерные и традиционные одномерные методы . Издательство Кембриджского университета. стр. 190–195. ISBN978-0-521-43541-3.
^ Персиваль, Дональд Б. (1993). «Три любопытных свойства выборочной дисперсии и автоковариации для стационарных процессов с неизвестным средним значением». Американский статистик . 47 (4): 274–276. дои : 10.1080/00031305.1993.10475997.
^ «Методы серийной корреляции». Статистические идеи . 26 мая 2014 г.
^ Баум, Кристофер Ф. (2006). Введение в современную эконометрику с использованием Stata . Стата Пресс. ISBN978-1-59718-013-9.
^ Элсон, Эллиот Л. (декабрь 2011 г.). «Флуоресцентная корреляционная спектроскопия: прошлое, настоящее, будущее». Биофизический журнал . 101 (12): 2855–2870. Бибкод : 2011BpJ...101.2855E. дои : 10.1016/j.bpj.2011.11.012. ПМК 3244056 . ПМИД 22208184.
^ Ван Сикл, январь (2008). GPS для землемеров (Третье изд.). ЦРК Пресс. стр. 18–19. ISBN978-0-8493-9195-8.
^ Калвани, Пайам Раджаби; Джахангири, Али Реза; Шапури, Самане; Сари, Амирхоссейн; Джалили, Юсеф Сейед (август 2019 г.). «Многомодовый АСМ-анализ тонких пленок оксида цинка, легированного алюминием, напыленных при различных температурах подложки, для оптоэлектронных приложений». Сверхрешетки и микроструктуры . 132 : 106173. doi : 10.1016/j.spmi.2019.106173. S2CID 198468676.
^ Тирангиэль, Джош (5 февраля 2009 г.). «Автонастройка: почему поп-музыка звучит идеально». Время . Архивировано из оригинала 10 февраля 2009 года.
^ Кастенный, Богдан (март 2016 г.). «Новый метод быстрого измерения частоты для приложений защиты» (PDF) . Инженерные лаборатории Швейцера. Архивировано (PDF) из оригинала 9 октября 2022 г. Проверено 28 мая 2022 г.
дальнейшее чтение
Кмента, Ян (1986). Элементы эконометрики (второе изд.). Нью-Йорк: Макмиллан. стр. 298–334. ISBN 978-0-02-365070-3.
Моджтаба Солтаналян и Петре Стойка. «Вычислительный дизайн последовательностей с хорошими корреляционными свойствами». Транзакции IEEE по обработке сигналов, 60.5 (2012): 2180–2193.
Соломон В. Голомб и Гуан Гун. Проектирование сигналов для хорошей корреляции: для беспроводной связи, криптографии и радаров. Издательство Кембриджского университета, 2005.
Клапетек, Петр (2018). Количественная обработка данных в сканирующей зондовой микроскопии: приложения СЗМ для нанометрологии (второе изд.). Эльзевир. стр. 108–112 ISBN 9780128133477 .