В теории вероятности и статистики термин «взаимная корреляция» относится к корреляциям между записями двух случайных векторов и , в то время как корреляции случайного вектора являются корреляциями между записями самого себя, теми, которые образуют корреляционную матрицу . Если каждый из и является скалярной случайной величиной, которая реализуется многократно во временном ряду , то корреляции различных временных экземпляров известны как автокорреляции , а взаимные корреляции с во времени являются временными взаимными корреляциями. В теории вероятности и статистики определение корреляции всегда включает стандартизирующий фактор таким образом, что корреляции имеют значения между −1 и +1.
Если и являются двумя независимыми случайными величинами с функциями плотности вероятности и , соответственно, то плотность вероятности разности формально задается кросс-корреляцией (в смысле обработки сигналов) ; однако эта терминология не используется в вероятности и статистике. Напротив, свертка (эквивалентная кросс-корреляции и ) дает функцию плотности вероятности суммы .
Взаимная корреляция детерминированных сигналов
Для непрерывных функций и взаимная корреляция определяется как: [1] [2] [3] что эквивалентно , где обозначает комплексное сопряжение , и называется смещением или задержкой. Для высококоррелированных и , которые имеют максимальную взаимную корреляцию при определенном , функция в при также появляется позже в при , следовательно, может быть описана как задержка на .
Если и являются непрерывными периодическими функциями периода , то интегрирование от до заменяется интегрированием по любому интервалу длины : что эквивалентно Аналогично, для дискретных функций взаимная корреляция определяется как: [4] [5] что эквивалентно: Для конечных дискретных функций (круговая) взаимная корреляция определяется как: [6] что эквивалентно: Для конечных дискретных функций , взаимная корреляция ядра определяется как: [7] где — вектор функций ядра , а — аффинное преобразование .
В частности, может быть преобразованием кругового переноса, преобразованием вращения или преобразованием масштаба и т. д. Ядерная кросс-корреляция расширяет кросс-корреляцию из линейного пространства в пространство ядра. Кросс-корреляция эквивариантна переносу; ядерная кросс-корреляция эквивариантна любым аффинным преобразованиям, включая перенос, поворот и масштаб и т. д.
Объяснение
В качестве примера рассмотрим две функции с действительными значениями и , отличающиеся только неизвестным сдвигом по оси x. Можно использовать взаимную корреляцию, чтобы найти, насколько нужно сместить по оси x, чтобы она стала идентичной . Формула по сути скользит по оси x, вычисляя интеграл их произведения в каждой позиции. Когда функции совпадают, значение максимизируется. Это происходит потому, что когда пики (положительные области) выравниваются, они вносят большой вклад в интеграл. Аналогично, когда впадины (отрицательные области) выравниваются, они также вносят положительный вклад в интеграл, потому что произведение двух отрицательных чисел положительно.
В случае комплекснозначных функций и взятие сопряженного значения гарантирует, что выровненные пики (или выровненные впадины) с мнимыми компонентами внесут положительный вклад в интеграл.
В эконометрике запаздывающую кросс-корреляцию иногда называют кросс-автокорреляцией. [8] : стр. 74
Характеристики
Взаимная корреляция функций и эквивалентна свертке (обозначаемой ) функций и . То есть:
Аналогично теореме о свертке , кросс-корреляция удовлетворяет условию
где обозначает преобразование Фурье , а снова обозначает комплексное сопряжение , поскольку . В сочетании с быстрыми алгоритмами преобразования Фурье это свойство часто используется для эффективного численного вычисления взаимных корреляций [9] (см. круговая взаимная корреляция ).
Взаимная корреляция свертки и с функцией — это свертка взаимной корреляции и с ядром :
.
Взаимная корреляция случайных векторов
Определение
Для случайных векторов и , каждый из которых содержит случайные элементы , чье ожидаемое значение и дисперсия существуют, матрица взаимной корреляции и определяется [10] : стр.337 и имеет размерности . Записано покомпонентно: Случайные векторы и не обязательно должны иметь одинаковую размерность, и любой из них может быть скалярным значением. Где — ожидаемое значение .
Пример
Например, если и — случайные векторы, то — матрица, -й элемент которой равен .
Определение для сложных случайных векторов
Если и являются сложными случайными векторами , каждый из которых содержит случайные величины, чье ожидаемое значение и дисперсия существуют, то матрица взаимной корреляции и определяется как , где обозначает эрмитово транспонирование .
Предположим, что процесс имеет средние значения и и дисперсии и в момент времени , для каждого . Тогда определение кросс-корреляции между моментами времени и равно [10] : стр.392, где — оператор ожидаемого значения . Обратите внимание, что это выражение может быть не определено.
Функция кросс-ковариации
Вычитание среднего значения перед умножением дает взаимную ковариацию между временами и : [10] : стр.392 Обратите внимание, что это выражение не является четко определенным для всех временных рядов или процессов, поскольку среднее значение или дисперсия могут не существовать.
Определение стационарного случайного процесса в широком смысле
или эквивалентно, где и являются средним и стандартным отклонением процесса , которые постоянны во времени из-за стационарности; и аналогично для , соответственно. указывает на ожидаемое значение . То, что кросс-ковариация и кросс-корреляция независимы от , как раз и является дополнительной информацией (помимо индивидуальной стационарности в широком смысле), передаваемой требованием, чтобы они были совместно стационарными в широком смысле.
Взаимная корреляция пары совместно стационарных стохастических процессов в широком смысле может быть оценена путем усреднения произведения выборок, измеренных из одного процесса, и выборок, измеренных из другого (и его временных сдвигов). Выборки, включенные в усреднение, могут быть произвольным подмножеством всех выборок в сигнале (например, выборки в пределах конечного временного окна или подвыборка [ какая ? ] одного из сигналов). Для большого числа выборок среднее значение сходится к истинной взаимной корреляции.
Определение нормализованной взаимной корреляции стохастического процесса: Если функция хорошо определена, ее значение должно лежать в диапазоне , где 1 указывает на идеальную корреляцию, а −1 указывает на идеальную антикорреляцию .
Для совместно стационарных в широком смысле случайных процессов определение имеет вид Нормализация важна как потому, что интерпретация автокорреляции как корреляции обеспечивает не зависящую от масштаба меру силы статистической зависимости , так и потому, что нормализация влияет на статистические свойства оцененных автокорреляций.
Характеристики
Свойство симметрии
Для совместно стационарных в широком смысле стохастических процессов функция взаимной корреляции имеет следующее свойство симметрии: [11] : стр.173 Соответственно для совместно WSS-процессов:
Анализ временной задержки
Взаимная корреляция полезна для определения временной задержки между двумя сигналами, например, для определения временных задержек распространения акустических сигналов через микрофонную решетку. [12] [13] [ необходимо разъяснение ] После вычисления взаимной корреляции между двумя сигналами максимум (или минимум, если сигналы отрицательно коррелированы) функции взаимной корреляции указывает на момент времени, когда сигналы наилучшим образом выровнены; т. е. временная задержка между двумя сигналами определяется аргументом максимума или arg max взаимной корреляции , как в Терминология в обработке изображений
Нулевая нормализованная кросс-корреляция (ZNCC)
Для приложений обработки изображений , в которых яркость изображения и шаблона может меняться из-за условий освещения и экспозиции, изображения можно сначала нормализовать. Обычно это делается на каждом шаге путем вычитания среднего значения и деления на стандартное отклонение . То есть, взаимная корреляция шаблона с подизображением равна
где — количество пикселей в и , — среднее значение и — стандартное отклонение .
Таким образом, если и являются действительными матрицами, их нормализованная взаимная корреляция равна косинусу угла между единичными векторами и , причем тогда и только тогда, когда равен , умноженному на положительный скаляр.
Нормализованная корреляция — один из методов, используемых для сопоставления шаблонов , процесса, используемого для поиска экземпляров шаблона или объекта в изображении. Это также двумерная версия коэффициента корреляции Пирсона .
Нормализованная кросс-корреляция (NCC)
NCC аналогичен ZNCC с той лишь разницей, что не вычитается локальное среднее значение интенсивностей:
Нелинейные системы
При использовании кросс-корреляции для нелинейных систем следует проявлять осторожность. В определенных обстоятельствах, которые зависят от свойств входа, кросс-корреляция между входом и выходом системы с нелинейной динамикой может быть полностью слепой к определенным нелинейным эффектам. [14] Эта проблема возникает из-за того, что некоторые квадратичные моменты могут быть равны нулю, и это может неверно предполагать, что существует небольшая «корреляция» (в смысле статистической зависимости) между двумя сигналами, когда на самом деле два сигнала сильно связаны нелинейной динамикой.
^ Брейсвелл, Р. «Обозначение пентаграммы для кросс-корреляции». Преобразование Фурье и его применение. Нью-Йорк: McGraw-Hill, стр. 46 и 243, 1965.
^ Папулис, А. Интеграл Фурье и его приложения. Нью-Йорк: McGraw-Hill, стр. 244–245 и 252-253, 1962.
^ Weisstein, Eric W. "Cross-Correlation". Из MathWorld--A Wolfram Web Resource. http://mathworld.wolfram.com/Cross-Correlation.html
^ Рабинер, Л.Р.; Шефер, Р.В. (1978). Цифровая обработка речевых сигналов . Серия «Обработка сигналов». Аппер Сэдл Ривер, Нью-Джерси: Prentice Hall. С. 147–148. ISBN 0132136031.
^ Рабинер, Лоуренс Р.; Голд, Бернард (1975). Теория и применение цифровой обработки сигналов . Энглвуд Клиффс, Нью-Джерси: Prentice-Hall. С. 401. ISBN0139141014.
^ Ван, Чен (2019). Ядерное обучение для визуального восприятия, Глава 2.2.1 (Докторская диссертация). Наньянский технологический университет, Сингапур. С. 17–18. doi : 10.32657/10220/47835 . hdl : 10356/105527 .
^ Ван, Чэнь; Чжан, Ле; Юань, Цзюньсун; Се, Лихуа (2018). «Кросс-коррелятор ядра». Труды конференции AAAI по искусственному интеллекту . Тридцать вторая конференция AAAI по искусственному интеллекту. 32. Ассоциация по развитию искусственного интеллекта: 4179–4186. doi : 10.1609/aaai.v32i1.11710 . S2CID 3544911.
^ Кэмпбелл; Ло; МакКинли (1996). Эконометрика финансовых рынков . Нью-Джерси: Princeton University Press. ISBN0691043019.
^ Капинчев, Константин; Браду, Адриан; Барнс, Фредерик; Подолеану, Адриан (2015). «Реализация кросс-корреляции на GPU для генерации изображений в реальном времени». 2015 9-я Международная конференция по системам обработки сигналов и связи (ICSPCS) . С. 1–6. doi :10.1109/ICSPCS.2015.7391783. ISBN978-1-4673-8118-5. S2CID 17108908.
^ abc Губнер, Джон А. (2006). Вероятность и случайные процессы для инженеров-электриков и компьютерщиков . Cambridge University Press. ISBN978-0-521-86470-1.
^ Кун Ил Пак, Основы теории вероятностей и стохастических процессов с приложениями к коммуникациям, Springer, 2018, 978-3-319-68074-3
^ Rhudy, Matthew; Brian Bucci; Jeffrey Vipperman; Jeffrey Allanach; Bruce Abraham (ноябрь 2009 г.). Методы анализа микрофонной решетки с использованием перекрестных корреляций . Труды Международного конгресса по машиностроению ASME 2009 г., Лейк-Буэна-Виста, Флорида. С. 281–288. doi :10.1115/IMECE2009-10798. ISBN978-0-7918-4388-8.
^ Рауди, Мэтью (ноябрь 2009 г.). Реализация военного импульсного классификатора в реальном времени (диссертация на степень магистра). Университет Питтсбурга.
^ Биллингс, С.А. (2013). Нелинейная системная идентификация: методы NARMAX во временной, частотной и пространственно-временной областях . Wiley. ISBN978-1-118-53556-1.
Дальнейшее чтение
Tahmasebi, Pejman; Hezarkhani, Ardeshir; Sahimi, Muhammad (2012). «Многоточечное геостатистическое моделирование на основе функций взаимной корреляции». Computational Geosciences . 16 (3): 779–797. Bibcode :2012CmpGe..16..779T. doi :10.1007/s10596-012-9287-1. S2CID 62710397.