stringtranslate.com

Кросс-корреляция

Визуальное сравнение свертки , кросс-корреляции и автокорреляции . Для операций, включающих функцию f , и предполагая, что высота f равна 1,0, значение результата в 5 различных точках указано затененной областью под каждой точкой. Кроме того, причиной является вертикальная симметрия f , и они идентичны в этом примере.

В обработке сигналов кросс-корреляция является мерой сходства двух рядов как функции смещения одного относительно другого. Это также известно как скользящее скалярное произведение или скользящее внутреннее произведение . Обычно используется для поиска в длинном сигнале более короткого известного признака. Он применяется в распознавании образов , анализе отдельных частиц , электронной томографии , усреднении , криптоанализе и нейрофизиологии . Кросс-корреляция по своей природе похожа на свертку двух функций. В автокорреляции , которая является кросс-корреляцией сигнала с самим собой, всегда будет пик при задержке, равной нулю, и его размер будет энергией сигнала.

В теории вероятности и статистики термин «взаимная корреляция» относится к корреляциям между записями двух случайных векторов и , в то время как корреляции случайного вектора являются корреляциями между записями самого себя, которые образуют корреляционную матрицу . Если каждый из и является скалярной случайной величиной, которая реализуется многократно во временном ряду , то корреляции различных временных экземпляров известны как автокорреляции , а взаимные корреляции с во времени являются временными взаимными корреляциями. В теории вероятности и статистики определение корреляции всегда включает стандартизирующий фактор таким образом, что корреляции имеют значения между −1 и +1.

Если и являются двумя независимыми случайными величинами с функциями плотности вероятности и , соответственно, то плотность вероятности разности формально задается кросс-корреляцией (в смысле обработки сигналов) ; однако эта терминология не используется в вероятности и статистике. Напротив, свертка (эквивалентная кросс-корреляции и ) дает функцию плотности вероятности суммы .

Взаимная корреляция детерминированных сигналов

Для непрерывных функций и взаимная корреляция определяется как: [1] [2] [3] что эквивалентно , где обозначает комплексное сопряжение , и называется смещением или задержкой. Для высококоррелированных и , которые имеют максимальную взаимную корреляцию при определенном , функция в при также появляется позже в при , следовательно, может быть описана как задержка на .

Если и являются непрерывными периодическими функциями периода , то интегрирование от до заменяется интегрированием по любому интервалу длины : что эквивалентно Аналогично, для дискретных функций взаимная корреляция определяется как: [4] [5] что эквивалентно: Для конечных дискретных функций (круговая) взаимная корреляция определяется как: [6] что эквивалентно: Для конечных дискретных функций , взаимная корреляция ядра определяется как: [7] где — вектор функций ядра , а — аффинное преобразование .

В частности, может быть преобразованием кругового переноса, преобразованием вращения или преобразованием масштаба и т. д. Ядерная кросс-корреляция расширяет кросс-корреляцию из линейного пространства в пространство ядра. Кросс-корреляция эквивариантна переносу; ядерная кросс-корреляция эквивариантна любым аффинным преобразованиям, включая перенос, поворот и масштаб и т. д.

Объяснение

В качестве примера рассмотрим две функции с действительными значениями и , отличающиеся только неизвестным сдвигом по оси x. Можно использовать взаимную корреляцию, чтобы найти, насколько нужно сместить по оси x, чтобы она стала идентичной . Формула по сути скользит по оси x, вычисляя интеграл их произведения в каждой позиции. Когда функции совпадают, значение максимизируется. Это происходит потому, что когда пики (положительные области) выравниваются, они вносят большой вклад в интеграл. Аналогично, когда впадины (отрицательные области) выравниваются, они также вносят положительный вклад в интеграл, потому что произведение двух отрицательных чисел положительно.

Анимация расчета кросс-корреляции. На левом графике показана зеленая функция G, сдвинутая по фазе относительно функции F на время смещения 𝜏. На среднем графике показаны функция F и сдвинутая по фазе G, представленные вместе в виде кривой Лиссажу . Интегрирование F, умноженной на сдвинутую по фазе G, дает правый график — кросс-корреляцию по всем значениям 𝜏.

В случае комплекснозначных функций и взятие сопряженного значения гарантирует, что выровненные пики (или выровненные впадины) с мнимыми компонентами будут давать положительный вклад в интеграл.

В эконометрике запаздывающую кросс-корреляцию иногда называют кросс-автокорреляцией. [8] : стр. 74 

Характеристики

Взаимная корреляция случайных векторов

Определение

Для случайных векторов и , каждый из которых содержит случайные элементы , чье ожидаемое значение и дисперсия существуют, матрица взаимной корреляции и определяется [10] : стр.337  и имеет размерности . Записано покомпонентно: Случайные векторы и не обязательно должны иметь одинаковую размерность, и любой из них может быть скалярным значением. Где — ожидаемое значение .

Пример

Например, если и — случайные векторы, то — матрица, -й элемент которой равен .

Определение для сложных случайных векторов

Если и являются сложными случайными векторами , каждый из которых содержит случайные величины, чье ожидаемое значение и дисперсия существуют, то матрица взаимной корреляции и определяется как , где обозначает эрмитово транспонирование .

Взаимная корреляция случайных процессов

В анализе временных рядов и статистике взаимная корреляция пары случайных процессов — это корреляция между значениями процессов в разное время как функция двух времен. Пусть — пара случайных процессов, а — любая точка во времени ( может быть целым числом для дискретного процесса или действительным числом для непрерывного процесса). Тогда — это значение (или реализация ), произведенное заданным запуском процесса в момент времени .

Функция взаимной корреляции

Предположим, что процесс имеет средние значения и и дисперсии и в момент времени , для каждого . Тогда определение кросс-корреляции между моментами времени и равно [10] : стр.392,  где — оператор ожидаемого значения . Обратите внимание, что это выражение может быть не определено.

Функция кросс-ковариации

Вычитание среднего значения перед умножением дает взаимную ковариацию между временами и : [10] : стр.392  Обратите внимание, что это выражение не является четко определенным для всех временных рядов или процессов, поскольку среднее значение или дисперсия могут не существовать.

Определение стационарного случайного процесса в широком смысле

Пусть представим пару случайных процессов , которые совместно являются стационарными в широком смысле . Тогда функция взаимной ковариации и функция взаимной корреляции задаются следующим образом.

Функция взаимной корреляции

или эквивалентно

Функция кросс-ковариации

или эквивалентно, где и являются средним и стандартным отклонением процесса , которые постоянны во времени из-за стационарности; и аналогично для , соответственно. указывает на ожидаемое значение . То, что кросс-ковариация и кросс-корреляция независимы от , как раз и является дополнительной информацией (помимо индивидуальной стационарности в широком смысле), передаваемой требованием, чтобы они были совместно стационарными в широком смысле.

Взаимная корреляция пары совместно стационарных стохастических процессов в широком смысле может быть оценена путем усреднения произведения выборок, измеренных из одного процесса, и выборок, измеренных из другого (и его временных сдвигов). Выборки, включенные в усреднение, могут быть произвольным подмножеством всех выборок в сигнале (например, выборки в пределах конечного временного окна или подвыборка [ какая ? ] одного из сигналов). Для большого числа выборок среднее значение сходится к истинной взаимной корреляции.

Нормализация

В некоторых дисциплинах (например, в статистике и анализе временных рядов ) общепринятой практикой является нормализация функции взаимной корреляции для получения зависящего от времени коэффициента корреляции Пирсона . Однако в других дисциплинах (например, в инженерии) нормализация обычно опускается, и термины «взаимная корреляция» и «взаимная ковариация» используются взаимозаменяемо.

Определение нормализованной взаимной корреляции стохастического процесса: Если функция хорошо определена, ее значение должно лежать в диапазоне , где 1 указывает на идеальную корреляцию, а −1 указывает на идеальную антикорреляцию .

Для совместно стационарных в широком смысле случайных процессов определение имеет вид Нормализация важна как потому, что интерпретация автокорреляции как корреляции обеспечивает не зависящую от масштаба меру силы статистической зависимости , так и потому, что нормализация влияет на статистические свойства оцененных автокорреляций.

Характеристики

Свойство симметрии

Для совместно стационарных в широком смысле стохастических процессов функция взаимной корреляции имеет следующее свойство симметрии: [11] : стр.173  Соответственно для совместно WSS-процессов:

Анализ временной задержки

Взаимная корреляция полезна для определения временной задержки между двумя сигналами, например, для определения временных задержек распространения акустических сигналов через микрофонную решетку. [12] [13] [ необходимо разъяснение ] После вычисления взаимной корреляции между двумя сигналами максимум (или минимум, если сигналы отрицательно коррелированы) функции взаимной корреляции указывает на момент времени, когда сигналы наилучшим образом выровнены; т. е. временная задержка между двумя сигналами определяется аргументом максимума или arg max взаимной корреляции , как в Терминология в обработке изображений

Нулевая нормализованная кросс-корреляция (ZNCC)

Для приложений обработки изображений , в которых яркость изображения и шаблона может меняться из-за условий освещения и экспозиции, изображения можно сначала нормализовать. Обычно это делается на каждом шаге путем вычитания среднего значения и деления на стандартное отклонение . То есть, взаимная корреляция шаблона с подизображением равна



где — количество пикселей в и , — среднее значение и — стандартное отклонение .

В терминах функционального анализа это можно рассматривать как скалярное произведение двух нормализованных векторов . То есть, если и то указанная выше сумма равна где — скалярное произведение , а — норма L ² . Тогда Коши–Шварц подразумевает, что ZNCC имеет диапазон .

Таким образом, если и являются действительными матрицами, их нормализованная взаимная корреляция равна косинусу угла между единичными векторами и , причем тогда и только тогда, когда равняется умноженному на положительный скаляр.

Нормализованная корреляция — один из методов, используемых для сопоставления шаблонов , процесса, используемого для поиска экземпляров шаблона или объекта в пределах изображения. Это также двумерная версия коэффициента корреляции Пирсона .

Нормализованная кросс-корреляция (NCC)

NCC аналогичен ZNCC с той лишь разницей, что не вычитается локальное среднее значение интенсивностей:

Нелинейные системы

При использовании кросс-корреляции для нелинейных систем следует проявлять осторожность. В определенных обстоятельствах, которые зависят от свойств входа, кросс-корреляция между входом и выходом системы с нелинейной динамикой может быть полностью слепой к определенным нелинейным эффектам. [14] Эта проблема возникает из-за того, что некоторые квадратичные моменты могут быть равны нулю, и это может неверно предполагать, что существует небольшая «корреляция» (в смысле статистической зависимости) между двумя сигналами, когда на самом деле два сигнала сильно связаны нелинейной динамикой.

Смотрите также

Ссылки

  1. ^ Брейсвелл, Р. «Обозначение пентаграммы для кросс-корреляции». Преобразование Фурье и его применение. Нью-Йорк: McGraw-Hill, стр. 46 и 243, 1965.
  2. ^ Папулис, А. Интеграл Фурье и его приложения. Нью-Йорк: McGraw-Hill, стр. 244–245 и 252-253, 1962.
  3. ^ Weisstein, Eric W. "Cross-Correlation". Из MathWorld--A Wolfram Web Resource. http://mathworld.wolfram.com/Cross-Correlation.html
  4. ^ Рабинер, Л. Р.; Шефер, Р. В. (1978). Цифровая обработка речевых сигналов . Серия «Обработка сигналов». Аппер Сэдл Ривер, Нью-Джерси: Prentice Hall. С. 147–148. ISBN 0132136031.
  5. ^ Рабинер, Лоуренс Р.; Голд, Бернард (1975). Теория и применение цифровой обработки сигналов . Энглвуд Клиффс, Нью-Джерси: Prentice-Hall. С. 401. ISBN 0139141014.
  6. ^ Ван, Чен (2019). Ядерное обучение для визуального восприятия, Глава 2.2.1 (Докторская диссертация). Наньянский технологический университет, Сингапур. С. 17–18. doi : 10.32657/10220/47835 . hdl : 10356/105527 .
  7. ^ Ван, Чэнь; Чжан, Ле; Юань, Цзюньсун; Се, Лихуа (2018). «Кросс-коррелятор ядра». Труды конференции AAAI по искусственному интеллекту . Тридцать вторая конференция AAAI по искусственному интеллекту. 32. Ассоциация по развитию искусственного интеллекта: 4179–4186. doi : 10.1609/aaai.v32i1.11710 . S2CID  3544911.
  8. ^ Кэмпбелл; Ло; МакКинли (1996). Эконометрика финансовых рынков . Нью-Джерси: Princeton University Press. ISBN 0691043019.
  9. ^ Капинчев, Константин; Браду, Адриан; Барнс, Фредерик; Подолеану, Адриан (2015). «Реализация кросс-корреляции на GPU для генерации изображений в реальном времени». 2015 9-я Международная конференция по системам обработки сигналов и связи (ICSPCS) . С. 1–6. doi :10.1109/ICSPCS.2015.7391783. ISBN 978-1-4673-8118-5. S2CID  17108908.
  10. ^ abc Губнер, Джон А. (2006). Вероятность и случайные процессы для инженеров-электриков и компьютерщиков . Cambridge University Press. ISBN 978-0-521-86470-1.
  11. ^ Кун Ил Пак, Основы теории вероятностей и стохастических процессов с приложениями к коммуникациям, Springer, 2018, 978-3-319-68074-3
  12. ^ Rhudy, Matthew; Brian Bucci; Jeffrey Vipperman; Jeffrey Allanach; Bruce Abraham (ноябрь 2009 г.). Методы анализа микрофонной решетки с использованием перекрестных корреляций . Труды Международного конгресса по машиностроению ASME 2009 г., Лейк-Буэна-Виста, Флорида. С. 281–288. doi :10.1115/IMECE2009-10798. ISBN 978-0-7918-4388-8.
  13. ^ Рауди, Мэтью (ноябрь 2009 г.). Реализация военного импульсного классификатора в реальном времени (диссертация на степень магистра). Университет Питтсбурга.
  14. ^ Биллингс, С.А. (2013). Нелинейная системная идентификация: методы NARMAX во временной, частотной и пространственно-временной областях . Wiley. ISBN 978-1-118-53556-1.

Дальнейшее чтение

Внешние ссылки