Фазовая корреляция

Фазовая корреляция — это подход к оценке относительного поступательного смещения между двумя похожими изображениями ( корреляция цифровых изображений ) или другими наборами данных. Он обычно используется при регистрации изображений и основан на представлении данных в частотной области , обычно рассчитываемом с помощью быстрых преобразований Фурье . Этот термин применяется, в частности, к подмножеству методов взаимной корреляции , которые изолируют информацию о фазе от представления кросс- коррелограммы в пространстве Фурье .

Пример

На следующем изображении показано использование фазовой корреляции для определения относительного поступательного движения между двумя изображениями, искаженными независимым гауссовским шумом. Изображение было переведено на (30,33) пикселей. Соответственно, отчетливо виден пик в представлении фазовой корреляции примерно (30,33).

Метод

Учитывая два входных изображения и : ${\displaystyle \ g_{a}}$ ${\displaystyle \ g_{b}}$

Примените оконную функцию (например, окно Хэмминга ) к обоим изображениям, чтобы уменьшить краевые эффекты (это может быть необязательно в зависимости от характеристик изображения). Затем вычислите дискретное 2D- преобразование Фурье обоих изображений.

${\displaystyle \ \mathbf {G} _{a}={\mathcal {F}}\{g_{a}\},\;\mathbf {G} _{b}={\mathcal {F}}\{g_{b}\}}$

Вычислите перекрестный спектр мощности , взяв комплексное сопряжение второго результата, поэлементно умножив преобразования Фурье и нормализовав это произведение поэлементно.

${\displaystyle \ R={\frac {\mathbf {G} _{a}\circ \mathbf {G} _{b}^{*}}{|\mathbf {G} _{a}\circ \mathbf {G} _{b}^{*}|}}}$

Где находится произведение Адамара (продукт по входу), и абсолютные значения также берутся по входу. Записано по записи для индекса элемента : ${\displaystyle \circ }$ ${\displaystyle (j,k)}$

${\displaystyle \ R_{jk}={\frac {G_{a,jk}\cdot G_{b,jk}^{*}}{|G_{a,jk}\cdot G_{b,jk}^{*}|}}}$

Получите нормализованную взаимную корреляцию, применив обратное преобразование Фурье.

${\displaystyle \ r={\mathcal {F}}^{-1}\{R\}}$

Определите положение пика . ${\displaystyle \ r}$

${\displaystyle \ (\Delta x,\Delta y)=\arg \max _{(x,y)}\{r\}}$

Обычно методы интерполяции используются для оценки положения пика на кросс- коррелограмме до нецелочисленных значений, несмотря на то, что данные дискретны, и эту процедуру часто называют «субпиксельной регистрацией». В технической литературе представлено большое разнообразие методов субпиксельной интерполяции. Были использованы общие методы интерполяции пиков, такие как параболическая интерполяция, а пакет компьютерного зрения OpenCV использует метод на основе центроида , хотя они обычно имеют меньшую точность по сравнению с более сложными методами.

Поскольку представление данных Фурье уже вычислено, для этой цели особенно удобно использовать теорему о сдвиге Фурье с действительными (субцелочисленными) сдвигами, которая по существу интерполирует с использованием синусоидальных базисных функций преобразования Фурье. Особенно популярная оценка на основе FT предложена Foroosh et al. ^[1] В этом методе местоположение пика субпикселя аппроксимируется простой формулой, включающей пиковое значение пикселя и значения его ближайших соседей, где — пиковое значение, а — ближайший сосед в направлении x (при условии, как и в большинстве подходов , что целочисленный сдвиг уже найден и сравниваемые изображения отличаются только субпиксельным сдвигом). ${\displaystyle r_{(0,0)}}$ ${\displaystyle r_{(1,0)}}$

${\displaystyle \ \Delta x={\frac {r_{(1,0)}}{r_{(1,0)}\pm r_{(0,0)}}}}$^{[ нужны разъяснения ]}

Форуш и др. Этот метод довольно быстрый по сравнению с большинством методов, хотя он не всегда самый точный. Некоторые методы смещают пик в пространстве Фурье и применяют нелинейную оптимизацию для максимизации пика коррелограммы, но они имеют тенденцию быть очень медленными, поскольку должны применять обратное преобразование Фурье или его эквивалент в целевой функции. ^[2]

Как отметил Стоун, также возможно определить местоположение пика по фазовым характеристикам в пространстве Фурье без обратного преобразования. ^[3] Эти методы обычно используют линейный метод наименьших квадратов (LLS) для фазовых углов с плоской моделью. Большая задержка вычисления фазового угла в этих методах является недостатком, но скорость иногда может быть сравнима со скоростью, полученной Форошем и др. метод в зависимости от размера изображения. По скорости они часто выгодно отличаются от множественных итераций чрезвычайно медленных целевых функций в итерационных нелинейных методах.

Поскольку все методы вычисления субпиксельного сдвига по своей сути являются интерполяционными, производительность конкретного метода зависит от того, насколько хорошо базовые данные соответствуют предположениям интерполятора. Этот факт также может ограничить полезность высокой числовой точности в алгоритме, поскольку неопределенность, связанная с выбором метода интерполяции, может быть больше, чем любая числовая ошибка или ошибка аппроксимации в конкретном методе.

Субпиксельные методы также особенно чувствительны к шуму в изображениях, а полезность того или иного алгоритма отличается не только скоростью и точностью, но и устойчивостью к конкретным типам шума в приложении.

Обоснование

Метод основан на теореме о сдвиге Фурье .

Пусть два изображения и представляют собой сдвинутые по кругу версии друг друга: ${\displaystyle \ g_{a}}$ ${\displaystyle \ g_{b}}$

${\displaystyle \ g_{b}(x,y)\ {\stackrel {\mathrm {def} }{=}}\ g_{a}((x-\Delta x){\bmod {M}},(y-\Delta y){\bmod {N}})}$

(где изображения имеют размер). ${\displaystyle \ M\times N}$

Тогда дискретные преобразования Фурье изображений будут сдвинуты относительно по фазе :

${\displaystyle \mathbf {G} _{b}(u,v)=\mathbf {G} _{a}(u,v)e^{-2\pi i({\frac {u\Delta x}{M}}+{\frac {v\Delta y}{N}})}}$

Затем можно вычислить нормализованный спектр перекрестной мощности, чтобы учесть разность фаз:

${\displaystyle {\begin{aligned}R(u,v)&={\frac {\mathbf {G} _{a}\mathbf {G} _{b}^{*}}{|\mathbf {G} _{a}\mathbf {G} _{b}^{*}|}}\\&={\frac {\mathbf {G} _{a}\mathbf {G} _{a}^{*}e^{2\pi i({\frac {u\Delta x}{M}}+{\frac {v\Delta y}{N}})}}{|\mathbf {G} _{a}\mathbf {G} _{a}^{*}e^{2\pi i({\frac {u\Delta x}{M}}+{\frac {v\Delta y}{N}})}|}}\\&={\frac {\mathbf {G} _{a}\mathbf {G} _{a}^{*}e^{2\pi i({\frac {u\Delta x}{M}}+{\frac {v\Delta y}{N}})}}{|\mathbf {G} _{a}\mathbf {G} _{a}^{*}|}}\\&=e^{2\pi i({\frac {u\Delta x}{M}}+{\frac {v\Delta y}{N}})}\end{aligned}}}$

поскольку величина мнимой экспоненты всегда равна единице, а фаза всегда равна нулю. ${\displaystyle \ \mathbf {G} _{a}\mathbf {G} _{a}^{*}}$

Обратное преобразование Фурье комплексной экспоненты представляет собой дельта-функцию Дирака , то есть одиночный пик:

${\displaystyle \ r(x,y)=\delta (x+\Delta x,y+\Delta y)}$

Этот результат мог быть получен путем непосредственного расчета взаимной корреляции . Преимущество этого метода в том, что дискретное преобразование Фурье и обратное ему можно выполнить с помощью быстрого преобразования Фурье , которое намного быстрее, чем корреляция для больших изображений.

Преимущества

В отличие от многих алгоритмов пространственной области, метод фазовой корреляции устойчив к шуму, окклюзиям и другим дефектам, типичным для медицинских или спутниковых изображений. ^[4]

Метод можно расширить для определения разницы в повороте и масштабировании между двумя изображениями, сначала преобразуя изображения в логарифмические координаты . Благодаря свойствам преобразования Фурье параметры вращения и масштабирования могут быть определены способом, инвариантным к сдвигу. ^{[5] [6]}

Ограничения

На практике более вероятно, что это будет простой линейный сдвиг , а не круговой сдвиг, как того требует объяснение выше. В таких случаях не будет простой дельта-функции, что снизит производительность метода. В таких случаях во время преобразования Фурье следует использовать оконную функцию (например, окно Гаусса или Тьюки), чтобы уменьшить краевые эффекты, или изображения должны быть дополнены нулями, чтобы краевые эффекты можно было игнорировать. Если изображения состоят из плоского фона со всеми деталями, расположенными вдали от краев, то линейный сдвиг будет эквивалентен круговому сдвигу, и приведенный выше вывод будет выполнен точно. Пик можно повысить заострением, используя корреляцию краев или векторов. ^[7] ${\displaystyle \ g_{b}}$ ${\displaystyle \ g_{a}}$ ${\displaystyle \ r}$

Для периодических изображений (таких как шахматная доска или частокол) фазовая корреляция может давать неоднозначные результаты с несколькими пиками в результирующем выходе.

Приложения

Фазовая корреляция является предпочтительным методом преобразования телевизионных стандартов , поскольку она оставляет наименьшее количество артефактов.

Смотрите также

Общий

• Взаимная корреляция
• Масштабированная корреляция
• Фазовый поиск

Телевидение

• Преобразование телевизионных стандартов
• Обратное преобразование стандартов

Рекомендации

1. Х. Форуш (Шекарфоруш), Дж. Б. Зерубия и М. Бертод, «Расширение фазовой корреляции до субпиксельной регистрации», Транзакции IEEE по обработке изображений, т. 11, № 3, март 2002 г., стр. 188-200.
2. EgM Sjödahl и LR Benckert, «Электронная спекл-фотография: анализ алгоритма, дающего смещение с субпиксельной точностью», Appl Opt. 1 мая 1993 г.; 32 (13): 2278-84. дои : 10.1364/AO.32.002278
3. Гарольд С. Стоун, «Быстрый прямой алгоритм на основе Фурье для субпиксельной регистрации изображений», IEEE Transactions on Geoscience and Remote Sensing, V. 39, № 10, октябрь 2001 г., стр. 2235-2242.
4. С. Нитьянадам, С. Амаресан и Н. Мохамед Харис «Инновационный процесс нормализации методом фазовой корреляции изображений радужной оболочки глаза для размера блока 32 * 32»
5. Э. Де Кастро и К. Моранди «Регистрация переведенных и повернутых изображений с использованием конечных преобразований Фурье», Транзакции IEEE по анализу шаблонов и машинному интеллекту, сентябрь 1987 г.
6. Б. С. Редди и Б. Н. Чаттерджи, «Техника на основе БПФ для перевода, вращения и регистрации изображений, не зависящих от масштаба», Транзакции IEEE по обработке изображений 5, вып. 8 (1996): 1266–1271.
7. Сарвайя, Джигнеш Натварлал; Патнаик, Суправа; Котари, Каджал (2012). «Регистрация изображения с использованием логарифмического полярного преобразования и фазовой корреляции для восстановления более высокого масштаба». JPRR . 7 (1): 90–105. CiteSeerX 10.1.1.730.9105 . дои : 10.13176/11.355. 

Внешние ссылки

• Использование Matlab для выполнения нормализованной взаимной корреляции изображений