Ректификация изображений — это процесс преобразования, используемый для проецирования изображений на общую плоскость изображения. Этот процесс имеет несколько степеней свободы, и существует множество стратегий преобразования изображений в общую плоскость. Ректификация изображений используется в компьютерном стереозрении для упрощения задачи поиска точек соответствия между изображениями (т. е. задачи соответствия ), а также в географических информационных системах (ГИС) для объединения изображений, полученных с разных точек зрения, в общую систему координат карты.
Компьютерное стереозрение берет два или более изображений с известными относительными положениями камеры, которые показывают объект с разных точек зрения. Затем для каждого пикселя он определяет глубину соответствующей точки сцены (т. е. расстояние от камеры), сначала находя совпадающие пиксели (т. е. пиксели, показывающие ту же точку сцены) на другом изображении(ях), а затем применяя триангуляцию к найденным совпадениям для определения их глубины. Поиск совпадений в стереозрении ограничен эпиполярной геометрией : совпадение каждого пикселя на другом изображении может быть найдено только на линии, называемой эпиполярной линией. Если два изображения копланарны, т. е. они были сделаны таким образом, что правая камера смещена только по горизонтали по сравнению с левой камерой (не перемещается к объекту и не поворачивается), то эпиполярная линия каждого пикселя горизонтальна и находится в том же вертикальном положении, что и этот пиксель. Однако в общих настройках (камера перемещается к объекту или поворачивается) эпиполярные линии наклонены. Ректификация изображения деформирует оба изображения таким образом, что они выглядят так, как будто они были сделаны только с горизонтальным смещением, и, как следствие, все эпиполярные линии горизонтальны, что немного упрощает процесс стереосопоставления. Однако следует отметить, что ректификация принципиально не меняет процесс стереосопоставления: она ищет линии, наклонные до и горизонтальные после ректификации.
Ректификация изображения также является эквивалентной (и более часто используемой [1] ) альтернативой идеальной копланарности камеры. Даже при использовании высокоточного оборудования обычно выполняется ректификация изображения, поскольку может быть непрактично поддерживать идеальную копланарность между камерами.
Корректировка изображений может быть выполнена только для двух изображений одновременно, а одновременная коррекция более двух изображений, как правило, невозможна. [2]
Если изображения, которые необходимо исправить, получены с пар камер без геометрических искажений , этот расчет можно легко выполнить с помощью линейного преобразования . Вращение по осям X и Y помещает изображения в одну плоскость, масштабирование делает кадры изображения одинаковыми по размеру, а вращение по оси Z и корректировка наклона заставляют ряды пикселей изображения напрямую выстраиваться в линию [ необходима ссылка ] . Необходимо знать жесткое выравнивание камер (путем калибровки), а коэффициенты калибровки используются преобразованием. [3]
При выполнении преобразования, если сами камеры откалиброваны по внутренним параметрам, существенная матрица обеспечивает связь между камерами. Более общий случай (без калибровки камеры) представлен фундаментальной матрицей . Если фундаментальная матрица неизвестна, необходимо найти предварительные точечные соответствия между стереоизображениями, чтобы облегчить ее извлечение. [3]
Существует три основные категории алгоритмов ректификации изображений: планарная ректификация, [4] цилиндрическая ректификация [1] и полярная ректификация. [5] [6] [7]
Все исправленные изображения удовлетворяют следующим двум свойствам: [8]
Чтобы преобразовать исходную пару изображений в пару исправленных изображений, необходимо найти проективное преобразование H. На H накладываются ограничения , чтобы удовлетворить двум свойствам, указанным выше. Например, ограничение эпиполярных линий параллельностью горизонтальной оси означает, что эпиполюса должны быть отображены в бесконечную точку [1,0,0] T в однородных координатах . Даже с этими ограничениями H все еще имеет четыре степени свободы. [9] Также необходимо найти соответствующее H' для исправления второго изображения пары изображений. Неудачный выбор H и H' может привести к получению исправленных изображений, которые будут резко изменены в масштабе или сильно искажены.
Существует множество различных стратегий выбора проективного преобразования H для каждого изображения из всех возможных решений. Один из продвинутых методов заключается в минимизации диспаратности или разности наименьших квадратов соответствующих точек на горизонтальной оси пары выпрямленных изображений. [9] Другой метод заключается в разделении H на специализированное проективное преобразование, преобразование подобия и преобразование сдвига для минимизации искажения изображения. [8] Один из простых методов заключается в повороте обоих изображений так, чтобы они смотрели перпендикулярно линии, соединяющей их коллективные оптические центры, повороте оптических осей так, чтобы горизонтальная ось каждого изображения указывала в направлении оптического центра другого изображения, и, наконец, масштабировании меньшего изображения для соответствия линии к линии. [2] Этот процесс демонстрируется в следующем примере.
Наша модель для этого примера основана на паре изображений, которые наблюдают 3D-точку P , которая соответствует p и p' в пиксельных координатах каждого изображения. O и O' представляют оптические центры каждой камеры с известными матрицами камеры и (мы предполагаем, что начало координат находится в первой камере). Мы кратко опишем и изобразим результаты для простого подхода к поиску проективного преобразования H и H' , которое исправляет пару изображений из сцены-примера.
Сначала мы вычисляем эпиполи e и e' на каждом изображении:
Во-вторых, мы находим проективное преобразование H 1 , которое поворачивает наше первое изображение так, чтобы оно было параллельно базовой линии, соединяющей O и O' (строка 2, столбец 1 набора 2D-изображений). Это вращение можно найти, используя векторное произведение между исходной и желаемой оптическими осями. [2] Затем мы находим проективное преобразование H 2 , которое берет повернутое изображение и поворачивает его так, чтобы горизонтальная ось совпадала с базовой линией. Если вычислено правильно, это второе преобразование должно отобразить e в бесконечность на оси x (строка 3, столбец 1 набора 2D-изображений). Наконец, определяем как проективное преобразование для исправления первого изображения.
В-третьих, с помощью эквивалентной операции мы можем найти H' для исправления второго изображения (столбец 2 набора двумерных изображений). Обратите внимание, что H' 1 должен повернуть оптическую ось второго изображения так, чтобы она была параллельна преобразованной оптической оси первого изображения. Одна из стратегий заключается в выборе плоскости, параллельной линии, где пересекаются две исходные оптические оси, чтобы минимизировать искажения от процесса повторного проецирования. [10] В этом примере мы просто определяем H' с помощью матрицы вращения R и начального проективного преобразования H как .
Наконец, мы масштабируем оба изображения до приблизительно одинакового разрешения и выравниваем теперь горизонтальные эпиполи для более легкого горизонтального сканирования на предмет соответствий (строка 4 набора 2D-изображений).
Обратите внимание, что можно выполнить этот и подобные алгоритмы без матриц параметров камеры M и M' . Все, что требуется, это набор из семи или более соответствий изображения к изображению для вычисления фундаментальных матриц и эпиполей. [9]
Ректификация изображений в ГИС преобразует изображения в стандартную систему координат карты. Это делается путем сопоставления опорных точек наземного уровня (GCP) в системе картографирования с точками на изображении. Эти опорные точки вычисляют необходимые преобразования изображения. [11]
Основные трудности в процессе возникают
Карты, которые используются с исправленными изображениями, не являются топографическими. Однако изображения, которые будут использоваться, могут содержать искажения от рельефа. Ортотрансформация изображений дополнительно устраняет эти эффекты. [11]
Исправление изображений — стандартная функция, доступная в пакетах программного обеспечения ГИС.
![{\displaystyle М=К[I~0]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/36bab3ec4fb0bb080e213c2ed255b77a3783af3b)
![{\displaystyle M'=K'[R~T]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6b49a26dca801d091e45d483e46eb0a17a883c28)
![{\displaystyle e=M{\begin{bmatrix}O'\\1\end{bmatrix}}=M{\begin{bmatrix}-R^{T}T\\1\end{bmatrix}}=K[I~0]{\begin{bmatrix}-R^{T}T\\1\end{bmatrix}}=-KR^{T}T}](https://wikimedia.org/api/rest_v1/media/math/render/svg/27b3eb1954bb32452aaee6d928968474f9e3b358)
![{\displaystyle e'=M'{\begin{bmatrix}O\\1\end{bmatrix}}=M'{\begin{bmatrix}0\\1\end{bmatrix}}=K'[R~T]{\begin{bmatrix}0\\1\end{bmatrix}}=K'T}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c2f0d667c156022e71390855e68b60621c65cead)
