Сшивка изображений или сшивка фотографий — это процесс объединения нескольких фотографических изображений с перекрывающимися полями обзора для создания сегментированной панорамы или изображения с высоким разрешением. Обычно выполняемые с использованием компьютерного программного обеспечения , большинство подходов к сшиванию изображений требуют почти точного перекрытия изображений и идентичных экспозиций для получения цельных результатов, [1] [2] , хотя некоторые алгоритмы сшивания на самом деле выигрывают от изображений с разной экспозицией, выполняя высокодинамичные операции. визуализация дальности в областях перекрытия. [3] [4] Некоторые цифровые камеры могут сшивать фотографии внутри камеры.
Сшивание изображений широко используется в современных приложениях, таких как:
Процесс сшивания изображений можно разделить на три основных компонента: регистрацию изображения , калибровку и смешивание .
Чтобы оценить выравнивание изображения, необходимы алгоритмы для определения соответствующей математической модели, связывающей координаты пикселей на одном изображении с координатами пикселей на другом. Для оценки этих параметров можно использовать алгоритмы, сочетающие прямое сравнение пикселей с градиентным спуском (и другие методы оптимизации).
В каждом изображении можно найти отличительные особенности, а затем эффективно сопоставить их для быстрого установления соответствия между парами изображений. Когда в панораме существует несколько изображений, были разработаны методы расчета глобально согласованного набора выравниваний и эффективного определения того, какие изображения перекрывают друг друга.
Необходима конечная поверхность композиции, на которой можно деформировать или проекционно преобразовать и разместить все выровненные изображения, а также алгоритмы для плавного смешивания перекрывающихся изображений даже при наличии параллакса, искажения объектива, движения сцены и различий в экспозиции.
Поскольку освещение в двух изображениях не может быть гарантированно идентичным, сшивка двух изображений может создать видимый шов. Другой причиной возникновения швов может быть изменение фона между двумя изображениями для одного и того же непрерывного переднего плана. Другими важными проблемами, с которыми приходится иметь дело, являются наличие параллакса , искажений объектива , движения сцены и различий в экспозиции . В неидеальном реальном случае интенсивность варьируется по всей сцене, а также контраст и интенсивность в разных кадрах. Кроме того, для создания визуально приятной композиции необходимо учитывать соотношение сторон панорамного изображения .
Для панорамной сшивки идеальный набор изображений должен иметь разумное перекрытие (не менее 15–30%), чтобы избежать искажений объектива и иметь достаточное количество обнаруживаемых особенностей. Набор изображений будет иметь постоянную экспозицию между кадрами, чтобы минимизировать вероятность появления стыков.
Обнаружение признаков необходимо для автоматического поиска соответствий между изображениями. Надежные соответствия необходимы для оценки необходимого преобразования для выравнивания изображения с изображением, на которое оно накладывается. Углы, пятна, углы Харриса и различия гауссиан от углов Харриса являются хорошими признаками, поскольку они повторяемы и различимы.
Один из первых операторов для обнаружения точек интереса был разработан Гансом П. Моравецом в 1977 году для его исследования, связанного с автоматической навигацией робота в кластерной среде. Моравец также определил концепцию «точек интереса» на изображении и пришел к выводу, что эти точки интереса можно использовать для поиска совпадающих областей на разных изображениях. Оператор Моравека считается угловым детектором, поскольку он определяет точки интереса как точки, в которых наблюдаются большие изменения интенсивности во всех направлениях. Часто это происходит на углах. Однако Моравец не был заинтересован в поиске углов, а просто в поиске отдельных областей изображения, которые можно было бы использовать для регистрации последовательных кадров изображения.
Харрис и Стивенс улучшили детектор углов Моравеца, непосредственно учитывая разницу результатов угловых ударов относительно направления. Им это было нужно как шаг обработки для построения интерпретации окружающей среды робота на основе последовательностей изображений. Как и Моравеку, им нужен был метод сопоставления соответствующих точек в последовательных кадрах изображения, но их интересовало отслеживание как углов, так и краев между кадрами.
SIFT и SURF — это новейшие алгоритмы обнаружения ключевых точек или точек интереса, но следует отметить, что SURF запатентован и его коммерческое использование ограничено. После обнаружения функции можно применить метод дескриптора, такой как дескриптор SIFT, для последующего сопоставления с ними.
Регистрация изображений предполагает сопоставление признаков [7] в наборе изображений или использование методов прямого выравнивания для поиска выравниваний изображений, которые минимизируют сумму абсолютных различий между перекрывающимися пикселями. [8] При использовании методов прямого выравнивания можно сначала откалибровать изображения, чтобы получить лучшие результаты. Кроме того, пользователи могут ввести приблизительную модель панорамы, чтобы облегчить этап сопоставления объектов, так что, например, только соседние изображения будут искать совпадающие объекты. Поскольку существует меньшая группа признаков для сопоставления, результат поиска получается более точным, а выполнение сравнения происходит быстрее.
Для оценки надежной модели на основе данных используется общий метод, известный как RANSAC . Название RANSAC является аббревиатурой от « RAN dom SA mple C onsensus». Это итерационный метод надежной оценки параметров, позволяющий подобрать математические модели на основе наборов наблюдаемых точек данных, которые могут содержать выбросы. Алгоритм является недетерминированным в том смысле, что он дает приемлемый результат только с определенной вероятностью, причем эта вероятность увеличивается по мере выполнения большего количества итераций. Это вероятностный метод означает, что при каждом запуске алгоритма будут получаться разные результаты.
Алгоритм RANSAC нашел множество применений в компьютерном зрении, включая одновременное решение задачи соответствия и оценку фундаментальной матрицы, связанной с парой стереокамер. Основное предположение метода состоит в том, что данные состоят из «внутренних значений», т. е. данных, распределение которых можно объяснить некоторой математической моделью, и «выбросов», то есть данных, которые не соответствуют модели. Выбросами считаются точки, возникающие из-за шума, ошибочных измерений или просто неверных данных.
Для решения проблемы оценки гомографии RANSAC пытается подогнать несколько моделей, используя некоторые пары точек, а затем проверяет, могут ли модели связать большинство точек. Лучшая модель — гомография, дающая наибольшее количество правильных совпадений, — затем выбирается в качестве ответа на задачу; таким образом, если отношение количества выбросов к точкам данных очень низкое, RANSAC выводит достойную модель, соответствующую данным.
Калибровка изображения направлена на минимизацию различий между идеальными моделями объективов и использованной комбинацией камеры и объектива, а также оптических дефектов, таких как искажения , различия в экспозиции между изображениями, виньетирование , [9] отклик камеры и хроматические аберрации . Если для регистрации изображений использовались методы обнаружения объектов, а абсолютные положения объектов были записаны и сохранены, программное обеспечение для сшивания может использовать данные для геометрической оптимизации изображений в дополнение к размещению изображений на паносфере. Panotools и различные производные от него программы используют этот метод.
Выравнивание может потребоваться для преобразования изображения в соответствии с точкой обзора изображения, с которым оно объединяется. Проще говоря, выравнивание — это изменение системы координат таким образом, чтобы она приняла новую систему координат, которая выводит изображение, соответствующее требуемой точке обзора. Типы преобразований, через которые может пройти изображение, — это чистый перевод, чистое вращение, преобразование подобия, которое включает в себя перемещение, вращение и масштабирование изображения, которое необходимо преобразовать, аффинное или проективное преобразование.
Проективное преобразование — это самое дальнее преобразование, которое может трансформировать изображение (в наборе двумерных плоских преобразований), при котором только видимые элементы, сохраняющиеся в преобразованном изображении, представляют собой прямые линии, тогда как при аффинном преобразовании сохраняется параллелизм.
Проективное преобразование можно математически описать как
где x — точки в старой системе координат, x’ — соответствующие точки преобразованного изображения, а H — матрица гомографии .
Выражая точки x и x' с использованием свойств камеры (K и K'), ее вращения и перевода [R t] в реальные координаты X и X', мы получаем
Используя два приведенных выше уравнения и соотношение гомографии между x 'и x, мы можем вывести
Матрица гомографии H имеет 8 параметров или степеней свободы. Гомография может быть вычислена с использованием прямого линейного преобразования и разложения по сингулярным значениям с помощью
где A — матрица, построенная с использованием координат соответствий, а h — одномерный вектор из 9 элементов измененной матрицы гомографии. Чтобы добраться до h, мы можем просто применить SVD: A = U S V T и h = V (столбец, соответствующий наименьшему сингулярному вектору). Это верно, поскольку h лежит в пустом пространстве A. Поскольку у нас есть 8 степеней свободы, алгоритм требует как минимум четырехточечных соответствий. В случае, когда RANSAC используется для оценки гомографии и доступно несколько соответствий, правильной матрицей гомографии является матрица с максимальным количеством вставок.
Композиция — это процесс, при котором исправленные изображения выравниваются таким образом, что они выглядят как один кадр сцены. Композицию можно выполнять автоматически, поскольку теперь алгоритм знает, какие соответствия перекрываются.
Смешивание изображений включает в себя выполнение корректировок, определенных на этапе калибровки, в сочетании с переназначением изображений в выходную проекцию. Цвета между изображениями корректируются , чтобы компенсировать разницу в экспозиции. Если применимо, выполняется объединение расширенного динамического диапазона вместе с компенсацией движения и устранением двоения. Изображения смешиваются вместе, и выполняется корректировка линий шва, чтобы свести к минимуму видимость швов между изображениями.
Шов можно уменьшить простой регулировкой усиления. Эта компенсация по сути минимизирует разницу в интенсивности перекрывающихся пикселей. Алгоритм смешивания изображений придает больший вес пикселям вблизи центра изображения. Изображения с компенсацией усиления и многополосные смешанные изображения сравниваются лучше всего. IJCV 2007. Выпрямление — еще один метод исправления изображения. Мэтью Браун и Дэвид Г. Лоу в своей статье «Автоматическое сшивание панорамных изображений с использованием инвариантных функций» описывают методы выпрямления, которые применяют глобальное вращение, так что вектор u является вертикальным (в кадре рендеринга), что эффективно удаляет волнистый эффект из выходных панорам.
Даже после компенсации усиления некоторые края изображения все еще видны из-за ряда немоделированных эффектов, таких как виньетирование (интенсивность уменьшается к краю изображения), эффекты параллакса из-за нежелательного движения оптического центра, ошибки совмещения из-за неправильное моделирование камеры, радиальная дисторсия и так далее. По этим причинам они предлагают стратегию смешивания, называемую многополосным смешиванием.
Для сегментов изображения, снятых из одной и той же точки пространства, сшитые изображения можно расположить с использованием одной из различных картографических проекций .
Прямолинейная проекция , при которой сшитое изображение рассматривается на двухмерной плоскости, пересекающей паносферу в одной точке. Линии, которые в действительности являются прямыми, отображаются как прямые независимо от их направления на изображении. Широкий обзор — около 120° или около того — начинает демонстрировать серьезные искажения вблизи границ изображения. Одним из случаев прямолинейной проекции является использование граней куба с кубическим отображением для просмотра панорам. Панорама отображается на шесть квадратов, каждая грань куба показывает область панорамы размером 90 на 90 градусов.
Цилиндрическая проекция , где сшитое изображение показывает горизонтальное поле обзора на 360° и ограниченное вертикальное поле обзора. Панорамы в этой проекции предназначены для просмотра так, как будто изображение завернуто в цилиндр и рассматривается изнутри. При просмотре в 2D-плоскости горизонтальные линии кажутся изогнутыми, а вертикальные остаются прямыми. [10] Вертикальные искажения быстро возрастают по мере приближения к вершине паносферы. Существуют и другие цилиндрические форматы, такие как цилиндрические Меркатора и Миллера , которые имеют меньше искажений вблизи полюсов паносферы.
Сферическая проекция или равноугольная проекция — которая, строго говоря, является еще одной цилиндрической проекцией — где сшитое изображение показывает поле зрения 360 ° по горизонтали и 180 ° по вертикали, то есть всю сферу. Панорамы в этой проекции предназначены для просмотра так, как будто изображение завернуто в сферу и рассматривается изнутри. При просмотре на двухмерной плоскости горизонтальные линии кажутся изогнутыми, как в цилиндрической проекции, а вертикальные линии остаются вертикальными. [10]
Поскольку панорама по сути представляет собой карту сферы, при желании можно также использовать различные другие картографические проекции картографов . Кроме того, существуют специализированные проекции, которые могут иметь более эстетические преимущества по сравнению с обычными картографическими проекциями, такие как проекция Панини Хугина [11] - названная в честь итальянского художника ведутизма Джованни Паоло Панини [12] - или проекция Ведутизма PTgui. [13] Различные проекции можно комбинировать в одном изображении для точной настройки окончательного вида выходного изображения. [14]
Стереографическую проекцию или проекцию «рыбий глаз» можно использовать для формирования небольшой панорамы планеты , направив виртуальную камеру прямо вниз и установив поле зрения, достаточно большое, чтобы показать всю землю и некоторые области над ней; направление виртуальной камеры вверх создает эффект туннеля. Соответствие стереографической проекции может дать более приятный визуально результат, чем проекция «рыбий глаз» равной площади, как описано в статье о стереографической проекции.
Использование изображений, снятых не из одного и того же места (на оси около входного зрачка камеры) [15] может привести к ошибкам параллакса в конечном продукте. Если в захваченной сцене присутствует быстрое или динамичное движение, могут возникнуть артефакты из-за разницы во времени между сегментами изображения. «Слепое сшивание» с использованием методов выравнивания на основе объектов (см. автосшивка ), в отличие от ручного выбора и сшивания, может привести к несовершенствам сборки панорамы.
Специальные программы включают Autostitch , Hugin , Ptgui , Panorama Tools , Microsoft Research Image Composite Editor и CleVR Stitcher . Многие другие программы также могут сшивать несколько изображений; Популярным примером является Photoshop от Adobe Systems , который включает в себя инструмент, известный как Photomerge , а в последних версиях — новый Auto-Blend . Другие программы, такие как VideoStitch, позволяют сшивать видео, а Vahana VR позволяет сшивать видео в реальном времени. Модуль сшивки изображений для программного обеспечения микроскопа QuickPHOTO позволяет интерактивно сшивать несколько полей зрения микроскопа, используя изображение камеры в реальном времени. Его также можно использовать для ручного сшивания целых образцов микроскопа.
{{cite journal}}: Требуется цитировать журнал |journal=( помощь ){{cite journal}}: Требуется цитировать журнал |journal=( помощь ){{cite journal}}: Требуется цитировать журнал |journal=( помощь )
СМИ, связанные с вышиванием, на Викискладе?