Проблема соответствия относится к проблеме установления того, какие части одного изображения соответствуют каким частям другого изображения [1], где различия обусловлены движением камеры, течением времени и/или движением объектов на фотографиях.
Соответствие является фундаментальной проблемой компьютерного зрения — влиятельный исследователь компьютерного зрения Такео Канаде однажды сказал, что три фундаментальные проблемы компьютерного зрения таковы: «Соответствие, соответствие и соответствие!» [2] Действительно, соответствие, возможно, является ключевым строительным блоком во многих связанных приложениях: оптический поток (в котором два изображения следуют друг за другом во времени), плотное стереозрение (в котором два изображения получены с пары стереокамер), структура из движения (SfM) и визуальный SLAM (в котором изображения получены с разных, но частично перекрывающихся видов сцены), а также соответствие между сценами (в котором изображения получены с совершенно разных сцен).
При наличии двух или более изображений одной и той же 3D-сцены, снятых с разных точек зрения, проблема соответствия относится к задаче поиска набора точек на одном изображении, которые могут быть идентифицированы как те же точки на другом изображении. Для этого точки или особенности на одном изображении сопоставляются с точками или особенностями на другом изображении, таким образом устанавливая соответствующие точки или соответствующие особенности , также известные как гомологичные точки или гомологичные особенности . Изображения могут быть сняты с разных точек зрения, в разное время или с объектами на сцене, находящимися в общем движении относительно камеры(камер).
Проблема соответствия может возникнуть в стереоситуации, когда используются два изображения одной и той же сцены, или может быть обобщена до проблемы соответствия N-видов. В последнем случае изображения могут поступать либо с N разных камер, фотографирующих одновременно, либо с одной камеры, которая движется относительно сцены. Проблема усложняется, когда объекты в сцене движутся относительно камеры(камер).
Типичное применение проблемы соответствия происходит при создании панорамы или сшивании изображений — когда два или более изображений, которые имеют лишь небольшое перекрытие, должны быть сшиты в более крупное составное изображение. В этом случае необходимо иметь возможность идентифицировать набор соответствующих точек в паре изображений, чтобы вычислить преобразование одного изображения для сшивания его с другим изображением.
Существует два основных способа найти соответствия между двумя изображениями.
Основанный на корреляции — проверка того, выглядит ли одно место на одном изображении как другое место на другом изображении.
На основе признаков – поиск признаков на изображении и проверка того, является ли расположение подмножества признаков похожим на двух изображениях. Чтобы избежать проблемы апертуры, хороший признак должен иметь локальные вариации в двух направлениях.
В компьютерном зрении проблема соответствия изучается для случая, когда компьютер должен решить ее автоматически, имея в качестве входных данных только изображения. После того, как проблема соответствия решена, что приводит к набору точек изображения, которые находятся в соответствии, к этому набору могут быть применены другие методы для реконструкции положения, движения и/или вращения соответствующих 3D-точек в сцене.
Проблема соответствия также лежит в основе метода измерения скорости частиц с помощью изображения , который в настоящее время широко используется в области механики жидкости для количественного измерения движения жидкости.
Чтобы найти соответствие между множеством A [1,2,3,4,5] и множеством B [3,4,5,6,7], найдите, где они пересекаются и насколько далеко одно множество от другого. Здесь мы видим, что последние три числа в множестве A соответствуют первым трем числам в множестве B. Это показывает, что B смещено на 2 влево от A.
Простой метод — сравнить небольшие участки между исправленными изображениями. Это лучше всего работает с изображениями, снятыми примерно с одной и той же точки зрения и либо в одно и то же время, либо с небольшим или нулевым движением сцены между захватами изображений, например, стереоизображениями.
Небольшое окно проходит через несколько позиций на одном изображении. Каждая позиция проверяется, насколько хорошо она сравнивается с тем же местоположением на другом изображении. Несколько близлежащих местоположений сравниваются для объектов на одном изображении, которые могут не находиться в том же самом местоположении на другом изображении. Возможно, что нет достаточно хорошего соответствия. Это может означать, что объект отсутствует на обоих изображениях, он переместился дальше, чем учитывал ваш поиск, он слишком сильно изменился или скрывается другими частями изображения.