Бинокулярное несоответствие означает разницу в расположении изображения объекта, видимого левым и правым глазом , возникающую в результате горизонтального разделения глаз ( параллакса ). Разум использует бинокулярное неравенство для извлечения информации о глубине из двумерных изображений сетчатки в стереопсисе . В компьютерном зрении бинокулярное несоответствие означает разницу в координатах схожих объектов на двух стереоизображениях.
Аналогичное несоответствие может использоваться при определении дальности дальномером по совпадению для определения расстояния и/или высоты до цели. В астрономии несоответствие между различными местоположениями на Земле можно использовать для определения различных небесных параллаксов , а орбиту Земли можно использовать для звездного параллакса .
Глаза человека разделены по горизонтали примерно 50–75 мм ( межзрачковое расстояние ) в зависимости от каждого человека. Таким образом, каждый глаз имеет немного разный взгляд на окружающий мир. Это легко увидеть, если попеременно закрывать один глаз и смотреть на вертикальный край. Бинокулярное несоответствие можно наблюдать по кажущемуся горизонтальному сдвигу вертикального края между обоими видами.
В любой момент линии взгляда двух глаз встречаются в какой-то точке пространства. Эта точка пространства проецируется в одно и то же место (т. е. в центр) сетчатки обоих глаз. Однако из-за разных точек зрения, наблюдаемых левым и правым глазом, многие другие точки пространства не попадают в соответствующие места на сетчатке. Зрительная бинокулярная диспропорция определяется как разница между точками проекции двух глаз и обычно выражается в градусах как угол зрения . [1]
Термин «бинокулярное несоответствие» относится к геометрическим измерениям, выполненным вне глаза. Несоответствие изображений на реальной сетчатке зависит от внутренних факторов глаза, особенно от расположения узловых точек, даже если поперечное сечение сетчатки представляет собой идеальный круг. Несоответствие на сетчатке соответствует бинокулярному несоответствию, если измерять его в градусах, и сильно отличается, если измерять его как расстояние, из-за сложной структуры внутри глаза.
Рисунок 1: Полный черный круг — точка фиксации. Синий объект лежит ближе к наблюдателю. Следовательно, он имеет «почти» несоответствие d n . Объекты, лежащие дальше (зеленые), соответственно имеют «дальнее» несоответствие d f . Бинокулярное несоответствие — это угол между двумя линиями проекции. Одним из них является реальная проекция объекта на фактическую точку проекции. Второй — воображаемая проекция, проходящая через узловую точку точки фиксации.
В компьютерном зрении бинокулярное несоответствие рассчитывается на основе стереоизображений, полученных с набора стереокамер. Переменное расстояние между этими камерами, называемое базовой линией, может повлиять на несоответствие конкретной точки на соответствующей плоскости изображения. По мере увеличения базовой линии несоответствие увеличивается из-за большего угла, необходимого для выравнивания прицела по точке. Однако в компьютерном зрении бинокулярное несоответствие обозначается как разность координат точки между правым и левым изображениями, а не углом зрения. Единицы обычно измеряются в пикселях.
Клетки головного мозга ( нейроны ) в той части мозга, которая отвечает за обработку зрительной информации, поступающей от сетчатки ( первичной зрительной коры ), могут обнаруживать наличие несоответствия в поступающих от глаз данных. В частности, эти нейроны будут активны, если объект с «их» особым отличием находится в той части зрительного поля, к которой они имеют доступ ( рецептивное поле ). [2]
Исследователи, исследующие точные свойства этих нейронов в отношении различий, предъявляют клеткам зрительные стимулы с различными различиями и смотрят, активны они или нет. Одна из возможностей представить стимулы с разной степенью несоответствия — это разместить перед глазами объекты на разной глубине. Однако недостаток этого метода может быть недостаточно точным для объектов, расположенных дальше, поскольку они имеют меньшие различия, в то время как объекты, расположенные ближе, будут иметь большие различия. Вместо этого нейробиологи используют альтернативный метод, схематически показанный на рисунке 2.
Рисунок 2. Несоответствие объекта, глубина которого отличается от точки фиксации, альтернативно может быть получено путем предъявления изображения объекта одному глазу и смещенной в сторону версии того же изображения другому глазу. Полный черный круг — это точка фиксации. По линии фиксации левого глаза располагают предметы на разной глубине. Такое же несоответствие, возникающее из-за смещения объекта в глубину (закрашенные цветные кружки), также может быть вызвано боковым смещением объекта на постоянную глубину на изображении, которое видит один глаз (черные кружки с цветным краем). Обратите внимание, что для близких различий латеральный сдвиг должен быть больше, чтобы соответствовать той же глубине по сравнению с дальними различиями. Это то, что нейробиологи обычно делают со случайными точечными стимулами, чтобы изучить селективность нейронов в отношении различий, поскольку латеральное расстояние, необходимое для проверки различий, меньше, чем расстояния, необходимые для использования тестов глубины. Этот принцип также применялся в иллюзиях автостереограмм .
Несоответствие характеристик двух стереоизображений обычно вычисляется как сдвиг влево характеристики изображения при просмотре на правом изображении. [3] Например, одна точка, которая появляется в координате x t (измеренной в пикселях ) на левом изображении, может присутствовать в координате x t - 3 на правом изображении. В этом случае несоответствие в этом месте на правом изображении будет составлять 3 пикселя.
Стереоизображения не всегда могут быть правильно выровнены, чтобы можно было быстро вычислить несоответствие. Например, набор камер может быть слегка повернут от уровня. С помощью процесса, известного как исправление изображения , оба изображения поворачиваются, чтобы учесть несоответствия только в горизонтальном направлении (т. е. нет несоответствия в координатах изображения y ). [3] Это свойство также может быть достигнуто путем точного выравнивания стереокамер перед захватом изображения.
После исправления проблема соответствия может быть решена с помощью алгоритма, который сканирует как левое, так и правое изображения на предмет соответствия характеристик изображения. Распространенный подход к этой проблеме — сформировать меньший участок изображения вокруг каждого пикселя левого изображения. Эти фрагменты изображения сравниваются со всеми возможными различиями в правом изображении путем сравнения соответствующих фрагментов изображения. Например, при несоответствии 1 участок на левом изображении будет сравниваться с участком аналогичного размера на правом, смещенном влево на один пиксель. Сравнение этих двух патчей можно провести, получив вычислительную меру из одного из следующих уравнений, которое сравнивает каждый из пикселей в патчах. Во всех следующих уравнениях L и R относятся к левому и правому столбцам, а r и c относятся к текущей строке и столбцу любого исследуемого изображения. d относится к несоответствию правого изображения.
Несоответствие с наименьшим вычисленным значением с использованием одного из вышеперечисленных методов считается несоответствием признака изображения. Этот самый низкий балл указывает на то, что алгоритм нашел наилучшее совпадение соответствующих функций на обоих изображениях.
Описанный выше метод представляет собой алгоритм поиска методом перебора . При больших размерах фрагментов и/или изображений этот метод может занять очень много времени, поскольку пиксели постоянно перепроверяются, чтобы найти наименьший показатель корреляции. Однако этот метод также предполагает ненужное повторение, поскольку многие пиксели перекрываются. Более эффективный алгоритм предполагает запоминание всех значений предыдущего пикселя. Еще более эффективный алгоритм предполагает запоминание сумм столбцов из предыдущей строки (в дополнение к запоминанию всех значений из предыдущего пикселя). Методы, сохраняющие предыдущую информацию, могут значительно повысить алгоритмическую эффективность процесса анализа изображений.
Знания о несоответствии можно использовать при дальнейшем извлечении информации из стереоизображений. Одним из случаев, когда несоответствие наиболее полезно, является расчет глубины/расстояния. Несоответствие и расстояние от камер находятся в обратной зависимости. По мере увеличения расстояния от камер неравенство уменьшается. Это позволяет воспринимать глубину стереоизображений. Используя геометрию и алгебру, точки, появляющиеся на 2D-стереоизображениях, можно сопоставить с координатами в 3D-пространстве.
Эта концепция особенно полезна для навигации. Например, марсоход Mars Exploration Rover использует аналогичный метод сканирования местности на наличие препятствий. [4] Ровер захватывает пару изображений с помощью стереоскопических навигационных камер и выполняет расчет несоответствия для обнаружения возвышенных объектов (например, валунов). [5] Кроме того, данные о местоположении и скорости можно извлечь из последующих стереоизображений путем измерения смещения объектов относительно марсохода. В некоторых случаях это лучший источник информации такого типа, поскольку датчики энкодеров на колесах могут давать неточные показания из-за пробуксовки шин.
