Бинокулярная диспаратность

Бинокулярная диспаратность относится к разнице в расположении изображения объекта, видимого левым и правым глазом , возникающей из-за горизонтального разделения глаз ( параллакс ). Разум использует бинокулярную диспаратность для извлечения информации о глубине из двумерных ретинальных изображений в стереопсисе . В компьютерном зрении бинокулярная диспаратность относится к разнице в координатах схожих элементов в двух стереоизображениях.

Аналогичное расхождение может быть использовано в дальномерах с помощью дальномера совпадений для определения расстояния и/или высоты до цели. В астрономии расхождение между различными точками на Земле может быть использовано для определения различных небесных параллаксов , а орбита Земли может быть использована для звездного параллакса .

Определение

Глаза человека горизонтально разделены примерно на 50–75 мм ( межзрачковое расстояние ) в зависимости от каждого человека. Таким образом, каждый глаз имеет немного разный вид окружающего мира. Это можно легко увидеть, попеременно закрывая один глаз, глядя на вертикальный край. Бинокулярное несоответствие можно наблюдать из кажущегося горизонтального смещения вертикального края между обоими видами.

В любой момент времени линии зрения двух глаз встречаются в точке пространства. Эта точка пространства проецируется в одно и то же место (т. е. в центр) на сетчатке двух глаз. Однако из-за разных точек зрения, наблюдаемых левым и правым глазом, многие другие точки пространства не попадают в соответствующие места сетчатки. Визуальная бинокулярная диспаратность определяется как разница между точкой проекции в двух глазах и обычно выражается в градусах как угол зрения . ^[1]

Термин «бинокулярная диспаратность» относится к геометрическим измерениям, выполненным снаружи глаза. Диспаратность изображений на фактической сетчатке зависит от факторов, внутренних для глаза, особенно от расположения узловых точек, даже если поперечное сечение сетчатки представляет собой идеальный круг. Диспаратность на сетчатке соответствует бинокулярной диспаратности, если измерять ее в градусах, но сильно отличается, если измерять ее как расстояние, из-за сложной структуры внутри глаза.

Рисунок 1: Полный черный круг — это точка фиксации. Синий объект находится ближе к наблюдателю. Поэтому он имеет «ближнюю» диспаратность d _n . Объекты, лежащие дальше (зеленые), соответственно имеют «дальнюю» диспаратность d _f . Бинокулярная диспаратность — это угол между двумя линиями проекции. Одна из которых — это действительная проекция от объекта на фактическую точку проекции. Другая — это мнимая проекция, проходящая через узловую точку точки фиксации.

В компьютерном зрении бинокулярная диспаратность вычисляется на основе стереоизображений, полученных с набора стереокамер. Переменное расстояние между этими камерами, называемое базовой линией, может влиять на диспаратность определенной точки на соответствующей им плоскости изображения. По мере увеличения базовой линии диспаратность увеличивается из-за большего угла, необходимого для выравнивания взгляда на точку. Однако в компьютерном зрении бинокулярная диспаратность определяется как разность координат точки между правым и левым изображениями, а не как угол зрения. Единицы измерения обычно измеряются в пикселях.

Обман нейронов с помощью 2D-изображений

Клетки мозга ( нейроны ) в части мозга, ответственной за обработку визуальной информации, поступающей от сетчатки ( первичная зрительная кора ), могут обнаружить существование диспаратности в их входе от глаз. В частности, эти нейроны будут активны, если объект с «их» особой диспаратностью находится в пределах части поля зрения, к которой они имеют доступ ( рецептивное поле ). ^[2]

Исследователи, изучающие точные свойства этих нейронов в отношении диспаратности, предъявляют клеткам визуальные стимулы с различной диспаратностью и смотрят, активны они или нет. Одна из возможностей предъявлять стимулы с различной диспаратностью — размещать объекты на разной глубине перед глазами. Однако недостаток этого метода может быть недостаточно точным для объектов, расположенных дальше, поскольку они обладают меньшей диспаратностью, в то время как объекты, расположенные ближе, будут иметь большую диспаратность. Вместо этого нейробиологи используют альтернативный метод, схематически представленный на рисунке 2.

Рисунок 2: Диспаратность объекта с другой глубиной, чем точка фиксации, может быть альтернативно получена путем представления изображения объекта одному глазу и латерально смещенной версии того же изображения другому глазу. Полный черный круг является точкой фиксации. Объекты с различной глубиной располагаются вдоль линии фиксации левого глаза. Та же диспаратность, полученная при смещении глубины объекта (заполненные цветные круги), может быть получена также путем латерального смещения объекта на постоянной глубине на изображении, которое видит один глаз (черные круги с цветным краем). Обратите внимание, что для ближних диспаратностей латеральное смещение должно быть больше, чтобы соответствовать той же глубине по сравнению с дальними диспаратностями. Это то, что нейробиологи обычно делают со случайными точечными стимулами для изучения селективности диспаратности нейронов, поскольку латеральное расстояние, необходимое для проверки диспаратности, меньше расстояний, необходимых при использовании тестов глубины. Этот принцип также применялся в иллюзиях автостереограммы .

Вычисление диспаратности с использованием цифровых стереоизображений

Несоответствие характеристик между двумя стереоизображениями обычно вычисляется как сдвиг влево характеристики изображения при просмотре на правом изображении. ^[3] Например, одна точка, которая появляется в координате x t (измеряется в пикселях ) на левом изображении, может присутствовать в координате x t − 3 на правом изображении. В этом случае несоответствие в этом месте на правом изображении будет составлять 3 пикселя.

Стереоизображения не всегда могут быть правильно выровнены для быстрого расчета диспаратности. Например, набор камер может быть слегка повернут не по уровню. С помощью процесса, известного как ректификация изображения , оба изображения поворачиваются для учета диспаратности только в горизонтальном направлении (т. е. диспаратности в координатах изображения y нет ). ^[3] Это свойство также может быть достигнуто путем точного выравнивания стереокамер перед захватом изображения.

Компьютерный алгоритм

После исправления проблема соответствия может быть решена с помощью алгоритма, который сканирует как левое, так и правое изображения для сопоставления характеристик изображения. Обычный подход к этой проблеме заключается в формировании меньшего фрагмента изображения вокруг каждого пикселя в левом изображении. Эти фрагменты изображения сравниваются со всеми возможными несоответствиями в правом изображении путем сравнения соответствующих им фрагментов изображения. Например, для несоответствия 1 фрагмент в левом изображении будет сравниваться с фрагментом аналогичного размера в правом, смещенным влево на один пиксель. Сравнение между этими двумя фрагментами может быть выполнено путем получения вычислительной меры из одного из следующих уравнений, которое сравнивает каждый из пикселей в фрагментах. Для всех следующих уравнений L и R относятся к левому и правому столбцам, в то время как r и c относятся к текущей строке и столбцу любого из рассматриваемых изображений. d относится к несоответствию правого изображения.

Нормализованная корреляция: ${\frac {\sum {\sum {L(r,c)\cdot R(r,cd)}}}{\sqrt {(\sum {\sum {L(r,c)^{2}}})\cdot (\sum {\sum {R(r,cd)^{2}}})}}$
Сумма квадратов разностей: $\sum {\sum {(L(r,c)-R(r,cd))^{2}}}$
Сумма абсолютных разниц: $\sum {\sum {\left|L(r,c)-R(r,cd)\right\vert }}$

Разница с наименьшим вычисленным значением с использованием одного из вышеперечисленных методов считается разницей для признака изображения. Эта наименьшая оценка указывает на то, что алгоритм нашел наилучшее соответствие соответствующих признаков на обоих изображениях.

Описанный выше метод представляет собой алгоритм поиска методом перебора . При больших размерах фрагментов и/или изображений этот метод может быть очень трудоемким, поскольку пиксели постоянно пересматриваются для нахождения наименьшего показателя корреляции. Однако этот метод также подразумевает ненужное повторение, поскольку многие пиксели перекрываются. Более эффективный алгоритм включает запоминание всех значений из предыдущего пикселя. Еще более эффективный алгоритм включает запоминание сумм столбцов из предыдущей строки (в дополнение к запоминанию всех значений из предыдущего пикселя). Методы, сохраняющие предыдущую информацию, могут значительно повысить алгоритмическую эффективность этого процесса анализа изображений.

Использование различий в изображениях

Знание диспаратности может быть использовано для дальнейшего извлечения информации из стереоизображений. Один из случаев, когда диспаратность наиболее полезна, — это расчет глубины/расстояния. Диспаратность и расстояние от камер обратно пропорциональны. По мере увеличения расстояния от камер диспаратность уменьшается. Это позволяет воспринимать глубину в стереоизображениях. Используя геометрию и алгебру, точки, которые появляются на 2D-стереоизображениях, можно отобразить в виде координат в 3D-пространстве.

Эта концепция особенно полезна для навигации. Например, марсоход Mars Exploration Rover использует аналогичный метод для сканирования местности на предмет препятствий. ^[4] Марсоход делает пару снимков с помощью своих стереоскопических навигационных камер, и для обнаружения возвышенных объектов (например, валунов) производятся расчеты диспаратности. ^[5] Кроме того, данные о местоположении и скорости можно извлечь из последующих стереоизображений, измеряя смещение объектов относительно марсохода. В некоторых случаях это лучший источник такого типа информации, поскольку датчики кодировщика в колесах могут быть неточными из-за проскальзывания шин.

Смотрите также

Ссылки

^ Цянь, Н., Бинокулярная диспаратность и восприятие глубины, Neuron, 18, 359–368, 1997.
^ Гонсалес, Ф. и Перес, Р., Нейронные механизмы, лежащие в основе стереоскопического зрения, Prog Neurobiol, 55(3), 191–224, 1998.
^ ab Линда Г. Шапиро и Джордж К. Стокман (2001). Компьютерное зрение. Prentice Hall, 371–409. ISBN 0-13-030796-3 .
^ "Лаборатория компьютерного зрения". JPL.NASA.GOV. JPL/NASA, nd Web. 5 июня 2011 г. <[1]>.
^ "Космический корабль: Наземные операции: Ровер". JPL.NASA.GOV. JPL/NASA, nd Web. 5 июня 2011 г. http://marsrovers.jpl.nasa.gov/mission/spacecraft_rover_eyes.html ^{[ постоянная неработающая ссылка ]} .