Дальномерная визуализация — это название набора методов, которые используются для создания двухмерного изображения, показывающего расстояние до точек на сцене от определенной точки, обычно связанной с определенным типом сенсорного устройства.
Полученное изображение дальности имеет значения пикселей, соответствующие расстоянию. Если датчик, который используется для получения изображения дальности, правильно откалиброван, значения пикселей могут быть указаны непосредственно в физических единицах, таких как метры.
Сенсорное устройство, которое используется для получения дальномерного изображения, иногда называют дальномерной камерой или глубинной камерой . Дальномерные камеры могут работать в соответствии с рядом различных методов, некоторые из которых представлены здесь.
Стереотриангуляция — это приложение стереофотограмметрии , в котором данные о глубине пикселей определяются из данных, полученных с помощью стереосистемы или системы с несколькими камерами . Таким образом, можно определить глубину до точек на сцене, например, от центральной точки линии между их фокальными точками. Чтобы решить задачу измерения глубины с помощью системы стереокамер, необходимо сначала найти соответствующие точки на разных изображениях. Решение проблемы соответствия является одной из основных проблем при использовании этого типа техники. Например, трудно решить проблему соответствия для точек изображения, которые лежат внутри областей однородной интенсивности или цвета. Как следствие, дальномерное изображение на основе стереотриангуляции обычно может давать надежные оценки глубины только для подмножества всех точек, видимых в нескольких камерах.
Преимущество этого метода в том, что измерение более или менее пассивно; оно не требует особых условий с точки зрения освещенности сцены. Другие методы, упомянутые здесь, не должны решать проблему соответствия, а вместо этого зависят от конкретных условий освещенности сцены.
Если сцена освещена листом света, это создает отраженную линию, видимую от источника света. Из любой точки вне плоскости листа линия обычно будет выглядеть как кривая, точная форма которой зависит как от расстояния между наблюдателем и источником света, так и от расстояния между источником света и отраженными точками. Наблюдая отраженный лист света с помощью камеры (часто камеры высокого разрешения) и зная положения и ориентации как камеры, так и источника света, можно определить расстояния между отраженными точками и источником света или камерой.
Перемещая либо источник света (и обычно также камеру), либо сцену перед камерой, можно сгенерировать последовательность профилей глубины сцены. Их можно представить в виде двумерного изображения диапазона.
При освещении сцены специально разработанным световым рисунком, структурированным светом , глубина может быть определена с использованием только одного изображения отраженного света. Структурированный свет может быть в форме горизонтальных и вертикальных линий, точек или шахматных узоров. Световой этап по сути является общим устройством для получения изображений в структурированном диапазоне света, изначально созданным для работы по захвату отражения.
Глубину также можно измерить с помощью стандартной техники времени пролета (ToF), более или менее похожей на радар , в том смысле, что создается изображение диапазона, похожее на изображение радара, за исключением того, что вместо радиочастотного импульса используется световой импульс. Это также не похоже на лидар , за исключением того, что ToF не имеет сканера, т. е. вся сцена захватывается одним световым импульсом, в отличие от точечного с вращающимся лазерным лучом. Камеры времени пролета являются относительно новыми устройствами, которые захватывают всю сцену в трех измерениях с помощью специального датчика изображения, и поэтому не нуждаются в движущихся частях. Лазерный радар времени пролета с быстрой стробирующей усиленной ПЗС-камерой достигает субмиллиметрового разрешения по глубине. С помощью этой техники короткий лазерный импульс освещает сцену, а усиленная ПЗС-камера открывает свой высокоскоростной затвор только на несколько сотен пикосекунд . 3D-информация рассчитывается из серии 2D-изображений, которая была собрана с увеличивающейся задержкой между лазерным импульсом и открытием затвора. [1]
Освещая точки когерентным светом и измеряя сдвиг фазы отраженного света относительно источника света, можно определить глубину. При условии, что истинное изображение дальности является более или менее непрерывной функцией координат изображения, правильную глубину можно получить с помощью техники, называемой разверткой фазы. См. наземная интерферометрия SAR .
Информация о глубине может быть частично или полностью выведена вместе с интенсивностью посредством обратной свертки изображения, полученного с помощью специально разработанного шаблона кодированной апертуры с определенным сложным расположением отверстий, через которые входящий свет либо пропускается, либо блокируется. Сложная форма апертуры создает неравномерное размытие изображения для тех частей сцены, которые не находятся в фокальной плоскости объектива. Степень размытия по всей сцене, которая связана со смещением от фокальной плоскости, может использоваться для выведения глубины. [2]
Чтобы определить размер размытия (необходимый для декодирования информации о глубине) на захваченном изображении, можно использовать два подхода: 1) устранить размытие захваченного изображения с помощью различных степеней размытия или 2) изучить некоторые линейные фильтры, которые определяют тип размытия.
Первый подход использует правильную математическую деконволюцию, которая учитывает известную схему проектирования апертуры; эта деконволюция может определить, где и в какой степени сцена стала свернутой из-за не сфокусированного света, избирательно падающего на поверхность захвата, и обратить процесс вспять. [3] Таким образом, можно восстановить сцену без размытия вместе с размером размытия.
Второй подход, вместо этого, извлекает степень размытия, минуя восстановление изображения без размытия, и, следовательно, не выполняя обратную свертку. Используя метод, основанный на анализе главных компонентов (PCA), метод изучает в автономном режиме банк фильтров, которые уникально идентифицируют каждый размер размытия; эти фильтры затем применяются непосредственно к захваченному изображению, как обычная свертка. [4] Самым важным преимуществом этого подхода является то, что не требуется никакой информации о кодированном шаблоне апертуры. Благодаря своей эффективности этот алгоритм также был распространен на видеопоследовательности с движущимися и деформируемыми объектами. [5]
Поскольку глубина точки выводится из степени ее размытия, вызванного распространением света из соответствующей точки в сцене, прибывающего по всей поверхности апертуры и искажающегося в соответствии с этим распространением, это сложная форма стереотриангуляции. Каждая точка на изображении эффективно пространственно выбирается по ширине апертуры.
Недавно эта технология была использована в iPhone X. Многие другие телефоны от Samsung и компьютеры от Microsoft пытались использовать эту технологию, но они не используют 3D-отображение.