Визуализация диапазона — это название набора методов, которые используются для создания 2D-изображения, показывающего расстояние до точек сцены от определенной точки, обычно связанной с каким-либо типом сенсорного устройства.
Результирующее изображение диапазона имеет значения пикселей, соответствующие расстоянию. Если датчик, используемый для создания изображения дальности, правильно откалиброван, значения пикселей могут быть заданы непосредственно в физических единицах, таких как метры.
Сенсорное устройство, которое используется для создания изображения дальности, иногда называют камерой дальности или камерой глубины . Камеры дальнего действия могут работать различными способами, некоторые из которых представлены здесь.
Стереотриангуляция — это применение стереофотограмметрии , при котором данные о глубине пикселей определяются на основе данных, полученных с помощью системы настройки стерео или нескольких камер . Таким образом можно определить глубину точек сцены, например, по центральной точке линии между их фокальными точками. Чтобы решить задачу измерения глубины с помощью системы стереокамер, необходимо сначала найти соответствующие точки на разных изображениях. Решение задачи соответствия является одной из основных проблем при использовании этого типа методики. Например, трудно решить проблему соответствия для точек изображения, лежащих внутри областей однородной интенсивности или цвета. Как следствие, визуализация дальности на основе стереотриангуляции обычно может дать надежные оценки глубины только для подмножества всех точек, видимых в нескольких камерах.
Преимущество этого метода в том, что измерение является более или менее пассивным; не требует особых условий по освещению сцены. Другие упомянутые здесь методы не должны решать проблему соответствия, а зависят от конкретных условий освещения сцены.
Если сцена освещена слоем света, это создает отраженную линию, если смотреть со стороны источника света. Из любой точки плоскости листа линия обычно выглядит как кривая, точная форма которой зависит как от расстояния между наблюдателем и источником света, так и от расстояния между источником света и отраженными точками. Наблюдая за отраженным слоем света с помощью камеры (часто камеры высокого разрешения) и зная положения и ориентации камеры и источника света, можно определить расстояния между отраженными точками и источником света или камерой.
Перемещая либо источник света (и обычно также камеру), либо сцену перед камерой, можно создать последовательность профилей глубины сцены. Их можно представить в виде двумерного изображения диапазона.
Освещая сцену специально разработанным световым узором, структурированным светом , глубину можно определить, используя только одно изображение отраженного света. Структурированный свет может иметь форму горизонтальных и вертикальных линий, точек или шахматного узора. Световой столик — это, по сути, обычное структурированное устройство визуализации светового диапазона, изначально созданное для захвата отражения.
Глубину также можно измерить с использованием стандартного метода времени пролета (ToF), более или менее похожего на радар , в котором создается изображение дальности, аналогичное радиолокационному изображению, за исключением того, что вместо радиочастотного сигнала используется световой импульс. пульс. Он также мало чем отличается от лидара , за исключением того, что ToF не требует сканера, т. е. вся сцена захватывается одним световым импульсом, а не поточечно с помощью вращающегося лазерного луча. Времяпролетные камеры — это относительно новые устройства, которые захватывают всю сцену в трех измерениях с помощью специального датчика изображения и, следовательно, не нуждаются в движущихся частях. Времяпролетный лазерный радар с ПЗС-камерой с быстрым стробированием и усилением обеспечивает разрешение по глубине менее миллиметра. При использовании этого метода короткий лазерный импульс освещает сцену, а усиленная ПЗС-камера открывает высокоскоростной затвор всего на несколько сотен пикосекунд . Трехмерная информация рассчитывается на основе серии двухмерных изображений, собранных с увеличением задержки между лазерным импульсом и открытием затвора. [1]
Освещая точки когерентным светом и измеряя фазовый сдвиг отраженного света относительно источника света, можно определить глубину. Если предположить, что изображение истинного диапазона является более или менее непрерывной функцией координат изображения, правильную глубину можно получить с помощью метода, называемого фазовым развертыванием. См. наземную SAR-интерферометрию .
Информация о глубине может быть частично или полностью выведена наряду с интенсивностью посредством обратной свертки изображения, полученного с помощью специально разработанного шаблона кодированной апертуры со специфическим сложным расположением отверстий, через которые входящий свет либо пропускается, либо блокируется. Сложная форма диафрагмы создает неравномерное размытие изображения для тех частей сцены, которые не находятся в фокальной плоскости объектива. Степень размытия сцены, связанная со смещением от фокальной плоскости, может использоваться для определения глубины. [2]
Чтобы определить размер размытия (необходимого для декодирования информации о глубине) в захваченном изображении, можно использовать два подхода: 1) устранение размытия захваченного изображения с помощью различных размытий или 2) изучение некоторых линейных фильтров, которые определяют тип размытия. .
Первый подход использует правильную математическую деконволюцию, которая учитывает известный шаблон проектирования апертуры; эта деконволюция может определить, где и в какой степени сцена стала запутанной из-за нефокусированного света, выборочно падающего на поверхность захвата, и обратить процесс вспять. [3] Таким образом, сцена без размытия может быть получена вместе с размером размытия.
Вместо этого второй подход извлекает степень размытия, минуя восстановление изображения без размытия и, следовательно, без выполнения обратной свертки. Используя метод, основанный на анализе главных компонентов (PCA), метод изучает в автономном режиме банк фильтров, которые однозначно идентифицируют каждый размер размытия; эти фильтры затем применяются непосредственно к захваченному изображению, как обычная свертка. [4] Наиболее важным преимуществом этого подхода является то, что не требуется никакой информации о шаблоне кодированной апертуры. Благодаря своей эффективности этот алгоритм также был распространен на видеопоследовательности с движущимися и деформируемыми объектами. [5]
Поскольку глубина точки определяется по степени ее размытия, вызванного распространением света из соответствующей точки сцены, попадающего по всей поверхности апертуры и искажающегося в соответствии с этим распространением, это сложная форма стереотриангуляции. Каждая точка изображения эффективно пространственно дискретизируется по ширине апертуры.
Недавно эта технология была использована в iPhone X. Многие другие телефоны Samsung и компьютеры Microsoft пытались использовать эту технологию, но они не используют 3D-картографирование .