stringtranslate.com

Времяпролетная камера

Время полета светового импульса, отражающегося от цели

Времяпролетная камера ( камера ToF ), также известная как датчик времени пролета ( датчик ToF ), представляет собой систему камеры дальнего действия для измерения расстояний между камерой и объектом для каждой точки изображения на основе времени. -пролетное время , время прохождения туда и обратно искусственного светового сигнала, обеспечиваемого лазером или светодиодом . Лазерные времяпролетные камеры являются частью более широкого класса лидаров без сканера , в которых вся сцена захватывается каждым лазерным импульсом, а не поточечно с помощью лазерного луча, как в сканирующих системах лидар. [1] Времяпролетные камеры для гражданского применения начали появляться примерно в 2000 году, [2] поскольку полупроводниковые процессы позволили производить компоненты достаточно быстро для таких устройств. Системы охватывают диапазоны от нескольких сантиметров до нескольких километров.

Типы устройств

Было разработано несколько различных технологий для времяпролетных камер.

Источники радиочастотного модулированного света с фазовыми детекторами

Устройства фотонного смешивания (PMD), [3] Swiss Ranger и CanestaVision [4] работают путем модуляции исходящего луча радиочастотной несущей, а затем измеряют фазовый сдвиг этой несущей на стороне приемника. Этот подход имеет проблему модульной ошибки: измеренные диапазоны рассчитываются по модулю длины волны радиочастотной несущей. Swiss Ranger — это компактное устройство ближнего действия с дальностью действия 5 или 10 метров и разрешением 176 x 144 пикселей. С помощью алгоритмов фазовой развертки можно увеличить максимальный диапазон уникальности. PMD может обеспечить дальность действия до 60 м. Подсветка осуществляется импульсными светодиодами, а не лазером. [5] Компания Canesta , разработчик CanestaVision , была приобретена Microsoft в 2010 году. Kinect2 для Xbox One был основан на технологии ToF от Canesta.

Сканеры со стробированием диапазона

Эти устройства имеют встроенный затвор в датчике изображения, который открывается и закрывается с той же скоростью, с которой посылаются световые импульсы. Большинство времяпролетных 3D-датчиков основаны на этом принципе, изобретенном Мединой. [6] Поскольку часть каждого возвращающегося импульса блокируется затвором в зависимости от времени его поступления, количество полученного света зависит от расстояния, которое прошел импульс. Расстояние можно рассчитать с помощью уравнения z = R ( S 2 − S 1 ) / 2 ( S 1 + S 2 ) + R / 2 для идеальной камеры. R - это диапазон камеры, определяемый круговым проходом светового импульса, S 1 - количество принимаемого светового импульса, а S 2 - количество блокируемого светового импульса. [6] [7]

ZCam от 3DV Systems [1] представляет собой систему с регулировкой дальности. Microsoft приобрела 3DV в 2009 году. Сенсор Microsoft Kinect второго поколения был разработан с использованием знаний, полученных от Canesta и 3DV Systems. [8]

Похожие принципы используются в линейке ToF-камер, разработанной Институтом микроэлектронных схем и систем Фраунгофера и TriDiCam. В этих камерах используются фотодетекторы с быстрым электронным затвором.

Разрешение по глубине ToF-камер можно улучшить с помощью ПЗС-камер со сверхбыстрым стробированием и усиленным стробированием. Эти камеры обеспечивают время стробирования до 200 пс и позволяют настраивать ToF с разрешением по глубине менее миллиметра. [9]

Изображения со стробированием по дальности также можно использовать в 2D-изображениях для подавления всего, что находится за пределами определенного диапазона расстояний, например, для наблюдения сквозь туман. Импульсный лазер обеспечивает освещение, а оптические ворота позволяют свету достигать тепловизора только в течение желаемого периода времени. [10]

Сканеры прямого времени полета

Эти устройства измеряют прямое время прохождения, необходимое для того, чтобы одиночный лазерный импульс покинул камеру и отразился обратно на матрицу в фокальной плоскости. Также известный как «режим триггера», 3D-изображения, снятые с использованием этого метода, отображают полные пространственные и временные данные, записывая полные 3D-сцены с помощью одного лазерного импульса. Это позволяет быстро получать и обрабатывать информацию о сцене в режиме реального времени. Для срочных автономных операций этот подход был продемонстрирован при автономных космических испытаниях [11] и эксплуатации, например, при использовании образца и возвращения на астероид OSIRIS-REx Bennu [12] и автономной посадки вертолета. [13] [14]

Компания Advanced Scientific Concepts, Inc. предоставляет системы прямого TOF-видения для конкретных приложений (например, авиационные, автомобильные, космические) [15] , известные как 3D Flash LIDAR-камеры. В их подходе используются матрицы лавинных фотодиодов InGaAs (APD) или PIN-фотодетекторов, способные отображать лазерные импульсы с длинами волн от 980 до 1600 нм.

Компоненты

Времяпролетная камера состоит из следующих компонентов:

Принцип

Принцип работы времяпролетной камеры:

При импульсном методе (1) расстояние d =КТ/2 кв2/q1 + q2, где c — скорость света, t — длина импульса, q1 — накопленный заряд в пикселе, когда свет излучается, и q2 — накопленный заряд, когда он не излучается.

В непрерывном методе (2) d =КТ/2 π арктанq3 - q4/q1 - q2. [16]
Диаграммы, иллюстрирующие принцип работы времяпролетной камеры с аналоговым хронометражем.

Самая простая версия времяпролетной камеры использует световые импульсы или одиночный световой импульс. Подсветка включается на очень короткое время, возникающий световой импульс освещает сцену и отражается от предметов, находящихся в поле зрения. Объектив камеры собирает отраженный свет и отображает его на датчике или матрице в фокальной плоскости. В зависимости от расстояния входящий свет испытывает задержку. Поскольку скорость света составляет примерно c = 300 000 000 метров в секунду, эта задержка очень мала: объект на расстоянии 2,5 м задерживает свет на: [17]

Для решеток с амплитудной модуляцией ширина импульса освещения определяет максимальный диапазон, с которым может работать камера. При длительности импульса, например, 50 нс диапазон ограничен

Эти короткие сроки показывают, что осветительный прибор является важной частью системы. Только с помощью специальных светодиодов или лазеров можно генерировать такие короткие импульсы.

Одиночный пиксель состоит из фоточувствительного элемента (например, фотодиода ). Он преобразует падающий свет в ток. В аналоговых временных имидж-сканерах к фотодиоду подключены быстродействующие переключатели, которые направляют ток на один из двух (или нескольких) элементов памяти (например, конденсатор ) , которые действуют как элементы суммирования. В цифровых формирователях изображений счетчик времени, который может работать на частоте несколько гигагерц, подключен к каждому пикселю фотодетектора и прекращает отсчет при обнаружении света.

В схеме аналогового таймера с матрицей с амплитудной модуляцией пиксель использует два переключателя (G1 и G2) и два элемента памяти (S1 и S2). Переключатели управляются импульсом той же длины, что и световой импульс, при этом управляющий сигнал переключателя G2 задерживается ровно на ширину импульса. В зависимости от задержки только часть светового импульса отбирается через G1 в S1, другая часть сохраняется в S2. В зависимости от расстояния соотношение между S1 и S2 меняется, как показано на рисунке. [4] Поскольку в течение 50 нс на датчик попадает лишь небольшое количество света, посылается и собирается не один, а несколько тысяч импульсов (частота повторения tR), что увеличивает соотношение сигнал /шум .

После экспонирования пиксель считывается и на следующих этапах измеряются сигналы S1 и S2. Поскольку длина светового импульса определена, расстояние можно рассчитать по формуле:

В примере сигналы имеют следующие значения: S1 = 0,66 и S2 = 0,33. Таким образом, расстояние равно:

При наличии фоновой засветки элементы памяти получают дополнительную часть сигнала. Это помешает измерению расстояния. Для устранения фоновой части сигнала все измерение можно провести второй раз при выключенной подсветке. Если объекты находятся дальше диапазона расстояний, результат также будет неправильным. Здесь второе измерение с сигналами управления, задержанными на дополнительную ширину импульса, помогает подавить такие объекты. Другие системы работают с синусоидально модулированным источником света вместо импульсного источника.

В устройствах формирования изображений прямого TOF, таких как 3D Flash LIDAR, лазер излучает один короткий импульс длительностью от 5 до 10 нс. Событие T-ноль (время, когда импульс покидает камеру) устанавливается путем непосредственного захвата импульса и направления этого времени на матрицу фокальной плоскости. Т-ноль используется для сравнения времени возврата возвращающегося отраженного импульса на различных пикселях массива фокальной плоскости. Сравнивая T-ноль и захваченный отраженный импульс и сравнивая разницу во времени, каждый пиксель точно выдает прямое измерение времени прохождения. Время прохождения одного импульса туда и обратно на 100 метров составляет 660 нс. Импульсом длительностью 10 нс сцена освещается, а дальность и интенсивность фиксируются менее чем за 1 микросекунду.

Преимущества

Простота

В отличие от систем стереовидения или триангуляции , вся система очень компактна: освещение расположено рядом с линзой, тогда как другим системам требуется определенная минимальная базовая линия. В отличие от систем лазерного сканирования , здесь не требуются механические движущиеся части.

Эффективный алгоритм расстояния

Это прямой процесс извлечения информации о расстоянии из выходных сигналов датчика TOF. В результате эта задача использует лишь небольшое количество вычислительной мощности, опять же в отличие от стереозрения, где реализованы сложные алгоритмы корреляции. Например, после извлечения данных о расстоянии обнаружение объекта также является простым процессом, поскольку алгоритмы не нарушаются узорами на объекте. Точность обычно оценивается в 1 % от измеренного расстояния. [18] [19]

Скорость

Времяпролетные камеры способны измерять расстояния в пределах всей сцены с помощью одного снимка. Поскольку камеры достигают скорости 160 кадров в секунду, они идеально подходят для использования в приложениях реального времени.

Недостатки

Фоновый свет

При использовании КМОП или других интегрирующих детекторов или датчиков, использующих видимый или ближний инфракрасный свет (400–700 нм), хотя большая часть фонового света, исходящего от искусственного освещения или солнца, подавляется, пиксель все равно должен обеспечивать высокую яркость. динамический диапазон . Фоновый свет также генерирует электроны, которые необходимо хранить. Например, осветительные приборы во многих современных TOF-камерах могут обеспечивать уровень освещенности около 1 Вт. Солнце имеет мощность освещения около 1050 Вт на квадратный метр, а после оптического полосового фильтра — 50 Вт . Следовательно, если освещенная сцена имеет размер 1 квадратный метр, свет солнца в 50 раз сильнее модулированного сигнала. Для неинтегрирующих TOF-датчиков, которые не интегрируют свет с течением времени и используют детекторы ближнего инфракрасного диапазона (InGaAs) для улавливания короткого лазерного импульса, прямой просмотр Солнца не является проблемой, поскольку изображение не интегрируется с течением времени, а скорее захватывается в течение короткого цикла сбора данных, обычно менее 1 микросекунды. Такие TOF-сенсоры используются в космических приложениях [12] и в автомобильной промышленности. [20]

Помехи

В некоторых типах TOF-устройств (но не во всех), если одновременно работают несколько времяпролетных камер, TOF-камеры могут мешать измерениям друг друга. Существует несколько вариантов решения этой проблемы:

Для камер типа Direct TOF, которые используют один лазерный импульс для освещения, поскольку одиночный лазерный импульс короткий (например, 10 наносекунд), время прохождения туда и обратно к объектам в поле зрения и обратно соответственно короткое (например, 100 метров = 660 ns TOF туда и обратно). Для имидж-сканера, выполняющего съемку с частотой 30 Гц, вероятность мешающего взаимодействия равна времени, в течение которого ворота сбора данных камеры открыты, разделенному на время между лазерными импульсами, или примерно 1 из 50 000 (0,66 мкс, разделенные на 33 мс).

Множественные отражения

В отличие от систем лазерного сканирования, в которых освещается одна точка, времяпролетные камеры освещают всю сцену. Для устройства разности фаз (решетка с амплитудной модуляцией) из-за многократного отражения свет может достигать объектов по нескольким путям. Поэтому измеренное расстояние может быть больше истинного расстояния. Аппараты прямого TOF уязвимы, если свет отражается от зеркальной поверхности. Доступны опубликованные статьи, в которых описываются сильные и слабые стороны различных устройств и подходов TOF. [21]

Приложения

Изображение человеческого лица, снятое времяпролетной камерой (изображение художника)

Автомобильные приложения

Времяпролетные камеры используются в функциях помощи и безопасности в современных автомобильных приложениях, таких как активная безопасность пешеходов, обнаружение предаварийных ситуаций и в приложениях внутри помещений, таких как обнаружение вне рабочего места (OOP). [22] [23]

Человеко-машинные интерфейсы и игры

Поскольку времяпролетные камеры предоставляют изображения на расстоянии в режиме реального времени, отслеживать перемещения людей легко. Это обеспечивает новые возможности взаимодействия с потребительскими устройствами, такими как телевизоры. Другая тема — использование камер этого типа для взаимодействия с играми на игровых консолях. [24] Сенсор Kinect второго поколения, изначально входящий в состав консоли Xbox One , использовал времяпролетную камеру для формирования изображения дальности, [25] обеспечивая естественные пользовательские интерфейсы и игровые приложения с использованием методов компьютерного зрения и распознавания жестов . Creative и Intel также предлагают аналогичный тип интерактивной времяпролетной камеры с жестами для игр — Senz3D, основанной на камере DepthSense 325 от Softkinetic . [26] Infineon и PMD Technologies позволяют использовать крошечные встроенные 3D-камеры глубины для управления жестами с близкого расстояния на потребительских устройствах, таких как моноблоки ПК и ноутбуки (камеры Picco flexx и Picco monstar). [27]

Камеры смартфонов

Samsung Galaxy S20 Ultra оснащен тремя объективами задней камеры и камерой ToF.

Некоторые смартфоны оснащены камерами времени полета. В основном они используются для улучшения качества фотографий путем предоставления программному обеспечению камеры информации о переднем и заднем плане. [28]

Первым мобильным телефоном с такой технологией стал LG G3 в начале 2014 года. [29] BlackBerry Passport и LG G Flex 2 также были выпущены с датчиком ToF. [30]

Измерение и машинное зрение

Изображение дальности с измерениями высоты

Другими приложениями являются задачи измерения, например, высоты заполнения в силосах. В промышленном машинном зрении времяпролетная камера помогает классифицировать и находить объекты для использования роботами, например предметы, проходящие по конвейеру. Дверные элементы управления позволяют легко отличить животных от людей, приближающихся к двери.

Робототехника

Еще одним применением этих камер является сфера робототехники: мобильные роботы могут очень быстро создавать карту своего окружения, что позволяет им избегать препятствий или следовать за ведущим человеком. Поскольку расчет расстояния прост, используется лишь небольшая вычислительная мощность. Поскольку эти камеры также можно использовать для измерения расстояния, известно, что команды FIRST Robotics Competition используют эти устройства для автономных процедур.

Топография Земли

Камеры ToF использовались для получения цифровых моделей рельефа топографии поверхности Земли [31] для исследований в области геоморфологии .

Бренды

Активные бренды (по состоянию на 2011 г.)[update]

Несуществующие бренды

Смотрите также

Рекомендации

  1. ^ аб Иддан, Гавриэль Дж .; Яхав, Гиора (24 января 2001 г.). «3D-изображения в студии (и в других местах…)» (PDF) . Труды SPIE . Том. 4298. Сан-Хосе, Калифорния: SPIE (опубликовано 29 апреля 2003 г.). п. 48. дои : 10.1117/12.424913. Архивировано из оригинала (PDF) 12 июня 2009 г. Проверено 17 августа 2009 г. [Времяпролетная] камера принадлежит к более широкой группе датчиков, известной как лидар без сканера (т. е. лазерный радар без механического сканера); ранним примером [1990 г.] является [Мэрион В.] Скотт и его последователи в Сандиа.
  2. ^ «Эволюция продукта». 3DV-системы. Архивировано из оригинала 28 февраля 2009 г. Проверено 19 февраля 2009 г. Z-Cam, первая видеокамера глубины, была выпущена в 2000 году и ориентирована в первую очередь на телерадиокомпании.
  3. ^ Кристоф Хекенкамп: Das magische Auge - Grundlagen der Bildverarbeitung: Das PMD Prinzip. В: Осмотреть. № 1, 2008, С. 25–28.
  4. ^ аб Гоктюрк, Салих Бурак; Ялчин, Хакан; Бамджи, Сайрус (24 января 2005 г.). «Времяпролетный датчик глубины — описание системы, проблемы и решения» (PDF) . Конференция IEEE Computer Society по компьютерному зрению и распознаванию образов, 2004 : 35–45. дои :10.1109/CVPR.2004.291. S2CID  1203932. Архивировано из оригинала (PDF) 23 июня 2007 г. Проверено 31 июля 2009 г. Дифференциальная структура накапливает фотогенерированные заряды в двух узлах сбора с использованием двух модулированных затворов. Сигналы модуляции затвора синхронизированы с источником света, и, следовательно, в зависимости от фазы входящего света один узел собирает больше зарядов, чем другой. В конце интегрирования разница напряжений между двумя узлами считывается как мера фазы отраженного света.
  5. ^ "Mesa Imaging - Продукты" . 17 августа 2009 г.
  6. ^ ab Патент США 5081530, Медина, Антонио, «Трехмерная камера и дальномер», выдан 14 января 1992 г., передан Медине, Антонио. 
  7. ^ Медина А, Гая Ф, Посо Ф (2006). «Компактный лазерный радар и трехмерная камера». J. Опт. Соц. Являюсь. А. _ 23 (4): 800–805. Бибкод : 2006JOSAA..23..800M. дои : 10.1364/JOSAA.23.000800. ПМИД  16604759.
  8. ^ «В комплект разработчика Kinect для Windows, запланированный на ноябрь, добавлена ​​технология «зеленого экрана»» . ПКМир . 26 июня 2013 г.
  9. ^ «Субмиллиметровый 3-D лазерный радар для проверки плитки космического корабля.pdf» (PDF) .
  10. ^ "Камера Sea-Lynx Gated - система активных лазерных камер" (PDF) . Архивировано из оригинала (PDF) 13 августа 2010 г.
  11. ^ Рейсс, Роберт; Амзаджердян, Фарзин; Булышев, Александр; Робак, Винсент (4 июня 2013 г.). Тернер, Монте Д.; Камерман, Гэри В. (ред.). «Летные испытания технологии 3D-визуализации Flash LIDAR на вертолете для безопасной, автономной и точной посадки на планету» (PDF) . Лазерная радиолокационная технология и ее применение XVIII . 8731 : 87310H. Бибкод : 2013SPIE.8731E..0HR. дои : 10.1117/12.2015961. hdl : 2060/20130013472 . S2CID  15432289.
  12. ^ ab «3D-камера ASC Flash LIDAR выбрана для миссии на астероид OSIRIS-REx» . NASASpaceFlight.com . 13 мая 2012 г.
  13. ^ http://e-vmi.com/pdf/2012_VMI_AUVSI_Report.pdf [ пустой URL-адрес PDF ]
  14. ^ «Программа автономных воздушных грузовых / служебных систем» . Управление военно-морских исследований . Архивировано из оригинала 6 апреля 2014 г.
  15. ^ «Продукты». Передовые научные концепции .
  16. ^ «Времяпролетная камера — Введение». Mouser Electronics .
  17. ^ «Связываемый пиксель CCD/CMOS для формирования изображения в дальнем диапазоне: проблемы, ограничения и современное состояние» - CSEM
  18. ^ Ван, Джон (04 марта 2022 г.). «Датчик времени полета: что это такое и как он работает». Сборка печатных плат, Производство печатных плат, Проектирование печатных плат - OURPCB . Проверено 14 апреля 2023 г.
  19. ^ Хансард, Майлз; Ли, Сынкю; Чой, Оук; Хоро, Раду (31 октября 2012 г.). Времяпролетные камеры: принципы, методы и приложения. Спрингер. п. 20.
  20. ^ «Автомобильная промышленность». Передовые научные концепции .
  21. ^ Ауэ, Ян; Лангер, Дирк; Мюллер-Бесслер, Бернхард; Хунке, Буркхард (9 июня 2011 г.). «Симпозиум IEEE по интеллектуальным транспортным средствам 2011 (IV)». Симпозиум IEEE по интеллектуальным транспортным средствам 2011 г. (IV) . Баден-Баден, Германия: IEEE. стр. 423–428. дои : 10.1109/ivs.2011.5940442. ISBN 978-1-4577-0890-9.
  22. ^ Сюй, Стивен; Ачарья, Сунил; Рафии, Аббас; Нью, Ричард (25 апреля 2006 г.). «Производительность времяпролетной камеры для интеллектуальных приложений безопасности транспортных средств». Передовые микросистемы для автомобильной промышленности, 2006 г. (PDF) . ВДИ-Бух. Спрингер . стр. 205–219. CiteSeerX 10.1.1.112.6869 . дои : 10.1007/3-540-33410-6_16. ISBN  978-3-540-33410-1. Архивировано из оригинала (PDF) 6 декабря 2006 г. Проверено 25 июня 2018 г.
  23. ^ Эльхалили, Омар; Шрей, Олаф М.; Ульфиг, Вибке; Брокерде, Вернер; Хостичка, Бедрич Дж. (сентябрь 2006 г.), «3-D КМОП-датчик временипролетного изображения размером 64x8 пикселей для приложений, обеспечивающих безопасность автомобилей», European Solid State Circuits Conference 2006, стр . 568–571, ​​doi : 10.1109/ESSCIR.2006.307488 , ISBN 978-1-4244-0302-8, S2CID  24652659 , получено 5 марта 2010 г.
  24. ^ Капитан, Шон (1 мая 2008 г.). «Неконтролируемая игра». PopSci.com . Популярная наука . Проверено 15 июня 2009 г.
  25. ^ Аб Рубин, Питер (21 мая 2013 г.). «Эксклюзивный первый взгляд на Xbox One». Проводной . Проводной журнал . Проверено 22 мая 2013 г.
  26. ^ Аб Стерлинг, Брюс (4 июня 2013 г.). «Дополненная реальность: 3D-камера глубины SoftKinetic и периферийная камера Creative Senz3D для устройств Intel». Проводной журнал . Проверено 2 июля 2013 г.
  27. ^ Лай, Ричард. «PMD и Infineon для создания крошечных интегрированных 3D-камер глубины (практический опыт)». Engadget . Проверено 9 октября 2013 г.
  28. ^ Хайнцман, Эндрю (04 апреля 2019 г.). «Что такое камера времени полета (ToF) и почему она есть в моем телефоне?». Как компьютерщик .
  29. ^ Джеймс, Дик (17 октября 2016 г.). «Датчики времени полета STMicroelectronics и звездолет Enterprise появляются в iPhone 7 серии». ТехИнсайтс . Архивировано из оригинала 25 декабря 2022 г. Проверено 21 мая 2023 г.
  30. ^ Фрэнк, Рэнди (17 октября 2014 г.). «Времяпролетная технология, разработанная для смартфона». Советы по работе с датчиками . ООО «ВТВХ Медиа». Архивировано из оригинала 19 апреля 2023 г. Проверено 21 мая 2023 г.
  31. ^ Ниче, М.; Туровский, Дж. М.; Баду, А.; Рикенманн, Д.; Когоутек, ТК; Паули, М.; Киршнер, JW (2013). «Построение изображений: новый метод топографических измерений с высоким разрешением на небольших и средних полевых объектах». Процессы на поверхности Земли и формы рельефа . 38 (8): 810. Бибкод : 2013ESPL...38..810N. дои : 10.1002/особенно 3322 . S2CID  55282788.
  32. ^ Будет объявлено позже. «SICK - Visionary-T и Visionary-B: 3D-видение - Обращение и хранение». www.handling-storage.com (на европейском испанском языке) . Проверено 18 апреля 2017 г.
  33. ^ «Технология TowerJazz CIS, выбранная Canesta для потребительских датчиков трехмерного изображения» . Деловой провод . 21 июня 2010 года . Проверено 29 октября 2013 г. Компания Canesta Inc. использует технологию CMOS-датчика изображения (CIS) TowerJazz для производства своих инновационных 3-D датчиков изображения CanestaVision.

дальнейшее чтение