stringtranslate.com

Времяпролетная камера

Время пролета светового импульса, отраженного от цели

Времяпролетная камера ( ToF -камера ), также известная как датчик времени пролета ( ToF-датчик ), представляет собой систему дальномерной камеры для измерения расстояний между камерой и объектом для каждой точки изображения на основе времени пролета , времени прохождения искусственного светового сигнала туда и обратно, обеспечиваемого лазером или светодиодом . Лазерные времяпролетные камеры являются частью более широкого класса безсканирующих лидаров , в которых вся сцена захватывается каждым лазерным импульсом, в отличие от поточечного с лазерным лучом, как в сканирующих системах лидаров. [1] Продукты времяпролетных камер для гражданского применения начали появляться около 2000 года, [2] поскольку полупроводниковые процессы позволили производить компоненты достаточно быстро для таких устройств. Системы охватывают диапазоны от нескольких сантиметров до нескольких километров.

Типы устройств

Разработано несколько различных технологий для времяпролетных камер.

Источники света с радиочастотной модуляцией и фазовыми детекторами

Устройства Photonic Mixer Devices (PMD), [3] Swiss Ranger и CanestaVision [4] работают, модулируя исходящий луч с помощью несущей радиочастоты, а затем измеряя сдвиг фазы этой несущей на стороне приемника. Этот подход имеет проблему модульной ошибки: измеренные диапазоны являются модулем длины волны несущей радиочастоты. Swiss Ranger — это компактное устройство малого радиуса действия с диапазонами 5 или 10 метров и разрешением 176 x 144 пикселей. С помощью алгоритмов развертки фазы максимальный диапазон уникальности может быть увеличен. PMD может обеспечивать диапазоны до 60 м. Освещение — импульсные светодиоды, а не лазер. [5] Разработчик CanestaVision Canesta была куплена Microsoft в 2010 году. Kinect2 для Xbox One был основан на технологии ToF от Canesta.

Тепловизоры с диапазоном строба

Эти устройства имеют встроенный затвор в датчике изображения, который открывается и закрывается с той же скоростью, с которой отправляются световые импульсы. Большинство датчиков времени пролета 3D основаны на этом принципе, изобретенном Мединой. [6] Поскольку часть каждого возвращающегося импульса блокируется затвором в соответствии со временем его прибытия, количество полученного света зависит от расстояния, пройденного импульсом. Расстояние можно рассчитать с помощью уравнения z = R ( S 2 − S 1 ) / 2( S 1 + S 2 ) + R / 2 для идеальной камеры. R — это диапазон камеры, определяемый путем прохождения светового импульса туда и обратно, S 1 — количество полученного светового импульса, а S 2 — количество заблокированного светового импульса. [6] [7]

ZCam от 3DV Systems [1] — это система с диапазоном. Microsoft приобрела 3DV в 2009 году. Датчик Kinect второго поколения от Microsoft был разработан с использованием знаний, полученных от Canesta и 3DV Systems. [8]

Аналогичные принципы используются в серии камер ToF, разработанных Институтом микроэлектронных схем и систем Фраунгофера и TriDiCam. В этих камерах используются фотодетекторы с быстрым электронным затвором.

Разрешение по глубине камер ToF можно улучшить с помощью сверхбыстрых камер с усиленным стробированием CCD. Эти камеры обеспечивают время стробирования до 200 пс и позволяют настраивать ToF с разрешением по глубине в субмиллиметр. [9]

Дальность стробируемых изображений также может быть использована в 2D-визуализации для подавления всего, что находится за пределами указанного диапазона расстояний, например, для того, чтобы видеть сквозь туман. Импульсный лазер обеспечивает освещение, а оптический затвор позволяет свету достигать изображения только в течение желаемого периода времени. [10]

Прямые времяпролетные тепловизоры

Эти устройства измеряют прямое время пролета, необходимое для того, чтобы один лазерный импульс покинул камеру и отразился обратно на решетку фокальной плоскости. Также известные как «режим триггера», 3D-изображения, полученные с использованием этой методологии, отображают полные пространственные и временные данные, записывая полные 3D-сцены с одним лазерным импульсом. Это позволяет быстро получать и быстро обрабатывать информацию о сцене в реальном времени. Для автономных операций, чувствительных ко времени, этот подход был продемонстрирован для автономных космических испытаний [11] и операций, таких как использованные в миссии по отбору и возврату астероида OSIRIS-REx Bennu [12] и автономной посадке вертолета. [13] [14]

Advanced Scientific Concepts, Inc. предоставляет специализированные (например, воздушные, автомобильные, космические) системы видения Direct TOF [15], известные как камеры 3D Flash LIDAR. Их подход использует InGaAs лавинные фотодиоды (APD) или матрицы PIN-фотодетекторов, способные визуализировать лазерный импульс в диапазоне длин волн от 980 нм до 1600 нм.

Компоненты

Времяпролетная камера состоит из следующих компонентов:

Принцип

Принцип работы времяпролетной камеры:

В импульсном методе (1) расстояние d = ⁠кт/2⁠ ⁠кв2/к1 + к2⁠ , где c — скорость света, t — длина импульса, q1 — накопленный заряд в пикселе при излучении света, а q2 — накопленный заряд, когда свет не излучается.

В методе непрерывной волны (2) d = ⁠кт/2π​ ⁠ арктан ⁠кв3 - кв4/к1 - к2⁠ . [16]
Схемы, иллюстрирующие принцип работы времяпролетной камеры с аналоговой синхронизацией

Простейшая версия камеры времени пролета использует световые импульсы или один световой импульс. Освещение включается на очень короткое время, полученный световой импульс освещает сцену и отражается объектами в поле зрения. Объектив камеры собирает отраженный свет и отображает его на датчике или решетке фокальной плоскости. В зависимости от расстояния входящий свет испытывает задержку. Поскольку скорость света составляет приблизительно c = 300 000 000 метров в секунду, эта задержка очень коротка: объект на расстоянии 2,5 м задержит свет на: [17]

Для амплитудно-модулированных массивов ширина импульса освещения определяет максимальный диапазон, который может обрабатывать камера. При ширине импульса, например, 50 нс, диапазон ограничен

Эти короткие промежутки времени показывают, что осветительный блок является критической частью системы. Только с помощью специальных светодиодов или лазеров возможно генерировать такие короткие импульсы.

Отдельный пиксель состоит из фоточувствительного элемента (например, фотодиода ). Он преобразует входящий свет в ток. В аналоговых хронометрических формирователях изображений к фотодиоду подключены быстрые переключатели, которые направляют ток на один из двух (или несколько) элементов памяти (например, конденсатор ) , которые действуют как элементы суммирования. В цифровых хронометрических формирователях изображений счетчик времени, который может работать на частоте нескольких гигагерц, подключен к каждому пикселю фотодетектора и прекращает подсчет, когда обнаруживается свет.

В схеме амплитудно-модулированного массива аналогового таймера пиксель использует два переключателя (G1 и G2) и два элемента памяти (S1 и S2). Переключатели управляются импульсом той же длины, что и световой импульс, где управляющий сигнал переключателя G2 задерживается точно на ширину импульса. В зависимости от задержки только часть светового импульса отбирается через G1 в S1, другая часть сохраняется в S2. В зависимости от расстояния соотношение между S1 и S2 изменяется, как показано на рисунке. [4] Поскольку только небольшое количество света попадает на датчик в течение 50 нс, отправляется не один, а несколько тысяч импульсов (частота повторения tR) и собирается, тем самым увеличивая отношение сигнал/шум .

После экспозиции пиксель считывается, и на следующих этапах измеряются сигналы S1 и S2. Поскольку длина светового импульса определена, расстояние можно рассчитать по формуле:

В примере сигналы имеют следующие значения: S1 = 0,66 и S2 = 0,33. Расстояние, таким образом, равно:

При наличии фоновой засветки элементы памяти получают дополнительную часть сигнала. Это нарушит измерение расстояния. Чтобы устранить фоновую часть сигнала, все измерение можно провести повторно при выключенной подсветке. Если объекты находятся дальше диапазона расстояний, результат также будет неверным. В этом случае повторное измерение с контрольными сигналами, задержанными на дополнительную длительность импульса, помогает подавить такие объекты. Другие системы работают с синусоидально модулированным источником света вместо импульсного источника.

Для прямых TOF-визуализаторов, таких как 3D Flash LIDAR, лазер испускает один короткий импульс длительностью от 5 до 10 нс. Событие T-zero (время, когда импульс покидает камеру) устанавливается путем прямого захвата импульса и направления этого времени на решетку фокальной плоскости. T-zero используется для сравнения времени возврата возвращающегося отраженного импульса на различных пикселях решетки фокальной плоскости. Сравнивая T-zero и захваченный возвращенный импульс и сравнивая разницу во времени, каждый пиксель точно выводит прямое измерение времени пролета. Время прохождения туда и обратно одного импульса на 100 метров составляет 660 нс. При импульсе длительностью 10 нс сцена освещается, а диапазон и интенсивность захватываются менее чем за 1 микросекунду.

Преимущества

Простота

В отличие от стереозрения или триангуляционных систем , вся система очень компактна: освещение располагается прямо рядом с линзой, тогда как другим системам требуется определенная минимальная базовая линия. В отличие от лазерных сканирующих систем , не требуются никакие механические движущиеся части.

Эффективный алгоритм расстояния

Это прямой процесс извлечения информации о расстоянии из выходных сигналов датчика TOF. В результате эта задача использует лишь небольшое количество вычислительной мощности, опять же в отличие от стереозрения, где реализованы сложные алгоритмы корреляции. После извлечения данных о расстоянии, например, обнаружение объекта также является простым процессом для выполнения, поскольку алгоритмы не нарушаются узорами на объекте. Точность обычно оценивается в 1% от измеренного расстояния. [18] [19]

Скорость

Камеры Time-of-Flight способны измерять расстояния в пределах всей сцены с помощью одного снимка. Поскольку камеры достигают скорости до 160 кадров в секунду, они идеально подходят для использования в приложениях в реальном времени.

Недостатки

Фоновый свет

При использовании КМОП или других интегрирующих детекторов или датчиков, которые используют видимый или ближний инфракрасный свет (400 нм - 700 нм), хотя большая часть фонового света, исходящего от искусственного освещения или солнца, подавляется, пиксель все равно должен обеспечивать высокий динамический диапазон . Фоновый свет также генерирует электроны, которые необходимо сохранять. Например, блоки освещения во многих современных камерах TOF могут обеспечивать уровень освещенности около 1 Вт. Солнце имеет мощность освещения около 1050 Вт на квадратный метр и 50 Вт после оптического полосового фильтра . Следовательно, если освещенная сцена имеет размер 1 квадратный метр, свет от солнца в 50 раз сильнее модулированного сигнала. Для неинтегрирующих датчиков TOF, которые не интегрируют свет с течением времени и используют детекторы ближнего инфракрасного диапазона (InGaAs) для захвата короткого лазерного импульса, прямой просмотр солнца не является проблемой, поскольку изображение не интегрируется с течением времени, а захватывается в течение короткого цикла сбора данных, обычно менее 1 микросекунды. Такие датчики TOF используются в космических приложениях [12] и рассматриваются для автомобильных приложений. [20]

Вмешательство

В некоторых типах TOF-устройств (но не во всех) при одновременной работе нескольких камер времени пролета камеры TOF могут мешать измерениям друг друга. Существует несколько возможностей решения этой проблемы:

Для камер типа Direct TOF, которые используют один лазерный импульс для подсветки, поскольку один лазерный импульс короткий (например, 10 наносекунд), круговой путь TOF к объектам в поле зрения и от них соответственно короткий (например, 100 метров = 660 нс круговой путь TOF). Для формирователя изображений, снимающего с частотой 30 Гц, вероятность мешающего взаимодействия равна времени, в течение которого затвор захвата камеры открыт, деленному на время между лазерными импульсами или приблизительно 1 из 50 000 (0,66 мкс деленные на 33 мс).

Многократные отражения

В отличие от лазерных сканирующих систем, где освещается одна точка, камеры времени пролета освещают всю сцену. Для устройства с разностью фаз (амплитудно-модулированная решетка) из-за множественных отражений свет может достигать объектов по нескольким путям. Поэтому измеренное расстояние может быть больше истинного расстояния. Прямые TOF-визуализаторы уязвимы, если свет отражается от зеркальной поверхности. Имеются опубликованные статьи, в которых излагаются сильные и слабые стороны различных устройств и подходов TOF. [21]

Приложения

Изображение человеческого лица, снятое камерой с функцией измерения времени пролета (художник)

Автомобильные приложения

Камеры с датчиком времени пролета используются в качестве вспомогательных и безопасных функций для современных автомобильных приложений, таких как активная безопасность пешеходов, предварительное обнаружение столкновений, а также для применения в помещениях, например, для обнаружения перемещения вне положения (OOP). [22] [23]

Интерфейсы человек-машина и игры

Поскольку камеры времени пролета предоставляют изображения расстояния в реальном времени, легко отслеживать движения людей. Это открывает новые возможности взаимодействия с потребительскими устройствами, такими как телевизоры. Другая тема — использование этого типа камер для взаимодействия с играми на игровых консолях. [24] Датчик Kinect второго поколения , изначально включенный в консоль Xbox One, использовал камеру времени пролета для своего дальности изображения, [25] обеспечивая естественные пользовательские интерфейсы и игровые приложения с использованием компьютерного зрения и методов распознавания жестов . Creative и Intel также предоставляют аналогичный тип интерактивной камеры времени пролета жестов для игр, Senz3D на основе камеры DepthSense 325 от Softkinetic . [26] Infineon и PMD Technologies предлагают крошечные интегрированные 3D-камеры глубины для управления жестами на близком расстоянии потребительских устройств, таких как моноблоки и ноутбуки (камеры Picco flexx и Picco monstar). [27]

Камеры смартфонов

Samsung Galaxy S20 Ultra оснащен тремя объективами задней камеры и камерой ToF.

Несколько смартфонов включают в себя камеры времени пролета. Они в основном используются для улучшения качества фотографий, предоставляя программному обеспечению камеры информацию о переднем и заднем плане. [28]

Первым мобильным телефоном, выпущенным с такой технологией, стал LG G3 , выпущенный в начале 2014 года. [29] BlackBerry Passport и LG G Flex 2 также были выпущены с датчиком ToF. [30]

Измерение и машинное зрение

Изображение диапазона с измерениями высоты

Другие приложения — это задачи измерения, например, высоты заполнения в силосах. В промышленном машинном зрении камера времени пролета помогает классифицировать и определять местоположение объектов для использования роботами, например, предметов, проходящих по конвейеру. Дверные элементы управления могут легко различать животных и людей, достигающих двери.

Робототехника

Другое применение этих камер — область робототехники: мобильные роботы могут очень быстро создавать карту своего окружения, что позволяет им избегать препятствий или следовать за ведущим человеком. Поскольку расчет расстояния прост, используется лишь небольшая вычислительная мощность. Поскольку эти камеры также могут использоваться для измерения расстояния, команды FIRST Robotics Competition, как известно, используют устройства для автономных процедур.

Рельеф Земли

Камеры ToF использовались для получения цифровых моделей рельефа поверхности Земли [ 31] для исследований в области геоморфологии .

Бренды

Активные бренды (по состоянию на 2011 год)[update]

Несуществующие бренды

Смотрите также

Ссылки

  1. ^ ab Iddan, Gavriel J. ; Yahav, Giora (2001-01-24). "3D-визуализация в студии (и в других местах…)" (PDF) . Труды SPIE . Том 4298. Сан-Хосе, Калифорния: SPIE (опубликовано 2003-04-29). стр. 48. doi :10.1117/12.424913. Архивировано из оригинала (PDF) 2009-06-12 . Получено 2009-08-17 . Камера [Time-of-flight] принадлежит к более широкой группе датчиков, известных как безсканирующие ЛИДАРы (т. е. лазерный радар без механического сканера); ранним примером [1990] является [Marion W.] Scott и его последователи в Sandia.
  2. ^ "Эволюция продукта". 3DV Systems. Архивировано из оригинала 28.02.2009 . Получено 19.02.2009 . Z-Cam, первая камера глубинного видео, была выпущена в 2000 году и была ориентирована в первую очередь на вещательные организации.
  3. ^ Кристоф Хекенкамп: Das magische Auge - Grundlagen der Bildverarbeitung: Das PMD Prinzip. В: Осмотреть. № 1, 2008, С. 25–28.
  4. ^ ab Gokturk, Salih Burak; Yalcin, Hakan; Bamji, Cyrus (24 января 2005 г.). "Датчик глубины времени пролета - описание системы, проблемы и решения" (PDF) . Конференция компьютерного общества IEEE по компьютерному зрению и распознаванию образов, семинары, 2004 : 35–45. doi :10.1109/CVPR.2004.291. S2CID  1203932. Архивировано из оригинала (PDF) 2007-06-23 . Получено 2009-07-31 . Дифференциальная структура накапливает фотогенерированные заряды в двух узлах сбора с использованием двух модулированных затворов. Сигналы модуляции затвора синхронизированы с источником света, и, следовательно, в зависимости от фазы входящего света, один узел собирает больше зарядов, чем другой. В конце интегрирования разность напряжений между двумя узлами считывается как мера фазы отраженного света.
  5. ^ "Mesa Imaging - Products". 17 августа 2009 г.
  6. ^ ab патент США 5081530, Медина, Антонио, «Трехмерная камера и дальномер», выдан 1992-01-14, передан Медине, Антонио 
  7. ^ Медина А., Гая Ф., Посо Ф. (2006). «Компактный лазерный радар и трехмерная камера». J. Opt. Soc. Am. A. 23 ( 4): 800–805. Bibcode : 2006JOSAA..23..800M. doi : 10.1364/JOSAA.23.000800. PMID  16604759.
  8. ^ "Выпуск комплекта разработчика Kinect для Windows запланирован на ноябрь, в него добавлена ​​технология "зеленого экрана"". PCWorld . 2013-06-26.
  9. ^ "Субмиллиметровый 3-D лазерный радар для проверки плитки космического челнока.pdf" (PDF) .
  10. ^ "Sea-Lynx Gated Camera - система активной лазерной камеры" (PDF) . Архивировано из оригинала (PDF) 2010-08-13.
  11. ^ Рейсс, Роберт; Амзаджердиан, Фарзин; Булышев, Александр; Робак, Винсент (4 июня 2013 г.). Тернер, Монте Д.; Камерман, Гари В. (ред.). "Летные испытания на вертолете технологии 3D-вспышки LIDAR для безопасной, автономной и точной посадки на планету" (PDF) . Технология лазерных радаров и ее применение XVIII . 8731 : 87310H. Bibcode : 2013SPIE.8731E..0HR. doi : 10.1117/12.2015961. hdl : 2060/20130013472 . S2CID  15432289.
  12. ^ ab "Камера 3D Flash LIDAR от ASC выбрана для миссии OSIRIS-REx к астероиду". NASASpaceFlight.com . 2012-05-13.
  13. ^ "Инновации в области беспилотных систем, за которыми стоит следить" (PDF) . e-vmi.com . Август 2012 . Получено 2024-08-10 .
  14. ^ "Программа автономной воздушной грузовой/компьютерной системы". Управление военно-морских исследований . Архивировано из оригинала 2014-04-06.
  15. ^ "Продукты". Передовые научные концепции .
  16. ^ "Времяпролетная камера — введение". Mouser Electronics .
  17. ^ «ПЗС/КМОП-пиксель синхронизации для дальномерной съемки: проблемы, ограничения и современное состояние» - CSEM
  18. ^ Ванг, Джон (2022-03-04). "Датчик времени пролета: что это такое и как он работает". Сборка печатных плат,Производство печатных плат,Проектирование печатных плат - OURPCB . Получено 2023-04-14 .
  19. ^ Хансард, Майлз; Ли, Сынгю; Чой, Оук; Хоро, Раду (2012-10-31). Камеры времени пролета: принципы, методы и применение. Springer. стр. 20.
  20. ^ "Автомобилестроение". Передовые научные концепции .
  21. ^ Ауэ, Ян; Лангер, Дирк; Мюллер-Бесслер, Бернхард; Хунке, Буркхард (9 июня 2011 г.). «Симпозиум IEEE по интеллектуальным транспортным средствам 2011 (IV)». Симпозиум IEEE по интеллектуальным транспортным средствам 2011 г. (IV) . Баден-Баден, Германия: IEEE. стр. 423–428. doi : 10.1109/ivs.2011.5940442. ISBN 978-1-4577-0890-9.
  22. ^ Hsu, Stephen; Acharya, Sunil; Rafii, Abbas; New, Richard (25 апреля 2006 г.). «Производительность камеры времени пролета для интеллектуальных приложений безопасности транспортных средств». Advanced Microsystems for Automotive Applications 2006 (PDF) . VDI-Buch. Springer . стр. 205–219. CiteSeerX 10.1.1.112.6869 . doi :10.1007/3-540-33410-6_16. ISBN  978-3-540-33410-1. Архивировано из оригинала (PDF) 2006-12-06 . Получено 2018-06-25 .
  23. ^ Elkhalili, Omar; Schrey, Olaf M.; Ulfig, Wiebke; Brockherde, Werner; Hosticka, Bedrich J. (сентябрь 2006 г.), "3-D CMOS датчик времени пролета изображения размером 64x8 пикселей для приложений безопасности автомобиля", Европейская конференция по твердотельным схемам 2006 г. , стр. 568–571, ​​doi :10.1109/ESSCIR.2006.307488, ISBN 978-1-4244-0302-8, S2CID  24652659 , получено 2010-03-05
  24. ↑ Капитан, Шон (01.05.2008). «Игры вне контроля». PopSci.com . Popular Science . Получено 15.06.2009 .
  25. ^ ab Рубин, Питер (21.05.2013). "Эксклюзивный первый взгляд на Xbox One". Wired . Журнал Wired . Получено 22.05.2013 .
  26. ^ ab Sterling, Bruce (2013-06-04). "Дополненная реальность: камера глубины SoftKinetic 3D и периферийная камера Creative Senz3D для устройств Intel". Журнал Wired . Получено 2013-07-02 .
  27. ^ Лай, Ричард. "PMD и Infineon создадут крошечные интегрированные 3D-камеры глубины (практический опыт)". Engadget . Получено 2013-10-09 .
  28. ^ Хайнцман, Эндрю (2019-04-04). «Что такое камера времени пролета (ToF) и почему она есть в моем телефоне?». How-To Geek .
  29. ^ Джеймс, Дик (2016-10-17). "Датчики времени пролета STMicroelectronics и Starship Enterprise появляются в серии iPhone 7". TechInsights . Архивировано из оригинала 2022-12-25 . Получено 2023-05-21 .
  30. ^ Фрэнк, Рэнди (2014-10-17). «Технология времени пролета, разработанная для смартфона». Советы по датчикам . WTWH Media LLC. Архивировано из оригинала 2023-04-19 . Получено 2023-05-21 .
  31. ^ Nitsche, M.; Turowski, JM; Badoux, A.; Rickenmann, D.; Kohoutek, TK; Pauli, M.; Kirchner, JW (2013). "Range imaging: A new method for high-resolution topographic measurements in small- and medium-scale field sites". Earth Surface Processes and Landforms . 38 (8): 810. Bibcode :2013ESPL...38..810N. doi : 10.1002/esp.3322 . S2CID  55282788.
  32. ^ TBA. "SICK - Visionary-T y Visionary-B: 3D вид - Handling&Storage". www.handling-storage.com (на европейском испанском языке) . Получено 18.04.2017 .
  33. ^ "Технология CIS TowerJazz выбрана Canesta для потребительских 3-D датчиков изображения". Business Wire . 21 июня 2010 г. Получено 29 октября 2013 г. Canesta Inc. использует технологию датчиков изображения CMOS (CIS) TowerJazz для производства своих инновационных 3-D датчиков изображения CanestaVision.

Дальнейшее чтение