stringtranslate.com

Камера светового поля

Камера светового поля Lytro Illum 2-го поколения
Передняя и задняя части Lytro , первой потребительской камеры светового поля, на которых показаны передний объектив и сенсорный ЖК-экран.

Камера светового поля , также известная как пленоптическая камера , — это камера , которая фиксирует информацию о световом поле , исходящем от сцены; то есть интенсивность света в сцене, а также точное направление, в котором световые лучи движутся в пространстве. Это контрастирует с обычными камерами, которые регистрируют только интенсивность света на различных длинах волн.

Один тип использует массив микролинз, размещенных перед обычным датчиком изображения, для восприятия интенсивности, цвета и направленной информации. Массивы из нескольких камер — это другой тип. Голографическое изображение — это тип изображения светового поля на основе пленки.

История

Ранние исследования

Первая камера светового поля была предложена Габриэлем Липпманом в 1908 году. Он назвал свою концепцию « интегральной фотографией ». Экспериментальные результаты Липпмана включали грубые интегральные фотографии, сделанные с помощью пластикового листа, на котором был выдавлен регулярный массив микролинз, или путем частичного внедрения мелких стеклянных шариков, плотно упакованных в случайном порядке, в поверхность фотографической эмульсии .

В 1992 году Адельсон и Ванг предложили конструкцию, которая уменьшила проблему соответствия при стереосоответствии. [1] Для достижения этого массив микролинз размещается в фокальной плоскости главного объектива камеры. Датчик изображения располагается немного позади микролинз. Используя такие изображения, можно проанализировать смещение частей изображения, которые не находятся в фокусе, и извлечь информацию о глубине.

Стандартная пленоптическая камера

Это демонстрирует возможность изменения фокусного расстояния и глубины резкости после того, как сделана фотография — ближний фокус (вверху), дальний фокус (в середине), полная глубина резкости (внизу) — с помощью программного обеспечения камеры светового поля Lytro Illum.

«Стандартная пленоптическая камера» — это математическая модель , используемая исследователями для сравнения конструкций. По определению она имеет микролинзы, расположенные на расстоянии одного фокусного расстояния от плоскости изображения сенсора. [2] [3] [4] В 2004 году группа из Лаборатории компьютерной графики Стэнфордского университета использовала 16-мегапиксельную камеру, чтобы продемонстрировать, что снимки можно перефокусировать после того, как они сделаны. Система использовала массив из 90 000 микролинз, что давало разрешение 90 килопикселей. [2] Исследования показали, что ее максимальная базовая линия ограничена размером входного зрачка главной линзы, который мал по сравнению со стереоскопическими установками. [1] [5] Это означает, что «стандартная пленоптическая камера» может быть предназначена для приложений с близкого расстояния, поскольку она демонстрирует повышенное разрешение по глубине на расстояниях, которые можно метрически предсказать на основе параметров камеры. [6]

Фокусированная пленоптическая камера

Ламсдейн и Георгиев описали конструкцию, в которой массив микролинз может быть расположен до или после фокальной плоскости основной линзы. Эта модификация производит выборку светового поля таким образом, что угловое разрешение меняется на более высокое пространственное разрешение . С помощью этой конструкции изображения могут быть перефокусированы с гораздо более высоким пространственным разрешением, чем изображения со стандартной пленоптической камеры. Однако более низкое угловое разрешение может привести к артефактам наложения .

Камера с кодированной апертурой

В 2007 году была предложена конструкция, в которой вместо массива микролинз использовалась недорогая печатная пленочная маска . [7] Такая конструкция уменьшает хроматические аберрации и потерю граничных пикселей, наблюдаемые в массивах микролинз, и обеспечивает большее пространственное разрешение. Однако конструкция на основе маски уменьшает количество света, достигающего датчика изображения, что снижает яркость.

Функции

В число особенностей входят:

Массив металинз

В 2022 году NIST анонсировал устройство с фокусным расстоянием от 3 см (1,2 дюйма) до 1,7 км (1,1 мили). Устройство использовало 39x39-элементную решетку металинз из диоксида титана . Каждая металинза имеет либо правую, либо левую круговую поляризацию для создания разного фокусного расстояния. Каждая металинза имела прямоугольную форму. Свет направлялся отдельно через более короткую и длинную стороны прямоугольника, создавая две фокусные точки на изображении. Различия между металинзами были скорректированы алгоритмически. [14] [15]

Производители

Продукция

Lytro была основана выпускником Лаборатории компьютерной графики Стэнфордского университета Реном Нгом для коммерциализации камеры светового поля, которую он разработал, будучи аспирантом. [16] Датчик светового поля Lytro использует массив микролинз, размещенных перед обычным датчиком изображения; для определения интенсивности, цвета и направленности информации. [17] Затем программное обеспечение использует эти данные для создания отображаемых 2D- или 3D-изображений. [18] Lytro обменивает максимальное разрешение 2D на заданном расстоянии на улучшенное разрешение на других расстояниях. Пользователи могут преобразовывать фирменное изображение камеры Lytro в обычный файл 2D-изображения на любом желаемом фокусном расстоянии. Максимальное разрешение Illum 2D составляет 2450 × 1634 (4,0 мегапикселя), разрешение 3D светового поля составляет 40 «мегалучей». [19] Максимальное разрешение 2D составляет 1080 × 1080 пикселей (примерно 1,2 мегапикселя ), [20] Lytro прекратила свою деятельность в марте 2018 года. [21]

С 2010 года компания Raytrix предлагает несколько моделей пленоптических камер для промышленного и научного применения с полем зрения от 1 мегапикселя. [22] [23]

Компании d'Optron и Rebellion Photonics предлагают пленоптические камеры, специализирующиеся на микроскопии и обнаружении утечек газа соответственно. [ необходима ссылка ]

Прототипы

Лаборатория компьютерной графики Стэнфордского университета разработала прототип микроскопа светового поля, используя массив микролинз, аналогичный тому, который используется в их камере светового поля. Прототип построен на основе микроскопа проходящего света Nikon Eclipse / широкопольного флуоресцентного микроскопа и стандартных камер CCD . Захват светового поля осуществляется с помощью модуля, содержащего массив микролинз и другие оптические компоненты, размещенные на пути света между объективом и камерой, с окончательным многофокусным изображением, визуализированным с помощью деконволюции . [24] [25] [26]

Более поздний прототип добавил систему освещения светового поля, состоящую из видеопроектора (позволяющего вычислительно управлять освещением) и второй матрицы микролинз в световом пути освещения микроскопа. Добавление системы освещения светового поля позволило использовать дополнительные типы освещения (такие как косое освещение и квазитемное поле ) и коррекцию оптических аберраций . [25]

Камера Adobe light field — это прототип 100- мегапиксельной камеры, которая делает трехмерную фотографию сцены в фокусе с помощью 19 уникально настроенных линз. Каждая линза делает 5,2-мегапиксельную фотографию сцены. Каждое изображение может быть сфокусировано позже любым способом. [27]

CAFADIS — пленоптическая камера, разработанная Университетом Ла-Лагуна (Испания). [28] CAFADIS означает (на испанском) фазово-дистанционную камеру, поскольку ее можно использовать для оценки расстояния и оптического волнового фронта . Из одного снимка она может создавать изображения, сфокусированные на разных расстояниях, карты глубины, изображения «все в фокусе» и стереопары. Подобная оптическая конструкция может использоваться в адаптивной оптике в астрофизике .

Камера светового поля (MERL) компании Mitsubishi Electric Research Laboratories [7] основана на принципе оптического гетеродинирования и использует печатную пленку (маску), размещенную близко к датчику. Любую ручную камеру можно превратить в камеру светового поля, используя эту технологию, просто вставив недорогую пленку поверх датчика. [29] Конструкция на основе маски позволяет избежать проблемы потери разрешения, поскольку для сфокусированных частей сцены можно получить фотографию с высоким разрешением.

Pelican Imaging имеет тонкие многокамерные массивные системы, предназначенные для потребительской электроники. Системы Pelican используют от 4 до 16 близко расположенных микрокамер вместо датчика изображения с микролинзовым массивом. [30] Nokia инвестировала в Pelican Imaging для производства пленоптической системы камер с 16-линзовым массивом, которая, как ожидалось, будет внедрена в смартфоны Nokia в 2014 году. [31] Pelican перешла к разработке дополнительных камер, которые добавляют возможности измерения глубины к основной камере устройства, а не к отдельным массивным камерам. [32]

Результатом сотрудничества между Университетом Бедфордшира и ARRI стала изготовленная на заказ пленоптическая камера с лучевой моделью для проверки геометрии светового поля и реальных расстояний до объектов. [4] [5]

В ноябре 2021 года немецкая компания K|Lens [33] анонсировала на Kickstarter первую линзу светового поля, доступную для любого стандартного крепления объектива . Проект был отменен в январе 2022 года.

Для модификации стандартных цифровых камер требуется лишь подходящие листы материала для микролинз, поэтому ряд любителей создали камеры, изображения которых можно обрабатывать для получения либо выборочной глубины резкости, либо информации о направлении. [34]

Приложения

В исследовании 2017 года ученые отметили, что включение фотографий светового поля в онлайн-модуль по анатомии не привело к лучшим результатам обучения по сравнению с идентичным модулем с традиционными фотографиями вскрытых трупов. [35]

Пленоптические камеры хороши для съемки быстро движущихся объектов, которые превосходят возможности автофокусировки, а также для съемки объектов, где автофокусировка непрактична, например, в камерах видеонаблюдения. [36] Запись с камеры видеонаблюдения , основанная на пленоптической технологии, может быть использована для создания точной 3D-модели объекта. [37]

Программное обеспечение

Lytro Desktop — это кроссплатформенное приложение для рендеринга фотографий светового поля, снятых камерами Lytro. Оно остаётся с закрытым исходным кодом и не поддерживается с момента приобретения Lytro компанией Google. [21] Тем временем было выпущено несколько инструментов с открытым исходным кодом. Можно найти инструмент Matlab для обработки камер типа Lytro. [38] PlenoptiCam — это приложение на основе графического интерфейса, учитывающее камеры Lytro и изготовленные на заказ пленоптические камеры с кроссплатформенной совместимостью, а исходный код доступен онлайн. [39]

Смотрите также

Ссылки

  1. ^ ab Adelson, EH; Wang, JYA (1992). «Однообъективная стереокамера с пленоптической камерой». Труды IEEE по анализу образов и машинному интеллекту . 14 (2): 99–106. CiteSeerX  10.1.1.53.7845 . doi :10.1109/34.121783.
  2. ^ ab "Фотография в световом поле с помощью ручной пленоптической камеры". graphics.stanford.edu .
  3. ^ Ламсдейн, А., Георгиев, Т., Сфокусированная пленоптическая камера, ICCP, апрель 2009 г.
  4. ^ ab Hahne, C.; Aggoun, A.; Velisavljevic, V.; Fiebig, S.; Pesch, M. (2016). «Расстояние перефокусировки стандартной пленоптической камеры». Optics Express . 24 (19): 21521–21540. Bibcode : 2016OExpr..2421521H. doi : 10.1364/oe.24.021521. hdl : 10547/622011 . PMID  27661891.
  5. ^ ab Hahne, C.; Aggoun, A.; Velisavljevic, V.; Fiebig, S.; Pesch, M. (2017). «Базовая линия и геометрия триангуляции в стандартной пленоптической камере». Int. J. Comput. Vis . 126 : 21–35. arXiv : 2010.04638 . doi :10.1007/s11263-017-1036-4. S2CID  255109335.
  6. ^ "Оценка геометрии светового поля". Архивировано из оригинала 2019-09-11 . Получено 2018-03-27 .
  7. ^ ab Ashok Veeraraghavan, Ramesh Raskar, Amit Agrawal, Ankit Mohan и Jack Tumblin. Пятнистая фотография: камеры с улучшенной маской для гетеродинированных световых полей и перефокусировки кодированной апертуры. ACM Transactions on Graphics , том 26, выпуск 3, июль 2007 г.
  8. ^ "Обновление программного обеспечения Lytro представляет функцию Focus Spread". DPREVIEW . Получено 25 марта 2015 г. .
  9. ^ "Особенности композиции глубины". Руководство по Lytro Illum . Lytro. Архивировано из оригинала 28 сентября 2014 г. Получено 19 октября 2014 г.
  10. ^ ab Fried, Ina. «Познакомьтесь с незаметным стартапом, который стремится заострить внимание всей индустрии камер». All Things Digital . Получено 24 июня 2011 г.
  11. ^ Geron, Tomio (21 июня 2011 г.). «Сначала снимай, потом фокусируйся с новой технологией камеры Lytro». Forbes . Получено 19 августа 2011 г.
  12. ^ Хосе Мануэль Родригес-Рамос (1 апреля 2011 г.). «3D-визуализация и зондирование волнового фронта с помощью пленоптического объектива». SPIE .
  13. ^ "Plenoptic lens arrays signal future?". TVB Europe. 23 сентября 2011 г. Архивировано из оригинала 18 декабря 2012 г.{{cite web}}: CS1 maint: бот: исходный статус URL неизвестен ( ссылка )
  14. ^ Блейн, Лоз (29.04.2022). «Рекордная камера удерживает в фокусе все, что находится в диапазоне от 3 см до 1,7 км». Новый Атлас . Получено 30.04.2022 .
  15. ^ Фань, Цинбинь; Сюй, Вэйчжу; Ху, Сюэмэй; Чжу, Вэньци; Юэ, Тао; Чжан, Ченг; Ян, Фэн; Чен, Лу; Лезек, Анри Ж.; Лу, Яньцин; Агравал, Амит (19 апреля 2022 г.). «Нейронная нанофотонная камера светового поля, вдохновленная трилобитами, с чрезвычайной глубиной резкости». Природные коммуникации . 13 (1): 2130. doi : 10.1038/s41467-022-29568-y. ISSN  2041-1723. ПМК 9019092 . ПМИД  35440101. 
  16. ^ "Lytro website". Архивировано из оригинала 2011-11-04 . Получено 2011-10-30 .
  17. ^ Колдьюи, Девин (23 июля 2011 г.). «Сомнения по поводу камеры Lytro «Focus Later». TechCrunch . Получено 19 августа 2011 г.
  18. ^ Ларс Рем, DP Review. «CES 2012: Фотопрогулка Lytro». 13 января 2012 г. Проверено 20 апреля 2012 г.
  19. ^ "Lytro Illum 40 Megaray Light Field Camera". Обзор цифровой фотографии . Получено 19 октября 2014 г.
  20. ^ Голдман, Джошуа (26 октября 2011 г.). «Камера Lytro: 5 вещей, которые нужно знать перед покупкой». Редактор CNET . CNET . Получено 21 ноября 2018 г. .
  21. ^ ab "Google покупает Lytro примерно за 40 миллионов долларов". techcrunch.com . 21 марта 2018 г.
  22. ^ «Одна камера с 40 000 линз помогает предотвратить размытость изображений». 18 марта 2019 г.
  23. ^ "Первая пленоптическая камера на рынке | PetaPixel". petapixel.com . 23 сентября 2010 г.
  24. ^ Левой, М.; Нг, Р.; Адамс, А.; Футер, М.; Хоровиц, М. (2006). «Микроскопия светового поля». ACM Transactions on Graphics . 25 (3): 924–93. doi :10.1145/1141911.1141976.
  25. ^ ab Левой, М; Чжан, З; Макдауолл, И (2009). «Запись и управление 4D световым полем в микроскопе». Журнал микроскопии . 235 (2): 144–162. CiteSeerX 10.1.1.163.269 . doi :10.1111/j.1365-2818.2009.03195.x. PMID  19659909. S2CID  13194109. 
  26. ^ «Проект Стэнфордского светового полевого микроскопа». www.graphics.stanford.edu .
  27. ^ Китс, Джонатан; Холланд, Крис; Маклеод, Гэри. «Как это работает в PopSci – 100-мегапиксельная камера». PopSci.com . Popular Science. Архивировано из оригинала (Adobe Flash) 17-01-2008 . Получено 26 июля 2009 .
  28. ^ "CAFADIS - University of la Laguna". Архивировано из оригинала 26 ноября 2019 г.
  29. ^ Амит Агравал (2013-12-31). "Lytro против камеры светового поля на основе маски". Архивировано из оригинала 2013-12-31.
  30. ^ "Pelicanimaging.com". www77.pelicanimaging.com . Архивировано из оригинала 2020-10-20 . Получено 2021-08-24 .
  31. ^ "16-линзовая камера Pelican Imaging появится на смартфонах в следующем году". 2 мая 2013 г.
  32. ^ Койфман, Владимир (2015-07-25). "Pelican Imaging Layoffs?". Image Sensors World . Архивировано из оригинала 26 ноября 2019 года . Получено 2015-11-17 .
  33. ^ "Компания KLens".
  34. ^ "Камера светового поля". cameramaker.se .
  35. ^ Pascoe, Michael A.; Lee, Lisa MJ (сентябрь 2017 г.). «Включение фотографии светового поля в онлайн-ресурс по анатомии не влияет на успеваемость студентов в тестах или восприятие удобства использования». Medical Science Educator . 27 (3): 465–474. doi :10.1007/s40670-017-0410-8. ISSN  2156-8650. S2CID  148803076.
  36. ^ "Polydioptric Camera Design - VideoGeometry :: Домашняя страница Яна Ноймана". sites.google.com . Архивировано из оригинала 2022-10-09 . Получено 2021-07-12 .
  37. ^ Штрелов, Энн (3 ноября 2005 г.). «Ученые-компьютерщики создают «камеру светового поля», которая устраняет нечеткие фотографии». Стэнфордский университет . Архивировано из оригинала 23 июля 2010 г. Получено 14 апреля 2008 г.
  38. ^ "LightFieldToolbox".
  39. ^ "Программное обеспечение PlenoptiCam". GitHub .

Внешние ссылки