stringtranslate.com

Световое поле

Световое поле , или световое поле , — это векторная функция , описывающая количество света, текущего в каждом направлении через каждую точку пространства. Пространство всех возможных световых лучей задается пятимерной пленоптической функцией , а величина каждого луча задается его яркостью . Майкл Фарадей был первым, кто предположил, что свет следует интерпретировать как поле, во многом похожее на магнитные поля, над которыми он работал. [1] Термин световое поле был придуман Андреем Гершуном в классической статье 1936 года о радиометрических свойствах света в трехмерном пространстве.

Термин «поле сияния» может также использоваться для обозначения схожих или идентичных [2] концепций. Термин используется в современных исследованиях, таких как нейронные поля сияния

Пленоптическую функцию

Яркость L вдоль луча можно рассматривать как количество света, проходящего по всем возможным прямым линиям через трубку, размер которой определяется ее телесным углом и площадью поперечного сечения.

Для геометрической оптики — т. е. для некогерентного света и для объектов, больших, чем длина волны света — основным носителем света является луч . Мерой количества света, проходящего вдоль луча, является яркость , обозначаемая L и измеряемая в Вт·ср −1 ·м −2 ; т. е. ватты (Вт) на стерадиан (ср) на квадратный метр (м 2 ). Стерадианы являются мерой телесного угла , а квадратные метры используются в качестве меры площади поперечного сечения, как показано справа.

Параметризация луча в трехмерном пространстве по положению ( x , y , z ) и направлению ( θ , ϕ ).

Яркость вдоль всех таких лучей в области трехмерного пространства, освещенной неизменным расположением источников света, называется пленоптической функцией. [3] Пленоптическая функция освещенности — это идеализированная функция, используемая в компьютерном зрении и компьютерной графике для выражения изображения сцены из любой возможной позиции просмотра под любым углом обзора в любой момент времени. Она не используется на практике в вычислениях, но концептуально полезна для понимания других концепций в зрении и графике. [4] Поскольку лучи в пространстве могут быть параметризованы тремя координатами x , y и z и двумя углами θ и ϕ , как показано слева, это пятимерная функция, то есть функция над пятимерным многообразием, эквивалентная произведению трехмерного евклидова пространства и 2-сферы .

Суммирование векторов облученности D 1 и D 2 , возникающих от двух источников света I 1 и I 2 , дает результирующий вектор D , имеющий указанную величину и направление. [5]

Световое поле в каждой точке пространства можно рассматривать как бесконечный набор векторов, по одному на каждое направление, падающее на точку, с длинами, пропорциональными их яркостям.

Интеграция этих векторов по любому набору источников света или по всей сфере направлений дает одно скалярное значение — общую освещенность в этой точке и результирующее направление. На рисунке показан этот расчет для случая двух источников света. В компьютерной графике эта векторная функция трехмерного пространства называется векторным полем освещенности. [6] Направление вектора в каждой точке поля можно интерпретировать как ориентацию плоской поверхности, размещенной в этой точке, чтобы наиболее ярко ее осветить.

Более высокая размерность

Время, длину волны и угол поляризации можно рассматривать как дополнительные измерения, соответственно получая более многомерные функции.

4D световое поле

Яркость вдоль луча остается постоянной, если нет преград.

В пленоптической функции, если область интереса содержит вогнутый объект (например, сложенную чашей ладонь), то свет, покидающий одну точку на объекте, может пройти лишь небольшое расстояние, прежде чем другая точка на объекте заблокирует его. Ни одно практическое устройство не может измерить функцию в такой области.

Однако для мест за пределами выпуклой оболочки объекта (например, термоусадочная пленка) пленоптическую функцию можно измерить, захватив несколько изображений. В этом случае функция содержит избыточную информацию, поскольку яркость вдоль луча остается постоянной по всей его длине. Избыточная информация представляет собой ровно одно измерение, оставляя четырехмерную функцию, называемую по-разному фотическим полем, четырехмерным световым полем [7] или люмиграфом. [8] Формально поле определяется как яркость вдоль лучей в пустом пространстве.

Набор лучей в световом поле может быть параметризован различными способами. Наиболее распространенным является двухплоскостная параметризация. Хотя эта параметризация не может представлять все лучи, например лучи, параллельные двум плоскостям, если плоскости параллельны друг другу, она тесно связана с аналитической геометрией перспективного изображения. Простой способ думать о двухплоскостном световом поле — это как о наборе перспективных изображений плоскости st (и любых объектов, которые могут лежать по обе стороны от нее или за ней), каждое из которых получено с позиции наблюдателя на плоскости uv . Световое поле, параметризованное таким образом, иногда называют световой пластиной.

Некоторые альтернативные параметризации 4D светового поля, представляющего поток света через пустую область трехмерного пространства. Слева: точки на плоскости или изогнутой поверхности и направления, выходящие из каждой точки. В центре: пары точек на поверхности сферы. Справа: пары точек на двух плоскостях в общем (то есть любом) положении.

Звук аналоговый

Аналогом 4D светового поля для звука является звуковое поле или волновое поле , как в синтезе волнового поля , а соответствующая параметризация — интеграл Кирхгофа–Гельмгольца , который утверждает, что при отсутствии препятствий звуковое поле с течением времени задается давлением на плоскость. Таким образом, это два измерения информации в любой момент времени, а с течением времени — трехмерное поле.

Эта двумерность, по сравнению с кажущейся четырехмерностью света, объясняется тем, что свет распространяется лучами (0D в момент времени, 1D с течением времени), в то время как по принципу Гюйгенса-Френеля фронт звуковой волны можно смоделировать как сферические волны (2D в момент времени, 3D с течением времени): свет движется в одном направлении (2D информации), в то время как звук распространяется во всех направлениях. Однако свет, распространяющийся в невакуумных средах, может рассеиваться аналогичным образом, и необратимость или потеря информации при рассеянии заметны в кажущейся потере системного измерения.

Перефокусировка изображения

Поскольку световое поле предоставляет пространственную и угловую информацию, мы можем изменить положение фокальных плоскостей после экспозиции, что часто называют перефокусировкой . Принцип перефокусировки заключается в получении обычных 2-D фотографий из светового поля посредством интегрального преобразования. Преобразование принимает световое поле в качестве входных данных и генерирует фотографию, сфокусированную на определенной плоскости.

Предполагая, что представляет собой 4-мерное световое поле, которое регистрирует световые лучи, проходящие из положения на первой плоскости в положение на второй плоскости, где — расстояние между двумя плоскостями, 2-мерную фотографию на любой глубине можно получить с помощью следующего интегрального преобразования: [9]

,

или более кратко,

,

где , , а — оператор фотографии.

На практике эта формула не может быть использована напрямую, поскольку пленоптическая камера обычно захватывает дискретные образцы светового поля , и, следовательно, для вычисления требуется повторная выборка (или интерполяция) . Другая проблема — высокая сложность вычислений. Для вычисления 2-D фотографии из 4-D светового поля сложность формулы составляет . [9]

Фотография среза Фурье

Одним из способов снижения сложности вычислений является принятие концепции теоремы о срезе Фурье : [9] Оператор фотографии можно рассматривать как сдвиг, за которым следует проекция. Результат должен быть пропорционален расширенному 2-мерному срезу 4-мерного преобразования Фурье светового поля. Точнее, перефокусированное изображение может быть получено из 4-мерного спектра Фурье светового поля путем извлечения 2-мерного среза, применения обратного 2-мерного преобразования и масштабирования. Асимптотическая сложность алгоритма составляет .

Дискретное преобразование стека фокусов

Другой способ эффективного вычисления 2-D фотографий — это использование дискретного преобразования фокусного стека (DFST). [10] DFST предназначен для создания коллекции перефокусированных 2-D фотографий, или так называемого Focal Stack . Этот метод может быть реализован с помощью быстрого дробного преобразования Фурье (FrFT).

Оператор дискретной фотографии определяется следующим образом для светового поля, выбранного в 4-мерной сетке :

Поскольку DFST обычно не находится на четырехмерной сетке, для вычисления значений, не относящихся к сетке, он применяет тригонометрическую интерполяцию .

Алгоритм состоит из следующих шагов:

Методы создания световых полей

В компьютерной графике световые поля обычно создаются либо путем рендеринга 3D-модели , либо путем фотографирования реальной сцены. В любом случае, чтобы создать световое поле, необходимо получить виды для большого набора точек обзора. В зависимости от параметризации этот набор обычно охватывает некоторую часть линии, круга, плоскости, сферы или другой формы, хотя возможны и неструктурированные наборы. [11]

Устройства для фотографической фиксации световых полей могут включать в себя движущуюся ручную камеру или роботизированную камеру, [12] дугу камер (как в эффекте пули времени, используемом в «Матрице» ), плотный массив камер, [13] ручные камеры , [14] [15] микроскопы, [16] или другую оптическую систему. [17]

Количество изображений в световом поле зависит от приложения. Захват светового поля статуи Ночи Микеланджело [18] содержит 24 000 1,3-мегапиксельных изображений, что считается большим по состоянию на 2022 год. Для того чтобы рендеринг светового поля полностью захватил непрозрачный объект, изображения должны быть сделаны как минимум спереди и сзади. Менее очевидно, что для объекта, который лежит по обе стороны плоскости st , мелко разнесенные изображения должны быть сделаны на плоскости uv (в двухплоскостной параметризации, показанной выше).

Количество и расположение изображений в световом поле, а также разрешение каждого изображения вместе называются «выборкой» 4D светового поля. [19] Также интерес представляют эффекты окклюзии, [20] освещения и отражения. [21]

Приложения

Источник света, направленный вниз (FF'), индуцирует световое поле, векторы облученности которого изогнуты наружу. Используя исчисление, Гершун смог вычислить облученность, падающую на точки (P 1 , P 2 ) на поверхности. [22] )

Светотехника

Причиной изучения Гершуном светового поля было получение (в замкнутой форме) схем освещения, которые можно было бы наблюдать на поверхностях из-за источников света различной формы, расположенных над этими поверхностями. [23] Раздел оптики, посвященный светотехнике, называется неизображающей оптикой . [24] Она широко использует концепцию линий потока (линий потока Гершуна) и векторного потока (светового вектора Гершуна). Однако световое поле (в данном случае положения и направления, определяющие световые лучи) обычно описывается в терминах фазового пространства и гамильтоновой оптики .

Рендеринг светового поля

Извлечение соответствующих 2D-срезов из 4D-светового поля сцены позволяет получить новые виды сцены. [25] В зависимости от параметризации светового поля и срезов эти виды могут быть перспективными , ортографическими , скрещенно-щелевыми, [26] общими линейными камерами, [27] многоперспективными, [28] или другим типом проекции. Рендеринг светового поля является одной из форм рендеринга на основе изображений .

Синтетическая апертура фотографии

Интеграция соответствующего 4D подмножества образцов в световом поле может аппроксимировать вид, который будет захвачен камерой с конечной (т. е. не пинхол ) апертурой. Такой вид имеет конечную глубину резкости . Сдвиг или деформация светового поля перед выполнением этой интеграции может фокусироваться на различных фронтально-параллельных [29] или наклонных [30] плоскостях. Изображения, захваченные цифровыми камерами, которые захватывают световое поле [14], могут быть перефокусированы.

3D-дисплей

Представление светового поля с использованием технологии, которая сопоставляет каждый образец с соответствующим лучом в физическом пространстве, создает автостереоскопический визуальный эффект, схожий с просмотром исходной сцены. Нецифровые технологии для этого включают интегральную фотографию , панорамограммы параллакса и голографию ; цифровые технологии включают размещение массива линз на экране дисплея с высоким разрешением или проецирование изображения на массив линз с помощью массива видеопроекторов. Массив видеокамер может захватывать и отображать изменяющееся во времени световое поле. По сути, это представляет собой систему 3D-телевидения . [31] Современные подходы к отображению светового поля изучают совместные конструкции оптических элементов и компрессионные вычисления для достижения более высоких разрешений, повышенной контрастности, более широких полей зрения и других преимуществ. [32]

Визуализация мозга

Нейронная активность может быть зарегистрирована оптически путем генетического кодирования нейронов с помощью обратимых флуоресцентных маркеров, таких как GCaMP , которые указывают на присутствие ионов кальция в реальном времени. Поскольку микроскопия светового поля захватывает полную объемную информацию в одном кадре, можно контролировать нейронную активность в отдельных нейронах, случайно распределенных в большом объеме с частотой видеокадров. [33] Количественное измерение нейронной активности может быть выполнено, несмотря на оптические аберрации в мозговой ткани и без реконструкции объемного изображения, [34] и может использоваться для контроля активности в тысячах нейронов. [35]

Обобщенная реконструкция сцены (GSR)

Это метод 3D-реконструкции из нескольких изображений , который создает модель сцены, включающую обобщенное световое поле и повторно освещаемое поле материи. [36] Обобщенное световое поле представляет свет, текущий в каждом направлении через каждую точку поля. Повторно освещаемое поле материи представляет свойства взаимодействия света и излучательную способность материи, занимающей каждую точку поля. Структуры данных сцены могут быть реализованы с использованием нейронных сетей, [37] [38] [39] и структур на основе физики, [40] [41] среди прочих. [36] Световые и материальные поля по крайней мере частично распутаны. [36] [42]

Голографические стереограммы

Генерация изображений и предыскажение синтетических изображений для голографических стереограмм являются одними из самых ранних примеров вычисляемых световых полей. [43]

Уменьшение бликов

Блики возникают из-за многократного рассеивания света внутри корпуса камеры и оптики объектива, что снижает контрастность изображения. Хотя блики были проанализированы в пространстве изображений 2D, [44] полезно идентифицировать их как явление пространства лучей 4D. [45] Статистический анализ пространства лучей внутри камеры позволяет классифицировать и удалять артефакты бликов. В пространстве лучей блики ведут себя как высокочастотный шум и могут быть уменьшены путем отбрасывания выбросов. Такой анализ может быть выполнен путем захвата светового поля внутри камеры, но это приводит к потере пространственного разрешения. Равномерная и неравномерная выборка лучей может использоваться для уменьшения бликов без существенного ухудшения разрешения изображения. [45]

Смотрите также

Примечания

  1. Фарадей, Майкл (30 апреля 2009 г.). «LIV. Размышления о лучевых вибрациях». Philosophical Magazine . Серия 3. 28 (188): 345–350. doi :10.1080/14786444608645431. Архивировано из оригинала 2013-02-18.
  2. ^ https://arxiv.org/pdf/2003.08934.pdf [ пустой URL-адрес PDF ]
  3. ^ Адельсон 1991
  4. ^ Вонг 2002
  5. ^ Гершун, рис. 17
  6. ^ Арво, 1994
  7. ^ Левой 1996
  8. ^ Гортлер 1996
  9. ^ abc Ng, Ren (2005). "Фурье-фотография". ACM SIGGRAPH 2005 Papers . Нью-Йорк, Нью-Йорк, США: ACM Press. стр. 735–744. doi :10.1145/1186822.1073256. ISBN 9781450378253. S2CID  1806641.
  10. ^ Нава, Ф. Перес; Маричал-Эрнандес, JG; Родригес-Рамос, JM (август 2008 г.). «Дискретное фокальное стек-преобразование». 2008 16-я Европейская конференция по обработке сигналов : 1–5.
  11. ^ Бюлер 2001
  12. ^ Левой 2002
  13. ^ Канада 1998; Ян 2002; Уилберн 2005 г.
  14. ^ ab Ng 2005
  15. ^ Георгиев 2006; Марва 2013
  16. ^ Левой 2006
  17. ^ Боллес 1987
  18. ^ "Световое поле статуи Ночи Микеланджело". accademia.stanford.edu . Получено 2022-02-08 .
  19. ^ Чай (2000)
  20. ^ Дюран (2005)
  21. ^ Рамамурти (2006)
  22. ^ Гершун, рис. 24
  23. ^ Эшдаун 1993
  24. ^ Чавес 2015; Уинстон 2005
  25. ^ Левой 1996; Гортлер 1996
  26. ^ Зомет 2003
  27. ^ Ю и Макмиллан 2004
  28. ^ Радемахер 1998
  29. ^ Исаксен 2000
  30. ^ Вайш 2005
  31. ^ Джавиди 2002; Матусик 2004
  32. ^ Вецштейн 2012, 2011; Ланман 2011, 2010
  33. ^ Гросеник, 2009, 2017; Перес, 2015 г.
  34. ^ Пегард, 2016
  35. ^ Гросеник, 2017
  36. ^ abc Леффингвелл, 2018
  37. ^ Милденхолл, 2020
  38. ^ Руднев, Виктор; Элгариб, Мохамед; Смит, Уильям; Лю, Линцзе; Голяник, Владислав; Теобальт, Кристиан (21 июля 2022 г.). «NeRF для повторного освещения наружных сцен». Европейская конференция по компьютерному зрению (ECCV) 2022 : 1–22. arXiv : 2112.05140 .
  39. ^ Шринивасан, Пратуаль; Дэн, Боян; Чжан, Сюмин; Танчик, Мэтью; Милденхолл, Бен; Баррон, Джонатан (7 декабря 2020 г.). «NeRV: нейронное отражение и поля видимости для повторного освещения и синтеза представлений». CVPR : 1–12. arXiv : 2012.03927 .
  40. ^ Ю и Фридович-Кейл, 2021
  41. ^ Кербл, Бернхард; Копанас, Георгиос; Леймкюлер, Томас; Дреттакис, Джордж (08.08.2023). «3D-гауссовское разбрызгивание для визуализации поля излучения в реальном времени». arXiv : 2308.04079 [cs.GR].
  42. ^ Чжан, Цзиньян; Яо, Яо; Ли, Шивэй; Лю, Цзинбо; Фан, Тянь; Маккиннон, Дэвид; Цинь, Янхай; Цюань, Лонг (30 марта 2023 г.). «NeILF++: Inter-Reflectable Light Fields for Geometry and Material Estimation». стр. 1–5. arXiv : 2303.17147 [cs.CV].
  43. ^ Галле 1991, 1994
  44. ^ Талвала 2007
  45. ^ ab Raskar 2008

Ссылки

Теория

Анализ

Камеры

Дисплеи

Архивы

Приложения