В фотографии и видеосъемке многоэкспозиционный HDR-снимок — это метод, который создает изображения с высоким динамическим диапазоном (HDR) (или изображения с расширенным динамическим диапазоном ) путем съемки и комбинирования нескольких экспозиций одного и того же объекта с разной экспозицией . Объединение нескольких изображений таким образом приводит к получению изображения с большим динамическим диапазоном, чем это было бы возможно при съемке одного изображения. Этот метод также можно использовать для съемки видео путем съемки и комбинирования нескольких экспозиций для каждого кадра видео. Термин «HDR» часто используется для обозначения процесса создания HDR-изображений из нескольких экспозиций. Многие смартфоны имеют автоматизированную функцию HDR, которая использует вычислительные методы визуализации для съемки и комбинирования нескольких экспозиций.
Отдельное изображение, снятое камерой, обеспечивает конечный диапазон яркости , присущий носителю, будь то цифровой датчик или пленка. За пределами этого диапазона тональная информация теряется, и никакие особенности не видны; тона, которые превышают диапазон, «выгорают» и выглядят чисто белыми в более ярких областях, в то время как тона, которые попадают ниже диапазона, «раздавливаются» и выглядят чисто черными в более темных областях. Соотношение между максимальным и минимальным тональными значениями, которые можно запечатлеть на одном изображении, известно как динамический диапазон . В фотографии динамический диапазон измеряется в разнице значений экспозиции (EV), также известной как стопы .
Реакция человеческого глаза на свет нелинейна: уменьшение уровня освещенности вдвое не уменьшает вдвое воспринимаемую яркость пространства, а лишь слегка затемняет его. Для большинства уровней освещенности реакция приблизительно логарифмическая . [1] [2] Человеческие глаза довольно быстро адаптируются к изменениям уровня освещенности . Таким образом, HDR может создавать изображения, которые больше похожи на то, что видит человек, глядя на объект.
Этот метод можно применять для создания изображений, сохраняющих локальный контраст для естественного рендеринга или преувеличивающих локальный контраст для художественного эффекта. HDR полезен для записи многих реальных сцен, содержащих более широкий диапазон яркости, чем можно захватить напрямую, как правило, как яркий, прямой солнечный свет, так и глубокие тени. [3] [4] [5] [6] Из-за ограничений печати и контрастности дисплея расширенный динамический диапазон HDR-изображений должен быть сжат до диапазона, который может быть отображен. Метод рендеринга изображения с высоким динамическим диапазоном на стандартный монитор или печатающее устройство называется тональной компрессией ; он снижает общую контрастность HDR-изображения, чтобы разрешить отображение на устройствах или отпечатках с более низким динамическим диапазоном.
Одной из целей HDR является представление аналогичного диапазона яркости , который воспринимается зрительной системой человека . Человеческий глаз посредством нелинейного отклика, адаптации радужной оболочки и других методов постоянно подстраивается под широкий диапазон яркости, присутствующей в окружающей среде. Мозг непрерывно интерпретирует эту информацию, чтобы зритель мог видеть в широком диапазоне условий освещенности.
Большинство камер ограничены гораздо более узким диапазоном значений экспозиции в пределах одного изображения из-за динамического диапазона среды захвата. При ограниченном динамическом диапазоне тональные различия могут быть захвачены только в пределах определенного диапазона яркости. За пределами этого диапазона детали не могут быть различимы: когда захваченный тон превышает диапазон в ярких областях, эти тона выглядят как чисто белые, а когда захваченный тон не соответствует минимальному порогу, эти тона выглядят как чисто черные. Изображения, снятые камерами без HDR, которые имеют ограниченный диапазон экспозиции (низкий динамический диапазон, LDR), могут терять детали в светах или тенях .
Современные датчики изображения CMOS имеют улучшенный динамический диапазон и часто могут захватывать более широкий диапазон тонов за одну экспозицию [10], что снижает необходимость в выполнении многоэкспозиционного HDR. Цветные пленочные негативы и слайды состоят из нескольких слоев пленки, которые по-разному реагируют на свет. Оригинальная пленка (особенно негативы по сравнению с прозрачными пленками или слайдами) имеет очень высокий динамический диапазон (порядка 8 для негативов и от 4 до 4,5 для позитивных прозрачных пленок).
Мультиэкспозиционный HDR используется в фотографии, а также в приложениях с экстремальным динамическим диапазоном, таких как сварка или автомобильные работы. В камерах безопасности вместо HDR используется термин «широкий динамический диапазон».
Быстро движущийся объект или движение камеры между несколькими экспозициями создаст эффект «призрака» или эффект размытого строба из-за того, что объединенные изображения не идентичны. Если только объект не статичен, а камера не установлена на штативе, может существовать компромисс между расширенным динамическим диапазоном и резкостью. Внезапные изменения условий освещения (стробирующий светодиодный свет) также могут помешать желаемым результатам, создавая один или несколько слоев HDR, которые имеют ожидаемую автоматизированной системой HDR яркость, хотя все еще можно создать приемлемое изображение HDR вручную в программном обеспечении, переставляя слои изображения для слияния в порядке их фактической яркости.
Из-за нелинейности некоторых датчиков на изображении могут возникать артефакты.
Характеристики камеры, такие как гамма-кривые , разрешение сенсора, шум, фотометрическая калибровка и калибровка цвета, влияют на получаемые изображения с высоким динамическим диапазоном. [11]
Фотографии с высоким динамическим диапазоном обычно представляют собой композиции из нескольких изображений со стандартным динамическим диапазоном, часто снятых с использованием брекетинга экспозиции . После этого программное обеспечение для обработки фотографий объединяет входные файлы в одно изображение HDR, которое затем также подвергается тональной компрессии в соответствии с ограничениями запланированного вывода или отображения.
Любая камера, которая позволяет вручную управлять экспозицией, может выполнять захват изображений HDR с несколькими экспозициями, хотя камера, оснащенная автоматическим брекетингом экспозиции (AEB), облегчает этот процесс. Некоторые камеры имеют функцию AEB, которая охватывает гораздо больший динамический диапазон, чем другие, от ±0,6 в более простых камерах до ±18 EV в лучших профессиональных камерах, по состоянию на 2020 год. [12][обновлять]
Значение экспозиции (EV) относится к количеству света, попадающего на светочувствительный детектор, будь то пленка или цифровой датчик, такой как ПЗС . Увеличение или уменьшение на одну ступень определяется как удвоение или уменьшение вдвое количества улавливаемого света. Выявление деталей в самых темных тенях требует повышенного EV, в то время как сохранение деталей в очень ярких ситуациях требует очень низкого EV.
EV контролируется с помощью одного из двух фотографических элементов управления: изменением размера диафрагмы или времени экспозиции. Набор изображений с несколькими EV, предназначенных для обработки HDR, должен быть снят только путем изменения времени экспозиции; изменение размера диафрагмы также повлияет на глубину резкости , и поэтому полученные несколько изображений будут совершенно разными, что не позволит их окончательно объединить в одно изображение HDR.
Мультиэкспозиционная HDR-фотография обычно ограничивается неподвижными сценами, поскольку любое движение между последовательными изображениями будет препятствовать или исключать возможность успешного их последующего объединения. Кроме того, поскольку фотограф должен сделать три или более снимков для получения желаемого диапазона яркости , съемка такого полного набора снимков занимает дополнительное время. Фотографы разработали методы и приемы расчета, чтобы частично преодолеть эти проблемы, но рекомендуется использовать прочный штатив, чтобы минимизировать различия в кадрировании между экспозициями.
Тональную информацию и детали из областей тени можно восстановить из изображений, которые намеренно переэкспонированы (т. е. с положительным EV по сравнению с правильной экспозицией сцены), в то время как похожую тональную информацию из областей света можно восстановить из изображений, которые намеренно недоэкспонированы (отрицательное EV). Процесс выбора и извлечения информации о тенях и светах из этих пере/недоэкспонированных изображений и их последующего объединения с изображениями, которые экспонированы правильно для всей сцены, называется слиянием экспозиции . Слияние экспозиции можно выполнить вручную, полагаясь на суждение, опыт и подготовку оператора HDR, но обычно слияние выполняется автоматически программным обеспечением.
Информация, хранящаяся в изображениях с высоким динамическим диапазоном, обычно соответствует физическим значениям яркости или сияния , которые можно наблюдать в реальном мире. Это отличается от традиционных цифровых изображений , которые представляют цвета такими, какими они должны выглядеть на мониторе или бумажной распечатке. Поэтому форматы изображений HDR часто называют относящимися к сцене , в отличие от традиционных цифровых изображений, которые относятся к устройству или относятся к выходу . Кроме того, традиционные изображения обычно кодируются для зрительной системы человека (максимизируя визуальную информацию, хранящуюся в фиксированном количестве бит), что обычно называется гамма-кодированием или гамма-коррекцией . Значения, хранящиеся для изображений HDR, часто подвергаются гамма-сжатию с использованием математических функций, таких как логарифмы степенных законов или линейные значения с плавающей точкой , поскольку линейное кодирование с фиксированной точкой становится все более неэффективным в более высоких динамических диапазонах. [13] [14] [15]
Изображения HDR часто не используют фиксированные диапазоны на цветовой канал , в отличие от традиционных изображений, для представления гораздо большего количества цветов в гораздо более широком динамическом диапазоне (несколько каналов). Для этой цели они не используют целочисленные значения для представления отдельных цветовых каналов (например, 0–255 в интервале 8 бит на пиксель для красного, зеленого и синего), а вместо этого используют представление с плавающей точкой. Обычными значениями являются 16-битные ( половинная точность ) или 32-битные числа с плавающей точкой для представления пикселей HDR. Однако при использовании соответствующей функции передачи пиксели HDR для некоторых приложений могут быть представлены с глубиной цвета , которая имеет всего лишь 10–12 бит (от 1024 до 4096 значений) для яркости и 8 бит (256 значений) для цветности без внесения каких-либо видимых артефактов квантования . [13] [16]
Тональное отображение уменьшает динамический диапазон или контрастность всего изображения, сохраняя при этом локализованный контраст. Хотя это отдельная операция, тональное отображение часто применяется к файлам HDR тем же программным пакетом.
Часто требуется тональное отображение, поскольку динамический диапазон, который может быть отображен, часто ниже динамического диапазона захваченного или обработанного изображения. [10] Дисплеи HDR могут принимать сигнал с более высоким динамическим диапазоном, чем дисплеи SDR , что снижает необходимость в тональном отображении.
HDR можно реализовать несколькими способами:
Это пример четырех стандартных изображений с динамическим диапазоном, которые объединяются для получения трех результирующих изображений с тональной компрессией :
Это пример сцены с очень широким динамическим диапазоном:
На платформах ПК, Mac и Linux доступно несколько программных приложений для создания файлов HDR и изображений с тональной компрессией. [19] Известные названия включают:
Несколько производителей камер предлагают встроенные функции HDR с мультиэкспозицией. Например, Pentax K-7 DSLR имеет режим HDR, который делает 3 или 5 экспозиций и выводит (только) тонально-отображаемое HDR-изображение в файле JPEG. [20] Canon PowerShot G12 , Canon PowerShot S95 и Canon PowerShot S100 предлагают аналогичные функции в меньшем формате. [21] Подход Nikon называется «Активный D-Lighting», который применяет компенсацию экспозиции и тональную коррекцию к изображению, поступающему с датчика, с акцентом на создание реалистичного эффекта. [22]
Некоторые смартфоны предоставляют режимы HDR для своих камер, и большинство мобильных платформ имеют приложения, которые обеспечивают съемку HDR-изображений с множественной экспозицией. [23] Google выпустила режим HDR+ для смартфонов Nexus 5 и Nexus 6 в 2014 году, который автоматически захватывает серию изображений и объединяет их в одно неподвижное изображение, как подробно описано Марком Левоем . В отличие от традиционного HDR, реализация HDR+ Левоя использует несколько изображений, недоэкспонированных с помощью короткой выдержки, которые затем выравниваются и усредняются по пикселям, улучшая динамический диапазон и уменьшая шум. Выбирая самое резкое изображение в качестве базовой линии для выравнивания, можно уменьшить эффект дрожания камеры. [24]
Некоторые датчики современных телефонов и камер могут объединять два изображения на чипе, так что более широкий динамический диапазон без сжатия пикселей становится напрямую доступен пользователю для отображения или обработки. [ необходима цитата ]
Хотя это и не так распространено, как для фотосъемки, но также возможно захватывать и объединять несколько изображений для каждого кадра видео, чтобы увеличить динамический диапазон, захватываемый камерой. [25] Это можно сделать несколькими способами:
Некоторые камеры, предназначенные для использования в системах безопасности, могут автоматически выдавать два или более изображений для каждого кадра с изменяющейся экспозицией. [ требуется ссылка ] Например, датчик для видео с частотой 30 кадров в секунду будет выдавать 60 кадров в секунду с нечетными кадрами при короткой выдержке, а с четными кадрами — при более длительной выдержке.
В 2020 году Qualcomm анонсировала Snapdragon 888 — мобильную SoC, способную выполнять вычислительную многоэкспозицию HDR-видеозахвата в формате 4K, а также записывать его в формате, совместимом с HDR-дисплеями . [29]
В 2021 году смартфон Xiaomi Mi 11 Ultra сможет выполнять вычислительную многоэкспозицию HDR для видеосъемки. [30]
Захват HDR может быть реализован на камерах наблюдения, даже недорогих моделях. Обычно это называется функцией широкого динамического диапазона (WDR) [31] Примерами служат CarCam Tiny, Prestige DVR-390 и DVR-478. [32]
Идея использования нескольких экспозиций для адекватного воспроизведения слишком экстремального диапазона яркости была впервые предложена еще в 1850-х годах Гюставом Ле Греем для визуализации морских пейзажей, показывающих как небо, так и море. Такая визуализация была невозможна в то время с использованием стандартных методов, поскольку диапазон яркости был слишком экстремальным. Ле Грей использовал один негатив для неба и другой с более длительной экспозицией для моря, и объединил два в одну картину в позитиве. [33]
Ручное тональное отображение было достигнуто путем осветления и затемнения — выборочного увеличения или уменьшения экспозиции областей фотографии для получения лучшего воспроизведения тональности. Это было эффективно, поскольку динамический диапазон негатива значительно выше, чем был бы доступен на готовом позитивном бумажном отпечатке, когда он экспонируется через негатив равномерно. Прекрасным примером является фотография Швейцера у лампы У. Юджина Смита из его фотоэссе 1954 года «Человек милосердия» об Альберте Швейцере и его гуманитарной работе во Французской Экваториальной Африке. Для воспроизведения тонального диапазона сцены, который варьируется от яркой лампы (относительно сцены) до темной тени, изображению потребовалось пять дней. [35]
Ансель Адамс возвел осветление и затемнение в ранг искусства. Многие из его знаменитых отпечатков были обработаны в темной комнате этими двумя методами. Адамс написал всеобъемлющую книгу о создании отпечатков под названием «Отпечаток» , в которой особое внимание уделяется осветлению и затемнению в контексте его Зональной системы . [36]
С появлением цветной фотографии тональное отображение в темной комнате стало невозможным из-за определенного времени, необходимого для процесса проявления цветной пленки. Фотографы обращались к производителям пленки с просьбой разработать новые виды пленки с улучшенным откликом или продолжали снимать в черно-белом цвете, чтобы использовать методы тонального отображения. [ необходима цитата ]
Цветная пленка, способная напрямую записывать изображения с высоким динамическим диапазоном, была разработана Чарльзом Вайкоффом и EG&G «в ходе контракта с Департаментом ВВС ». [37] Эта пленка XR имела три слоя эмульсии , верхний слой имел рейтинг скорости ASA 400, средний слой с промежуточным рейтингом и нижний слой с рейтингом ASA 0,004. Пленка была обработана способом, аналогичным цветным пленкам , и каждый слой давал другой цвет. [38] Динамический диапазон этой пленки с расширенным диапазоном был оценен как 1:10 8 . [39] Она использовалась для фотографирования ядерных взрывов, [40] для астрономической фотографии, [41] для спектрографических исследований, [42] и для медицинской визуализации. [43] Подробные фотографии ядерных взрывов, сделанные Вайкоффом, появились на обложке журнала Life в середине 1950-х годов.
В 1986 году Жорж Корнуэжоль и лицензиаты его патентов (Brdi, Hymatom) представили принцип видеоизображения HDR, разместив матричный ЖК-экран перед датчиком изображения камеры [44] , увеличив динамику датчика на пять ступеней.
Концепция тонального отображения окрестностей была применена к видеокамерам в 1988 году группой из Техниона в Израиле под руководством Оливера Хильсенрата и Йехошуа Й. Зееви. Исследователи Техниона подали заявку на патент на эту концепцию в 1991 году, [45] и несколько связанных патентов в 1992 и 1993 годах. [46]
В феврале и апреле 1990 года Жорж Корнуэжоль представил первую камеру HDR в реальном времени, которая объединяла два изображения, снятые последовательно датчиком [47] или одновременно [48] двумя датчиками камеры. Этот процесс известен как брекетинг, используемый для видеопотока.
В 1991 году компанией Hymatom, лицензиатом Жоржа Корнуэжоля, была представлена первая коммерческая видеокамера, которая в режиме реального времени делала несколько снимков с разной экспозицией и создавала видеоизображение HDR.
Также в 1991 году Жорж Корнуэжоль представил принцип изображения HDR+ путем нелинейного накопления изображений для повышения чувствительности камеры: [47] для условий низкой освещенности накапливается несколько последовательных изображений, тем самым увеличивая соотношение сигнал/шум .
В 1993 году еще одна коммерческая медицинская камера, создающая видеоизображение HDR, была разработана Технионом. [46]
Современная HDR-визуализация использует совершенно другой подход, основанный на создании карты яркости или света с высоким динамическим диапазоном, используя только глобальные операции с изображением (по всему изображению), а затем тональное отображение результата. Глобальный HDR был впервые представлен в 1993 году [3], что привело к математической теории по-разному экспонированных изображений одного и того же объекта, опубликованной в 1995 году Стивом Манном и Розалинд Пикард . [4]
28 октября 1998 года Бен Сарао создал одно из первых ночных изображений HDR+G (высокий динамический диапазон + графика) STS-95 на стартовой площадке Космического центра имени Кеннеди НАСА . Оно состояло из четырех кинокадров космического челнока ночью, которые были цифровым образом скомпонованы с дополнительными цифровыми графическими элементами. Изображение было впервые выставлено в Большом зале штаб-квартиры НАСА в Вашингтоне, округ Колумбия, в 1999 году, а затем опубликовано на форуме Hasselblad . [49]
Появление потребительских цифровых камер создало новый спрос на HDR-изображения для улучшения светового отклика сенсоров цифровых камер, которые имели гораздо меньший динамический диапазон, чем пленка. Стив Манн разработал и запатентовал глобальный HDR-метод для создания цифровых изображений с расширенным динамическим диапазоном в MIT Media Lab . [50] Метод Манна включал двухэтапную процедуру: во-первых, сгенерировать один массив изображений с плавающей точкой с помощью глобальных операций с изображением (операций, которые одинаково влияют на все пиксели, без учета их локальных окрестностей). Во-вторых, преобразовать этот массив изображений, используя обработку локальных окрестностей (перекодировка тонов и т. д.), в HDR-изображение. Массив изображений, сгенерированный на первом этапе процесса Манна, называется изображением светового пространства , картинкой светового пространства или картой сияния . Еще одним преимуществом глобального HDR-изображения является то, что оно обеспечивает доступ к промежуточной карте света или сияния, которая использовалась для компьютерного зрения и других операций обработки изображений . [50]
В феврале 2001 года была продемонстрирована технология Dynamic Ranger, использующая несколько фотографий с разным уровнем экспозиции для достижения высокого динамического диапазона, аналогичного невооруженному глазу. [51]
В начале 2000-х годов несколько научных исследований использовали датчики и камеры потребительского уровня. [52] Несколько компаний, таких как RED и Arri, разрабатывали цифровые датчики, способные работать с более высоким динамическим диапазоном. [53] [54] RED EPIC-X может захватывать последовательные во времени изображения HDRx [17] с выбираемыми пользователем 1–3 стопами дополнительной широты подсветки в канале «x». Канал «x» можно объединить с обычным каналом в программном обеспечении для постобработки. Камера Arri Alexa использует архитектуру с двойным усилением для создания изображения HDR из двух экспозиций, снятых одновременно. [27]
С появлением недорогих потребительских цифровых камер многие любители начали размещать в Интернете покадровые видео HDR с тональной компрессией, по сути, последовательность неподвижных фотографий в быстрой последовательности. В 2010 году независимая студия Soviet Montage создала пример HDR-видео из разрозненно экспонированных видеопотоков с использованием светоделителя и потребительских HD-видеокамер. [55] Аналогичные методы были описаны в академической литературе в 2001 и 2007 годах. [56] [57]
В 2005 году Adobe Systems представила несколько новых функций в Photoshop CS2, включая Merge to HDR , поддержку 32-битных изображений с плавающей точкой и отображение тонов HDR. [58]
30 июня 2016 года Microsoft добавила поддержку цифрового композитинга HDR-изображений в Windows 10 с использованием универсальной платформы Windows . [59]
Изображения, которые хранят изображение сцены в диапазоне интенсивностей, соизмеримых со сценой, мы называем HDR, или «картами яркости». С другой стороны, мы называем изображения, подходящие для отображения с помощью текущей технологии отображения, LDR.
{{cite book}}
: |work=
проигнорировано ( помощь )