Глубокая композиция изображений — это способ композиции и рендеринга цифровых изображений, появившийся в середине 2010-х годов. В дополнение к обычным каналам цвета и непрозрачности создается понятие пространственной глубины. Это позволяет нескольким образцам в глубине изображения составлять окончательный результирующий цвет. Эта техника дает высококачественные результаты и удаляет артефакты по краям, с которыми нельзя было справиться иным образом.
Глубокие данные кодируются продвинутыми 3D-рендерами в изображение , которое сэмплирует информацию о пути, который каждый визуализированный пиксель проходит вдоль оси z, простирающейся наружу от виртуальной камеры через пространство, включая цвет и непрозрачность каждой непрозрачной поверхности или объема, через которые он проходит по пути, а также соседние сэмплы. Это можно считать чем-то аналогичным тому, как трассировка лучей генерирует смоделированные пути фотонов через такие среды; однако трассировка лучей и другие традиционные методы рендеринга обычно создают изображения, которые содержат только три или четыре канала значений цвета и непрозрачности на пиксель, сплющенных в двумерный кадр.
Карты глубины, с другой стороны, содержат информацию по оси z, закодированную в изображении в оттенках серого. Каждый уровень серого представляет собой отдельный срез пространства z. «Толщина» каждого среза определяется во время рендеринга, что позволяет добиться большей или меньшей точности глубины в зависимости от глубины сцены. Карты глубины стали благом для композиторов для смешивания 3D-рендеров с живыми действиями и практическими элементами. Чтобы быть полезными, карта должна иметь достаточно высокую битовую глубину, чтобы кодировать разделение между объектами, близкими к камере, и объектами, близкими к бесконечности. Большинство пакетов 3D-программ теперь способны генерировать 16- и 32-битные карты глубины, обеспечивая до 2 миллиардов уровней глубины. Однако карты глубины не включают информацию о прозрачности непрозрачных поверхностей или объемов, и, таким образом, объекты за пределами и просматриваемые через эти полу- или полностью прозрачные объекты не будут иметь собственной информации о глубине и могут быть неправильно составлены или размыты. Даже популярное добавление криптомат во многие конвейеры пост-продакшн и студий VFX , хотя и предоставляет отдельные цветные идентификационные формы для отдельных элементов в визуализированной сцене для дальнейшего преодоления разрыва между CGI и композитингом, не позволяет реализовать почти автоматизированные и полностью нелинейные рабочие процессы, которые делают глубокие данные. Это связано с тем, что глубокие изображения инкапсулируют достаточно 3D-информации, что обычно трудоемкие задачи, такие как ротоскопирование с многочисленными удерживаемыми масками для сложных взаимодействий между движущимися персонажами и полупрозрачными окружающими объемами, такими как дым или вода, по сути являются тривиальными. Вместо того, чтобы проходить через этот процесс, можно легко сгенерировать несколько масок из одного набора глубоких изображений без необходимости повторно визуализировать каждый элемент маски и фон для каждого случая. В дополнение к этой эффективности и гибкости, глубокие изображения данных по своей сути обеспечивают гораздо более высокое визуальное качество в общих областях, которые были сложны при традиционных рендерах, таких как размытые края движения персонажей с полупрозрачными элементами, такими как волосы.
Одним из недостатков использования глубоких изображений является значительный размер их файла, поскольку они кодируют относительно большой объем данных на кадр по сравнению даже с многоканальными форматами, такими как OpenEXR .
Данные хранятся как функция глубины. Это приводит к кривой функции, которую можно использовать для поиска данных на любой произвольной глубине. Манипулировать данными сложнее.
Каждый образец рассматривается как независимая часть и может быть легко обработан. Чтобы убедиться, что данные представляют правильную информацию, необходимо ввести дополнительное значение расширения.
3D- рендереры создают необходимые данные как часть конвейера рендеринга. Образцы собираются в глубину, а затем объединяются. Глубокие данные могут быть записаны до того, как это произойдет, и поэтому в этом нет ничего нового для процесса. Генерация глубоких данных из данных камеры требует надлежащей карты глубины . Это используется в нескольких случаях, но все еще недостаточно точно для детального представления. Однако для базовой задачи удержания этого может быть достаточно.
Глубокие изображения можно компоновать так же, как и обычные изображения. Компонент глубины упрощает определение порядка наложения слоев. Традиционно это должен был вводить пользователь. Глубокие изображения имеют эту информацию сами по себе и не нуждаются во вводе данных пользователем. Артефакты краев уменьшаются, поскольку прозрачные пиксели имеют больше данных для работы.
Deep Images уже довольно давно присутствуют в пакетах 3D-рендеринга . Их использование для удержаний впервые было реализовано в нескольких VFX-студиях в шейдерах. Удерживающие маски можно генерировать во время рендеринга. Использование их в более интерактивной манере недавно начали несколько компаний, SideFX интегрировала его в свое программное обеспечение Houdini, а такие объекты, как студии Industrial Light & Magic, DreamWorks Animation, Weta, AnimalLogic и DRD, внедрили интерактивные решения.
В 2014 году Академия кинематографических искусств и наук отметила эту технологию ежегодной премией SciTech. Доктору Питеру Хиллману за долгосрочную разработку и постоянное совершенствование инновационных, надежных и полных наборов инструментов для глубокого композитинга, а Колину Донкастеру, Йоханнесу Сааму, Арейто Эчеваррии, Янне Контканену и Крису Куперу за разработку, прототипирование и продвижение технологий и рабочих процессов для глубокого композитинга.