Подложки используются в фотографии и создании спецэффектов в кино для объединения двух или более элементов изображения в единое конечное изображение. Обычно подложки используются для объединения изображения переднего плана (например, актеров на съемочной площадке) с фоновым изображением (например, живописной панорамой или звездным полем с планетами). В этом случае подложка — это фоновая картина. В кино и на сцене подложки могут быть физически огромными участками окрашенного холста, изображающими большие живописные пространства ландшафтов .
В кино принцип маски требует маскирования определенных областей эмульсии пленки для выборочного управления тем, какие области экспонируются. Однако многие сложные сцены со спецэффектами включали десятки отдельных элементов изображения, требующих очень сложного использования масок и наложения масок друг на друга. Для примера простой маски режиссер может захотеть изобразить группу актеров перед магазином с огромным городом и небом, видимыми над крышей магазина. Было бы два изображения — актеры на съемочной площадке и изображение города — для объединения в третье. Для этого потребовались бы две маски/маски. Одна будет маскировать все выше крыши магазина, а другая — все ниже. Используя эти маски/маски при копировании этих изображений на третье, изображения можно объединить, не создавая призрачных двойных экспозиций. В кино это пример статической маски , где форма маски не меняется от кадра к кадру. Другие снимки могут потребовать изменяющихся масок, чтобы скрыть формы движущихся объектов, таких как люди или космические корабли. Они известны как перемещающиеся маски . Перемещающиеся маски обеспечивают большую свободу композиции и движения, но их также сложнее реализовать.
Методы композитинга, известные как хромакей , которые удаляют все области определенного цвета из записи — в просторечии известные как «синий экран» или «зеленый экран» по наиболее популярным используемым цветам — вероятно, являются наиболее известными и широко используемыми современными методами создания перемещающихся масок, хотя ротоскопирование и многократные проходы управления движением также использовались в прошлом. Компьютерно-генерируемые изображения , как статические, так и анимированные, также часто визуализируются с прозрачным фоном и накладываются цифровым способом поверх современных кинозаписей с использованием того же принципа, что и маска — цифровой маски изображения .
Маски — очень старая техника, восходящая к братьям Люмьер . Первоначально, матовый снимок создавался кинематографистами, которые затемняли задний план на пленке вырезанными карточками. Когда снималась часть сцены с живым действием (передний план), задний план пленки не экспонировался. Затем поверх раздела с живым действием помещался другой вырез. Пленка перематывалась, и кинематографисты снимали новый задний план. Эта техника была известна как внутрикамерная маска и считалась скорее новинкой, чем серьезным спецэффектом в конце 1880-х годов. [1] Хороший ранний американский пример можно увидеть в фильме «Большое ограбление поезда» (1903), где он использовался для размещения поезда за окном в билетной кассе, а позже — движущегося заднего плана за пределами багажного вагона на «декорациях» поезда. Примерно в это же время также использовался другой прием, известный как стеклянный снимок. Стеклянный кадр был сделан путем рисования деталей на куске стекла, которые затем были объединены с кадрами живого действия, чтобы создать видимость сложных декораций. Первые стеклянные кадры приписывают Эдгару Роджерсу. [1]
Первое крупное развитие матовой съемки было в начале 1900-х годов Норманом Доуном ASC . Доун бесшовно вплетал стеклянные кадры во многие свои фильмы: например, рушащиеся Калифорнийские миссии в фильме «Миссии Калифорнии» [ 2] и использовал стеклянный кадр, чтобы произвести революцию в матовой съемке в камере. Теперь, вместо того, чтобы переносить свои кадры живого действия в реальное место, кинематографисты снимали живое действие, как раньше, с вырезанными карточками на месте, затем перематывали пленку и переносили ее на камеру, разработанную для минимизации вибраций. Затем кинематографисты снимали стеклянный кадр вместо фона живого действия. Полученная композиция была довольно высокого качества, поскольку матовая линия — место перехода от живого действия к нарисованному фону — была гораздо менее дерганой. Кроме того, новая матовая камера была намного более рентабельной, поскольку стекло не должно было быть готово в день съемки живого действия. Одним из недостатков этого метода было то, что, поскольку пленка экспонировалась дважды, всегда существовал риск случайного переэкспонирования пленки и порчи ранее отснятого материала. [ необходима цитата ]
Съемка с матовым изображением в камере использовалась до тех пор, пока качество пленки не начало расти в 1920-х годах. В это время была разработана новая техника, известная как метод камеры bi-pack . Она была похожа на съемку с матовым изображением в камере, но полагалась на один позитивный мастер-пленку в качестве резервной копии. Таким образом, если что-то терялось, мастер оставался нетронутым. Около 1925 года был разработан другой метод создания матового изображения. Одним из недостатков старых матовых изображений было то, что линия матового изображения была неподвижной. Не могло быть прямого контакта между живым действием и фоном матового изображения. Перемещающаяся маска изменила это. Перемещающаяся маска была похожа на внутрикамерную или двухпакетную маску, за исключением того, что линия матового изображения меняла каждый кадр. Кинорежиссеры могли использовать технику, похожую на метод bi-pack, чтобы сделать часть живого действия самой маской, что позволяло им перемещать актеров по фону и сцене, полностью интегрируя их. «Багдадский вор» (1940) стал большим шагом вперед в развитии технологии движущейся подложки и первым серьезным внедрением техники синего экрана , изобретенной Ларри Батлером, когда в том же году фильм получил премию «Оскар» за лучшие визуальные эффекты . Однако сам процесс по-прежнему был очень трудоемким, и каждый кадр приходилось обрабатывать вручную.
Компьютеры начали помогать процессу в конце 20-го века. В 1960-х годах Петро Влахос усовершенствовал использование камер управления движением в синем экране и получил премию «Оскар» за этот процесс. В 1980-х годах были изобретены первые цифровые маски и процессы синего экрана, а также изобретены первые компьютеризированные нелинейные системы редактирования видео. Альфа-композитинг , при котором цифровые изображения можно было сделать частично прозрачными так же, как анимационная целл в своем естественном состоянии, был изобретен в конце 1970-х годов и был интегрирован с процессом синего экрана в 1980-х годах. Цифровое планирование началось для «Империя наносит ответный удар» в 1980 году, за что Ричард Эдлунд получил премию «Оскар» за свою работу по созданию оптического принтера для аэрофотосъемки для комбинирования масок, хотя этот процесс все еще был аналоговым. Первый полностью цифровой матовый снимок был создан художником Крисом Эвансом в 1985 году для « Молодого Шерлока Холмса» для сцены с компьютерной графикой (CG) анимации рыцаря, выпрыгивающего из витражного окна. Эванс сначала нарисовал окно акриловыми красками, затем отсканировал картину в систему Pixar компании LucasFilm для дальнейшей цифровой обработки. Компьютерная анимация идеально сочеталась с цифровым матовым фоном, чего не могла бы сделать традиционная матовая живопись. [3]
По состоянию на 2020 год [обновлять]почти все современные маски создаются с помощью цифрового видеомонтажа, а технология композитинга, известная как хромакей — электронное обобщение синего экрана — теперь доступна даже на домашних компьютерах.
Съемка с матовым эффектом в камере, также известная как «процесс рассвета» [4] , создается путем установки куска стекла перед камерой. На стекло, где будет заменен фон, наносится черная краска. Затем актеры снимаются с минимальными декорациями. Режиссер снимает несколько минут дополнительных кадров, которые будут использоваться в качестве тестовых полос. Затем художник по матовому эффекту проявляет тестовую полосу (с затемненными областями в кадре) и проецирует кадр «матового» кадра на стекло, установленное на мольберте. Этот тестовый клип используется в качестве референса для рисования фона или декораций, которые будут матироваться на новом куске стекла. Часть стекла с живым действием окрашивается в черный цвет, затем большая часть тестового материала экспонируется для настройки и подтверждения соответствия цветов и выравнивания краев. Затем критические части сцены с матовым эффектом (с желаемыми действиями и актерами на месте) продеваются для выжигания окрашенных элементов в черные области. Матовая черная краска, нанесенная на стекло, блокирует свет от той части пленки, которую она закрывает, предотвращая возникновение двойной экспозиции скрытых сцен живого действия.
Чтобы начать съемку в бипаке , снимается часть живого действия. Пленка загружается и проецируется на кусок стекла, который был окрашен сначала в черный цвет, а затем в белый. Художник по матированию решает, где будет проходить матовая линия, и проводит ее по стеклу, затем рисует фон или декорации, которые будут добавлены. После того, как картина закончена, художник по матированию соскребает краску с частей живого действия на стекле. [5] Исходный материал и чистая катушка загружаются в бипак с оригиналом, продетым так, чтобы он проходил через затвор перед чистой пленкой. Стекло освещается сзади, так что когда обе катушки работают, на чистую пленку переносится только живое действие. Затем катушка с исходным материалом снимается, а за стеклом помещается кусок черной ткани. Стекло освещается спереди, а новая катушка перематывается и снова запускается. Черная ткань предотвращает повторную экспозицию уже экспонированного материала; фоновые декорации были добавлены к живому действию.
Ротоскоп — устройство, используемое для проецирования кинопленки (а именно, видеоматериалов с живыми актерами) на холст, служившее образцом для художников.
Уолт Дисней широко использовал эту технику в «Белоснежке и семи гномах» , чтобы сделать движения человеческих персонажей более реалистичными. Фильм значительно превысил бюджет из-за сложности анимации. [6]
Техника имела несколько других применений, например, в 2001: A Space Odyssey , где художники вручную обводили и рисовали альфа-маски для каждого кадра. Ротоскопирование также использовалось для достижения плавной анимации в Prince of Persia , которая была впечатляющей для своего времени. К сожалению, эта техника очень трудоемка, и попытка запечатлеть полупрозрачность с помощью этой техники была сложной. Сегодня существует цифровой вариант ротоскопирования, с программным обеспечением, помогающим пользователям избежать некоторых из этих утомительных действий; например, интерполяция масок между несколькими кадрами. [7]
Часто бывает желательно извлечь две или более масок из одного изображения. Этот процесс, называемый «матированием» или «вытягиванием маски», чаще всего используется для разделения элементов переднего плана и фона изображения, и эти изображения часто являются отдельными кадрами видеофайла. В случае видео методы матирования могут использовать временные отношения в качестве дополнительной информации. Методы композиции являются относительно простым способом извлечения маски — например, передний план из сцены greensceen может быть наложен на произвольную фоновую сцену. Попытка матирования изображения, не использующего эту технику, значительно сложнее. Было разработано несколько алгоритмов для решения этой проблемы. [7]
В идеале этот алгоритм матирования разделил бы входной видеопоток I rgb на три выходных потока: полноцветный поток только переднего плана αF rgb с предварительно умноженной альфой ( альфа-композитинг ), полноцветный фоновый поток B rgb и одноканальный поток частичного покрытия пикселей в потоке переднего плана. Этот идеальный алгоритм может принимать любое произвольное видео в качестве входных данных, включая видео, где передний план и фон являются динамическими, есть несколько глубин на заднем плане, существуют перекрытия между фоном и передним планом, имеют одинаковый цвет и не имеют текстуры, и другие различные особенности, с которыми такие алгоритмы традиционно имеют некоторые трудности в работе. К сожалению, реализация этого алгоритма невозможна из-за потери информации, которая происходит при переводе реальной сцены в двумерное видео. [7] Смит и Блинн официально доказали это в 1996 году. [8]
У матирования также есть некоторые другие фундаментальные ограничения. Процесс не может реконструировать части фона, которые закрыты передним планом, и любое приближение будет ограничено. Кроме того, передний и задний план изображения все еще оказывают влияние друг на друга из-за отбрасываемых теней и отраженного между ними света. При компоновке изображения или видео из матов разного происхождения отсутствующие или лишние тени и другие детали света могут испортить впечатление от нового изображения. [ необходима цитата ]
Сам процесс матирования — сложная для решения проблема. Он изучается с 1950-х годов, и все же его наиболее популярное применение — кинопроизводство — прибегает к классическому, но ограниченному методу композитинга. В частности, они используют своего рода глобальную цветовую модель. Эта техника основана на глобальном цветовом предположении; например, что весь фон зеленый. (Кстати, именно поэтому у синоптиков иногда появляются невидимые связи — цвет связи похож на цвет фона, что заставляет алгоритм классифицировать связь как часть фонового потока.) Теоретически можно использовать любой цвет, но наиболее распространенными являются зеленый и синий. Матирование яркости (также называемое матированием черного экрана) — это еще одна вариация глобальной цветовой модели. В отличие от цвета, оно предполагает, что фон темнее, чем определенное пользователем значение. [ необходима цитата ]
Другой подход заключается в использовании локальной цветовой модели. Эта модель предполагает, что фон — это статическое, заранее известное изображение, поэтому в этом случае дан фоновый поток. Простую маску можно вытащить, сравнив фактический видеопоток с известным фоновым потоком. Требования к освещению и углу камеры очень строгие в отличие от глобальных цветовых моделей, но нет ограничений на возможные цвета в потоке переднего плана. [ необходима цитата ]
Существуют также инструменты машинного обучения , которые могут вытягивать маски с помощью пользователя. Часто эти инструменты требуют итерации со стороны пользователя — алгоритм предоставляет результат на основе обучающего набора, и пользователь корректирует набор до тех пор, пока алгоритм не предоставит желаемый результат. Примером этого является использование вручную созданной грубой маски с сегментацией тримапа , так называемой, потому что она разделяет изображение на три области: известный фон, известный передний план и неизвестную область. В этом случае алгоритм пытается пометить неизвестную область на основе ввода пользователя, и пользователь может выполнить итерацию по нескольким тримапам для получения лучших результатов. Knockout, подключаемый инструмент для Adobe Photoshop , является реализацией этого процесса. [ необходима цитата ]
Другой подход к цифровому матированию был предложен МакГвайром и др. Он использует два датчика изображения вдоль одной оптической оси и использует данные с обоих. (Существуют различные способы достижения этого, такие как использование светоделителя или попиксельных поляризационных фильтров.) Система одновременно захватывает два кадра, которые отличаются примерно на половину динамического диапазона в фоновых пикселях, но идентичны в пикселях переднего плана. Используя различия между фонами двух изображений, МакГвайр и др. могут извлечь из сцены маску переднего плана с высоким разрешением. Этот метод по-прежнему сохраняет некоторые недостатки методов композитинга, а именно, фон должен быть относительно нейтральным и однородным, но он вносит несколько преимуществ, таких как точные субпиксельные результаты, лучшая поддержка естественного освещения и возможность переднего плана быть цветом, который метод композитинга идентифицировал бы как часть маски фона. Однако это означает, что намеренное маскирование чего-либо на переднем плане путем покрытия его тем же цветом, что и фон, невозможно. [9]
Третий подход к цифровому матированию заключается в использовании трех видеопотоков с разными фокусными расстояниями и глубиной резкости. Как и в предыдущем методе, все три датчика изображения имеют общую оптическую ось, хотя теперь алгоритм использует информацию о том, какая часть изображения находится в фокусе в каком видеопотоке, чтобы создать его передний план. С помощью этой техники и передний план, и фон могут иметь динамическое содержимое, и нет никаких ограничений на то, какие цвета или сложность имеет фон. [10]
Все эти подходы имеют один заметный недостаток: они не могут принимать произвольные видео в качестве входных данных. В видео, в отличие от фильмов, Chroma key требует, чтобы фон исходного видео был одного цвета. Другие два метода требуют больше информации в форме синхронизированных, но немного отличающихся видео. [11]
Другое применение матов в кинопроизводстве — создание широкоэкранного эффекта. В этом процессе верх и низ стандартного кадра матируются или маскируются черными полосами, т. е. отпечаток пленки имеет толстую линию кадра . Затем кадр в полном кадре увеличивается, чтобы заполнить экран при проецировании в кинотеатре. [ необходима цитата ]
Таким образом, в «маскированном широкоэкранном» изображении с соотношением сторон 1,85:1 создается с использованием стандартного кадра 1,37:1 и матированием верха и низа. Если изображение матируется во время съемок, оно называется жестким матированием из-за его резкого края. Напротив, если во время съемок заполняется весь кадр, и киномеханик должен матировать верх и низ в кинотеатре, оно называется мягким матированием , поскольку апертурная пластина не находится в фокальной плоскости и вызывает размытый край. [ необходима цитата ]
В видео похожий эффект часто используется для показа широкоэкранных фильмов на обычном телевизионном экране 1,33:1. В этом случае процесс называется леттербоксингом . Однако при леттербоксинге верх и низ фактического изображения не матируются. Изображение «отодвигается» дальше назад на экране и, таким образом, становится «меньше», так сказать, так что в широкоэкранном фильме зритель может видеть слева и справа от изображения то, что обычно было бы опущено, если бы фильм демонстрировался на весь экран по телевизору, достигая своего рода эффекта «широкоэкранного» экрана на квадратном экране телевизора. При леттербоксинге верхняя часть изображения немного ниже, чем обычно, нижняя часть выше, а неиспользуемая часть экрана покрыта черными полосами. Для передачи видео передача «мягкой матовой» пленки в формат домашнего видео с полным экспонированием кадра, таким образом удаляя матовость сверху и снизу, называется «передачей с открытой матовой пленкой». Напротив, перенос фильма с «жестким матовым покрытием» в формат домашнего видео с сохранением театрального матового покрытия называется «переносом с закрытым матовым покрытием». [ необходима цитата ]
«Мусорная маска» часто рисуется вручную, иногда делается на скорую руку, используется для исключения частей изображения , которые другой процесс, такой как синий экран , не удалит. Название происходит от того факта, что маска удаляет « мусор » из процедурно созданного изображения. «Мусор» может включать в себя риг, удерживающий модель , или сетку освещения над верхним краем синего экрана. [ необходима цитата ]
Маски, которые делают наоборот, принудительно включают части изображения, которые в противном случае могли бы быть удалены при наложении, например, слишком много синего отражения на блестящей модели («синий разлив»), часто называются «масками удержания» и могут быть созданы с помощью того же инструмента. [ необходима ссылка ]