Композиция хромакей , или хромакей , представляет собой метод визуальных эффектов и постобработки для объединения (наслоения) двух или более изображений или видеопотоков вместе на основе цветовых оттенков ( диапазон цветности ). Этот метод использовался во многих областях для удаления фона с объекта фотографии или видео, особенно в новостях , кино и видеоиграх . Цветовая гамма в кадрах переднего плана становится прозрачной, что позволяет вставлять в сцену отдельно снятые фоновые кадры или статичное изображение. Метод хромакейинга обычно используется в видеопроизводстве и постобработке. Этот метод также называется цветовым кодированием , наложением цветоделения ( CSO ; в первую очередь BBC [3] ) или различными терминами для конкретных вариантов, связанных с цветом, таких как зеленый экран или синий экран ; Хромакейинг может быть выполнен с фоном любого цвета, который является однородным и отчетливым, но чаще используются зеленый и синий фон, поскольку они наиболее отчетливо отличаются по оттенку от любого цвета кожи человека . Никакая часть снимаемого или фотографируемого объекта не может дублировать цвет, используемый в качестве основы, или эта часть может быть ошибочно идентифицирована как часть основы. [4]
Он обычно используется для прямых трансляций с прогнозом погоды , в которых ведущий новостей стоит перед большой картой CGI , которая на самом деле представляет собой большой синий или зеленый фон. С помощью синего экрана различные карты погоды добавляются к частям изображения, где цвет синий. Если ведущий новостей носит синюю одежду, его одежда также будет заменена фоновым видео. Хроматическая манипуляция также распространена в индустрии развлечений для создания визуальных эффектов в фильмах и видеоиграх. Вместо этого ротоскопию можно проводить на объектах, которые не находятся перед зеленым (или синим) экраном. Отслеживание движения также можно использовать в сочетании с хромакейингом, например, для перемещения фона при движении объекта.
До появления передвижной подложки и оптической печати двойная экспозиция использовалась для введения в сцену элементов, которых не было при первоначальной экспозиции . Это было сделано с использованием черной драпировки вместо зеленого экрана, который сегодня использовался бы. Джордж Альберт Смит впервые использовал этот подход в 1898 году. В 1903 году в фильме Эдвина С. Портера « Великое ограбление поезда» двойная экспозиция использовалась для добавления фоновых сцен к окнам, которые были черными во время съемок на съемочной площадке, используя мусорную подложку , чтобы обнажить только области окон. [5]
Чтобы фигуры в одной экспозиции действительно двигались перед замещающим фоном в другой, требовалась перемещающаяся подложка, чтобы закрыть правильную часть фона в каждом кадре. В 1918 году Фрэнк Уильямс запатентовал технику перемещения матовой пленки, снова основанную на использовании черного фона. Это использовалось во многих фильмах, таких как «Человек-невидимка» . [6] : 4
В 1920-х годах Уолт Дисней использовал белый фон, чтобы включить актеров-людей с персонажами мультфильмов и фоном в свои комедии об Алисе . [6] : 5
Метод синего экрана был разработан в 1930-х годах в компании RKO Radio Pictures . В RKO Линвуд Данн использовал раннюю версию перемещающейся подложки для создания «вытираний» - там, где были переходы, как у дворников в таких фильмах, как «Полет в Рио» (1933). Приписано Ларри Батлеру , сцена с джинном, сбегающим из бутылки, была первым использованием правильного процесса синего экрана для создания путешествующего матового фильма « Багдадский вор» (1940), который в том же году получил премию «Оскар» за лучшие спецэффекты . В 1950 году сотрудник Warner Brothers и бывший исследователь Kodak Артур Видмер начал работать над процессом перемещения матовой пленки в ультрафиолетовом диапазоне . Он также начал разрабатывать методы синего экрана: одним из первых фильмов, в которых они использовались, была экранизация повести Эрнеста Хемингуэя « Старик и море» 1958 года со Спенсером Трейси в главной роли . [7]
Название «Chroma-Key» было торговым названием RCA для этого процесса, которое использовалось в телевизионных передачах NBC , включая патенты, выданные Альберту Н. Голдсмиту из RCA. [8] Одним из первых трансляций было шоу Джорджа Гобеля на канале NBC осенью 1957 года. [9]
Петр Влахос был награжден премией Оскар за усовершенствование этих техник в 1964 году. Его техника использует тот факт, что большинство объектов в реальных сценах имеют цвет, синий компонент которого по интенсивности аналогичен их зеленому компоненту. Збигнев Рыбчинский также внес свой вклад в технологию синего экрана. Оптический принтер с двумя проекторами, пленочной камерой и «делителем луча» использовался для объединения актера перед синим экраном с фоновыми кадрами, по одному кадру за раз. В начале 1970-х годов американские и британские телеканалы начали использовать в своих выпусках новостей зеленый фон вместо синего. В 1980-е годы для управления оптическим принтером использовались миникомпьютеры . Для фильма «Империя наносит ответный удар » Ричард Эдлунд создал «четверный оптический принтер», который значительно ускорил процесс и сэкономил деньги . За свои инновации он получил специальную премию Американской киноакадемии .
На протяжении десятилетий передвижные матовые снимки приходилось делать «зафиксированными», чтобы ни матовый объект, ни фон вообще не могли сместить перспективу камеры. Позже камеры с компьютерным управлением движением решили эту проблему, поскольку и передний, и задний план можно было снимать с помощью одних и тех же движений камеры.
Метеорологи на телевидении часто используют полевой монитор сбоку от экрана, чтобы увидеть, куда они кладут руки на фоновом изображении. Новый метод — проецирование слабого изображения на экран.
В некоторых фильмах широко используется цветовой ключ для добавления фона, полностью созданного с использованием компьютерных изображений (CGI). Спектакли из разных дублей можно скомпоновать вместе, что позволяет снимать актеров по отдельности, а затем размещать их вместе в одной сцене. Хромакей позволяет исполнителям оказаться в любой локации, не выходя из студии.
Достижения в области компьютерных технологий упростили включение движения в составные кадры даже при использовании портативных камер. Ориентиры, такие как нарисованная сетка, X, отмеченные лентой, или теннисные мячи, прикрепленные к стене на равном расстоянии, можно разместить на цветном фоне в качестве маркеров. При постобработке компьютер может использовать эти маркеры для расчета положения камеры и, таким образом, визуализировать изображение, которое идеально соответствует перспективе и движению переднего плана. Современные достижения в области программного обеспечения и вычислительной мощности устранили необходимость точно размещать маркеры — программное обеспечение определяет их положение в пространстве; Потенциальным недостатком этого метода является то, что он требует движения камеры, что, возможно, способствует современным кинематографическим методам, благодаря которым камера всегда находится в движении.
Основной объект снимается или фотографируется на фоне, состоящем из одного цвета или относительно узкого диапазона цветов, обычно синего или зеленого, поскольку эти цвета считаются наиболее далекими от тона кожи. [4] Части видео, соответствующие заранее выбранному цвету, заменяются альтернативным фоновым видео. Этот процесс широко известен как « включение », «выключение» или просто «ключ».
Зеленый цвет используется в качестве фона для телевидения и электронного кинематографа чаще, чем любой другой цвет, поскольку ведущие прогноза погоды на телевидении обычно носили синие костюмы. Когда хроматическая манипуляция впервые стала использоваться в телевизионном производстве, синий экран, который тогда был нормой в киноиндустрии, использовался по привычке, пока другие практические соображения не заставили телевизионную индустрию перейти от синего экрана к зеленому. В цветных телевизионных камерах вещательного качества используются отдельные датчики изображения красного, зеленого и синего цветов, а ранним аналоговым телевизионным хромакеерам для надежной работы требовалось компонентное видео RGB. С технологической точки зрения в равной степени можно было использовать синий или зеленый канал, но поскольку синяя одежда была постоянной проблемой, зеленый экран стал широко использоваться. Ведущие новостей иногда забывают о дресс-коде хромакей, и когда ключ наносится на одежду того же цвета, что и фон, человек словно исчезает в ключе. Поскольку зеленая одежда встречается реже, чем синяя, вскоре стало очевидно, что проще использовать зеленый матовый экран, чем постоянно контролировать выбор одежды звездами эфира. Кроме того, поскольку человеческий глаз более чувствителен к длинам волн зеленого цвета, которые лежат в середине спектра видимого света, зеленый аналоговый видеоканал обычно передает сигнал большей мощности, обеспечивая лучшее соотношение сигнал/шум по сравнению с другими компонентными видеоканалами. поэтому клавиши зеленого экрана могут дать самый чистый ключ. В эпоху цифрового телевидения и кино большая часть настроек, необходимых для создания ключа хорошего качества, была автоматизирована. Тем не менее, единственное, что остается неизменным, — это некоторый уровень координации цвета, позволяющий не допускать исключения объектов на переднем плане. [10]
До появления электронной хроматической манипуляции композитинг выполнялся на (химической) пленке. Цветной негатив камеры был напечатан на высококонтрастном черно-белом негативе с использованием либо фильтра, либо цветовой чувствительности высококонтрастной пленки, чтобы экспонировать только синие (и более высокие) частоты. Синий свет просвечивает только через цветной негатив там, где в сцене нет синего цвета, поэтому пленка оставалась прозрачной там, где был синий экран, и непрозрачной в других местах, за исключением того, что она также делала прозрачными любые белые объекты (поскольку они также содержали синий цвет). Удаление этих пятен можно выполнить с помощью подходящей двойной экспозиции с положительным цветом (таким образом делая непрозрачной любую область, содержащую красный или зеленый цвет), а также многими другими методами. В результате получилась пленка, на которой было четко видно место синего экрана и непрозрачно все остальное. Это называется женской подложкой , похожей на альфа-подложку в цифровой манипуляции. Копирование этой пленки на другой высококонтрастный негатив привело к получению противоположной мужской матовой пленки . Затем фоновый негатив был упакован женской матовой пленкой и экспонирован на последней полосе пленки, затем негатив камеры был упакован мужской матовой пленкой и напечатан дважды на этой же пленке. Объединение этих двух изображений создает окончательный эффект.
Наиболее важным фактором для ключа является цветовое разделение переднего плана (объекта) и фона (экрана) — синий экран будет использоваться, если объект преимущественно зеленого цвета (например, растения), несмотря на то, что камера более чувствительна к зеленый свет.
В аналоговом телевидении цвет представлен фазой поднесущей цветности относительно опорного генератора. Хроматический ключ достигается путем сравнения фазы видео с фазой, соответствующей предварительно выбранному цвету. Синфазные части видео заменяются альтернативным фоновым видео.
В цифровом цветном телевидении цвет обозначается тремя цифрами (уровни интенсивности красного, зеленого и синего). Хроматический ключ достигается путем простого числового сравнения видео и заранее выбранного цвета. Если цвет в определенной точке экрана совпадает (точно или в пределах диапазона), то видео в этой точке заменяется альтернативным фоном.
Чтобы создать иллюзию присутствия персонажей и снимаемых объектов в предполагаемой фоновой сцене, освещение в двух сценах должно быть разумно совпадающим. Для сцен на открытом воздухе пасмурные дни создают рассеянный, равномерный свет, который легче подобрать в студии, тогда как прямой солнечный свет необходимо подбирать как по направлению, так и по общему цвету в зависимости от времени суток.
Студийный снимок, сделанный перед зеленым экраном, естественно, будет иметь тот же цвет, что и экран, из-за его светорассеяния. Этот эффект известен как разлив . [6] : стр.20 Это может выглядеть неестественно или вызывать исчезновение частей персонажей, поэтому это следует компенсировать или избегать, используя экран большего размера, расположенный далеко от актеров. [11]
Глубина резкости, используемая для записи сцены перед цветным экраном, должна соответствовать глубине резкости фона. Это может означать запись актеров с большей глубиной резкости, чем обычно. [12]
Субъект с хромакейным ключом должен избегать ношения одежды, которая по цвету похожа на цвет(а) хромакейного цвета (за исключением случаев, когда это делается намеренно, например, ношение зеленого топа, чтобы создать впечатление, что у объекта нет тела), поскольку эту одежду можно заменить на фоновое изображение/видео. Примером намеренного использования этого является случай, когда актер надевает синее покрытие на часть своего тела, чтобы сделать ее невидимой в финальном кадре. С помощью этой техники можно добиться эффекта, аналогичного тому, который используется в фильмах о Гарри Поттере для создания эффекта плаща-невидимки . Актера также можно снять на фоне с хроматическим ключом и вставить в фоновый кадр с эффектом искажения, чтобы создать едва заметный плащ. [13]
Трудности возникают с синим экраном, когда костюм в кадре со спецэффектами должен быть синим, как, например, традиционный синий костюм Супермена . В фильме 2002 года «Человек-паук» в сценах, где и Человек-паук , и Зелёный гоблин находятся в воздухе, Человека-паука нужно было снимать перед зелёным экраном, а Зелёного гоблина — перед синим. экран. Разница в цвете заключается в том, что Человек-Паук носит костюм красного и синего цвета, а Зеленый Гоблин носит костюм полностью зеленого цвета. Если бы оба были сняты перед одним и тем же экраном, части одного персонажа были бы стерты из кадра.
Для четкого разделения переднего плана от фона также важно, чтобы одежда и волосы на снимке на переднем плане имели достаточно простой силуэт, поскольку мелкие детали, такие как вьющиеся волосы, могут быть нечеткими. Точно так же проблемы вызывают частично прозрачные элементы костюма. [12]
Первоначально синий цвет использовался в киноиндустрии, поскольку для разделения требовалась пленка, которая реагировала бы только на цвет экрана, а пленку, которая реагировала только на синий цвет и более высокие частоты (ультрафиолетовые лучи и т. д.), было гораздо проще изготовить и сделать надежной, чем пленку, которая как-то исключил как частоты выше, так и ниже цвета экрана.
Однако в телевидении и цифровом кинопроизводстве одинаково легко извлечь любой цвет, и зеленый быстро стал излюбленным цветом. Ярко-зеленый цвет реже встречается на объектах переднего плана, эмульсии цветных пленок обычно имеют гораздо более мелкое зерно зеленого цвета, а сжатие с потерями, используемое для аналоговых видеосигналов, а также цифровых изображений и фильмов, сохраняет больше деталей в зеленом канале. Зеленый также можно использовать на открытом воздухе, где цветовая температура света значительно ближе к синему. Красного цвета избегают, как и в случае с человеческой кожей, а любой другой цвет представляет собой смесь основных цветов и, таким образом, дает менее чистое извлечение.
Так называемый « желтый экран » создается на белом фоне. Обычное сценическое освещение используется в сочетании с ярко-желтой натриевой лампой. Натриевый свет почти полностью попадает в узкую полосу частот, которую затем можно отделить от другого света с помощью призмы и спроецировать на отдельный, но синхронизированный пленочный носитель внутри камеры. Эта вторая пленка является высококонтрастной черно-белой и подвергается обработке для получения матовой пленки. [6] : 16
Новый метод заключается в использовании световозвращающей шторки на заднем плане и кольца ярких светодиодов вокруг объектива камеры . Для этого не требуется никакого света, освещающего фон, кроме светодиодов, которые потребляют чрезвычайно мало энергии и места в отличие от больших сценических светильников и не требуют никакого оборудования . Этот прогресс стал возможен благодаря изобретению в 1990-х годах практичных синих светодиодов, которые также позволяют использовать светодиоды изумрудно-зеленого цвета .
Существует также форма цветовой манипуляции, в которой используется световой спектр, невидимый человеческому глазу. Названный Thermo-Key, он использует инфракрасный свет в качестве основного цвета, который не заменяется фоновым изображением во время постобработки . [14] [15]
Для «Звездного пути: Следующее поколение» процесс матирования ультрафиолетовым светом был предложен Доном Ли из Голливуда в СНГ и разработан Гэри Хатзелем и сотрудниками Image G. Он включал флуоресцентный оранжевый фон, который упрощал создание матового покрытия , таким образом позволяя команде по эффектам создавать эффекты за четверть времени, необходимого для других методов. [16]
В принципе, любой тип неподвижного фона можно использовать в качестве хромакей вместо сплошного цвета. Сначала снимается фон без актеров или других элементов переднего плана; затем сцена записывается. Изображение фона используется для устранения фона в реальном отснятом материале; например, в цифровом изображении каждый пиксель будет иметь свой цветной ключ. Иногда это называют разностной подложкой . [17] Однако это облегчает случайное удаление объектов, если они похожи на фон, или сохранение фона из-за шума камеры или незначительное изменение по сравнению с эталонным отснятым материалом. [18] Фон с повторяющимся узором решает многие из этих проблем и может быть менее чувствительным к цвету гардероба, чем однотонные фоны. [19]
В цифровых цветных изображениях иногда используется особый пурпурный цвет полной интенсивности #FF00FF для кодирования (1-битной) прозрачности; его иногда называют «волшебным розовым». [20] Это не фотографическая техника, и выделение переднего плана из фона тривиально.
Самая большая проблема при настройке синего или зеленого экрана — это равномерное освещение и избежание теней , поскольку лучше всего заменять как можно более узкий цветовой диапазон. Тень будет восприниматься камерой как более темный цвет и может не регистрироваться для замены. Иногда это можно увидеть в малобюджетных или прямых трансляциях, где ошибки невозможно исправить вручную или переснять сцены. Используемый материал влияет на качество и простоту равномерного освещения. Блестящие материалы будут гораздо менее успешными, чем те, которые не блестят. На блестящей поверхности есть участки, которые отражают свет, делая их бледными, а другие участки могут быть затемненными. Матовая поверхность рассеивает отраженный свет и имеет более равномерную цветовую гамму. Чтобы получить максимально чистый ключ при съемке зеленого экрана, необходимо создать разницу значений между объектом и зеленым экраном. Чтобы отличить объект от экрана, можно использовать разницу в два стопа, либо сделав зеленый экран на два стопа выше объекта, либо наоборот.
Иногда тень можно использовать для создания визуального эффекта. Области синего или зеленого экрана с тенью на них можно заменить более темной версией желаемого фонового видеоизображения, создавая впечатление, будто человек отбрасывает на них тень. Любой разлив хромакейного цвета сделает результат неестественным. Разница в фокусном расстоянии используемых объективов может повлиять на успех хромакей.
Еще одной проблемой для синего или зеленого экрана является правильная экспозиция камеры . Недоэкспонирование или переэкспонирование цветного фона может привести к снижению уровня насыщенности . В случае с видеокамерами недоэкспонированные изображения также могут содержать большое количество шума . Фон должен быть достаточно ярким, чтобы камера могла создать яркое и насыщенное изображение.
Существует несколько различных методов реализации цветового кодирования в программном обеспечении, оптимизированных по качеству и скорости. [21] [22]
В большинстве версий функция f ( r , g , b ) → α применяется к каждому пикселю изображения. α (альфа) имеет значение, аналогичное значению в методах альфа-композиции . α ≤ 0 означает, что пиксель полностью находится на зеленом экране, α ≥ 1 означает, что пиксель полностью находится в объекте переднего плана, а промежуточные значения указывают, что пиксель частично покрыт объектом переднего плана (или он прозрачен). Дополнительная функция g ( r , g , b ) → ( r , g , b ) необходима для удаления пятен зеленого цвета на объектах переднего плана.
Очень простая функция f () для зеленого экрана — это A ( r + b ) − Bg , где A и B — настраиваемые пользователем константы со значением по умолчанию 1,0. Очень простой g () — это ( r , min( g , b ), b ). Это довольно близко к возможностям аналогового и киноэкранного протягивания.
Современные примеры [22] этих функций лучше всего описываются двумя закрытыми вложенными поверхностями в трехмерном RGB-пространстве, часто довольно сложными. Цвета внутри внутренней поверхности считаются зеленым экраном. Цвета за пределами внешней поверхности являются непрозрачным передним планом. Цвета между поверхностями частично закрыты, они тем более непрозрачны, чем ближе к внешней поверхности. Иногда для определения способа удаления пятен зелени используются более закрытые поверхности. Также очень часто функция f () зависит не только от цвета текущего пикселя, она также может использовать положение ( x , y ), значения соседних пикселей, значение из эталонных изображений или статистическую цветовую модель сцена, [23] и значения из нарисованных пользователем масок. Они создают замкнутые поверхности в пространстве более чем в трех измерениях.
Другой класс алгоритмов пытается найти двумерный путь, отделяющий передний план от фона. Этот путь может быть выходным, или изображение можно нарисовать, заполнив путь значением α = 1 на последнем этапе. Примером такого алгоритма является использование активного контура . Большинство исследований последних лет [ когда? ] увлекался этими алгоритмами.
Если на переднем плане изображен человек, то рекомендуется использовать синий или зеленый цвет фона, поскольку эти цвета не присутствуют в пигментах человеческой плоти. Фактически, цвет кожи человека на 70% красный у всех людей, независимо от расы.
