Хроматический ключевой композитинг или хроматический ключ — это визуальный эффект и пост-продакшн- метод для композитинга (наложения слоев) двух или более изображений или видеопотоков вместе на основе цветовых оттенков ( хроматический диапазон). Этот метод использовался во многих областях для удаления фона с объекта фотографии или видео, в частности, в новостных передачах , кино и видеоиграх . Цветовой диапазон в кадрах переднего плана делается прозрачным, что позволяет вставлять в сцену отдельно снятые фоновые кадры или статическое изображение. Метод хроматического ключа обычно используется в видеопроизводстве и пост-продакшне. Этот метод также называют цветовым ключом , наложением цветоделения ( CSO ; в основном BBC [3] ) или различными терминами для определенных цветовых вариантов, таких как зеленый экран или синий экран ; Хроматический ключ может быть выполнен с фоном любого цвета, который является однородным и четким, но зеленый и синий фоны используются чаще, поскольку они наиболее отчетливо отличаются по оттенку от любого цвета человеческой кожи . Никакая часть объекта, который снимается или фотографируется, не может дублировать цвет, используемый в качестве подложки, или эта часть может быть ошибочно идентифицирована как часть подложки. [4]
Обычно он используется для трансляций прогноза погоды в прямом эфире , в которых ведущий новостей стоит перед большой картой CGI , которая на самом деле представляет собой большой синий или зеленый фон. Используя синий экран, различные погодные карты добавляются на те части изображения, где цвет синий. Если ведущий новостей носит синюю одежду, его одежда также будет заменена фоновым видео. Хроматический ключ также распространен в индустрии развлечений для визуальных эффектов в фильмах и видеоиграх. Вместо этого ротоскопия может выполняться на объектах, которые не находятся перед зеленым (или синим) экраном. Отслеживание движения также может использоваться в сочетании с хроматическим ключом, например, для перемещения фона по мере перемещения объекта.
До появления подвижных матов и оптической печати двойная экспозиция использовалась для введения элементов в сцену, которых не было в первоначальной экспозиции. Это было сделано с помощью черной драпировки там, где сегодня используется зеленый экран. Джордж Альберт Смит впервые использовал этот подход в 1898 году. В 1903 году в фильме «Большое ограбление поезда» Эдвина С. Портера использовалась двойная экспозиция для добавления фоновых сцен к окнам, которые были черными во время съемок на съемочной площадке, с использованием мусорной маски для экспонирования только областей окон. [5]
Для того, чтобы фигуры в одной экспозиции действительно двигались перед замещенным фоном в другой, требовалась перемещающаяся маска, чтобы закрыть нужную часть фона в каждом кадре. В 1918 году Фрэнк Уильямс запатентовал технику перемещающейся маски, снова основанную на использовании черного фона. Она использовалась во многих фильмах, таких как «Человек-невидимка» . [6] : 4
В 1920-х годах Уолт Дисней использовал белый фон для включения в свои комедии об Алисе актеров-людей с мультяшными персонажами и фонами . [6] : 5
Метод синего экрана был разработан в 1930-х годах в RKO Radio Pictures . В RKO Линвуд Данн использовал раннюю версию движущейся маски для создания «стираний» — переходов, похожих на стеклоочистители в таких фильмах, как « Полет в Рио» (1933). Приписываемая Ларри Батлеру сцена с джинном, вырывающимся из бутылки, была первым использованием надлежащего процесса синего экрана для создания движущейся маски для фильма «Багдадский вор» (1940), который в том году получил премию «Оскар» за лучшие спецэффекты . В 1950 году сотрудник Warner Brothers и бывший исследователь Kodak Артур Видмер начал работать над ультрафиолетовым процессом движущейся маски. Он также начал разрабатывать методы синего экрана: одним из первых фильмов, в которых они использовались, была экранизация повести Эрнеста Хемингуэя «Старик и море» 1958 года со Спенсером Трейси в главной роли . [7]
Название «Chroma-Key» было торговым названием RCA для этого процесса, которое использовалось в телевизионных передачах NBC , включая патенты, выданные Альберту Н. Голдсмиту из RCA. [8] Самым ранним использованием этого метода в эфире было шоу Джорджа Гобеля на NBC осенью 1957 года. [9]
Петро Влахос был награжден премией «Оскар» за усовершенствование этих методов в 1964 году. Его техника использует тот факт, что большинство объектов в реальных сценах имеют цвет, синий компонент которого по интенсивности аналогичен зеленому компоненту. Збигнев Рыбчинский также внес вклад в технологию синего экрана. Оптический принтер с двумя проекторами, кинокамерой и «делителем луча» использовался для объединения актера перед синим экраном вместе с фоновыми кадрами, по одному кадру за раз. В начале 1970-х годов американские и британские телевизионные сети начали использовать зеленые фоны вместо синих для своих выпусков новостей. В 1980-х годах для управления оптическим принтером использовались мини-компьютеры . Для фильма « Империя наносит ответный удар » Ричард Эдлунд создал «четверной оптический принтер», который значительно ускорил процесс и сэкономил деньги. Он получил специальную премию «Оскар» за свое новаторство.
В течение десятилетий движущиеся матовые снимки приходилось делать «заблокированными», так что ни матовый объект, ни фон вообще не могли сместить перспективу камеры. Позже, синхронизированные компьютером камеры с управлением движением облегчили эту проблему, поскольку и передний план, и фон можно было снимать одними и теми же движениями камеры.
Метеорологи на телевидении часто используют полевой монитор сбоку от экрана, чтобы видеть, куда они кладут руки на фоне изображений. Более новая техника — проецировать слабое изображение на экран.
В некоторых фильмах широко используется хромакей для добавления фонов, которые полностью созданы с использованием компьютерной графики (CGI). Выступления из разных дублей могут быть объединены вместе, что позволяет снимать актеров по отдельности, а затем размещать их вместе в одной сцене. Хромакей позволяет актерам казаться находящимися в любом месте, не покидая студии.
Достижения в области компьютерных технологий упростили включение движения в составные кадры, даже при использовании ручных камер. Опорные точки, такие как нарисованная сетка, крестики, отмеченные клейкой лентой, или теннисные мячи, прикрепленные к стене, можно разместить на цветном фоне в качестве маркеров. В постобработке компьютер может использовать эти маркеры для вычисления положения камеры и, таким образом, визуализировать изображение, которое идеально соответствует перспективе и движению переднего плана. Современные достижения в области программного обеспечения и вычислительной мощности устранили необходимость точного размещения маркеров — программное обеспечение вычисляет их положение в пространстве; потенциальным недостатком этого является то, что это требует движения камеры, что, возможно, способствует современным кинематографическим приемам, при которых камера всегда находится в движении.
Основной объект снимается или фотографируется на фоне, состоящем из одного цвета или относительно узкого диапазона цветов, обычно синего или зеленого, поскольку эти цвета считаются наиболее далекими от тона кожи. [4] Части видео, которые соответствуют предварительно выбранному цвету, заменяются альтернативным фоновым видео. Этот процесс обычно называют « кеингом », «кеингом» или просто «кеингом».
Зеленый цвет используется в качестве фона для телевидения и электронного кинематографа чаще, чем любой другой цвет, потому что телеведущие прогнозов погоды, как правило, носили синие костюмы. Когда хромакей впервые начал использоваться в телевизионном производстве, синий экран, который тогда был нормой в киноиндустрии, использовался по привычке, пока другие практические соображения не заставили телевизионную индустрию перейти с синего на зеленый экран. Цветные телевизионные камеры вещательного качества используют отдельные красные, зеленые и синие датчики изображения, а ранние аналоговые телевизионные хромакейеры требовали компонентного видео RGB для надежной работы. С технологической точки зрения было одинаково возможно использовать синий или зеленый канал, но поскольку синяя одежда была постоянной проблемой, зеленый экран стал общепринятым. Дикторы новостей иногда забывают о дресс-коде хромакей, и когда ключ применяется к одежде того же цвета, что и фон, человек, казалось, исчезает в ключе. Поскольку зеленая одежда встречается реже, чем синяя, вскоре стало очевидно, что проще использовать зеленый матовый экран, чем постоянно контролировать выбор одежды талантов в эфире. Кроме того, поскольку человеческий глаз более чувствителен к зеленым длинам волн, которые лежат в середине видимого спектра света, зеленый аналоговый видеоканал обычно передавал большую мощность сигнала, давая лучшее соотношение сигнал/шум по сравнению с другими компонентными видеоканалами, поэтому зеленые экранные ключи могли давать самый чистый ключ. В эпоху цифрового телевидения и кино большая часть настроек, которые требовались для создания качественного ключа, была автоматизирована. Однако единственной постоянной величиной остается некоторый уровень координации цветов, чтобы не допустить затенения объектов переднего плана. [10]
До электронного хромакейного кеинга композиция производилась на (химической) пленке. Цветной негатив камеры печатался на высококонтрастном черно-белом негативе с использованием либо фильтра, либо цветовой чувствительности высококонтрастной пленки для экспонирования только синих (и более высоких) частот. Синий свет просвечивает через цветной негатив только там, где в сцене нет синего цвета, поэтому это оставляло пленку прозрачной там, где был синий экран, и непрозрачной в других местах, за исключением того, что она также давала прозрачность для любых белых объектов (поскольку они также содержали синий цвет). Удаление этих пятен можно было выполнить с помощью подходящей двойной экспозиции с цветным позитивом (таким образом, делая любую область, содержащую красный или зеленый цвет, непрозрачной) и многими другими методами. Результатом была пленка, которая была прозрачной там, где был синий экран, и непрозрачной во всех остальных местах. Это называется женской маской , похожей на альфа-маской в цифровом кеинге. Копирование этой пленки на другой высококонтрастный негатив давало противоположную мужскую маску . Затем фоновый негатив был упакован в женскую маску и экспонирован на последней полосе пленки, затем негатив камеры был упакован в мужскую маску и дважды напечатан на этой же пленке. Эти два изображения, объединенные вместе, создают конечный эффект.
Самым важным фактором для ключа является цветовое разделение переднего плана (объекта) и фона (экрана) — если объект преимущественно зеленого цвета (например, растения), будет использоваться синий экран, несмотря на то, что камера более чувствительна к зеленому свету.
В аналоговом телевидении цвет представлен фазой поднесущей цветности относительно опорного генератора. Хроматический ключ достигается путем сравнения фазы видео с фазой, соответствующей предварительно выбранному цвету. Синфазные части видео заменяются альтернативным фоновым видео. [ необходима цитата ]
В цифровом цветном телевидении цвет представлен тремя числами (уровни интенсивности красного, зеленого, синего). Хроматический ключ достигается простым числовым сравнением видео и предварительно выбранного цвета. Если цвет в определенной точке экрана совпадает (точно или в диапазоне), то видео в этой точке заменяется альтернативным фоном.
Чтобы создать иллюзию того, что персонажи и объекты, снятые на пленке, присутствуют в предполагаемой фоновой сцене, освещение в двух сценах должно быть разумным. Для сцен на открытом воздухе пасмурные дни создают рассеянный, равномерно окрашенный свет, который может быть легче подобрать в студии, тогда как прямой солнечный свет должен быть подобран как по направлению, так и по общему цвету в зависимости от времени суток.
Студийный снимок, сделанный перед зеленым экраном, будет естественным образом иметь окружающий свет того же цвета, что и экран, из-за рассеивания света. Этот эффект известен как разлив . [6] : стр. 20 Это может выглядеть неестественно или привести к исчезновению частей персонажей, поэтому его необходимо компенсировать или избегать, используя больший экран, расположенный далеко от актеров. [11]
Глубина резкости, используемая для записи сцены перед цветным экраном, должна соответствовать глубине резкости фона. Это может означать запись актеров с большей глубиной резкости, чем обычно. [12]
Субъект хромакея должен избегать ношения одежды, которая по цвету похожа на цвет(а) хромакея (если это не намеренно, например, надеть зеленый топ, чтобы создать впечатление, что у субъекта нет тела), потому что одежда может быть заменена фоновым изображением/видео. Примером намеренного использования этого является случай, когда актер носит синее покрытие на части своего тела, чтобы сделать его невидимым в финальном кадре. Этот прием можно использовать для достижения эффекта, похожего на тот, который использовался в фильмах о Гарри Поттере для создания эффекта плаща-невидимки . Актера также можно снимать на фоне хромакея и вставлять в фоновый кадр с эффектом искажения, чтобы создать плащ, который будет едва заметен. [13]
Трудности возникают с синим экраном, когда костюм в кадре эффектов должен быть синим, как, например, традиционный синий костюм Супермена. В фильме 2002 года « Человек-паук » в сценах, где и Человек-паук , и Зеленый Гоблин находятся в воздухе, Человека-паука пришлось снимать перед зеленым экраном, а Зеленого Гоблина — перед синим экраном. Разница в цвете заключается в том, что Человек-паук носит костюм красного и синего цветов, а Зеленый Гоблин — костюм полностью зеленого цвета. Если бы оба были сняты перед одним и тем же экраном, части одного персонажа были бы стерты из кадра.
Для четкого разделения переднего плана от заднего также важно, чтобы одежда и волосы на переднем плане имели достаточно простой силуэт, поскольку мелкие детали, такие как вьющиеся волосы, могут не разрешиться должным образом. Аналогично, частично прозрачные элементы костюма вызывают проблемы. [12]
Первоначально синий цвет использовался в киноиндустрии, поскольку для разделения требовалась пленка, которая реагировала бы только на цвет экрана, а пленку, реагирующую только на синий цвет и более высокие частоты (ультрафиолетовый и т. д.), было гораздо проще изготовить и сделать ее надежной, чем пленку, которая каким-то образом исключала как частоты выше, так и ниже цвета экрана.
Однако в теле- и цифровом кинопроизводстве одинаково легко извлечь любой цвет, и зеленый быстро стал предпочтительным цветом. Ярко-зеленый реже встречается на объектах переднего плана, цветные пленочные эмульсии обычно имеют гораздо более мелкое зерно в зеленом цвете, а сжатие с потерями, используемое для аналоговых видеосигналов, цифровых изображений и фильмов, сохраняет больше деталей в зеленом канале. Зеленый цвет также можно использовать на открытом воздухе, где цветовая температура света значительно синяя. Красный цвет избегается, как и в человеческой коже, а любой другой цвет представляет собой смесь основных цветов и, таким образом, дает менее чистое извлечение.
Так называемый « желтый экран » получается с белым фоном. Обычное сценическое освещение используется в сочетании с ярко-желтой натриевой лампой. Натриевый свет почти полностью попадает в узкую полосу частот, которую затем можно отделить от другого света с помощью призмы и спроецировать на отдельный, но синхронизированный носитель пленки внутри камеры. Эта вторая пленка является высококонтрастной черно-белой и обрабатывается для получения матового эффекта. [6] : 16
Более новая технология заключается в использовании световозвращающей занавески на заднем плане, а также кольца ярких светодиодов вокруг объектива камеры . Для этого не требуется никакого света, освещающего фон, кроме светодиодов, которые потребляют крайне мало энергии и пространства в отличие от больших сценических светильников , и не требуют оснастки . Это достижение стало возможным благодаря изобретению в 1990-х годах практичных синих светодиодов, которые также позволяют использовать изумрудно-зеленые светодиоды.
Существует также форма цветового кеинга, которая использует световой спектр, невидимый человеческому глазу. Называемая Thermo-Key, она использует инфракрасный цвет в качестве ключевого цвета, который не будет заменен фоновым изображением во время постобработки . [14] [15]
Для фильма «Звездный путь: Следующее поколение» Дон Ли из CIS Hollywood предложил процесс матирования ультрафиолетовым светом, разработанный Гэри Хатцелем и сотрудниками Image G. Он включал в себя флуоресцентный оранжевый фон, который упростил создание удерживающей маски , что позволило команде по спецэффектам создавать эффекты вчетверо быстрее, чем при использовании других методов. [16]
В принципе, любой тип неподвижного фона может использоваться в качестве хроматического ключа вместо сплошного цвета. Сначала фон захватывается без актеров или других элементов переднего плана; затем записывается сцена. Изображение фона используется для отмены фона в реальных кадрах; например, в цифровом изображении каждый пиксель будет иметь различный хроматический ключ. Иногда это называют разностной маской . [17] Однако это делает легким случайное удаление объектов, если они окажутся похожими на фон, или сохранение фона из-за шума камеры или если он случайно немного изменится по сравнению с исходным кадром. [18] Фон с повторяющимся узором смягчает многие из этих проблем и может быть менее чувствителен к цвету гардероба, чем однотонные фоны. [19]
В цифровых цветных изображениях используется определенный насыщенный пурпурный цвет #FF00FF для кодирования (1-битной) прозрачности; иногда его называют «волшебным розовым». [20] Это не фотографическая техника, и извлечение переднего плана из фона тривиально.
Самая большая проблема при настройке синего или зеленого экрана — равномерное освещение и избежание теней , поскольку лучше всего заменять как можно более узкий цветовой диапазон. Тень будет выглядеть как более темный цвет для камеры и может не зарегистрироваться для замены. Иногда это можно увидеть в малобюджетных или прямых трансляциях, где ошибки нельзя исправить вручную или переснять сцены. Используемый материал влияет на качество и простоту его равномерного освещения. Блестящие материалы будут гораздо менее успешными, чем те, которые не являются таковыми. Блестящая поверхность будет иметь области, которые отражают свет, делая их бледными, в то время как другие области могут быть затемнены. Матовая поверхность будет рассеивать отраженный свет и иметь более равномерный цветовой диапазон. Чтобы получить наиболее чистый ключ при съемке зеленого экрана, необходимо создать разницу в значении между объектом и зеленым экраном. Чтобы отличить объект от экрана, можно использовать разницу в два шага, либо сделав зеленый экран на два шага выше объекта, либо наоборот.
Иногда тень может использоваться для создания визуального эффекта. Области синего или зеленого экрана с тенью на них можно заменить более темной версией желаемого фонового видеоизображения, создавая впечатление, что человек отбрасывает на него тень. Любое разливание цвета хромакея сделает результат неестественным. Разница в фокусном расстоянии используемых объективов может повлиять на успешность хромакея.
Еще одной проблемой для синего или зеленого экрана является правильная экспозиция камеры . Недоэкспонирование или переэкспонирование цветного фона может привести к плохому уровню насыщенности . В случае видеокамер недоэкспонированные изображения также могут содержать большое количество шума . Фон должен быть достаточно ярким, чтобы камера могла создать яркое и насыщенное изображение.
Существует несколько различных методов, оптимизированных по качеству и скорости для реализации цветового кодирования в программном обеспечении. [21] [22]
В большинстве версий функция f ( r , g , b ) → α применяется к каждому пикселю изображения. α (альфа) имеет значение, аналогичное значению в методах альфа-композиции . α ≤ 0 означает, что пиксель полностью находится на зеленом экране, α ≥ 1 означает, что пиксель полностью находится на объекте переднего плана, а промежуточные значения указывают, что пиксель частично покрыт объектом переднего плана (или он прозрачен). Дополнительная функция g ( r , g , b ) → ( r , g , b ) необходима для удаления зеленого разлива на объектах переднего плана.
Очень простая функция f () для зеленого экрана — это A ( r + b ) −Bg , где A и B — константы, настраиваемые пользователем, со значением по умолчанию 1,0. Очень простая функция g () — это ( r , min( g , b ), b ). Это довольно близко к возможностям аналогового и пленочного экранного вытягивания.
Современные примеры [22] этих функций лучше всего описываются двумя замкнутыми вложенными поверхностями в трехмерном пространстве RGB, часто довольно сложными. Цвета внутри внутренней поверхности считаются зеленым экраном. Цвета за пределами внешней поверхности являются непрозрачным передним планом. Цвета между поверхностями частично покрыты, они тем более непрозрачны, чем ближе они к внешней поверхности. Иногда более замкнутые поверхности используются для определения того, как удалить зеленую утечку. Также очень часто f () зависит не только от текущего цвета пикселя, она может также использовать положение ( x , y ), значения соседних пикселей, значение из эталонных изображений или статистической цветовой модели сцены [23] и значения из масок, нарисованных пользователем. Они создают замкнутые поверхности в пространстве с более чем тремя измерениями.
Другой класс алгоритмов пытается вычислить 2D-путь, который отделяет передний план от фона. Этот путь может быть выходом, или изображение может быть нарисовано путем заполнения пути с α = 1 в качестве последнего шага. Примером такого алгоритма является использование активного контура . Большинство исследований в последние годы [ когда? ] были посвящены этим алгоритмам.
на переднем плане изображен человек, то рекомендуется использовать синий или зеленый фон, поскольку эти цвета отсутствуют в пигментах человеческой плоти. Фактически, цвет человеческой кожи на 70% красный для всех людей, независимо от расы.
