Цифровое кукольное искусство — это манипуляция и исполнение цифровых анимированных 2D или 3D фигур и объектов в виртуальной среде, которые визуализируются в реальном времени компьютерами. Чаще всего используется в кинопроизводстве и телевизионном производстве , но также используется в интерактивных тематических парках и живом театре .
Точное определение того, что является и что не является цифровым кукольным театром, является предметом споров среди кукловодов и дизайнеров компьютерной графики , но все согласны с тем, что цифровой кукольный театр отличается от традиционной компьютерной анимации тем, что он подразумевает исполнение персонажей в реальном времени, а не покадровую их анимацию.
Цифровое кукольное искусство тесно связано с анимацией персонажей , технологиями захвата движения и 3D-анимацией , а также скелетной анимацией . Цифровое кукольное искусство также известно как виртуальное кукольное искусство , анимация перформанса , живая анимация , аниформы , живая анимация и анимация в реальном времени (хотя последнее также относится к анимации, созданной движками компьютерных игр). Машинима — еще одна форма цифрового кукольного искусства, и исполнители машинимы все чаще идентифицируются как кукловоды .
Одним из первых пионеров цифрового кукольного театра был Ли Харрисон III . В начале 1960-х годов он проводил эксперименты, анимируя фигуры с помощью аналоговых схем и электронно-лучевой трубки. Харрисон оснастил костюм для тела потенциометрами и создал первую рабочую установку захвата движения, анимируя трехмерные фигуры в реальном времени на своем экране ЭЛТ. Он снял несколько короткометражных фильмов с помощью этой системы, которую назвал ANIMAC. [1] Среди самых ранних примеров цифровых кукол, созданных с помощью этой системы, был персонаж по имени «Мистер Компьютерный Образ», который управлялся комбинацией установки управления телом ANIMAC и ранней формы голосовой автоматической синхронизации губ. [2]
Возможно, первым по-настоящему коммерчески успешным примером цифровой анимированной фигуры, выполненной и визуализированной в реальном времени, является Waldo C. Graphic , персонаж, созданный в 1988 году Джимом Хенсоном и Pacific Data Images для телесериала «Маппеты» «Час Джима Хенсона» . Хенсон использовал систему Scanimate для создания цифровой версии своего персонажа Nobody в реальном времени для телесериала « Улица Сезам» еще в 1970 году [3], а Waldo вырос из экспериментов, которые Хенсон провел для создания компьютерной версии своего персонажа Лягушонка Кермита [4] в 1985 году . [5]
Сила Уолдо как компьютерной куклы заключалась в том, что им мог управлять один кукловод ( Стив Уитмайер [6] ) в реальном времени совместно с обычными куклами. Компьютерное изображение Уолдо смешивалось с видеопотоком камеры, сфокусированной на физических куклах, так что все кукловоды в сцене могли выступать вместе. (Это уже было стандартной практикой кукольного театра — использовать мониторы во время выступления, поэтому использование виртуальной куклы не значительно увеличивало сложность системы.) После этого, на этапе пост-продакшна, PDI повторно визуализировала Уолдо в полном разрешении, добавив несколько динамических элементов поверх выполненного движения. [7]
Сегодня Уолдо С. Графика можно увидеть в Muppet*Vision 3D Джима Хенсона в Disney's Hollywood Studios в Лейк-Буэна-Виста, Флорида .
Другим значительным достижением в области цифровых кукол в 1988 году стал Mike Normal, которого Брэд ДеГраф и его партнер Майкл Варман разработали, чтобы продемонстрировать возможности работы в реальном времени на тогда новых рабочих станциях серии 4D компании Silicon Graphics . Представленный на съезде SIGGRAPH 1988 года , он стал первым живым выступлением цифрового персонажа . Mike представлял собой сложную говорящую голову, управляемую специально созданным контроллером, который позволял одному кукловоду управлять многими параметрами лица персонажа, включая рот, глаза, выражение и положение головы. [8]
Система, разработанная deGraf/Wahrman для исполнения роли Майка Нормала, позднее была использована для создания образа злодея Кейна в фильме « Робокоп 2» , который считается первым примером использования цифровой куклы для создания персонажа в полнометражном фильме.
Трей Стоукс был кукловодом как в дебютном фильме Майка Нормала на SIGGRAPH, так и в фильме «Робокоп II» .
Одним из наиболее широко известных успешных примеров цифрового кукольного театра в телесериале является сегмент «Мир Элмо» из «Улицы Сезам». Набор персонажей мебели был создан с помощью CGI, чтобы выступать одновременно с Элмо и другими настоящими куклами. Они исполнялись в реальном времени на съемочной площадке, одновременно с живыми кукольными представлениями. Как и в примере с Уолдо С. Графика Хенсона выше, видеотрансляция цифровых кукол в прямом эфире наблюдалась как цифровыми, так и физическими кукольными исполнителями, что позволяло цифровым и физическим персонажам взаимодействовать. [9]
Walt Disney Imagineering также был важным новатором в области цифрового кукольного театра, разрабатывая новые технологии, позволяющие посетителям тематических парков Disney взаимодействовать с некоторыми из известных анимационных персонажей компании. [10] В 2004 году они использовали методы цифрового кукольного театра для создания аттракционов Turtle Talk with Crush в Epcot и Disney California Adventure Park . В аттракционе скрытый кукловод играет и озвучивает цифровую куклу Crush, непринужденную морскую черепаху из « В поисках Немо» , на большом проекционном экране. Зрителям кажется, что Crush плавает в аквариуме и вступает в незаписанные разговоры в реальном времени с гостями тематического парка.
Disney Imagineering продолжила использовать цифровые кукольные представления с Monsters Inc. Laugh Floor , новым аттракционом в Tomorrowland в Walt Disney World's Magic Kingdom , который открылся весной 2007 года. Гости временно попадают в «мир монстров», представленный в фильме Disney и Pixar 2001 года «Корпорация монстров» , где их развлекают Майк Вазовски и другие комики-монстры, которые пытаются поймать смех, преобразуя его в энергию. Подобно Turtle Talk, кукловоды взаимодействуют с гостями в реальном времени, так же, как настоящий комик взаимодействовал бы со своей аудиторией.
Disney также использует цифровые кукольные приемы в Stitch Encounter , который открылся в 2006 году в гонконгском парке Disneyland. У Disney есть еще одна версия того же аттракциона в Disneyland Resort Paris под названием Stitch Live!
С 2014 года Исполнительный офис программы армии США по моделированию , обучению, исследованиям и приборостроению (PEO STRI), подразделение Центра технологий моделирования и обучения армии США (STTC) , экспериментирует с цифровым кукольным театром как методом обучения пехотных отделений расширенной ситуационной осведомленности . [11] Один импровизатор, использующий технологию захвата движения от Organic Motion Inc, взаимодействовал с отделениями посредством нескольких различных аватаров в натуральную величину разного возраста и пола, которые проецировались на несколько стен по всему городскому учебному центру. Технология захвата движения была сопряжена с изменением голоса в реальном времени для достижения эффекта. [12]
Цифровая кукла управляется на экране в реальном времени кукловодом, который использует телеметрическое устройство ввода, известное как Уолдо (по рассказу Роберта А. Хайнлайна « Уолдо » , в котором описывается человек, который изобретает и использует такие устройства), подключенное к компьютеру. Движение по осям XYZ устройства ввода заставляет цифровую куклу двигаться соответствующим образом.
Компьютерная анимация лица — это, прежде всего, область компьютерной графики , которая инкапсулирует методы и приемы для создания и анимации изображений или моделей лица персонажа. Важность человеческих лиц в вербальной и невербальной коммуникации и достижения в области аппаратного и программного обеспечения для компьютерной графики вызвали значительный научный, технологический и художественный интерес к компьютерной анимации лица.
Объект (кукла) или человеческое тело используется как физическое представление цифровой куклы и управляется кукловодом. Движения объекта или тела соответствующим образом согласуются с цифровой куклой в реальном времени. Кукольный захват движения широко используется, например, VTubers , которые оснащают цифровые аватары так, чтобы они соответствовали движениям их голов.
Виртуальный человек (или цифровой человек) — это симуляции людей на компьютерах. Область исследования касается их представления, движения и поведения, а также показывает, что человекоподобный внешний вид виртуального человека показывает более высокую достоверность сообщения, чем виртуальный человек, похожий на аниме, в рекламном контексте. Частным случаем виртуального человека является виртуальный актер , который является виртуальным человеком (аватаром или автономным), представляющим существующую личность и действующим в фильме или сериале.
Aniforms — это двухмерный мультипликационный персонаж, управляемый как марионетка, для показа живой аудитории или в визуальных медиа. Концепция была придумана Мореем Буниным и его супругой Шарлоттой, Бунин был кукловодом , который работал с марионетками на нитях и куклами-марионетками . Отличительной чертой персонажа Aniforms является то, что он демонстрирует физическую форму, которая выглядит «оживленной» на реальном или смоделированном телевизионном экране. Эта техника использовалась в телевизионном производстве .
Производственная техника, которая может быть использована для исполнения цифровых кукол. Машинима включает в себя создание компьютерной графики (CGI) с использованием низкоуровневых 3D-движков в видеоиграх. Игроки разыгрывают сцены в реальном времени, используя персонажей и обстановку в игре, а полученные кадры записываются и позже монтируются в готовый фильм. [13]