В визуальных эффектах , match moving — это метод, который позволяет вставлять 2D-элементы, другие элементы живого действия или компьютерную графику CG в кадры живого действия с правильным положением, масштабом, ориентацией и движением относительно сфотографированных объектов в кадре . Он также позволяет удалять элементы живого действия из кадра живого действия. Термин используется в широком смысле для описания нескольких различных методов извлечения информации о движении камеры из кинофильма . Также называемый отслеживанием движения или решением камеры , match moving связан с ротоскопированием и фотограмметрией . Match moving иногда путают с захватом движения , который записывает движение объектов, часто людей-актеров, а не камеры. Обычно для захвата движения требуются специальные камеры и датчики, а также контролируемая среда (хотя недавние разработки, такие как камера Kinect и Face ID от Apple, начали менять это). Match moving также отличается от фотографии с управлением движением , которая использует механическое оборудование для выполнения нескольких идентичных движений камеры. Напротив, перемещение по списку обычно представляет собой программную технологию, применяемую постфактум к обычным кадрам, записанным в неконтролируемых условиях с помощью обычной камеры.
Match moving в основном используется для отслеживания движения камеры в кадре, чтобы идентичное виртуальное движение камеры можно было воспроизвести в программе 3D-анимации . Когда новые анимированные элементы компонуются обратно в исходный кадр с живым действием , они будут отображаться в идеально согласованной перспективе и, следовательно, будут выглядеть бесшовными.
Поскольку это в основном программное обеспечение, перемещение матчей становится все более доступным по мере снижения стоимости компьютерных мощностей; в настоящее время это признанный инструмент для создания визуальных эффектов, и он даже используется в прямых телевизионных трансляциях как часть создания таких эффектов, как желтая виртуальная линия в американском футболе .
Процесс перемещения спичек можно разбить на два этапа.
Первый шаг — идентификация и отслеживание признаков. Признак — это определенная точка на изображении, которую алгоритм отслеживания может зафиксировать и отслеживать на протяжении нескольких кадров (SynthEyes называет их пятнами ). Часто признаки выбираются, потому что они являются яркими/темными пятнами, краями или углами в зависимости от конкретного алгоритма отслеживания. Популярные программы используют сопоставление шаблонов на основе оценки NCC и среднеквадратической ошибки . Важно то, что каждый признак представляет собой определенную точку на поверхности реального объекта. По мере отслеживания признака он становится серией двумерных координат, которые представляют положение признака в серии кадров. Эта серия называется «треком». После создания треков их можно сразу использовать для отслеживания движения в 2-D или затем для расчета трехмерной информации.
Второй шаг включает решение для 3D движения. Этот процесс пытается вывести движение камеры путем решения обратной проекции 2-D путей для положения камеры. Этот процесс называется калибровкой .
Когда фотографируется точка на поверхности трехмерного объекта, ее положение в 2-D кадре может быть вычислено с помощью 3-D проекционной функции. Мы можем рассматривать камеру как абстракцию, которая содержит все параметры, необходимые для моделирования камеры в реальном или виртуальном мире. Таким образом, камера представляет собой вектор, который включает в себя в качестве своих элементов положение камеры, ее ориентацию, фокусное расстояние и другие возможные параметры, которые определяют, как камера фокусирует свет на плоскость пленки . То, как именно построен этот вектор, не важно , пока существует совместимая проекционная функция P.
Функция проекции P принимает в качестве входных данных вектор камеры (обозначаемый camera ) и другой вектор — положение трехмерной точки в пространстве (обозначаемое xyz ) и возвращает двухмерную точку, спроецированную на плоскость перед камерой (обозначаемую XY ). Мы можем выразить это:
Функция проекции преобразует 3D-точку и удаляет компонент глубины. Не зная глубины компонента, функция обратной проекции может вернуть только набор возможных 3D-точек, которые образуют линию, исходящую из узловой точки объектива камеры и проходящую через проецируемую 2D-точку. Мы можем выразить обратную проекцию как:
или
Допустим, мы находимся в ситуации, когда отслеживаемые нами объекты находятся на поверхности жесткого объекта, например здания. Поскольку мы знаем, что реальная точка xyz останется на том же месте в реальном пространстве от одного кадра изображения к другому, мы можем сделать точку постоянной, даже если мы не знаем, где она находится. Итак:
где индексы i и j относятся к произвольным кадрам в анализируемом кадре. Поскольку это всегда верно, то мы знаем, что:
Поскольку значение XY i было определено для всех кадров, через которые отслеживается функция отслеживания программой, мы можем решить функцию обратной проекции между любыми двумя кадрами, пока P'( камера i , XY i ) ∩ P'( камера j , XY j ) представляет собой небольшой набор. Набор возможных векторов камеры , которые решают уравнение в i и j (обозначается C ij ).
Итак, существует набор пар векторов камеры C ij , для которых пересечение обратных проекций двух точек XY i и XY j является непустым, как мы надеемся, небольшим набором, центрированным на теоретической стационарной точке xyz .
Другими словами, представьте себе черную точку, плавающую в белой пустоте, и камеру. Для любого положения в пространстве, куда мы помещаем камеру, существует набор соответствующих параметров (ориентация, фокусное расстояние и т. д.), которые сфотографируют эту черную точку точно так же. Поскольку C имеет бесконечное количество членов, одной точки никогда не бывает достаточно, чтобы определить фактическое положение камеры.
По мере добавления точек отслеживания мы можем сузить возможные позиции камеры. Например, если у нас есть набор точек { xyz i,0 ,..., xyz i,n } и { xyz j,0 ,..., xyz j,n }, где i и j по-прежнему относятся к кадрам, а n — индекс одной из многих отслеживаемых точек отслеживания. Мы можем вывести набор наборов пар векторов камеры {C i,j,0 ,...,C i,j,n }.
Таким образом, несколько дорожек позволяют нам сузить возможные параметры камеры. Набор возможных параметров камеры, которые подходят, F, является пересечением всех наборов:
Чем меньше элементов в этом наборе, тем ближе мы можем подойти к извлечению фактических параметров камеры. В действительности ошибки, внесенные в процесс отслеживания, требуют более статистического подхода к определению хорошего вектора камеры для каждого кадра, часто используются алгоритмы оптимизации и корректировка блока пучка . К сожалению, в векторе камеры так много элементов, что когда каждый параметр свободен, мы все равно не сможем сузить F до единственной возможности, независимо от того, сколько функций мы отслеживаем. Чем больше мы можем ограничить различные параметры, особенно фокусное расстояние, тем легче становится определить решение.
В целом процесс решения 3D-задач представляет собой процесс сужения возможных решений движения камеры до тех пор, пока мы не достигнем того, которое соответствует потребностям композиции, которую мы пытаемся создать.
После определения положения камеры для каждого кадра можно оценить положение каждой особенности в реальном пространстве с помощью обратной проекции. Полученный набор точек часто называют облаком точек из-за его грубого вида, похожего на туманность . Поскольку облака точек часто раскрывают часть формы трехмерной сцены, их можно использовать в качестве ориентира для размещения синтетических объектов или с помощью программы реконструкции для создания трехмерной версии реальной сцены.
Камера и облако точек должны быть ориентированы в каком-то пространстве. Поэтому после завершения калибровки необходимо определить плоскость земли. Обычно это единичная плоскость, которая определяет масштаб, ориентацию и начало координат проецируемого пространства. Некоторые программы пытаются сделать это автоматически, хотя чаще пользователь определяет эту плоскость. Поскольку сдвиг плоскостей земли выполняет простую трансформацию всех точек, фактическое положение плоскости на самом деле является вопросом удобства.
3-D реконструкция — это интерактивный процесс воссоздания сфотографированного объекта с использованием данных отслеживания. Эта техника относится к фотограмметрии . В данном конкретном случае мы имеем в виду использование программного обеспечения match moving для реконструкции сцены из случайных кадров.
Программа реконструкции может создавать трехмерные объекты, имитирующие реальные объекты сфотографированной сцены. Используя данные из облака точек и оценку пользователя, программа может создать виртуальный объект, а затем извлечь текстуру из отснятого материала, которую можно спроецировать на виртуальный объект в качестве текстуры поверхности.
Match moving имеет две формы. Некоторые программы для композитинга, такие как Shake , Adobe Substance, Adobe After Effects и Discreet Combustion, включают возможности двумерного отслеживания движения . Двумерное match moving отслеживает только особенности в двумерном пространстве, не заботясь о движении или искажении камеры. Его можно использовать для добавления эффектов размытия движения или стабилизации изображения к отснятому материалу. Этот метод достаточен для создания реалистичных эффектов, когда исходный отснятый материал не включает существенных изменений в перспективе камеры. Например, рекламный щит глубоко на заднем плане кадра часто можно заменить с помощью двумерного отслеживания.
Инструменты для трехмерного сопоставления позволяют экстраполировать трехмерную информацию из двухмерной фотографии. Эти инструменты позволяют пользователям выводить движение камеры и другие относительные движения из произвольного отснятого материала. Информацию об отслеживании можно передавать в программное обеспечение для компьютерной графики и использовать для анимации виртуальных камер и моделируемых объектов. Программы, способные выполнять трехмерное сопоставление, включают:
Существует два метода, с помощью которых можно извлечь информацию о движении из изображения. Интерактивное отслеживание, иногда называемое «контролируемым отслеживанием», предполагает, что пользователь отслеживает особенности на протяжении всей сцены. Автоматическое отслеживание опирается на компьютерные алгоритмы для определения и отслеживания особенностей на протяжении всего кадра. Затем отслеживаемые движения точек используются для расчета «решения». Это решение состоит из всей информации камеры, такой как движение, фокусное расстояние и искажение объектива .
Преимущество автоматического отслеживания заключается в том, что компьютер может создавать множество точек быстрее, чем человек. Большое количество точек можно анализировать со статистикой, чтобы определить наиболее надежные данные. Недостатком автоматического отслеживания является то, что в зависимости от алгоритма компьютер может легко сбиться с толку, отслеживая объекты на сцене. Методы автоматического отслеживания особенно неэффективны в кадрах с быстрым движением камеры, например, при съемке с рук, и в кадрах с повторяющимися объектами, такими как небольшие плитки или любой другой регулярный рисунок, где одна область не очень различима. Этот метод отслеживания также страдает, когда кадр содержит большое количество размытия движения, что затрудняет различение мелких деталей.
Преимущество интерактивного отслеживания заключается в том, что пользователь-человек может следить за объектами на протяжении всей сцены и не будет сбит с толку объектами, которые не являются жесткими. Пользователь-человек также может определить, где находятся объекты в кадре, страдающем от размытия движения; автоматическому трекеру крайне сложно правильно находить объекты с высоким уровнем размытия движения. Недостатком интерактивного отслеживания является то, что пользователь неизбежно будет вносить небольшие ошибки, следуя за объектами на протяжении сцены, что может привести к тому, что называется «дрейфом».
Профессиональное отслеживание движения обычно достигается с помощью комбинации интерактивных и автоматических методов. Художник может удалить точки, которые явно аномальны, и использовать «отслеживающие маски», чтобы заблокировать запутывающую информацию из процесса автоматического отслеживания. Отслеживающие маски также используются для покрытия областей кадра, которые содержат движущиеся элементы, такие как актер или вращающийся потолочный вентилятор.
Отслеживающая маска по своей концепции похожа на мусорную маску, используемую в композиции перемещающейся маски . Однако цель отслеживающей маски — не допустить, чтобы алгоритмы отслеживания использовали ненадежные, нерелевантные или нежесткие точки отслеживания. Например, в сцене, где актер идет перед фоном, художник по отслеживанию захочет использовать только фон для отслеживания камеры через сцену, зная, что движение актера нарушит расчеты. В этом случае художник создаст отслеживающую маску, чтобы следовать за актером через сцену, блокируя эту информацию из процесса отслеживания.
Поскольку часто существует несколько возможных решений для процесса калибровки и может накапливаться значительное количество ошибок, последний шаг для согласования движения часто включает в себя ручную доработку решения. Это может означать изменение самого движения камеры или предоставление подсказок механизму калибровки. Такая интерактивная калибровка называется «доработкой».
Большинство приложений для перемещения совпадений основаны на схожих алгоритмах отслеживания и калибровки. Часто получаемые первоначальные результаты схожи. Однако каждая программа имеет различные возможности уточнения.
На съемочной площадке отслеживание камеры в реальном времени становится все более широко используемым в производстве художественных фильмов, чтобы элементы, которые будут вставлены в пост-продакшн, можно было визуализировать вживую на съемочной площадке. Это дает преимущество, помогая режиссеру и актерам улучшить игру, фактически видя расширения декораций или персонажей CGI во время (или вскоре после) съемок. Им больше не нужно играть на зеленых/синих экранах и не иметь обратной связи о результате. Ссылки на линию глаз, позиционирование актера и взаимодействие CGI теперь можно делать вживую на съемочной площадке, давая всем уверенность в том, что кадр правильный и будет работать в окончательной композиции.
Для этого необходимо объединить ряд компонентов от аппаратного обеспечения до программного обеспечения. Программное обеспечение собирает все 360 степеней свободы движения камеры, а также метаданные, такие как элементы масштабирования, фокусировки, диафрагмы и затвора от множества различных типов аппаратных устройств, начиная от систем захвата движения, таких как система на основе активных светодиодных маркеров от PhaseSpace, пассивных систем, таких как Motion Analysis или Vicon, и заканчивая вращающимися энкодерами, установленными на операторских кранах и тележках, таких как Technocranes и Fisher Dollies, или инерционными и гироскопическими датчиками, установленными непосредственно на камере. Существуют также лазерные системы слежения, которые можно прикрепить к чему угодно, включая Steadicams, для отслеживания камер на улице под дождем на расстоянии до 30 метров.
Камеры управления движением также могут использоваться в качестве источника или назначения для данных 3D-камеры. Движения камеры можно визуализировать заранее, а затем преобразовать в данные управления движением, которые направляют операторский кран точно по тому же пути, что и 3D-камера. Кодеры на кране также можно использовать в режиме реального времени на съемочной площадке для обратного процесса создания живых 3D-камер. Данные можно отправлять в любое количество различных 3D-приложений, что позволяет 3D-художникам изменять свои элементы CGI в реальном времени на съемочной площадке. Главное преимущество заключается в том, что проблемы дизайна декораций, которые впоследствии могли бы потребовать много времени и средств, можно решить во время съемочного процесса, гарантируя, что актеры «впишутся» в каждую среду для каждого кадра, пока они играют.
Системы захвата движения в реальном времени также могут быть смешаны с потоком данных камеры, что позволяет вставлять виртуальных персонажей в живые кадры на съемочной площадке. Это значительно улучшает взаимодействие между реальными и нереальными персонажами, управляемыми MoCap, поскольку и пластина, и CGI-исполнения могут быть поставлены вместе.