В визуальных эффектах матчевое перемещение — это метод, который позволяет вставлять 2D-элементы, другие элементы живого действия или компьютерную графику компьютерной графики в кадры живого действия с правильным положением, масштабом, ориентацией и движением относительно сфотографированных объектов в кадре . Это также позволяет удалять элементы живого действия из кадра живого действия. Этот термин широко используется для описания нескольких различных методов извлечения информации о движении камеры из движущегося изображения . Иногда называемое отслеживанием движения или решением камеры , перемещение совпадений связано с ротоскопированием и фотограмметрией . Движение матча иногда путают с захватом движения , который записывает движение объектов, часто людей, а не камеры. Обычно для захвата движения требуются специальные камеры и датчики, а также контролируемая среда (хотя недавние разработки, такие как камера Kinect и Face ID от Apple , начали менять это). Матчевое движение также отличается от фотографии с управлением движением , в которой для выполнения нескольких одинаковых движений камеры используется механическое оборудование. Матчевое перемещение, напротив, обычно представляет собой программную технологию, применяемую постфактум к обычным материалам, записанным в неконтролируемых условиях с помощью обычной камеры.
Совпадающее перемещение в основном используется для отслеживания движения камеры во время кадра, чтобы идентичное движение виртуальной камеры можно было воспроизвести в программе 3D-анимации . Когда новые анимированные элементы будут скомпонованы обратно в исходный кадр живого действия , они появятся в идеально подобранной перспективе и, следовательно, будут выглядеть цельными.
Поскольку перемещение спичек в основном основано на программном обеспечении, оно становится все более доступным по мере снижения стоимости компьютерной мощности; в настоящее время это признанный инструмент создания визуальных эффектов и даже используется в прямых телевизионных трансляциях как часть создания таких эффектов, как желтая виртуальная нижняя линия в американском футболе .
Процесс перемещения спичек можно разбить на два этапа.
Первым шагом является выявление и отслеживание особенностей. Объект — это определенная точка изображения, которую алгоритм отслеживания может зафиксировать и проследить через несколько кадров (SynthEyes называет их бликами ) . Часто объекты выбираются потому, что они представляют собой яркие/темные пятна, края или углы, в зависимости от конкретного алгоритма отслеживания. Популярные программы используют сопоставление шаблонов на основе оценки NCC и ошибки RMS . Важно то, что каждая особенность представляет собой определенную точку на поверхности реального объекта. По мере отслеживания объекта он становится серией двумерных координат, которые представляют положение объекта в серии кадров. Эта серия называется «треком». После создания треков их можно сразу использовать для отслеживания двухмерного движения или затем использовать для расчета трехмерной информации.
Второй шаг включает в себя решение трехмерного движения. Этот процесс пытается определить движение камеры путем решения обратной проекции двумерных путей положения камеры. Этот процесс называется калибровкой .
Когда точка на поверхности трехмерного объекта фотографируется, ее положение в двухмерном кадре можно рассчитать с помощью функции трехмерной проекции . Мы можем рассматривать камеру как абстракцию, содержащую все параметры, необходимые для моделирования камеры в реальном или виртуальном мире. Следовательно, камера — это вектор, который включает в себя в качестве элементов положение камеры, ее ориентацию, фокусное расстояние и другие возможные параметры, определяющие, как камера фокусирует свет на плоскости пленки . То, как именно построен этот вектор , не важно, пока существует совместимая проекционная функция P.
Функция проекции P принимает в качестве входных данных вектор камеры (обозначается camera ) и другой вектор — положение трехмерной точки в пространстве (обозначается xyz ) и возвращает двухмерную точку, которая была спроецирована на плоскость перед камерой ( обозначается XY ). Мы можем выразить это:
Функция проекции преобразует трехмерную точку и удаляет компонент глубины. Не зная глубины компонента, функция обратной проекции может возвращать только набор возможных 3D-точек, которые образуют линию, исходящую из узловой точки объектива камеры и проходящую через проецируемую 2D-точку. Мы можем выразить обратную проекцию как:
или
Допустим, мы находимся в ситуации, когда отслеживаемые объекты находятся на поверхности твердого объекта, например здания. Поскольку мы знаем, что реальная точка xyz будет оставаться в одном и том же месте реального пространства от одного кадра изображения к другому, мы можем сделать эту точку постоянной, даже если мы не знаем, где она находится. Так:
где индексы i и j относятся к произвольным кадрам анализируемого кадра. Поскольку это всегда верно, мы знаем, что:
Поскольку значение XY i было определено для всех кадров, в которых объект отслеживается программой отслеживания, мы можем решить функцию обратной проекции между любыми двумя кадрами, если P'( камера i , XY i ) ∩ P'( камера j , XY j ) — небольшой набор. Набор возможных векторов камеры , которые решают уравнение в точках i и j (обозначено C ij ).
Итак, существует набор пар векторов камеры C ij , для которых пересечение обратных проекций двух точек XY i и XY j представляет собой непустое, надеюсь, небольшое множество с центром в теоретической стационарной точке xyz .
Другими словами, представьте себе черную точку, плавающую в белой пустоте, и камеру. Для любого положения в пространстве, в котором мы размещаем камеру, существует набор соответствующих параметров (ориентация, фокусное расстояние и т. д.), которые будут фотографировать эту черную точку точно так же. Поскольку C имеет бесконечное количество членов, одной точки никогда не бывает достаточно для определения фактического положения камеры.
Когда мы начнем добавлять точки отслеживания, мы сможем сузить возможные положения камеры. Например, если у нас есть набор точек { xyz i,0 ,..., xyz i,n } и { xyz j,0 ,..., xyz j,n }, где i и j по-прежнему относятся к кадрам и n — это индекс одной из многих точек отслеживания, за которыми мы следуем. Мы можем получить набор наборов пар векторов камер {C i,j,0 ,...,C i,j,n }.
Таким образом, несколько дорожек позволяют нам сузить возможные параметры камеры. Набор возможных подходящих параметров камеры F представляет собой пересечение всех наборов:
Чем меньше элементов в этом наборе, тем ближе мы можем подойти к извлечению реальных параметров камеры. В действительности ошибки, возникающие в процессе отслеживания, требуют более статистического подхода к определению хорошего вектора камеры для каждого кадра, часто используются алгоритмы оптимизации и настройка блоков связок . К сожалению, в векторе камеры так много элементов, что даже если каждый параметр свободен, мы все равно не сможем сузить F до одной возможности, независимо от того, сколько функций мы отслеживаем. Чем больше мы сможем ограничить различные параметры, особенно фокусное расстояние, тем легче будет найти решение.
В целом, процесс 3D-решения — это процесс сужения возможных решений движения камеры до тех пор, пока мы не достигнем того, которое соответствует потребностям композиции, которую мы пытаемся создать.
После того как положение камеры определено для каждого кадра, можно оценить положение каждого объекта в реальном пространстве с помощью обратной проекции. Полученный набор точек часто называют облаком точек из-за его внешнего вида, напоминающего туманность . Поскольку облака точек часто раскрывают некоторую форму трехмерной сцены, их можно использовать в качестве эталона для размещения синтетических объектов или в программе реконструкции для создания трехмерной версии фактической сцены.
Камера и облако точек должны быть ориентированы в каком-то пространстве. Поэтому после завершения калибровки необходимо определить плоскость заземления. Обычно это единичная плоскость, определяющая масштаб, ориентацию и происхождение проецируемого пространства. Некоторые программы пытаются сделать это автоматически, хотя чаще эту плоскость определяет пользователь. Поскольку сдвиг плоскостей земли представляет собой простое преобразование всех точек, фактическое положение плоскости на самом деле является вопросом удобства.
3D-реконструкция — это интерактивный процесс воссоздания сфотографированного объекта с использованием данных отслеживания. Этот метод относится к фотограмметрии . В данном конкретном случае мы имеем в виду использование программного обеспечения для перемещения спичек для восстановления сцены из случайных кадров.
Программа реконструкции может создавать трехмерные объекты, имитирующие реальные объекты сфотографированной сцены. Используя данные из облака точек и оценку пользователя, программа может создать виртуальный объект, а затем извлечь текстуру из отснятого материала, которую можно спроецировать на виртуальный объект в качестве текстуры поверхности.
Матчевый ход имеет две формы. Некоторые программы композитинга, такие как Shake , Adobe Substance, Adobe After Effects и Discreet Combustion , включают возможности двумерного отслеживания движения . Двумерное сопоставление при перемещении отслеживает только объекты в двухмерном пространстве, не беспокоясь о движении камеры или искажениях. Его можно использовать для добавления эффектов размытия изображения или стабилизации изображения к отснятому материалу. Этой техники достаточно для создания реалистичных эффектов, когда исходный материал не содержит серьезных изменений в перспективе камеры. Например, рекламный щит на заднем плане кадра часто можно заменить с помощью двухмерного отслеживания.
Инструменты перемещения трехмерных совпадений позволяют экстраполировать трехмерную информацию из двухмерной фотографии. Эти инструменты позволяют пользователям определять движение камеры и другие относительные движения на основе произвольных отснятых материалов. Информацию отслеживания можно передать в программное обеспечение компьютерной графики и использовать для анимации виртуальных камер и моделируемых объектов. Программы, способные перемещать трехмерные совпадения, включают:
Существует два метода извлечения информации о движении из изображения. Интерактивное отслеживание, иногда называемое «контролируемым отслеживанием», предполагает, что пользователь следит за объектами на протяжении всей сцены. Автоматическое отслеживание основано на компьютерных алгоритмах для определения и отслеживания особенностей снимка. Отслеживаемые перемещения точек затем используются для расчета «решения». Это решение состоит из всей информации о камере, такой как движение, фокусное расстояние и искажения объектива .
Преимущество автоматического отслеживания состоит в том, что компьютер может создавать множество точек быстрее, чем человек. Большое количество точек можно проанализировать со статистикой , чтобы определить наиболее достоверные данные. Недостаток автоматического отслеживания состоит в том, что в зависимости от алгоритма компьютер может легко запутаться, отслеживая объекты по сцене. Методы автоматического слежения особенно неэффективны на снимках, связанных с быстрым движением камеры, например, при работе с камерой с рук, а также на снимках с повторяющимися объектами, такими как небольшие плитки или любой другой регулярный узор, где одна область не очень различима. Этот метод отслеживания также страдает, когда кадр содержит большое количество размытия в движении, что затрудняет различение мелких деталей.
Преимущество интерактивного отслеживания заключается в том, что пользователь-человек может следить за объектами на протяжении всей сцены и не будет сбит с толку объектами, которые не являются жесткими. Пользователь-человек также может определить, где находятся объекты в кадре, который страдает от размытия в движении; Автоматическому трекеру чрезвычайно сложно правильно найти объекты с большим размытием в движении. Недостаток интерактивного отслеживания заключается в том, что пользователь неизбежно будет допускать небольшие ошибки при следовании за объектами по сцене, что может привести к так называемому «дрейфу».
Отслеживание движения профессионального уровня обычно достигается с помощью комбинации интерактивных и автоматических методов. Художник может удалять явно аномальные точки и использовать «подложки отслеживания», чтобы блокировать вводящую в заблуждение информацию из процесса автоматического отслеживания. Матовая подложка также используется для покрытия областей кадра, содержащих движущиеся элементы, такие как актер или вращающийся потолочный вентилятор.
Подложка отслеживания по своей концепции похожа на подложку мусора, используемую в композиции перемещающейся подложки . Однако цель подложки отслеживания состоит в том, чтобы не допустить использования алгоритмами отслеживания ненадежных, нерелевантных или нежестких точек отслеживания. Например, в сцене, где актер идет на заднем плане, художник по трекингу захочет использовать только фон для отслеживания камеры через сцену, зная, что движение актера нарушит расчеты. В этом случае художник создаст подложку отслеживания, которая будет следовать за актером по сцене, блокируя эту информацию из процесса отслеживания.
Поскольку часто существует несколько возможных решений процесса калибровки и может накапливаться значительное количество ошибок, последний шаг для согласования перемещения часто включает в себя уточнение решения вручную. Это может означать изменение самого движения камеры или подсказки механизму калибровки. Такая интерактивная калибровка называется «уточнением».
Большинство приложений для перемещения спичек основаны на схожих алгоритмах отслеживания и калибровки. Зачастую первоначальные результаты совпадают. Однако каждая программа имеет разные возможности очистки.
В производстве художественных фильмов все шире используется отслеживание камеры в режиме реального времени, позволяющее визуализировать элементы, которые будут вставлены в пост-продакшн, вживую на съемочной площадке. Преимущество этого подхода заключается в том, что он помогает режиссеру и актерам улучшить исполнение, фактически видя расширения декораций или персонажей компьютерной графики во время (или вскоре после) съемок. Им больше не нужно работать на зеленом/синем экране и не получать обратной связи о результате. Ориентиры на линии глаз, расположение актеров и взаимодействие с компьютерной графикой теперь можно выполнять вживую на съемочной площадке, давая всем уверенность в том, что кадр правильный и будет работать в окончательной композиции.
Для этого необходимо объединить ряд компонентов, от аппаратного обеспечения до программного обеспечения. Программное обеспечение собирает все 360 градусов свободы движения камеры, а также метаданные, такие как масштабирование, фокус, диафрагма и элементы затвора, от множества различных типов аппаратных устройств, начиная от систем захвата движения, таких как система на основе активных светодиодных маркеров от PhaseSpace, пассивные системы, такие как Motion Analysis или Vicon, поворотные энкодеры, установленные на операторских кранах и тележках, таких как Technocranes и Fisher Dollies, или инерционные и гироскопические датчики, установленные непосредственно на камере. Существуют также лазерные системы слежения, которые можно прикрепить к чему угодно, включая стедикамы, для отслеживания камер снаружи под дождем на расстоянии до 30 метров.
Камеры управления движением также можно использовать в качестве источника или назначения для данных 3D-камеры. Движения камеры можно заранее визуализировать, а затем преобразовать в данные управления движением, которые управляют краном камеры точно по тому же пути, что и 3D-камера. Кодеры на кране также можно использовать в режиме реального времени на съемочной площадке, чтобы обратить этот процесс вспять и создать живые 3D-камеры. Данные можно отправлять в любое количество различных 3D-приложений, что позволяет 3D-художникам изменять свои CGI-элементы прямо на съемочной площадке. Основное преимущество заключается в том, что проблемы дизайна декораций, которые в дальнейшем могут потребовать много времени и средств, можно решить в процессе съемок, гарантируя, что актеры «вписываются» в каждую среду для каждого кадра во время своих выступлений.
Системы захвата движения в реальном времени также можно смешивать с потоком данных камеры, позволяя вставлять виртуальных персонажей в живые кадры на съемочной площадке. Это значительно улучшает взаимодействие между реальными и нереальными персонажами, управляемыми MoCap, поскольку хореография как пластинки, так и CGI может ставиться вместе.