Захват движения (иногда называемый mo-cap или mocap , для краткости) — это процесс записи движения объектов или людей. Он используется в военных , развлекательных , спортивных , медицинских целях, а также для проверки компьютерного зрения [3] и роботов. [4] В кинопроизводстве и разработке видеоигр это относится к записи действий актеров-людей и использованию этой информации для анимации цифровых моделей персонажей в 2D или 3D компьютерной анимации . [5] [6] [7] Когда он включает в себя лицо и пальцы или фиксирует тонкие выражения лиц, его часто называют захватом производительности . [8] Во многих областях захват движения иногда называют отслеживанием движения , но в кинопроизводстве и играх отслеживание движения обычно больше соответствует движению .
В сеансах захвата движения движения одного или нескольких актеров считываются много раз в секунду. В то время как ранние методы использовали изображения с нескольких камер для расчета трехмерных позиций , [9] часто целью захвата движения является запись только движений актера, а не его внешнего вида. Эти данные анимации сопоставляются с 3D-моделью, так что модель выполняет те же действия, что и актер. Этот процесс можно противопоставить более старой технике ротоскопирования .
Движения камеры также могут быть захвачены, так что виртуальная камера в сцене будет панорамировать, наклонять или перемещаться по сцене, управляемая оператором камеры во время выступления актера. В то же время система захвата движения может захватывать камеру и реквизит, а также игру актера. Это позволяет сгенерированным компьютером персонажам, изображениям и декорациям иметь ту же перспективу, что и видеоизображения с камеры. Компьютер обрабатывает данные и отображает движения актера, обеспечивая желаемые положения камеры относительно объектов декорации. Получение задним числом данных о движении камеры из отснятого материала называется совпадающим перемещением или отслеживанием камеры .
Первый виртуальный актер, анимированный с помощью захвата движения, был создан в 1993 году Дидье Пурселем и его командой в Грибуй. Он включал в себя «клонирование» тела и лица французского комика Ришара Борингера, а затем их анимацию с помощью еще только зарождающихся инструментов захвата движения.
Захват движения имеет ряд преимуществ перед традиционной компьютерной анимацией 3D-модели:
Существует множество приложений Motion Capture. Наиболее распространены видеоигры, фильмы и захват движения, однако существует исследовательское применение этой технологии, используемое в Университете Пердью при разработке робототехники.
Видеоигры часто используют захват движения для анимации спортсменов, мастеров боевых искусств и других игровых персонажей. [13] [14] Еще в 1988 году ранняя форма захвата движения использовалась для анимации 2D- персонажей видеоигры Martech Vixen (в исполнении модели Коринн Рассел ) [15] и 2D - аркадных файтингов Magical Company . игра «Кукольный спектакль «Последний апостол» (для анимации оцифрованных спрайтов ). [16] Захват движения позже использовался, в частности, для анимации 3D- моделей персонажей в аркадных играх Sega Model Virtua Fighter (1993) [17] [18] и Virtua Fighter 2 (1994). [19] В середине 1995 года у разработчика и издателя Acclaim Entertainment была собственная студия захвата движений, встроенная в штаб-квартиру. [14] В аркадной игре Soul Edge от Namco 1995 года для захвата движения использовались маркеры пассивной оптической системы. [20] Технология захвата движений также используется в анимационных играх, таких как Crash Bandicoot от Naughty Dog , Spyro the Dragon от Insomniac Games и Dinosaur Planet от Rare .
Позиционирование в помещении — еще одно применение оптических систем захвата движения. Исследователи робототехники часто используют системы захвата движения при разработке и оценке алгоритмов и оборудования управления, оценки и восприятия. На открытом воздухе можно достичь точности до сантиметра, используя глобальную навигационную спутниковую систему ( GNSS ) вместе с кинематикой реального времени ( RTK ). Однако это значительно снижается, когда спутники не находятся в прямой видимости, например, в помещении. Большинство поставщиков, продающих коммерческие системы оптического захвата движения, предоставляют доступные драйверы с открытым исходным кодом, которые интегрируются с популярной платформой Robotic Operating System ( ROS ), что позволяет исследователям и разработчикам эффективно тестировать своих роботов во время разработки.
В области исследований в области воздушной робототехники системы захвата движения также широко используются для позиционирования. Правила использования воздушного пространства ограничивают возможность проведения экспериментов на открытом воздухе с использованием беспилотных авиационных систем ( БПЛА ). Тесты в помещении могут обойти такие ограничения. Многие лаборатории и учреждения по всему миру построили для этой цели камеры для захвата движения в помещениях.
В Университете Пердью на территории исследовательско-испытательного центра Purdue UAS (PURT) находится крупнейшая в мире внутренняя система захвата движения. PURT занимается исследованиями БПЛА и обеспечивает отслеживание объёма в 600 000 кубических футов с помощью 60 камер захвата движения. [21] Оптическая система захвата движения способна отслеживать цели в своем объеме с точностью до миллиметра, эффективно обеспечивая истинное положение целей — «наземную истину» в исследованиях и разработках. Результаты, полученные от других датчиков и алгоритмов, затем можно сравнить с наземными данными, чтобы оценить их эффективность.
В фильмах захват движения используется для CGI-эффектов, в некоторых случаях заменяющих традиционную cel-анимацию, и для полностью CGI- существ, таких как Горлум , Мумия , Кинг-Конг , Дэйви Джонс из «Пиратов Карибского моря» , На'ви из фильма «Аватар» и Клу из «Трон: Наследие» . Великий гоблин, три каменных тролля , многие орки и гоблины в фильме 2012 года « Хоббит: Нежданное путешествие » и Смауг были созданы с помощью захвата движения.
В фильме «Бэтмен навсегда» (1995) для некоторых визуальных эффектов использовался захват движения. Warner Bros. приобрела технологию захвата движения у компании Acclaim Entertainment, производящей аркадные видеоигры , для использования в производстве фильма. [22] В одноименной видеоигре Acclaim 1995 года также использовалась та же технология захвата движения для анимации оцифрованной спрайтовой графики. [23]
«Звездные войны: Эпизод I – Скрытая угроза» (1999) был первым полнометражным фильмом, в котором главный герой был создан с использованием захвата движения (этим персонажем был Джа-Джа Бинкс , которого играет Ахмед Бест ), а также индийско - американский фильм «Синдбад: За гранью». «Завеса туманов» (2000) была первым полнометражным фильмом, снятым в основном с помощью захвата движения, хотя над фильмом, вышедшим очень ограниченным тиражом, также работали многие аниматоры персонажей. «Последняя фантазия: Духи внутри» 2001 годастал первым широко выпущенным фильмом, снятым с использованием технологии захвата движения. Несмотря на низкие кассовые сборы, сторонники технологии захвата движения обратили на нее внимание. Total Recall уже использовала эту технику в сцене с рентгеновским сканером и скелетами.
«Властелин колец: Две башни» стал первым художественным фильмом, в котором использовалась система захвата движения в реальном времени. Этот метод транслировал действия актера Энди Серкиса в сгенерированный компьютером образ Голлума / Смеагола во время его исполнения. [24]
Storymind Entertainment, независимая украинская студия, создала видеоигру-шутер от третьего лица в стиле нео-нуар под названием My Eyes On You, используя захват движения для анимации главного героя, Джордана Адалиена, а также неигровых персонажей. [25]
Из трех номинантов на премию «Оскар» 2006 года за лучший анимационный полнометражный фильм двое (« Дом монстров» и победитель «Счастливые ноги ») использовали захват движения, и только « Тачки» Disney · Pixar были анимированы без захвата движения. В финальных титрах фильма студии Pixar «Рататуй» появляется штамп с надписью «100% чистая анимация – без захвата движения!»
С 2001 года захват движения широко используется для имитации или приближения к внешнему виду театра с живыми актерами с помощью почти фотореалистичных цифровых моделей персонажей. В «Полярном экспрессе» использовался захват движения, чтобы Том Хэнкс мог выступать в роли нескольких отдельных цифровых персонажей (в которых он также озвучивал). Адаптация 2007 года саги «Беовульф» с анимационными цифровыми персонажами, внешний вид которых частично был основан на актерах, обеспечивших свои движения и голоса. Очень популярный «Аватар» Джеймса Кэмерона использовал эту технику для создания На'ви, населяющих Пандору. Используя эту технику, компания Walt Disney выпустила «Рождественскую историю» Роберта Земекиса . В 2007 году Disney приобрела компанию ImageMovers Digital Земекиса (которая производит фильмы с захватом движения), но затем закрыла ее в 2011 году после провала в прокате фильма «Марсу нужны мамы ».
Телесериалы, полностью созданные с использованием анимации захвата движения, включают Laflaque в Канаде, Sprookjesboom и Cafe de Wereld [nl] в Нидерландах и Headcases в Великобритании.
Поставщики виртуальной и дополненной реальности , такие как uSens и Gestigon , позволяют пользователям взаимодействовать с цифровым контентом в реальном времени, фиксируя движения рук. Это может быть полезно для обучающих симуляций, тестов визуального восприятия или выполнения виртуальных прохождений в 3D-среде. Технология захвата движения часто используется в цифровых кукольных системах для управления компьютерными персонажами в реальном времени.
Анализ походки — одно из применений захвата движения в клинической медицине . Методы позволяют врачам оценивать движения человека по нескольким биомеханическим факторам, часто одновременно передавая эту информацию в реальном времени в аналитическое программное обеспечение.
Некоторые клиники физиотерапии используют захват движения как объективный способ количественной оценки прогресса пациента. [26]
Во время съемок « Аватара » Джеймса Кэмерона все сцены, связанные с этим процессом, были сняты в режиме реального времени с использованием программного обеспечения Autodesk MotionBuilder для рендеринга изображения на экране, что позволило режиссеру и актеру увидеть, как они будут выглядеть в фильме, что облегчило задачу. снять фильм так, как его увидит зритель. Этот метод позволял видеть виды и ракурсы, недоступные для предварительно визуализированной анимации. Кэмерон так гордился своими результатами, что пригласил на съемочную площадку Стивена Спилберга и Джорджа Лукаса , чтобы увидеть систему в действии.
В «Мстителях» от Marvel Марк Руффало использовал захват движения, чтобы сыграть своего персонажа Халка , а не использовать только компьютерную графику, как в предыдущих фильмах, что сделало Руффало первым актером, сыгравшим как человеческую, так и Халковую версию Брюса Бэннера.
Программное обеспечение FaceRig использует технологию распознавания лиц от ULSee.Inc для отображения выражений лица игрока и технологию отслеживания тела от Perception Neuron для сопоставления движений тела с движениями 2D- или 3D-персонажа на экране. [27] [28]
Во время конференции разработчиков игр 2016 года в Сан-Франциско Epic Games продемонстрировала захват движения всего тела вживую в Unreal Engine. Вся сцена из грядущей игры Hellblade о женщине-воине по имени Сенуа была визуализирована в реальном времени. Основной доклад [29] стал результатом сотрудничества Unreal Engine , Ninja Theory , 3Lateral , Cubic Motion , IKinema и Xsens .
В 2020 году двукратный олимпийский чемпион по фигурному катанию Юдзуру Ханю окончил университет Васэда . В своей диссертации, используя данные 31 датчика, размещенного на его теле, он проанализировал свои прыжки. Он оценил использование технологий как для улучшения системы подсчета очков, так и для того, чтобы помочь фигуристам улучшить технику прыжков. [30] [31] В марте 2021 года краткое содержание диссертации было опубликовано в академическом журнале. [32]
Отслеживание движения или захват движения началось как инструмент фотограмметрического анализа в исследованиях биомеханики в 1970-х и 1980-х годах, а по мере развития технологии распространилось на образование, обучение, спорт и, в последнее время, на компьютерную анимацию для телевидения , кино и видеоигр . С 20 века исполнителю приходится носить маркеры возле каждого сустава, чтобы определять движение по положениям или углам между маркерами. Акустические, инерционные, светодиодные , магнитные или отражающие маркеры или их комбинации отслеживаются, оптимально по меньшей мере в два раза превышая частоту желаемого движения. Разрешение системы важно как для пространственного разрешения, так и для временного разрешения, поскольку размытие изображения в движении вызывает почти те же проблемы, что и низкое разрешение. С начала 21 века – в связи с быстрым развитием технологий – были разработаны новые методы. Большинство современных систем способны извлечь силуэт исполнителя из фона. После этого все углы суставов рассчитываются путем подгонки математической модели к силуэту. Для движений вы не можете увидеть изменение силуэта. Существуют гибридные системы, которые могут делать и то, и другое (маркер и силуэт), но с меньшим количеством маркеров. [ нужна цитация ] В робототехнике некоторые системы захвата движения основаны на одновременной локализации и картографировании . [33]
Оптические системы используют данные, полученные от датчиков изображения, для триангуляции трехмерного положения объекта между двумя или более камерами, откалиброванными для обеспечения перекрывающихся проекций. Сбор данных традиционно осуществляется с помощью специальных маркеров, прикрепленных к актеру; однако более современные системы способны генерировать точные данные, отслеживая особенности поверхности, динамически определяемые для каждого конкретного объекта. Отслеживание большого количества исполнителей или расширение зоны захвата осуществляется за счет добавления большего количества камер. Эти системы производят данные с тремя степенями свободы для каждого маркера, а информацию о вращении необходимо получать на основе относительной ориентации трех или более маркеров; например, маркеры плеч, локтей и запястий, показывающие угол локтя. Новые гибридные системы объединяют инерционные датчики с оптическими датчиками, чтобы уменьшить окклюзию, увеличить количество пользователей и улучшить возможности отслеживания без необходимости очистки данных вручную. [ нужна цитата ]
В пассивных оптических системах используются маркеры, покрытые световозвращающим материалом для отражения света, генерируемого возле объектива камеры. Порог камеры можно отрегулировать таким образом, чтобы считывались только яркие отражающие маркеры, игнорируя кожу и ткань.
Центр тяжести маркера оценивается как позиция внутри захваченного двумерного изображения. Значение шкалы серого каждого пикселя можно использовать для обеспечения субпиксельной точности путем нахождения центроида гауссианы .
Объект с маркерами, прикрепленными к известным положениям, используется для калибровки камер и определения их положения, а также измеряется искажение объектива каждой камеры. Если две калиброванные камеры видят маркер, можно получить трехмерную фиксацию. Обычно система состоит из от 2 до 48 камер. Существуют системы, состоящие из более чем трехсот камер, чтобы попытаться уменьшить замену маркеров. Для полного охвата объекта съемки и нескольких объектов требуются дополнительные камеры.
У поставщиков есть программное обеспечение для ограничения, позволяющее уменьшить проблему замены маркеров, поскольку все пассивные маркеры выглядят одинаково. В отличие от систем активной маркировки и магнитных систем, пассивные системы не требуют от пользователя ношения проводов или электронного оборудования. [34] Вместо этого сотни резиновых шариков прикреплены светоотражающей лентой, которую необходимо периодически заменять. Маркеры обычно прикрепляются непосредственно к коже (как в биомеханике) или прикрепляются к исполнителю, одетому в костюм из спандекса/лайкры, предназначенный для захвата движения . Системы этого типа могут захватывать большое количество маркеров с частотой кадров, обычно от 120 до 160 кадров в секунду, хотя, снизив разрешение и отслеживая меньшую область интереса, они могут отслеживать скорость до 10 000 кадров в секунду.
Активные оптические системы триангулируют положения, очень быстро освещая один светодиод за раз или несколько светодиодов с помощью программного обеспечения, которое идентифицирует их по относительному положению, что чем-то похоже на небесную навигацию. Вместо того, чтобы отражать свет, генерируемый извне, сами маркеры излучают собственный свет. Поскольку закон обратных квадратов обеспечивает четверть мощности на двукратном расстоянии, это может увеличить расстояния и объем захвата. Это также обеспечивает высокое соотношение сигнал/шум, что приводит к очень низкому джиттеру маркера и, как следствие, к высокому разрешению измерений (часто до 0,1 мм в пределах калиброванного объема).
В сериале «Звездные врата: SG1» были созданы эпизоды с использованием активной оптической системы для визуальных эффектов, позволяющей актеру ходить вокруг реквизита, что затрудняло бы захват движения для других неактивных оптических систем. [ нужна цитата ]
ILM использовала активные маркеры в «Ван Хельсинге» , чтобы позволить запечатлеть летающих невест Дракулы на очень больших наборах, аналогично тому, как Weta использовала активные маркеры в « Восстании планеты обезьян» . Питание каждого маркера может подаваться последовательно синфазно, при этом система захвата обеспечивает уникальную идентификацию каждого маркера для данного кадра захвата за счет результирующей частоты кадров. Возможность идентифицировать каждый маркер таким образом полезна в приложениях реального времени. Альтернативный метод идентификации маркеров — алгоритмический, требующий дополнительной обработки данных.
Также есть возможность найти положение с помощью цветных светодиодных маркеров. В этих системах каждый цвет закреплен за определенной точкой тела.
Одной из первых систем активных маркеров в 1980-х годах была гибридная пассивно-активная система мокапов с вращающимися зеркалами и отражающими маркерами из цветного стекла, в которой использовались линейные матричные детекторы в маске.
Системы активных маркеров можно дополнительно усовершенствовать путем одновременного включения одного маркера или отслеживания нескольких маркеров с течением времени и модуляции амплитуды или ширины импульса для обеспечения идентификации маркера. 12-мегапиксельные модулированные системы с пространственным разрешением демонстрируют более тонкие движения, чем 4-мегапиксельные оптические системы, поскольку имеют более высокое пространственное и временное разрешение. Режиссеры могут видеть игру актера в режиме реального времени и наблюдать за результатами компьютерной графики, созданной с помощью захвата движения. Уникальные идентификаторы маркеров сокращают время обработки, устраняя замену маркеров и обеспечивая гораздо более чистые данные, чем другие технологии. Светодиоды со встроенной обработкой и радиосинхронизацией позволяют захватывать движение на открытом воздухе под прямыми солнечными лучами при скорости от 120 до 960 кадров в секунду благодаря высокоскоростному электронному затвору. Компьютерная обработка модулированных идентификаторов позволяет меньше вручную очищать или фильтровать результаты, что снижает эксплуатационные расходы. Эта более высокая точность и разрешение требует большей обработки, чем пассивные технологии, но дополнительная обработка выполняется на камере для улучшения разрешения посредством субпиксельной или центроидной обработки, обеспечивая как высокое разрешение, так и высокую скорость. Эти системы захвата движения обычно стоят 20 000 долларов за восьмикамерную систему с 12-мегапиксельным пространственным разрешением и частотой 120 Гц с одним актером.
Можно полностью изменить традиционный подход, основанный на высокоскоростных камерах. В таких системах, как Prakash, используются недорогие высокоскоростные проекторы с несколькими светодиодами. Специально созданные мульти-светодиодные ИК-проекторы оптически кодируют пространство. Вместо световозвращающих или активных светоизлучающих диодов (LED) маркеров система использует светочувствительные маркерные метки для декодирования оптических сигналов. Прикрепляя метки с фотодатчиками к точкам сцены, метки могут вычислять не только собственное местоположение каждой точки, но и собственную ориентацию, падающую освещенность и коэффициент отражения.
Эти метки слежения работают в условиях естественного освещения и могут быть незаметно встроены в одежду или другие предметы. Система поддерживает неограниченное количество тегов в сцене, причем каждый тег имеет уникальную идентификацию, что исключает проблемы повторного получения маркера. Поскольку в системе отсутствует высокоскоростная камера и соответствующий высокоскоростной поток изображений, ей требуется значительно меньшая полоса пропускания данных. Теги также предоставляют данные падающего освещения, которые можно использовать для согласования освещения сцены при вставке синтетических элементов. Этот метод кажется идеальным для захвата движения на съемочной площадке или трансляции виртуальных съемок в реальном времени, но еще не проверен.
Технология захвата движения доступна исследователям и ученым уже несколько десятилетий, что позволило по-новому взглянуть на многие области.
Важнейшая часть системы — подводная камера — имеет водонепроницаемый корпус. Корпус имеет покрытие, устойчивое к коррозии и хлору, что делает его идеальным для использования в бассейнах и бассейнах. Есть два типа камер. Промышленные высокоскоростные камеры также можно использовать в качестве инфракрасных камер. Инфракрасные подводные камеры оснащены стробоскопом голубого цвета вместо обычного ИК-света для минимального падения света, а также высокоскоростные камеры со светодиодной подсветкой или с возможностью использования обработки изображения.
Подводная камера обычно способна измерять 15–20 метров в зависимости от качества воды, камеры и типа используемого маркера. Неудивительно, что наилучшая дальность достигается, когда вода прозрачная, и, как всегда, объем измерения также зависит от количества камер. Для различных обстоятельств доступен широкий выбор подводных маркеров.
Разные бассейны требуют разных креплений и приспособлений. Таким образом, все подводные системы захвата движения индивидуально адаптированы к каждой конкретной установке бассейна. Для камер, размещенных в центре бассейна, предусмотрены специально разработанные штативы с присосками.
Новые методы и исследования в области компьютерного зрения приводят к быстрому развитию безмаркерного подхода к захвату движения. Безмаркерные системы, такие как системы, разработанные в Стэнфордском университете , Университете Мэриленда , Массачусетском технологическом институте и Институте Макса Планка , не требуют от испытуемых ношения специального оборудования для отслеживания. Специальные компьютерные алгоритмы разработаны, чтобы позволить системе анализировать несколько потоков оптических входных данных и идентифицировать человеческие формы, разбивая их на составные части для отслеживания. ESC Entertainment, дочерняя компания Warner Brothers Pictures , созданная специально для обеспечения виртуальной кинематографии , включая фотореалистичные цифровые двойники для съемок фильмов «Матрица: Перезагрузка» и «Матрица: Революция» , использовала технику под названием Universal Capture, в которой использовалась установка семи камер и отслеживание оптического потока. всех пикселей во всех двухмерных плоскостях камеры для захвата движения, жестов и выражений лица , что приводит к фотореалистичным результатам.
Традиционно безмаркерное оптическое отслеживание движения используется для отслеживания различных объектов, включая самолеты, ракеты-носители, ракеты и спутники. Многие такие приложения оптического отслеживания движения применяются на открытом воздухе и требуют различных конфигураций объективов и камер. Таким образом, изображения отслеживаемой цели с высоким разрешением могут предоставить больше информации, чем просто данные о движении. Изображение, полученное с помощью системы дальнего слежения НАСА во время фатального запуска космического корабля «Челленджер», предоставило решающие доказательства причины аварии. Системы оптического слежения также используются для идентификации известных космических аппаратов и космического мусора, несмотря на то, что они имеют недостаток по сравнению с радаром, заключающийся в том, что объекты должны отражать или излучать достаточно света. [35]
Система оптического слежения обычно состоит из трех подсистем: системы оптического формирования изображений, механической платформы слежения и компьютера слежения.
Система оптической визуализации отвечает за преобразование света от целевой области в цифровое изображение, которое может обрабатывать компьютер слежения. В зависимости от конструкции системы оптического слежения система оптической визуализации может варьироваться от простой, как стандартная цифровая камера, до такой специализированной, как астрономический телескоп на вершине горы. Спецификация системы оптического формирования изображения определяет верхний предел эффективной дальности действия системы слежения.
Механическая платформа слежения удерживает систему оптического изображения и отвечает за управление системой оптического изображения таким образом, чтобы она всегда указывала на отслеживаемую цель. Динамика механической платформы слежения в сочетании с системой оптического формирования изображения определяет способность системы слежения удерживать цель, которая быстро меняет скорость.
Компьютер слежения отвечает за захват изображений из системы оптической визуализации, анализ изображения для определения положения цели и управление механической платформой слежения за отслеживанием цели. Есть несколько проблем. Во-первых, компьютер слежения должен иметь возможность захватывать изображение с относительно высокой частотой кадров. Это предъявляет требования к пропускной способности оборудования для захвата изображений. Вторая проблема заключается в том, что программное обеспечение для обработки изображений должно иметь возможность извлекать целевое изображение из его фона и вычислять его положение. Для этой задачи разработано несколько хрестоматийных алгоритмов обработки изображений. Эту проблему можно упростить, если система слежения может рассчитывать на определенные характеристики, общие для всех целей, которые она будет отслеживать. Следующая проблема — управление платформой слежения за целью. Это типичная проблема проектирования системы управления, а не задача, которая включает в себя моделирование динамики системы и разработку контроллеров для ее управления. Однако это станет проблемой, если платформа отслеживания, с которой должна работать система, не предназначена для работы в режиме реального времени.
Программное обеспечение, на котором работают такие системы, также настроено под соответствующие аппаратные компоненты. Одним из примеров такого программного обеспечения является OpticTracker, который управляет компьютеризированными телескопами для отслеживания движущихся объектов на больших расстояниях, таких как самолеты и спутники. Другой вариант — программное обеспечение SimiShape, которое также можно использовать гибридно в сочетании с маркерами.
Камеры RGB-D, такие как Kinect, захватывают как цветные, так и глубинные изображения. Объединив два изображения, можно получить цветные 3D- вокселы , что позволяет захватывать трехмерные движения человека и поверхность человека в режиме реального времени.
Из-за использования камеры с одним обзором движения обычно зашумлены. Были предложены методы машинного обучения для автоматического восстановления таких шумных движений в движения более высокого качества с использованием таких методов, как ленивое обучение [36] и модели Гаусса . [37] Такой метод генерирует достаточно точное движение для серьезных приложений, таких как эргономическая оценка. [38]
Технология инерционного захвата движения [39] основана на миниатюрных инерционных датчиках, биомеханических моделях и алгоритмах объединения датчиков . [40] Данные о движении инерционных датчиков ( инерциальная система наведения ) часто передаются по беспроводной сети на компьютер, где движение записывается или просматривается. В большинстве инерциальных систем для измерения скорости вращения используются инерциальные измерительные блоки (IMU), содержащие комбинацию гироскопа, магнитометра и акселерометра. Эти вращения преобразуются в скелет в программном обеспечении. Как и в случае с оптическими маркерами, чем больше датчиков IMU, тем естественнее данные. Для относительных движений не нужны никакие внешние камеры, излучатели или маркеры, хотя при желании они должны определять абсолютное положение пользователя. Системы инерционного захвата движения фиксируют все шесть степеней свободы движения тела человека в режиме реального времени и могут предоставить ограниченную информацию о направлении, если они включают в себя датчик магнитного подшипника, хотя они имеют гораздо более низкое разрешение и чувствительны к электромагнитным шумам. Преимущества использования инерциальных систем включают: захват в различных средах, включая ограниченное пространство, отсутствие решения, портативность и большие площади захвата. К недостаткам относятся более низкая точность позиционирования и позиционный дрейф, которые со временем могут усугубляться. Эти системы похожи на контроллеры Wii, но более чувствительны, имеют большее разрешение и скорость обновления. Они могут точно измерить направление на землю с точностью до градуса. Популярность инерциальных систем среди разработчиков игр растет, [10] главным образом из-за быстрой и простой установки, приводящей к быстрому конвейеру. Сейчас доступен широкий выбор костюмов от различных производителей, а базовые цены варьируются от 1000 до 80 000 долларов США.
Механические системы захвата движения напрямую отслеживают углы сочленений тела и часто называются экзоскелетными системами захвата движения из-за способа крепления датчиков к телу. Исполнитель прикрепляет скелетоподобную структуру к своему телу, а по мере его движения - шарнирные механические части, измеряя относительное движение исполнителя. Механические системы захвата движения представляют собой относительно недорогие, свободные от окклюзии и беспроводные (непривязанные) системы реального времени с неограниченным объемом захвата. Обычно они представляют собой жесткие конструкции из сочлененных прямых металлических или пластиковых стержней, соединенных между собой потенциометрами, шарнирно соединенными в шарнирах корпуса. Эти костюмы обычно стоят от 25 000 до 75 000 долларов плюс внешняя система абсолютного позиционирования. Некоторые костюмы обеспечивают ограниченную силовую обратную связь или тактильное воздействие.
Магнитные системы рассчитывают положение и ориентацию по относительному магнитному потоку трех ортогональных катушек как на передатчике, так и на каждом приемнике. [41] Относительная интенсивность напряжения или тока трех катушек позволяет этим системам рассчитывать как дальность, так и ориентацию путем тщательного картирования объема отслеживания. Выход датчика составляет 6DOF , что обеспечивает полезные результаты, полученные с использованием двух третей количества маркеров, требуемых в оптических системах; один на плече и один на предплечье для определения положения и угла локтя. [ нужна ссылка ] Маркеры не закрываются неметаллическими объектами, но чувствительны к магнитным и электрическим помехам от металлических объектов в окружающей среде, таких как арматура (стальные арматурные стержни в бетоне) или проводка, которые влияют на магнитное поле, а также электрические источники, такие как мониторы, светильники, кабели и компьютеры. Реакция датчика нелинейна, особенно по краям области захвата. Проводка от датчиков имеет тенденцию исключать экстремальные движения. [41] С помощью магнитных систем можно отслеживать результаты сеанса захвата движения в режиме реального времени. [41] Объемы захвата для магнитных систем значительно меньше, чем для оптических систем. В магнитных системах существует различие между системами переменного тока (AC) и постоянным током (DC): в системе постоянного тока используются прямоугольные импульсы, в системах переменного тока — синусоидальные импульсы.
Датчики растяжения представляют собой гибкие конденсаторы с параллельными пластинами, которые измеряют растяжение, изгиб, сдвиг или давление и обычно изготавливаются из силикона. Когда датчик растягивается или сжимается, значение его емкости меняется. Эти данные могут передаваться через Bluetooth или напрямую и использоваться для обнаружения мельчайших изменений в движении тела. Датчики растяжения не подвержены воздействию магнитных помех и не засоряются. Растяжимость датчиков также означает, что они не страдают от позиционного дрейфа, который характерен для инерциальных систем. С другой стороны, растягивающиеся датчики из-за свойств материалов их подложек и проводящих материалов страдают от относительно низкого отношения сигнал/шум , что требует фильтрации или машинного обучения , чтобы их можно было использовать для захвата движения. Эти решения приводят к более высокой задержке по сравнению с альтернативными датчиками.
Большинство традиционных поставщиков оборудования для захвата движения предусматривают тот или иной тип захвата лица с низким разрешением, используя от 32 до 300 маркеров с активной или пассивной системой маркеров. Все эти решения ограничены временем, необходимым для нанесения маркеров, калибровки позиций и обработки данных. В конечном итоге технология также ограничивает их разрешение и уровень качества исходной продукции.
Высокоточный захват движений лица, также известный как захват движений , представляет собой следующее поколение точности и используется для записи более сложных движений человеческого лица, чтобы уловить более высокую степень эмоций. Захват лица в настоящее время разделяется на несколько различных лагерей, включая традиционные данные захвата движения, решения на основе смешивания форм, захват фактической топологии лица актера и собственные системы.
Двумя основными методами являются стационарные системы с множеством камер, фиксирующих выражения лица под разными углами, и использование программного обеспечения, такого как решатель стереосетей из OpenCV, для создания трехмерной сетки поверхности или использования световых массивов для расчета нормалей поверхности из изменение яркости при изменении источника света, положения камеры или того и другого. Эти методы, как правило, ограничиваются только разрешением объекта разрешением камеры, видимым размером объекта и количеством камер. Если лицо пользователя занимает 50 процентов рабочей области камеры и камера имеет мегапиксельное разрешение, то при сравнении кадров можно обнаружить субмиллиметровые движения лица. Недавняя работа сосредоточена на увеличении частоты кадров и создании оптического потока, чтобы можно было перенаправить движения на другие лица, сгенерированные компьютером, а не просто на создании 3D-сетки актера и его выражений.
Системы радиочастотного позиционирования становятся все более жизнеспособными, поскольку более высокочастотные радиочастотные устройства обеспечивают большую точность, чем старые технологии, такие как радар . Скорость света составляет 30 сантиметров в наносекунду (миллиардную долю секунды), поэтому радиочастотный сигнал с частотой 10 гигагерц (миллиардов циклов в секунду) обеспечивает точность около 3 сантиметров. Измеряя амплитуду до четверти длины волны, можно улучшить разрешение примерно до 8 мм. Для достижения разрешения оптических систем необходимы частоты 50 гигагерц и выше, которые почти так же зависят от прямой видимости и так же легко блокируются, как и оптические системы. Многолучевое распространение и переизлучение сигнала, вероятно, вызовут дополнительные проблемы, но эти технологии будут идеальными для отслеживания больших объемов с разумной точностью, поскольку требуемое разрешение на расстоянии 100 метров вряд ли будет таким высоким. Многие учёные [ кто? ] считают, что радиочастота никогда не обеспечит точность, необходимую для захвата движения.
В 2015 году исследователи из Массачусетского технологического института заявили, что создали систему, которая отслеживает движение с помощью радиочастотных сигналов. [42]
Был разработан альтернативный подход, при котором актеру предоставляется неограниченная зона для прогулок за счет использования вращающейся сферы, похожей на шар хомяка , которая содержит внутренние датчики, регистрирующие угловые движения, что устраняет необходимость во внешних камерах и другом оборудовании. Несмотря на то, что эта технология потенциально может привести к гораздо более низким затратам на захват движения, базовая сфера способна записывать только одно непрерывное направление. Для регистрации чего-либо большего потребуются дополнительные датчики, надетые на человека.
Другой альтернативой является использование платформы движения 6DOF (степеней свободы) со встроенной всенаправленной беговой дорожкой с оптическим захватом движения высокого разрешения для достижения того же эффекта. Захваченный человек может ходить по неограниченной территории, преодолевая различные неровности местности. Приложения включают медицинскую реабилитацию для тренировки баланса, биомеханические исследования и виртуальную реальность. [ нужна цитата ]
При трехмерной оценке позы позу актера можно реконструировать по изображению или карте глубины . [43]