Захват движения (иногда называемый mo-cap или mocap , для краткости) — это процесс записи движения объектов или людей. Он используется в военных , развлекательных , спортивных , медицинских приложениях, а также для проверки компьютерного зрения [3] и роботов. [4] В фильмах, телевизионных шоу и видеоиграх захват движения относится к записи действий человеческих актеров и использованию этой информации для анимации цифровых моделей персонажей в 2D или 3D компьютерной анимации . [5] [6] [7] Когда он включает в себя лицо и пальцы или захватывает едва заметные выражения, его часто называют захватом производительности . [8] Во многих областях захват движения иногда называют отслеживанием движения , но в кинопроизводстве и играх отслеживание движения обычно больше относится к соответствию движению .
В сеансах захвата движения движения одного или нескольких актеров сэмплируются много раз в секунду. В то время как ранние методы использовали изображения с нескольких камер для расчета трехмерных положений , [9] часто целью захвата движения является запись только движений актера, а не его внешнего вида. Эти данные анимации сопоставляются с трехмерной моделью, так что модель выполняет те же действия, что и актер. Этот процесс можно сравнить со старой техникой ротоскопирования .
Движения камеры также могут быть захвачены движением, так что виртуальная камера в сцене будет панорамировать, наклонять или перемещаться по сцене, управляемая оператором камеры, пока актер играет. В то же время система захвата движения может захватывать камеру и реквизит, а также игру актера. Это позволяет сгенерированным компьютером персонажам, изображениям и декорациям иметь ту же перспективу, что и видеоизображения с камеры. Компьютер обрабатывает данные и отображает движения актера, предоставляя желаемые положения камеры с точки зрения объектов в декорациях. Ретроактивное получение данных о движении камеры из захваченных кадров известно как согласованное перемещение или отслеживание камеры .
Первый виртуальный актер, анимированный с помощью захвата движения, был создан в 1993 году Дидье Пурселем и его командой в Грибуйе. Он включал в себя «клонирование» тела и лица французского комика Ришара Боренже, а затем анимацию его с помощью еще только зарождающихся инструментов захвата движения.
Захват движения имеет ряд преимуществ по сравнению с традиционной компьютерной анимацией 3D-модели:
Существует множество приложений захвата движения. Наиболее распространенными являются видеоигры, фильмы и захват движения, однако существует исследовательское приложение для этой технологии, используемое в Университете Пердью в разработке робототехники.
Видеоигры часто используют захват движения для анимации спортсменов, мастеров боевых искусств и других игровых персонажей. [13] [14] Еще в 1988 году ранняя форма захвата движения использовалась для анимации 2D- персонажей видеоигры Vixen от Martech (исполненной моделью Коринн Рассел ) [15] и 2D-аркадной файтинг-игры Last Apostle Puppet Show от Magical Company (для анимации оцифрованных спрайтов ). [16] Позднее захват движения в частности использовался для анимации 3D- моделей персонажей в аркадных играх Virtua Fighter (1993) [17] [18] и Virtua Fighter 2 (1994) от Sega Model . [19] В середине 1995 года у разработчика/издателя Acclaim Entertainment была собственная внутренняя студия захвата движения, встроенная в его штаб-квартиру. [14] В аркадной игре Soul Edge от Namco 1995 года использовались маркеры пассивной оптической системы для захвата движения. [20] Захват движения также использует спортсменов в основанных на них анимационных играх, таких как Crash Bandicoot от Naughty Dog , Spyro the Dragon от Insomniac Games и Dinosaur Planet от Rare .
Позиционирование в помещении — еще одно применение оптических систем захвата движения. Исследователи робототехники часто используют системы захвата движения при разработке и оценке алгоритмов и оборудования управления, оценки и восприятия. На открытом воздухе можно достичь точности до сантиметра, используя Глобальную навигационную спутниковую систему ( GNSS ) вместе с кинематикой в реальном времени ( RTK ). Однако это значительно снижается, когда нет прямой видимости со спутниками — например, в помещениях. Большинство поставщиков, продающих коммерческие оптические системы захвата движения, предоставляют доступные драйверы с открытым исходным кодом, которые интегрируются с популярной платформой Robotic Operating System ( ROS ), что позволяет исследователям и разработчикам эффективно тестировать своих роботов во время разработки.
В области исследований воздушной робототехники системы захвата движения широко используются также для позиционирования. Правила использования воздушного пространства ограничивают то, насколько осуществимые эксперименты на открытом воздухе могут проводиться с беспилотными летательными системами ( БПЛА ). Испытания в помещении могут обойти такие ограничения. Многие лаборатории и институты по всему миру построили внутренние объемы захвата движения для этой цели.
Университет Пердью располагает крупнейшей в мире системой захвата движения в помещении, внутри исследовательского и испытательного центра Purdue UAS (PURT). PURT посвящен исследованиям UAS и обеспечивает объем отслеживания 600 000 кубических футов с использованием 60 камер захвата движения. [21] Оптическая система захвата движения способна отслеживать цели в своем объеме с точностью до миллиметра, эффективно предоставляя истинное положение целей — базовую линию «наземной истины» в исследованиях и разработках. Результаты, полученные с других датчиков и алгоритмов, затем можно сравнить с данными наземной истины, чтобы оценить их производительность.
Фильмы используют захват движения для CGI-эффектов, в некоторых случаях заменяя традиционную целевую анимацию, и для полностью CGI- существ, таких как Голлум , Мумия , Кинг-Конг , Дэви Джонс из «Пиратов Карибского моря» , На'ви из фильма «Аватар » и Клу из «Трон: Наследие» . Великий Гоблин, три каменных тролля , многие орки и гоблины в фильме 2012 года «Хоббит: Нежданное путешествие » и Смауг были созданы с помощью захвата движения.
В фильме «Бэтмен навсегда » (1995) для некоторых визуальных эффектов использовалась технология захвата движения. Warner Bros. приобрела технологию захвата движения у компании Acclaim Entertainment , занимающейся аркадными видеоиграми, для использования в производстве фильма. [22] Видеоигра Acclaim 1995 года с таким же названием также использовала ту же технологию захвата движения для анимации оцифрованной спрайтовой графики. [23]
«Звездные войны: Эпизод I – Скрытая угроза» (1999) стал первым полнометражным фильмом, в котором главный герой был создан с помощью захвата движения (этим персонажем был Джа-Джа Бинкс , которого сыграл Ахмед Бест ), а индийско - американский фильм «Синдбад: За завесой туманов» (2000) стал первым полнометражным фильмом, снятым в основном с помощью захвата движения, хотя над фильмом также работали многие аниматоры персонажей, и его релиз был очень ограничен. «Последняя фантазия: Духи внутри» 2001 года стала первым широко выпущенным фильмом, снятым с помощью технологии захвата движения. Несмотря на плохие кассовые сборы, сторонники технологии захвата движения обратили на нее внимание. « Вспомнить все» уже использовал эту технику в сцене с рентгеновским сканером и скелетами.
«Властелин колец: Две крепости» стал первым художественным фильмом, в котором использовалась система захвата движения в реальном времени. Этот метод транслировал действия актера Энди Серкиса в компьютерную оболочку Голлума/Смеагола по мере ее выполнения. [24]
Storymind Entertainment, независимая украинская студия, создала неонуарную видеоигру-шутер от третьего лица под названием My Eyes On You, используя захват движения для анимации своего главного героя, Джордана Адалиена, а также неигровых персонажей. [25]
Из трех номинантов на премию «Оскар» 2006 года за лучший анимационный фильм , два номинанта ( Monster House и победитель «Делай ноги» ) использовали захват движения, и только «Тачки » Disney · Pixar были анимированы без захвата движения. В финальных титрах фильма «Рататуй» Pixar есть штамп, маркирующий фильм как «100% подлинная анимация – без захвата движения!»
С 2001 года захват движения широко использовался для имитации или приближения внешнего вида живого театра с почти фотореалистичными цифровыми моделями персонажей. «Полярный экспресс» использовал захват движения, чтобы позволить Тому Хэнксу выступать в качестве нескольких отдельных цифровых персонажей (в которых он также озвучивал их). Адаптация саги «Беовульф» 2007 года анимировала цифровых персонажей, внешность которых была частично основана на актерах, которые озвучивали и двигались. Очень популярный «Аватар » Джеймса Кэмерона использовал эту технику для создания На'ви, населяющих Пандору. Компания Walt Disney Company сняла «Рождественскую песнь » Роберта Земекиса , используя эту технику. В 2007 году Disney приобрела ImageMovers Digital Земекиса (которая производит фильмы с захватом движения), но затем закрыла ее в 2011 году после кассового провала фильма «Марс нуждается в мамах» .
Телесериалы, полностью созданные с использованием анимации захвата движения, включают Laflaque в Канаде, Sprookjesboom и Cafe de Wereld [nl] в Нидерландах, а также Headcases в Великобритании.
Поставщики виртуальной реальности и дополненной реальности , такие как uSens и Gestigon , позволяют пользователям взаимодействовать с цифровым контентом в реальном времени, захватывая движения рук. Это может быть полезно для учебных симуляций, тестов визуального восприятия или выполнения виртуальных проходов в 3D-среде. Технология захвата движения часто используется в цифровых кукольных системах для управления компьютерными персонажами в реальном времени.
Анализ походки — одно из применений захвата движения в клинической медицине . Методы позволяют врачам оценивать движение человека по нескольким биомеханическим факторам, часто одновременно передавая эту информацию в режиме реального времени в аналитическое программное обеспечение.
Одним из инновационных применений является определение позы, которое может помочь пациентам в период послеоперационного восстановления или реабилитации после травм. Этот подход обеспечивает непрерывный мониторинг, руководство в реальном времени и индивидуально разработанные программы для улучшения результатов лечения пациентов. [26]
Некоторые клиники физиотерапии используют захват движения как объективный способ количественной оценки прогресса пациента. [27]
Во время съемок фильма «Аватар» Джеймса Кэмерона все сцены, включающие захват движения, были направлены в реальном времени с использованием программного обеспечения Autodesk MotionBuilder для рендеринга изображения на экране, что позволило режиссеру и актеру увидеть, как они будут выглядеть в фильме, что упростило режиссуру фильма так, как его увидит зритель. Этот метод позволял использовать виды и углы, которые невозможно получить с помощью предварительно отрендеренной анимации. Кэмерон был настолько горд своими результатами, что пригласил Стивена Спилберга и Джорджа Лукаса на съемочную площадку, чтобы увидеть систему в действии.
В фильме Marvel «Мстители » Марк Руффало использовал захват движения, чтобы сыграть своего персонажа Халка , а не просто использовать компьютерную графику, как в предыдущих фильмах. Это сделало Руффало первым актером, сыгравшим и человеческую, и Халковую версии Брюса Бэннера.
Программное обеспечение FaceRig использует технологию распознавания лиц от ULSee.Inc для отображения выражений лица игрока и технологию отслеживания тела от Perception Neuron для отображения движения тела на двухмерном или трехмерном движении персонажа на экране. [28] [29]
Во время Game Developers Conference 2016 в Сан-Франциско Epic Games продемонстрировала полноценный захват движения вживую в Unreal Engine. Вся сцена из предстоящей игры Hellblade о женщине-воине по имени Сенуа была визуализирована в реальном времени. Основной доклад [30] был посвящен сотрудничеству Unreal Engine , Ninja Theory , 3Lateral , Cubic Motion , IKinema и Xsens .
В 2020 году двукратный олимпийский чемпион по фигурному катанию Юдзуру Ханю окончил Университет Васэда . В своей диссертации, используя данные, полученные с 31 датчика, размещенного на его теле, он проанализировал свои прыжки. Он оценил использование технологий как для улучшения системы подсчета очков, так и для помощи фигуристам в улучшении техники прыжков. [31] [32] В марте 2021 года резюме диссертации было опубликовано в академическом журнале. [33]
Отслеживание движения или захват движения начинались как фотограмметрический инструмент анализа в исследованиях биомеханики в 1970-х и 1980-х годах и распространились на образование, обучение, спорт и недавно компьютерную анимацию для телевидения , кино и видеоигр по мере развития технологии. С 20-го века исполнитель должен носить маркеры возле каждого сустава, чтобы идентифицировать движение по положениям или углам между маркерами. Акустические, инерционные, светодиодные , магнитные или отражающие маркеры или комбинации любых из них отслеживаются, оптимально по крайней мере в два раза чаще желаемого движения. Разрешение системы важно как для пространственного разрешения, так и для временного разрешения, поскольку размытость движения вызывает почти те же проблемы, что и низкое разрешение. С начала 21-го века - и из-за быстрого роста технологий - были разработаны новые методы. Большинство современных систем могут извлекать силуэт исполнителя из фона. После этого все углы суставов рассчитываются путем встраивания математической модели в силуэт. Для движений, которые не позволяют увидеть изменение силуэта, существуют гибридные системы, которые могут делать и то, и другое (маркер и силуэт), но с меньшим количеством маркеров. [ необходима цитата ] В робототехнике некоторые системы захвата движения основаны на одновременной локализации и картировании . [34]
Оптические системы используют данные, полученные с датчиков изображения, для триангуляции трехмерного положения субъекта между двумя или более камерами, откалиброванными для обеспечения перекрывающихся проекций. Сбор данных традиционно реализуется с использованием специальных маркеров, прикрепленных к актеру; однако более современные системы способны генерировать точные данные, отслеживая особенности поверхности, определяемые динамически для каждого конкретного субъекта. Отслеживание большого количества исполнителей или расширение области захвата достигается путем добавления большего количества камер. Эти системы производят данные с тремя степенями свободы для каждого маркера, а вращательная информация должна быть выведена из относительной ориентации трех или более маркеров; например, маркеры плеча, локтя и запястья обеспечивают угол локтя. Более новые гибридные системы объединяют инерционные датчики с оптическими датчиками для уменьшения окклюзии, увеличения количества пользователей и улучшения возможности отслеживания без необходимости ручной очистки данных. [35]
Пассивные оптические системы используют маркеры, покрытые световозвращающим материалом, для отражения света, который генерируется вблизи объектива камеры. Порог камеры можно настроить так, чтобы были отобраны только яркие отражающие маркеры, игнорируя кожу и ткань.
Центроид маркера оценивается как позиция в пределах захваченного двумерного изображения. Значение оттенков серого каждого пикселя может быть использовано для обеспечения субпиксельной точности путем нахождения центроида гауссианы .
Объект с маркерами, прикрепленными в известных положениях, используется для калибровки камер и получения их положений, а также измеряется искажение объектива каждой камеры. Если две откалиброванные камеры видят маркер, можно получить трехмерное исправление. Обычно система состоит из примерно 2–48 камер. Существуют системы из более чем трехсот камер, чтобы попытаться уменьшить подмену маркеров. Дополнительные камеры требуются для полного покрытия вокруг объекта съемки и нескольких объектов.
Поставщики имеют программное обеспечение для ограничения, чтобы уменьшить проблему подмены маркеров, поскольку все пассивные маркеры кажутся идентичными. В отличие от активных маркерных систем и магнитных систем, пассивные системы не требуют от пользователя носить провода или электронное оборудование. [36] Вместо этого сотни резиновых шариков прикреплены светоотражающей лентой, которую необходимо периодически заменять. Маркеры обычно крепятся непосредственно к коже (как в биомеханике), или они прикрепляются липучкой к исполнителю, одетому в костюм из спандекса/лайкры на все тело, разработанный специально для захвата движения . Этот тип системы может захватывать большое количество маркеров с частотой кадров, обычно около 120-160 кадров в секунду, хотя, снижая разрешение и отслеживая меньшую область интереса, они могут отслеживать до 10 000 кадров в секунду.
Активные оптические системы триангулируют позиции, очень быстро освещая один светодиод за раз или несколько светодиодов с программным обеспечением для их идентификации по их относительному положению, что несколько похоже на навигацию по небесным объектам. Вместо того, чтобы отражать свет, который генерируется снаружи, сами маркеры питаются для излучения собственного света. Поскольку закон обратных квадратов обеспечивает четверть мощности на расстоянии, удвоенном по величине, это может увеличить расстояния и объем для захвата. Это также обеспечивает высокое отношение сигнал/шум, что приводит к очень низкому дрожанию маркера и, как следствие, высокому разрешению измерения (часто до 0,1 мм в пределах калиброванного объема).
В сериале «Звёздные врата: ЗВ1» эпизоды были созданы с использованием активной оптической системы для визуальных эффектов, позволяющей актёру ходить вокруг реквизита, который затруднил бы захват движения для других неактивных оптических систем. [ необходима цитата ]
ILM использовала активные маркеры в «Ван Хельсинге», чтобы обеспечить захват летающих невест Дракулы на очень больших площадках, подобно использованию Weta активных маркеров в « Восстании планеты обезьян» . Питание каждого маркера может подаваться последовательно в фазе, при этом система захвата обеспечивает уникальную идентификацию каждого маркера для данного кадра захвата за счет результирующей частоты кадров. Возможность идентифицировать каждый маркер таким образом полезна в приложениях реального времени. Альтернативный метод идентификации маркеров заключается в том, чтобы сделать это алгоритмически, что требует дополнительной обработки данных.
Также есть возможность найти положение с помощью цветных светодиодных маркеров. В этих системах каждый цвет соответствует определенной точке тела.
Одной из первых активных систем маркеров в 1980-х годах была гибридная пассивно-активная система захвата движений с вращающимися зеркалами и цветными стеклянными отражающими маркерами, в которой использовались замаскированные линейные матричные детекторы.
Активные системы маркеров могут быть дополнительно усовершенствованы путем включения одного маркера за раз или отслеживания нескольких маркеров с течением времени и модуляции амплитуды или ширины импульса для предоставления идентификатора маркера. Модулированные системы с пространственным разрешением 12 мегапикселей показывают более тонкие движения, чем оптические системы с 4 мегапикселями, имея как более высокое пространственное, так и временное разрешение. Режиссеры могут видеть игру актера в реальном времени и наблюдать результаты на персонаже CG, управляемом захватом движения. Уникальные идентификаторы маркеров сокращают оборот, исключая замену маркеров и предоставляя гораздо более чистые данные, чем другие технологии. Светодиоды со встроенной обработкой и радиосинхронизацией позволяют захватывать движение на открытом воздухе под прямыми солнечными лучами, захватывая при этом со скоростью от 120 до 960 кадров в секунду благодаря высокоскоростному электронному затвору. Компьютерная обработка модулированных идентификаторов позволяет меньше очищать вручную или фильтровать результаты для снижения эксплуатационных расходов. Эта более высокая точность и разрешение требуют большей обработки, чем пассивные технологии, но дополнительная обработка выполняется на камере для улучшения разрешения с помощью субпиксельной или центроидной обработки, обеспечивая как высокое разрешение, так и высокую скорость. Такие системы захвата движения обычно стоят 20 000 долларов за систему из восьми камер с пространственным разрешением 12 мегапикселей и частотой 120 Гц с одним актером.
Можно полностью изменить традиционный подход, основанный на высокоскоростных камерах. Такие системы, как Prakash, используют недорогие многосветодиодные высокоскоростные проекторы. Специально разработанные многосветодиодные ИК-проекторы оптически кодируют пространство. Вместо светоотражающих или активных светодиодных маркеров система использует светочувствительные маркерные метки для декодирования оптических сигналов. Прикрепляя метки с фотодатчиками к точкам сцены, метки могут вычислять не только свои собственные местоположения каждой точки, но и свою собственную ориентацию, падающее освещение и отражательную способность.
Эти метки отслеживания работают в условиях естественного освещения и могут быть незаметно встроены в одежду или другие объекты. Система поддерживает неограниченное количество меток в сцене, причем каждая метка уникально идентифицируется для устранения проблем повторного захвата маркера. Поскольку система устраняет высокоскоростную камеру и соответствующий высокоскоростной поток изображений, ей требуется значительно меньшая пропускная способность данных. Метки также предоставляют данные о падающем освещении, которые можно использовать для сопоставления освещения сцены при вставке синтетических элементов. Эта техника кажется идеальной для захвата движения на съемочной площадке или трансляции виртуальных декораций в реальном времени, но ее еще предстоит доказать.
Технология захвата движения доступна исследователям и ученым уже несколько десятилетий, что дало новый взгляд на многие области.
Основная часть системы, подводная камера, имеет водонепроницаемый корпус. Корпус имеет покрытие, устойчивое к коррозии и хлору, что делает его идеальным для использования в бассейнах и лужах. Существует два типа камер. Промышленные высокоскоростные камеры также могут использоваться как инфракрасные камеры. Инфракрасные подводные камеры поставляются с синим световым стробоскопом вместо типичного ИК-света для минимального спада под водой, а высокоскоростные камеры со светодиодным светом или с возможностью использования обработки изображений.
Подводная камера обычно способна измерять 15–20 метров в зависимости от качества воды, камеры и типа используемого маркера. Неудивительно, что наилучший диапазон достигается, когда вода чистая, и, как всегда, объем измерения также зависит от количества камер. Доступен ряд подводных маркеров для разных обстоятельств.
Для разных бассейнов требуются разные крепления и приспособления. Поэтому все системы подводного захвата движения специально разработаны для каждого конкретного бассейна. Для камер, размещенных в центре бассейна, предусмотрены специально разработанные штативы с присосками.
Новые методы и исследования в области компьютерного зрения ведут к быстрому развитию подхода без маркеров к захвату движения. Системы без маркеров, такие как разработанные в Стэнфордском университете , Мэрилендском университете , Массачусетском технологическом институте и Институте Макса Планка , не требуют от субъектов носить специальное оборудование для отслеживания. Специальные компьютерные алгоритмы разработаны, чтобы позволить системе анализировать множественные потоки оптического ввода и идентифицировать человеческие формы, разбивая их на составные части для отслеживания. ESC Entertainment, дочерняя компания Warner Brothers Pictures, созданная специально для обеспечения виртуальной кинематографии , включая фотореалистичные цифровые двойники для съемок фильмов «Матрица: Перезагрузка» и «Матрица: Революция» , использовала технику под названием «Универсальный захват», которая использовала настройку из 7 камер и отслеживание оптического потока всех пикселей по всем 2-D плоскостям камер для захвата движения, жестов и выражения лица , что приводит к фотореалистичным результатам.
Традиционно оптическое отслеживание движения без маркеров используется для отслеживания различных объектов, включая самолеты, ракеты-носители, ракеты и спутники. Многие такие приложения оптического отслеживания движения происходят на открытом воздухе, требуя различных конфигураций объектива и камеры. Изображения отслеживаемой цели с высоким разрешением могут, таким образом, предоставить больше информации, чем просто данные о движении. Изображение, полученное от системы дальнего слежения НАСА во время рокового запуска космического челнока Challenger, предоставило важные доказательства о причине аварии. Оптические системы слежения также используются для идентификации известных космических аппаратов и космического мусора, несмотря на тот факт, что они имеют недостаток по сравнению с радаром, заключающийся в том, что объекты должны отражать или излучать достаточно света. [37]
Оптическая система слежения обычно состоит из трех подсистем: оптической системы формирования изображений, механической платформы слежения и компьютера слежения.
Оптическая система формирования изображения отвечает за преобразование света из целевой области в цифровое изображение, которое может обрабатываться компьютером слежения. В зависимости от конструкции оптической системы слежения, оптическая система формирования изображения может варьироваться от такой простой, как стандартная цифровая камера, до такой специализированной, как астрономический телескоп на вершине горы. Спецификация оптической системы формирования изображения определяет верхний предел эффективного диапазона системы слежения.
Механическая платформа слежения удерживает оптическую систему визуализации и отвечает за управление оптической системой визуализации таким образом, чтобы она всегда указывала на отслеживаемую цель. Динамика механической платформы слежения в сочетании с оптической системой визуализации определяет способность системы слежения удерживать захват на цели, которая быстро меняет скорость.
Отслеживающий компьютер отвечает за захват изображений с оптической системы формирования изображений, анализ изображения для извлечения положения цели и управление механической платформой отслеживания для сопровождения цели. Существует несколько проблем. Во-первых, отслеживающий компьютер должен иметь возможность захватывать изображение с относительно высокой частотой кадров. Это предъявляет требования к пропускной способности оборудования для захвата изображения. Вторая проблема заключается в том, что программное обеспечение для обработки изображений должно иметь возможность извлекать изображение цели из ее фона и вычислять ее положение. Для этой задачи разработано несколько алгоритмов обработки изображений из учебников. Эту проблему можно упростить, если система отслеживания может ожидать определенные характеристики, которые являются общими для всех целей, которые она будет отслеживать. Следующая проблема в дальнейшем — управление платформой отслеживания для сопровождения цели. Это типичная проблема проектирования системы управления, а не задача, которая включает моделирование динамики системы и проектирование контроллеров для ее управления. Однако это станет проблемой, если платформа отслеживания, с которой должна работать система, не предназначена для работы в режиме реального времени.
Программное обеспечение, которое управляет такими системами, также настраивается для соответствующих аппаратных компонентов. Одним из примеров такого программного обеспечения является OpticTracker, которое управляет компьютеризированными телескопами для отслеживания движущихся объектов на больших расстояниях, таких как самолеты и спутники. Другим вариантом является программное обеспечение SimiShape, которое также может использоваться гибридно в сочетании с маркерами.
RGB-D камеры, такие как Kinect, захватывают как цветные, так и глубинные изображения. Объединяя два изображения, можно захватить 3D цветные воксели , что позволяет захватывать движение 3D человеческого движения и человеческой поверхности в реальном времени.
Из-за использования одноракурсной камеры захваченные движения обычно шумные. Были предложены методы машинного обучения для автоматической реконструкции таких шумных движений в более качественные, используя такие методы, как ленивое обучение [38] и гауссовские модели. [39] Такой метод генерирует достаточно точное движение для серьезных приложений, таких как эргономическая оценка. [40]
Технология захвата инерциального движения [41] основана на миниатюрных инерциальных датчиках, биомеханических моделях и алгоритмах слияния датчиков . [42] Данные о движении инерциальных датчиков ( инерциальная система наведения ) часто передаются по беспроводной связи на компьютер, где движение записывается или просматривается. Большинство инерциальных систем используют инерциальные измерительные блоки (IMU), содержащие комбинацию гироскопа, магнитометра и акселерометра, для измерения скоростей вращения. Эти вращения преобразуются в скелет в программном обеспечении. Подобно оптическим маркерам, чем больше датчиков IMU, тем естественнее данные. Для относительных движений не нужны внешние камеры, излучатели или маркеры, хотя они требуются для указания абсолютного положения пользователя, если это необходимо. Системы захвата инерциального движения захватывают все шесть степеней свободы движения тела человека в режиме реального времени и могут давать ограниченную информацию о направлении, если они включают датчик магнитного подшипника, хотя они имеют гораздо более низкое разрешение и восприимчивы к электромагнитному шуму. Преимущества использования инерциальных систем включают: захват в различных средах, включая ограниченные пространства, отсутствие решения, портативность и большие области захвата. Недостатки включают в себя более низкую точность позиционирования и позиционный дрейф, которые могут усугубляться со временем. Эти системы похожи на контроллеры Wii, но более чувствительны и имеют большее разрешение и частоту обновления. Они могут точно измерять направление на землю с точностью до градуса. Популярность инерциальных систем растет среди разработчиков игр [10] , в основном из-за быстрой и простой настройки, что приводит к быстрому конвейеру. В настоящее время доступен ряд костюмов от различных производителей, а базовые цены варьируются от 1000 до 80 000 долларов США.
Механические системы захвата движения напрямую отслеживают углы суставов тела и часто называются экзоскелетными системами захвата движения из-за способа прикрепления датчиков к телу. Исполнитель прикрепляет скелетоподобную структуру к своему телу, и по мере того, как он двигается, то же делают и сочлененные механические части, измеряя относительное движение исполнителя. Механические системы захвата движения — это работающие в режиме реального времени, относительно недорогие, свободные от окклюзии и беспроводные (непривязанные) системы, которые имеют неограниченный объем захвата. Как правило, они представляют собой жесткие конструкции из сочлененных прямых металлических или пластиковых стержней, соединенных вместе потенциометрами, которые сочленяются в суставах тела. Эти костюмы, как правило, стоят от 25 000 до 75 000 долларов плюс внешняя система абсолютного позиционирования. Некоторые костюмы обеспечивают ограниченную обратную связь по силе или тактильный ввод.
Магнитные системы вычисляют положение и ориентацию по относительному магнитному потоку трех ортогональных катушек как на передатчике, так и на каждом приемнике. [43] Относительная интенсивность напряжения или тока трех катушек позволяет этим системам вычислять как дальность, так и ориентацию, тщательно отображая объем отслеживания. Выходной сигнал датчика составляет 6DOF , что обеспечивает полезные результаты, полученные с двумя третями количества маркеров, необходимых в оптических системах; один на верхней части руки и один на нижней части руки для положения и угла локтя. [ требуется ссылка ] Маркеры не закрываются неметаллическими объектами, но восприимчивы к магнитным и электрическим помехам от металлических объектов в окружающей среде, таких как арматура (стальные арматурные стержни в бетоне) или проводка, которые влияют на магнитное поле, и электрические источники, такие как мониторы, фонари, кабели и компьютеры. Реакция датчика нелинейна, особенно по направлению к краям области захвата. Проводка от датчиков, как правило, исключает экстремальные движения производительности. [43] С помощью магнитных систем можно отслеживать результаты сеанса захвата движения в реальном времени. [43] Объемы захвата для магнитных систем значительно меньше, чем для оптических систем. В магнитных системах существует различие между системами переменного тока (AC) и постоянного тока (DC): система постоянного тока использует прямоугольные импульсы, система переменного тока использует синусоидальные импульсы.
Датчики растяжения представляют собой гибкие параллельные пластинчатые конденсаторы, которые измеряют растяжение, изгиб, сдвиг или давление и обычно изготавливаются из силикона. Когда датчик растягивается или сжимается, его значение емкости изменяется. Эти данные могут передаваться по Bluetooth или напрямую и использоваться для обнаружения мельчайших изменений в движении тела. Датчики растяжения не подвержены магнитным помехам и свободны от окклюзии. Растягиваемая природа датчиков также означает, что они не страдают от позиционного дрейфа, что является обычным явлением для инерциальных систем. Растягиваемые датчики, с другой стороны, из-за материальных свойств их подложек и проводящих материалов страдают от относительно низкого отношения сигнал/шум , что требует фильтрации или машинного обучения , чтобы сделать их пригодными для захвата движения. Эти решения приводят к более высокой задержке по сравнению с альтернативными датчиками.
Большинство традиционных поставщиков оборудования для захвата движения предоставляют некоторый тип захвата лица с низким разрешением, используя от 32 до 300 маркеров с активной или пассивной системой маркеров. Все эти решения ограничены временем, необходимым для нанесения маркеров, калибровки позиций и обработки данных. В конечном счете, технология также ограничивает их разрешение и уровни качества необработанного вывода.
Высокоточный захват движения лица, также известный как захват производительности , является следующим поколением точности и используется для записи более сложных движений человеческого лица, чтобы захватить более высокие степени эмоций. Захват лица в настоящее время распределяется по нескольким отдельным лагерям, включая традиционные данные захвата движения, решения на основе смешанных форм, захват фактической топологии лица актера и фирменные системы.
Два основных метода — это стационарные системы с массивом камер, которые захватывают выражения лица с разных углов и используют программное обеспечение, такое как решатель стереосеток из OpenCV, для создания трехмерной поверхностной сетки или для использования световых массивов, а также для расчета нормалей поверхности из дисперсии яркости при изменении источника света, положения камеры или и того, и другого. Эти методы, как правило, ограничены только разрешением камеры, видимым размером объекта и количеством камер. Если лицо пользователя занимает 50 процентов рабочей области камеры, а камера имеет мегапиксельное разрешение, то субмиллиметровые движения лица можно обнаружить путем сравнения кадров. Недавние работы сосредоточены на увеличении частоты кадров и выполнении оптического потока, чтобы движения можно было перенацеливать на другие компьютерные лица, а не просто создавать трехмерную сетку актера и его выражения.
Системы радиочастотного позиционирования становятся все более жизнеспособными [ требуется ссылка ] , поскольку более высокочастотные радиочастотные устройства обеспечивают большую точность, чем старые технологии, такие как радары . Скорость света составляет 30 сантиметров в наносекунду (миллиардная доля секунды), поэтому радиочастотный сигнал частотой 10 гигагерц (миллиард циклов в секунду) обеспечивает точность около 3 сантиметров. Измеряя амплитуду до четверти длины волны, можно улучшить разрешение примерно до 8 мм. Для достижения разрешения оптических систем необходимы частоты 50 гигагерц или выше, которые почти так же зависят от прямой видимости и так же легко блокируются, как и оптические системы. Многолучевое распространение и переизлучение сигнала, вероятно, вызовут дополнительные проблемы, но эти технологии будут идеальными для отслеживания больших объемов с разумной точностью, поскольку требуемое разрешение на расстоянии 100 метров, вероятно, не будет таким высоким. Многие ученые [ кто? ] считают, что радиочастота никогда не обеспечит точности, необходимой для захвата движения.
Исследователи из Массачусетского технологического института заявили в 2015 году, что они создали систему, которая отслеживает движение с помощью радиочастотных сигналов. [44]
Был разработан альтернативный подход, в котором актеру предоставляется неограниченная область для ходьбы с помощью вращающейся сферы, похожей на шар для хомяка , которая содержит внутренние датчики, регистрирующие угловые движения, устраняя необходимость во внешних камерах и другом оборудовании. Несмотря на то, что эта технология потенциально может привести к гораздо более низким затратам на захват движения, базовая сфера способна записывать только одно непрерывное направление. Для записи чего-либо большего понадобятся дополнительные датчики, надетые на человека.
Другой альтернативой является использование платформы движения 6DOF (степеней свободы) с интегрированной всенаправленной беговой дорожкой с высоким разрешением оптического захвата движения для достижения того же эффекта. Захваченный человек может ходить в неограниченной области, преодолевая различные неровности. Приложения включают медицинскую реабилитацию для тренировки равновесия, биомеханические исследования и виртуальную реальность. [ необходима цитата ]
При оценке 3D-позы поза актера может быть реконструирована из изображения или карты глубины . [45]