В области распознавания жестов и обработки изображений отслеживание пальцев — это метод высокого разрешения, разработанный в 1969 году, который используется для определения последовательного положения пальцев пользователя и, следовательно, представления объектов в 3D . Кроме того, метод отслеживания пальцев используется в качестве инструмента компьютера, выступая в качестве внешнего устройства в нашем компьютере, аналогично клавиатуре и мыши .
Система отслеживания пальцев ориентирована на взаимодействие пользователя с данными, где пользователь взаимодействует с виртуальными данными, обрабатывая с помощью пальцев объем трехмерного объекта, который мы хотим представить. Эта система родилась на основе проблемы взаимодействия человека и компьютера . Цель состоит в том, чтобы сделать коммуникацию между ними и использование жестов и движений рук более интуитивными. Были созданы системы отслеживания пальцев. Эти системы отслеживают в реальном времени положение в 3D и 2D ориентации пальцев каждого маркера и используют интуитивные движения рук и жесты для взаимодействия.
Существует множество вариантов реализации отслеживания пальцев, в основном те, которые используются с интерфейсом или без него .
В этой системе в основном используются инерциальные и оптические системы захвата движения .
Системы захвата инерционного движения способны захватывать движение пальцев, считывая вращение каждого сегмента пальца в трехмерном пространстве. Применяя эти вращения к кинематической цепи , можно отслеживать всю человеческую руку в реальном времени, без окклюзии и беспроводной связи.
Системы захвата инерционного движения руки, такие как, например, перчатки Synertial mocap, используют крошечные датчики на основе IMU , расположенные на каждом сегменте пальца. Для точного захвата требуется использовать не менее 16 датчиков. Существуют также модели перчаток mocap с меньшим количеством датчиков (13/7 датчиков), для которых остальная часть сегментов пальца интерполируется (проксимальные сегменты) или экстраполируется (дистальные сегменты). Датчики обычно вставляются в текстильную перчатку, что делает использование датчиков более удобным.
Инерционные датчики могут захватывать движение во всех 3 направлениях, что означает, что можно обнаружить сгибание, разгибание и отведение пальцев и большого пальца.
Поскольку инерционные датчики отслеживают только вращения, вращения должны быть применены к некоторому скелету руки, чтобы получить правильный вывод. Чтобы получить точный вывод (например, чтобы иметь возможность коснуться кончиков пальцев), скелет руки должен быть правильно масштабирован, чтобы соответствовать реальной руке. Для этой цели можно использовать ручное измерение руки или автоматическое извлечение измерений.
Помимо отслеживания пальцев, многим пользователям требуется позиционное отслеживание всей руки в пространстве. Для этой цели можно использовать несколько методов:
Инерциальные датчики имеют два основных недостатка, связанных с отслеживанием пальцев:
выполняется отслеживание местоположения маркеров и узоров в 3D, система идентифицирует их и маркирует каждый маркер в соответствии с положением пальцев пользователя. Координаты в 3D меток этих маркеров производятся в реальном времени с другими приложениями.
Некоторые оптические системы , такие как Vicon или ART, способны фиксировать движение руки с помощью маркеров. В каждой руке у нас есть маркер на каждый «рабочий» палец. Три камеры с высоким разрешением отвечают за захват каждого маркера и измерение его положения. Это будет производиться только тогда, когда камера сможет их увидеть. Визуальные маркеры, обычно известные как кольца или браслеты, используются для распознавания жестов пользователя в 3D . Кроме того, как указывает классификация, эти кольца действуют как интерфейс в 2D .
Визуальная окклюзия — очень интуитивный метод, позволяющий получить более реалистичную точку зрения на виртуальную информацию в трех измерениях. Интерфейсы предоставляют более естественные методы взаимодействия в 3D по сравнению с базой 6.
Маркеры работают через точки взаимодействия , которые обычно уже установлены, и у нас есть знания о регионах. Из-за этого нет необходимости следить за каждым маркером все время; многоточечные датчики можно обрабатывать таким же образом, когда есть только один рабочий указатель. Чтобы обнаружить такие указатели через взаимодействие, мы включаем ультразвуковые инфракрасные датчики. Тот факт, что многие указатели могут обрабатываться как один, решает проблемы. В случае, когда мы подвергаемся работе в сложных условиях, таких как плохое освещение , размытость изображения , деформация маркера или окклюзия. Система позволяет следить за объектом, даже если некоторые маркеры не видны. Из-за того, что пространственные отношения всех маркеров известны, положения маркеров, которые не видны, можно вычислить, используя известные маркеры. Существует несколько методов обнаружения маркеров, таких как методы маркеров границ и предполагаемых маркеров.
Из-за перекрытия маркера во время захвата отслеживание пальцев является наиболее сложной частью для оптических систем захвата движения (таких как Vicon, Optitrack, ART, ..). Пользователи оптических систем захвата движений утверждают, что большая часть работы по постобработке обычно связана с захватом пальцев. Поскольку инерциальные системы захвата движений (при правильной калибровке) в основном не нуждаются в постобработке, типичным использованием для высококлассных пользователей захвата движений является слияние данных из инерциальных систем захвата движений (пальцы) с оптическими системами захвата движений (тело + положение в пространстве).
Процесс слияния данных захвата движений основан на сопоставлении временных кодов каждого кадра для источника данных инерциальной и оптической систем захвата движений. Таким образом, любое стороннее программное обеспечение (например, MotionBuilder, Blender) может применять движения из двух источников независимо от используемого метода захвата движений.
Системы захвата движения с датчиком растяжения используют гибкие параллельные пластинчатые конденсаторы для обнаружения различий в емкости, когда датчики растягиваются, изгибаются, сдвигаются или подвергаются давлению. Датчики растяжения обычно изготавливаются на основе силикона, что означает, что они не подвержены магнитным помехам, окклюзии или позиционному дрейфу (обычно в инерциальных системах). Надежные и гибкие качества этих датчиков обеспечивают высокоточное отслеживание пальцев и используются в перчатках для захвата движений, производимых StretchSense. [2]
Отслеживание сочлененной руки проще и менее затратно, чем многие методы, поскольку для него нужна только одна камера . Эта простота приводит к меньшей точности. Он обеспечивает новую базу для новых взаимодействий в моделировании, управлении анимацией и добавлении реализма. Он использует перчатку, состоящую из набора цветов, которые назначаются в соответствии с положением пальцев. Этот цветовой тест ограничен системой зрения компьютеров и основан на функции захвата и положении цвета, положение руки известно.
С точки зрения визуального восприятия , ноги и руки можно смоделировать как сочлененные механизмы, систему жестких тел, которые соединены между собой в сочленения с одной или несколькими степенями свободы. Эту модель можно применить к более уменьшенному масштабу для описания движения руки и на основе широкого масштаба для описания полного движения тела. Определенное движение пальца, например, можно распознать по его обычным углам, и оно не зависит от положения руки по отношению к камере.
Многие системы отслеживания основаны на модели, ориентированной на проблему оценки последовательности, где дана последовательность изображений и модель изменения, мы оцениваем 3D-конфигурацию для каждой фотографии. Все возможные конфигурации рук представлены векторами в пространстве состояний , которое кодирует положение руки и углы сустава пальца. Каждая конфигурация руки генерирует набор изображений посредством обнаружения границ окклюзии сустава пальца. Оценка каждого изображения вычисляется путем нахождения вектора состояния, который лучше соответствует измеренным характеристикам. Суставы пальцев имеют добавленные 21 состояние больше, чем движение жесткого тела ладоней; это означает, что вычислительная стоимость оценки увеличивается. Метод состоит из метки, каждая связь сустава пальца моделируется как цилиндр. Мы делаем оси в каждом суставе, и биссектриса этой оси является проекцией сустава. Следовательно, мы используем 3 степеней свободы, потому что есть только 3 степени движения.
В этом случае, это то же самое, что и в предыдущей типологии, поскольку существует большое разнообразие тезисов развертывания по этому вопросу. Поэтому шаги и техника лечения различаются в зависимости от цели и потребностей человека, который будет использовать эту технику. В любом случае, мы можем сказать, что очень общим образом и в большинстве систем, вы должны выполнить следующие шаги:
Также возможно выполнять активное отслеживание пальцев. Smart Laser Scanner — это система отслеживания пальцев без маркеров, использующая модифицированный лазерный сканер/проектор, разработанный в Токийском университете в 2003–2004 годах. Он способен получать трехмерные координаты в реальном времени без необходимости какой-либо обработки изображения (по сути, это сканер-дальномер, который вместо непрерывного сканирования по всему полю зрения ограничивает область сканирования очень узким окном, точно соответствующим размеру цели). С помощью этой системы было продемонстрировано распознавание жестов. Частота дискретизации может быть очень высокой (500 Гц), что позволяет получать плавные траектории без необходимости фильтрации (например, Калмана).
Определенно, системы отслеживания пальцев используются для представления виртуальной реальности . Однако их применение перешло на профессиональный уровень 3D-моделирования , компании и проекты, непосредственно в этом случае, были отменены. Таким образом, такие системы редко использовались в потребительских приложениях из-за своей высокой цены и сложности. В любом случае, главная цель заключается в том, чтобы облегчить задачу выполнения команд компьютеру с помощью естественного языка или взаимодействующих жестов.
Цель сосредоточена на следующей идее: компьютеры должны быть проще в использовании, если есть возможность работать с помощью естественного языка или жестового взаимодействия. Основное применение этой техники — подчеркнуть 3D-дизайн и анимацию, где программное обеспечение, такое как Maya и 3D StudioMax, использует эти виды инструментов. Причина в том, чтобы обеспечить более точный и простой контроль инструкций, которые мы хотим выполнить. Эта технология предлагает множество возможностей, где скульптура, строительство и моделирование в 3D в реальном времени с использованием компьютера являются наиболее важными.