Распознавание жестов открывает для компьютеров возможность лучше понимать и интерпретировать язык человеческого тела , что ранее было невозможно с помощью текстовых или неулучшенных графических (GUI) пользовательских интерфейсов.
Жесты могут исходить из любого движения или состояния тела, но обычно исходят из лица или руки . Одной из областей этой области является распознавание эмоций, полученное из выражений лица и жестов рук. Пользователи могут делать простые жесты для управления или взаимодействия с устройствами без физического прикосновения к ним.
Было разработано множество подходов с использованием камер и алгоритмов компьютерного зрения для интерпретации языка жестов , однако идентификация и распознавание позы, походки, проксемики и поведения человека также являются предметом методов распознавания жестов. [2]
Обзор
Распознавание жестов применяется в таких областях, как: [ когда? ]
В литературе описываются текущие работы в области компьютерного зрения по захвату жестов или более общих поз и движений человека с помощью камер, подключенных к компьютеру. [6] [7] [8] [9]
Термин «распознавание жестов» использовался для более узкого обозначения нетекстовых рукописных символов ввода, таких как рукописный ввод на графическом планшете , многосенсорные жесты и распознавание жестов мыши . Это компьютерное взаимодействие посредством рисования символов с помощью курсора указывающего устройства. [10] [11] [12] Перьевые вычисления расширяют цифровое распознавание жестов за пределы традиционных устройств ввода, таких как клавиатуры и мыши, и снижают влияние оборудования системы. [ как? ]
Типы жестов
В компьютерных интерфейсах различают два типа жестов: [13] Мы рассматриваем онлайн-жесты, которые также можно считать прямыми манипуляциями, такими как масштабирование и вращение, и, напротив, офлайн-жесты обычно обрабатываются после завершения взаимодействия; например, для активации контекстного меню рисуется круг .
Жесты офлайн: Те жесты, которые обрабатываются после взаимодействия пользователя с объектом. Примером может служить жест для активации меню.
Онлайн-жесты: Жесты прямой манипуляции. Они используются для масштабирования или вращения осязаемого объекта.
Бесконтактный интерфейс
Бесконтактный пользовательский интерфейс (TUI) — это новый тип технологии, в котором устройство управляется с помощью движений тела и жестов без прикосновения к клавиатуре, мыши или экрану. [14]
Типы бесконтактных технологий
Существует ряд устройств, использующих этот тип интерфейса, например, смартфоны, ноутбуки, игры, телевизоры и музыкальное оборудование.
Один тип бесконтактного интерфейса использует Bluetooth-подключение смартфона для активации системы управления посетителями компании. Это устраняет необходимость прикасаться к интерфейсу, для удобства или во избежание потенциального источника заражения, как во время пандемии COVID-19 . [15]
Устройства ввода
Возможность отслеживать движения человека и определять, какие жесты он может выполнять, может быть достигнута с помощью различных инструментов. Кинетические пользовательские интерфейсы (KUI) — это новый тип пользовательских интерфейсов , которые позволяют пользователям взаимодействовать с вычислительными устройствами посредством движения объектов и тел. [ необходима цитата ] Примерами KUI являются осязаемые пользовательские интерфейсы и игры с поддержкой движений, такие как Wii и Kinect от Microsoft , а также другие интерактивные проекты. [16]
Несмотря на то, что в области распознавания жестов на основе изображений и видео проведено много исследований, существуют некоторые различия в инструментах и средах, используемых в разных реализациях.
Проводные перчатки . Они могут предоставлять компьютеру входные данные о положении и вращении рук с помощью магнитных или инерционных устройств слежения. Кроме того, некоторые перчатки могут определять изгиб пальцев с высокой степенью точности (5-10 градусов) или даже обеспечивать тактильную обратную связь для пользователя, которая является имитацией осязания. Первым коммерчески доступным устройством для отслеживания рук в виде перчатки было DataGlove [17] , устройство в виде перчатки, которое могло определять положение руки, движение и изгиб пальцев. Оно использует оптоволоконные кабели, проложенные по тыльной стороне руки. Создаются световые импульсы, и когда пальцы сгибаются, свет просачивается через небольшие трещины, и потеря регистрируется, давая приблизительное представление о положении руки.
Камеры с распознаванием глубины. Используя специализированные камеры, такие как структурированные световые или времяпролетные камеры , можно создать карту глубины того, что видно через камеру на близком расстоянии, и использовать эти данные для аппроксимации трехмерного представления того, что видно. Они могут быть эффективны для обнаружения жестов рук из-за их возможностей на близком расстоянии. [18]
Стереокамеры . Используя две камеры, чьи отношения друг к другу известны, можно аппроксимировать трехмерное представление выходными данными камер. Чтобы получить отношения камер, можно использовать позиционную ссылку, такую как лексическая полоса или инфракрасный излучатель. [19] В сочетании с прямым измерением движения ( 6D-Vision ) жесты могут быть обнаружены напрямую.
Контроллеры на основе жестов. Эти контроллеры действуют как продолжение тела, так что при выполнении жестов часть их движения может быть удобно захвачена программным обеспечением. Примером нового захвата движения на основе жестов является отслеживание скелетной руки , которое разрабатывается для приложений виртуальной реальности и дополненной реальности. Примером этой технологии являются отслеживающие компании uSens и Gestigon , которые позволяют пользователям взаимодействовать с окружающей средой без контроллеров. [20] [21]
Отслеживание жестов мыши , где движение мыши соотносится с символом, нарисованным рукой человека, который может изучать изменения ускорения с течением времени для представления жестов. [23] [24] [25] Программное обеспечение также компенсирует тремор человека и непреднамеренные движения. [26] [27] [28] Датчики этих умных светоизлучающих кубов могут использоваться для обнаружения рук и пальцев, а также других объектов поблизости, и могут использоваться для обработки данных. Большинство приложений находятся в области музыки и синтеза звука, [29] но могут применяться и в других областях.
Одна камера . Стандартная 2D-камера может использоваться для распознавания жестов, когда ресурсы/среда не подходят для других форм распознавания на основе изображений. Ранее считалось, что одна камера может быть не столь эффективна, как стереокамеры или камеры с функцией распознавания глубины, но некоторые компании оспаривают эту теорию. Программная технология распознавания жестов с использованием стандартной 2D-камеры, которая может обнаруживать надежные жесты рук. [ необходима цитата ]
Алгоритмы
В зависимости от типа входных данных подход к интерпретации жеста может быть реализован по-разному. Однако большинство методов основаны на ключевых указателях, представленных в трехмерной системе координат. На основе их относительного движения жест может быть обнаружен с высокой точностью, в зависимости от качества входных данных и подхода алгоритма. [30]
Чтобы интерпретировать движения тела, необходимо классифицировать их по общим свойствам и сообщению, которое могут выражать движения. Например, в языке жестов каждый жест представляет собой слово или фразу.
В некоторых литературных источниках различают 2 разных подхода к распознаванию жестов: основанный на 3D-модели и основанный на внешнем виде. [31] Самый главный метод использует 3D-информацию о ключевых элементах частей тела для получения нескольких важных параметров, таких как положение ладони или углы суставов. Подходы, полученные из него, такие как объемные модели, оказались очень интенсивными с точки зрения вычислительной мощности и требуют дальнейших технологических разработок для внедрения в анализ в реальном времени. С другой стороны, основанные на внешнем виде системы используют изображения или видео для прямой интерпретации. Такие модели легче обрабатывать, но обычно им не хватает общности, необходимой для взаимодействия человека с компьютером.
Алгоритмы на основе 3D-моделей
Подход 3D-моделирования может использовать объемные или скелетные модели или даже их комбинацию. Объемные подходы широко использовались в индустрии компьютерной анимации и для целей компьютерного зрения. Модели обычно создаются из сложных 3D-поверхностей, таких как NURBS или полигональные сетки.
Недостатком этого метода является то, что он очень интенсивен в вычислительном плане, а системы для анализа в реальном времени еще предстоит разработать. На данный момент более интересным подходом было бы сопоставление простых примитивных объектов с наиболее важными частями тела человека (например, цилиндры для рук и шеи, сфера для головы) и анализ того, как они взаимодействуют друг с другом. Кроме того, некоторые абстрактные структуры, такие как суперквадрики и обобщенные цилиндры, могут быть даже более подходящими для аппроксимации частей тела.
Алгоритмы на основе скелета
Вместо использования интенсивной обработки 3D-моделей и работы со множеством параметров, можно просто использовать упрощенную версию параметров угла сустава вместе с длинами сегментов. Это известно как скелетное представление тела, где вычисляется виртуальный скелет человека, а части тела сопоставляются с определенными сегментами. Анализ здесь выполняется с использованием положения и ориентации этих сегментов и отношения между каждым из них (например, угол между суставами и относительное положение или ориентация)
Преимущества использования скелетных моделей:
Алгоритмы работают быстрее, поскольку анализируются только ключевые параметры.
Возможно сопоставление с образцом по базе данных шаблонов.
Использование ключевых точек позволяет программе обнаружения сосредоточиться на значимых частях тела.
Модели, основанные на внешности
Модели на основе внешнего вида больше не используют пространственное представление тела, а вместо этого выводят свои параметры непосредственно из изображений или видео с помощью базы данных шаблонов. Некоторые из них основаны на деформируемых 2D-шаблонах частей тела человека, в частности рук. Деформируемые шаблоны представляют собой наборы точек на контуре объекта, используемые в качестве узлов интерполяции для аппроксимации контура объекта. Одной из простейших функций интерполяции является линейная, которая выполняет усредненную форму из наборов точек, параметров изменчивости точек и внешней деформации. Эти модели на основе шаблонов в основном используются для отслеживания рук, но также могут использоваться для простой классификации жестов.
Второй подход к обнаружению жестов с использованием моделей на основе внешнего вида использует последовательности изображений в качестве шаблонов жестов. Параметрами для этого метода являются либо сами изображения, либо определенные признаки, полученные из них. В большинстве случаев используются только один (моноскопический) или два (стереоскопических) вида.
Модели на основе электромиографии
Электромиография (ЭМГ) занимается изучением электрических сигналов, производимых мышцами тела. Благодаря классификации данных, полученных от мышц руки, можно классифицировать действие и, таким образом, вводить жест во внешнее программное обеспечение. [1] Потребительские устройства ЭМГ позволяют использовать неинвазивные подходы, такие как браслет на руку или ногу, и подключаться через Bluetooth. Благодаря этому ЭМГ имеет преимущество перед визуальными методами, поскольку пользователю не нужно смотреть в камеру, чтобы вводить данные, что обеспечивает большую свободу движений.
Вызовы
Существует множество проблем, связанных с точностью и полезностью распознавания жестов и программного обеспечения, разработанного для его реализации. Для распознавания жестов на основе изображений существуют ограничения по используемому оборудованию и шуму изображения . Изображения или видео могут не иметь постоянного освещения или не находиться в одном и том же месте. Элементы на заднем плане или отдельные черты лица пользователей могут затруднить распознавание.
Разнообразие реализаций распознавания жестов на основе изображений также может вызывать проблемы с жизнеспособностью технологии для общего использования. Например, алгоритм, откалиброванный для одной камеры, может не работать для другой камеры. Количество фонового шума также вызывает трудности с отслеживанием и распознаванием, особенно при возникновении окклюзии (частичной и полной). Кроме того, расстояние от камеры, а также разрешение и качество камеры также вызывают различия в точности распознавания.
Для того чтобы фиксировать жесты человека с помощью визуальных датчиков, также необходимы надежные методы компьютерного зрения, например, для отслеживания положения рук и распознавания их положения [32] [33] [34] [35] [36] [37] [38 ] [39] [40] или для фиксации движений головы, выражений лица или направления взгляда.
Социальная приемлемость
Одной из существенных проблем принятия жестовых интерфейсов на потребительских мобильных устройствах, таких как смартфоны и умные часы, являются последствия социальной приемлемости жестового ввода. Хотя жесты могут способствовать быстрому и точному вводу на многих компьютерах нового форм-фактора, их принятие и полезность часто ограничиваются социальными факторами, а не техническими. С этой целью разработчики методов жестового ввода могут стремиться сбалансировать как технические соображения, так и готовность пользователя выполнять жесты в различных социальных контекстах. [41] Кроме того, различные аппаратные средства устройств и механизмы датчиков поддерживают различные виды распознаваемых жестов.
Мобильное устройство
Интерфейсы жестов на мобильных устройствах и устройствах малого форм-фактора часто поддерживаются наличием датчиков движения, таких как инерциальные измерительные блоки (IMU). На этих устройствах распознавание жестов основано на выполнении пользователями жестов, основанных на движении, которые могут быть распознаны этими датчиками движения. Это может потенциально усложнить захват сигналов от едва заметных или малоподвижных жестов, поскольку их может быть трудно отличить от естественных движений или шума. В ходе опроса и изучения удобства использования жестов исследователи обнаружили, что жесты, которые включают едва заметные движения, которые кажутся похожими на существующие технологии, выглядят или ощущаются похожими на каждое действие и доставляют удовольствие, с большей вероятностью будут приняты пользователями, в то время как жесты, которые выглядят странно, неудобны для выполнения, мешают общению или включают необычные движения, заставляют пользователей с большей вероятностью отвергать их использование. [41] Социальная приемлемость жестов мобильных устройств в значительной степени зависит от естественности жеста и социального контекста.
Нательные и носимые компьютеры
Носимые компьютеры обычно отличаются от традиционных мобильных устройств тем, что их использование и взаимодействие происходят на теле пользователя. В этих контекстах жестовые интерфейсы могут стать более предпочтительными по сравнению с традиционными методами ввода, поскольку их небольшой размер делает сенсорные экраны или клавиатуры менее привлекательными. Тем не менее, они разделяют многие из тех же препятствий социальной приемлемости, что и мобильные устройства, когда дело доходит до жестового взаимодействия. Однако возможность того, что носимые компьютеры будут скрыты от глаз или встроены в другие повседневные предметы, такие как одежда, позволяет жестовому вводу имитировать обычные взаимодействия с одеждой, такие как поправка воротника рубашки или потирание переднего кармана брюк. [42] [43] Основным соображением при взаимодействии с носимым компьютером является место размещения устройства и взаимодействия. Исследование, изучающее отношение третьих лиц к взаимодействию с носимыми устройствами, проведенное в Соединенных Штатах и Южной Корее, обнаружило различия в восприятии использования носимых компьютеров мужчинами и женщинами, отчасти из-за разных областей тела, которые считаются социально чувствительными. [43] Другое исследование, изучающее социальную приемлемость интерфейсов, проецируемых на тело, дало схожие результаты: оба исследования назвали области вокруг талии, паха и верхней части тела (для женщин) наименее приемлемыми, а области вокруг предплечья и запястья — наиболее приемлемыми. [44]
Общественные инсталляции
Общественные инсталляции , такие как интерактивные публичные дисплеи, обеспечивают доступ к информации и отображают интерактивные медиа в общественных местах, таких как музеи, галереи и театры. [45] В то время как сенсорные экраны являются частой формой ввода для общественных дисплеев, жестовые интерфейсы обеспечивают дополнительные преимущества, такие как улучшенная гигиена, взаимодействие на расстоянии и улучшенная обнаруживаемость, и могут способствовать перформативному взаимодействию. [42] Важным соображением для жестового взаимодействия с общественными дисплеями является высокая вероятность или ожидание аудитории зрителей. [45]
Усталость
Усталость рук была побочным эффектом вертикально ориентированного сенсорного экрана или использования светового пера. В периоды длительного использования руки пользователей начинали чувствовать усталость и/или дискомфорт. Этот эффект способствовал снижению популярности сенсорного экрана, несмотря на его первоначальную популярность в 1980-х годах. [46] [47]
Для измерения побочного эффекта усталости рук исследователи разработали методику, называемую «потребляемая выносливость». [48] [49]
^ ab Kobylarz, Jhonatan; Bird, Jordan J.; Faria, Diego R.; Ribeiro, Eduardo Parente; Ekárt, Anikó (2020-03-07). «Большие пальцы вверх, большие пальцы вниз: невербальное взаимодействие человека и робота посредством классификации ЭМГ в реальном времени с помощью индуктивного и контролируемого трансдуктивного трансферного обучения» (PDF) . Журнал Ambient Intelligence and Humanized Computing . 11 (12). Springer Science and Business Media LLC: 6021–6031. doi : 10.1007/s12652-020-01852-z . ISSN 1868-5137.
^ Маттиас Рем, Николаус Би, Элизабет Андре, «Помашите рукой как египтянин — распознавание жестов на основе акселерометра для культурно-специфических взаимодействий», Британское компьютерное общество, 2007 г.
^ "Patent Landscape Report Hand Gesture Recognition PatSeer Pro". PatSeer . Архивировано из оригинала 20-10-2019 . Получено 02-11-2017 .
^ Чай, Сюцзюань и др. «Распознавание языка жестов и перевод с помощью kinect. Архивировано 10 января 2021 г. на Wayback Machine ». Конференция IEEE по AFGR. Том 655. 2013.
^ Султана А., Раджапусфа Т. (2012), «Распознавание жестов на основе зрения для алфавитных жестов рук с использованием классификатора SVM» [ постоянная неработающая ссылка ] , Международный журнал компьютерных наук и инженерных технологий (IJCSET)., 2012
^ Павлович, В., Шарма, Р. и Хуан, Т. (1997), «Визуальная интерпретация жестов рук для взаимодействия человека с компьютером: обзор», IEEE Transactions on Pattern Analysis and Machine Intelligence, июль 1997 г. Том 19(7), стр. 677-695.
^ Р. Чиполла и А. Пентланд, Компьютерное зрение для взаимодействия человека и машины, Cambridge University Press, 1998, ISBN 978-0-521-62253-0
^ Ин Ву и Томас С. Хуан, «Распознавание жестов на основе зрения: обзор», архивировано 25 августа 2011 г. в Wayback Machine , в: Gesture-Based Communication in Human-Computer Interaction, том 1739 Springer Lecture Notes in Computer Science, страницы 103–115, 1999, ISBN 978-3-540-66935-7 , doi :10.1007/3-540-46616-9
^ Алехандро Хаймес и Нику Себе, Мультимодальное взаимодействие человека и компьютера: обзор Архивировано 06.06.2011 в Wayback Machine , Computer Vision and Image Understanding Volume 108, Issues 1-2, October–November 2007, Pages 116-134 Special Issue on Vision for Human-Computer Interaction, doi :10.1016/j.cviu.2006.10.019
^ Доперчук, Олег; «Распознавание жестов рукописного ввода», gamedev.net , 9 января 2004 г.
^ Чэнь, Шицзе; «Методы распознавания жестов в приложениях распознавания рукописного текста», Frontiers in Handwriting Recognition, стр. 142–147, ноябрь 2010 г.
^ Дитрих Каммер, Мэнди Кек, Георг Фрайтаг, Маркус Вакер, Таксономия и обзор многосенсорных фреймворков: архитектура, область применения и особенности. Архивировано 25 января 2011 г. на Wayback Machine.
^ "Определение бесконтактного пользовательского интерфейса из энциклопедии PC Magazine". pcmag.com . Получено 28.07.2017 .
^ S. Benford; H. Schnadelbach; B. Koleva; B. Gaver; A. Schmidt; A. Boucher; A. Steed; R. Anastasi; C. Greenhalgh; T. Rodden; H. Gellersen (2003). "Sensible, sensable and desired: a framework for designing physical interfaces" (PDF) . CiteSeerX 10.1.1.190.2504 . Архивировано из оригинала (PDF) 26 января 2006 г.{{cite journal}}: Цитировать журнал требует |journal=( помощь )
^ Томас Г. Циммерман, Джарон Ланье, Чак Бланчард, Стив Брайсон и Янг Харвилл. http://portal.acm.org. "УСТРОЙСТВО ИНТЕРФЕЙСА ЖЕСТОВ РУК Архивировано 2011-10-02 на Wayback Machine ." http://portal.acm.org.
^ Ян Лю, Юндэ Цзя, Надежный метод отслеживания рук и распознавания жестов для носимых визуальных интерфейсов и его приложений, Труды Третьей международной конференции по изображениям и графике (ICIG'04), 2004 г.
^ Куэ-Бум Ли, Джунг-Хён Ким, Кванг-Сок Хонг, Реализация многомодального игрового интерфейса на основе КПК, Пятая международная конференция по исследованиям, управлению и приложениям в области программной инженерии, 2007 г.
^ "Gestigon Gesture Tracking - TechCrunch Disrupt". TechCrunch . Получено 11 октября 2016 г. .
^ Мэтни, Лукас (29 августа 2016 г.). «uSens демонстрирует новые датчики отслеживания, которые призваны обеспечить более насыщенные впечатления от мобильной виртуальной реальности». TechCrunch . Получено 29 августа 2016 г.
^ Халили, Абдулла; Солиман, Абдель-Хамид; Асадуззаман, Мэриленд; Гриффитс, Элисон (март 2020 г.). «Определение Wi-Fi: приложения и проблемы». Инженерный журнал . 2020 (3): 87–97. arXiv : 1901.00715 . doi : 10.1049/joe.2019.0790 . ISSN 2051-3305.
^ Пер Малместиг, Софи Сандберг, SignWiiver – внедрение технологии языка жестов Архивировано 25 декабря 2008 г. на Wayback Machine
^ Томас Шломер, Бенджамин Поппинга, Нильс Хенце, Сюзанна Болл, Распознавание жестов с помощью контроллера Wii Архивировано 27 июля 2013 г. в Wayback Machine , Труды 2-й международной конференции по осязаемому и встроенному взаимодействию, 2008 г.
^ AiLive Inc., LiveMove White Paper, архив 2007-07-13 на Wayback Machine , 2006
↑ Electronic Design 8 сентября 2011 г. Уильям Вонг. Natural User Interface Employs Sensor Integration.
^ Cable & Satellite International Сентябрь/Октябрь 2011. Стивен Казенс. Вид на острые ощущения. Архивировано 19 января 2012 г. в Wayback Machine
↑ TechJournal South 7 января 2008 г. Hillcrest Labs проводит раунд в размере 25 млн долларов США.
^ Блог Percussa AudioCubes 4 октября 2012 г. Жестовое управление в синтезе звука. Архивировано 10 сентября 2015 г. на Wayback Machine
^ Мамтаз Алам; Дилип Кумар Тивари (2016). «Распознавание жестов и его применение». doi :10.13140/RG.2.2.28139.54563.{{cite journal}}: Цитировать журнал требует |journal=( помощь )
^ Владимир И. Павлович, Раджив Шарма, Томас С. Хуан, Визуальная интерпретация жестов рук для взаимодействия человека с компьютером; Обзор, Труды IEEE по анализу образов и машинному интеллекту, 1997
^ Иван Лаптев и Тони Линдеберг «Отслеживание моделей рук с несколькими состояниями с использованием фильтрации частиц и иерархии многомасштабных признаков изображения», Труды Scale-Space and Morphology in Computer Vision, том 2106 Springer Lecture Notes in Computer Science, страницы 63–74, Ванкувер, Британская Колумбия, 1999. ISBN 978-3-540-42317-1 , doi :10.1007/3-540-47778-0
^ Фон Харденберг, Кристиан; Берар, Франсуа (2001). «Взаимодействие человека с компьютером голыми руками». Труды семинара 2001 года по перцептивным пользовательским интерфейсам . Серия трудов Международной конференции ACM. Архив тома 15. Орландо, Флорида. С. 1–8. CiteSeerX 10.1.1.23.4541 .
^ Ларс Бретцнер, Иван Лаптев, Тони Линдеберг "Распознавание жестов рук с использованием многомасштабных цветовых характеристик, иерархических моделей и фильтрации частиц", Труды Пятой международной конференции IEEE по автоматическому распознаванию лиц и жестов, Вашингтон, округ Колумбия, США, 21–21 мая 2002 г., страницы 423–428. ISBN 0-7695-1602-5 , doi :10.1109/AFGR.2002.1004190
↑ Домитилла Дель Веккьо , Ричард М. Мюррей Пьетро Перона, «Разложение человеческого движения на примитивы на основе динамики с применением к задачам рисования». Архивировано 02.02.2010 в Wayback Machine , Automatica, том 39, выпуск 12, декабрь 2003 г., страницы 2085–2098, doi :10.1016/S0005-1098(03)00250-4.
^ Томас Б. Моеслунд и Лау Норгаард, «Краткий обзор жестов рук, используемых в носимых человеко-компьютерных интерфейсах». Архивировано 19 июля 2011 г. в Wayback Machine , Технический отчет: CVMT 03-02, ISSN 1601-3646, Лаборатория компьютерного зрения и медиатехнологий, Университет Ольборга, Дания.
^ M. Kolsch и M. Turk "Быстрое 2D-отслеживание рук с множеством признаков и интеграцией нескольких сигналов" Архивировано 21 августа 2008 г. на Wayback Machine , CVPRW '04. Труды семинара по компьютерному зрению и распознаванию образов, 27 мая - 2 июня 2004 г., doi :10.1109/CVPR.2004.71
^ Ся Лю Фудзимура, К., «Распознавание жестов рук с использованием данных глубины», Труды Шестой международной конференции IEEE по автоматическому распознаванию лиц и жестов, 17–19 мая 2004 г., стр. 529–534, ISBN 0-7695-2122-3 , doi :10.1109/AFGR.2004.1301587.
^ Stenger B, Thayananthan A, Torr PH, Cipolla R: «Отслеживание рук на основе модели с использованием иерархического байесовского фильтра», IEEE Transactions on IEEE Transactions on Pattern Analysis and Machine Intelligence, 28(9):1372-84, сентябрь 2006 г.
^ A Erol, G Bebis, M Nicolescu, RD Boyle, X Twombly, «Оценка положения руки на основе зрения: обзор», Computer Vision and Image Understanding Volume 108, Issues 1-2, October–November 2007, Pages 52-73 Special Issue on Vision for Human-Computer Interaction, doi :10.1016/j.cviu.2006.10.012.
^ ab Рико, Джули; Брюстер, Стивен (2010). «Используемые жесты для мобильных интерфейсов». Труды конференции SIGCHI по человеческому фактору в вычислительных системах . CHI '10. Нью-Йорк, штат Нью-Йорк, США: ACM. стр. 887–896. doi :10.1145/1753326.1753458. ISBN9781605589299. S2CID 16118067.
^ ab Walter, Robert; Bailly, Gilles; Müller, Jörg (2013). "StrikeAPose". Труды конференции SIGCHI по человеческому фактору в вычислительных системах . Нью-Йорк, Нью-Йорк, США: ACM Press. стр. 841–850. doi :10.1145/2470654.2470774. ISBN9781450318990. S2CID 2041073.
^ ab Profita, Halley P.; Clawson, James; Gilliland, Scott; Zeagler, Clint; Starner, Thad; Budd, Jim; Do, Ellen Yi-Luen (2013). «Не обращайте внимания, если я коснусь своего запястья». Труды Международного симпозиума по носимым компьютерам 2013 года . ISWC '13. Нью-Йорк, штат Нью-Йорк, США: ACM. стр. 89–96. doi :10.1145/2493988.2494331. ISBN9781450321273. S2CID 3236927.
^ Харрисон, Крис; Фасте, Хаакон (2014). «Влияние местоположения и касания на интерфейсы, проецируемые на тело». Труды конференции 2014 года по проектированию интерактивных систем . DIS '14. Нью-Йорк, штат Нью-Йорк, США: ACM. стр. 543–552. doi :10.1145/2598510.2598587. ISBN9781450329026. S2CID 1121501.
^ ab Ривз, Стюарт; Бенфорд, Стив; О'Мэлли, Клэр; Фрейзер, Майк (2005). «Проектирование зрительского опыта» (PDF) . Труды конференции SIGCHI по человеческому фактору в вычислительных системах (PDF) . Нью-Йорк, Нью-Йорк, США: ACM Press. стр. 741–750. doi :10.1145/1054972.1055074. ISBN978-1581139983. S2CID 5739231.
^ Руперт Гудвинс. «Windows 7? В ней нет руки». ZDNet .
^ "рука гориллы". catb.org .
^ Hincapié-Ramos, JD, Guo, X., Moghadasian, P. и Irani. P. 2014. «Потребляемая выносливость: метрика для количественной оценки усталости руки при взаимодействии в воздухе». В трудах 32-й ежегодной конференции ACM по человеческим факторам в вычислительных системах (CHI '14). ACM, Нью-Йорк, штат Нью-Йорк, США, 1063–1072. DOI=10.1145/2556288.2557130
^ Hincapié-Ramos, JD, Guo, X., and Irani, P. 2014. "The Consumed Endurance Workbench: A Tool to Assess Arm Fatigue During Mid-Air Interactions". В трудах сопутствующей публикации 2014 года по проектированию интерактивных систем (DIS Companion '14). ACM, Нью-Йорк, штат Нью-Йорк, США, 109-112. DOI=10.1145/2598784.2602795
Внешние ссылки
Аннотированная библиография ссылок на жесты и перьевые вычисления
Заметки об истории перьевых вычислений (YouTube)
Будущее, все за Жестами — Интерфейсы Жестов и видеоигры
Жестово-интерактивная реклама Ford — жесты, используемые для взаимодействия с цифровыми вывесками