В вычислительной технике 3D -взаимодействие — это форма взаимодействия человека и машины , где пользователи могут перемещаться и взаимодействовать в 3D-пространстве . Как человек, так и машина обрабатывают информацию, где физическое положение элементов в 3D-пространстве имеет значение.
3D-пространство, используемое для взаимодействия, может быть реальным физическим пространством , виртуальным представлением пространства, смоделированным на компьютере, или комбинацией того и другого. Когда реальное физическое пространство используется для ввода данных, человек взаимодействует с машиной, выполняя действия с помощью устройства ввода , которое , среди прочего, определяет трехмерное положение человеческого взаимодействия. Когда оно используется для вывода данных, смоделированная трехмерная виртуальная сцена проецируется на реальную среду через одно выходное устройство .
Принципы 3D-взаимодействия применяются в различных областях, таких как туризм , искусство , игры , моделирование , образование , визуализация информации или научная визуализация . [1]
Исследования в области 3D-взаимодействия и 3D-дисплея начались в 1960-х годах, пионерами которых были такие исследователи, как Иван Сазерленд, Фред Брукс, Боб Спроулл, Эндрю Ортони и Ричард Фельдман. Но только в 1962 году Мортон Хейлиг изобрел симулятор Sensorama . [2] Он обеспечивал 3D-видеоотзыв, а также движение, звук и обратную связь для создания виртуальной среды. Следующим этапом развития стало завершение доктором Иваном Сазерлендом его новаторской работы в 1968 году, «Дамоклов меч». [3] Он создал дисплей, устанавливаемый на голову, который создавал 3D-виртуальную среду, представляя левое и правое неподвижное изображение этой среды.
Доступность технологий, а также непрактичные затраты сдерживали разработку и применение виртуальных сред до 1980-х годов. Приложения были ограничены военными предприятиями в Соединенных Штатах. С тех пор дальнейшие исследования и технологические достижения открыли новые двери для применения в различных других областях, таких как образование, развлечения и производство.
В 3D-взаимодействии пользователи выполняют свои задачи и выполняют функции, обмениваясь информацией с компьютерными системами в 3D-пространстве. Это интуитивный тип взаимодействия, поскольку люди взаимодействуют в трех измерениях в реальном мире. Задачи, которые выполняют пользователи, были классифицированы как выбор и манипулирование объектами в виртуальном пространстве, навигация и управление системой. Задачи могут быть выполнены в виртуальном пространстве с помощью методов взаимодействия и с использованием устройств взаимодействия. Методы 3D-взаимодействия были классифицированы в соответствии с группой задач, которую они поддерживают. Методы, которые поддерживают задачи навигации, классифицируются как методы навигации . Методы, которые поддерживают выбор и манипулирование объектами, называются методами выбора и манипулирования . Наконец, методы управления системой поддерживают задачи, которые связаны с управлением самим приложением. Для того чтобы система была пригодной к использованию и эффективной, необходимо создать согласованное и эффективное сопоставление между методами и устройствами взаимодействия. Интерфейсы, связанные с 3D-взаимодействием, называются 3D-интерфейсами . Как и другие типы пользовательских интерфейсов, он подразумевает двустороннюю связь между пользователями и системой, но позволяет пользователям выполнять действия в 3D-пространстве. Устройства ввода позволяют пользователям давать указания и команды системе, в то время как устройства вывода позволяют машине предоставлять им информацию.
3D-интерфейсы использовались в приложениях, которые включают виртуальные среды, дополненные и смешанные реальности . В виртуальных средах пользователи могут напрямую взаимодействовать со средой или использовать для этого инструменты со специальными функциями. 3D-взаимодействие происходит, когда физические инструменты контролируются в трехмерном пространственном контексте для управления соответствующим виртуальным инструментом.
Пользователи испытывают чувство присутствия, когда погружаются в захватывающий виртуальный мир. Возможность пользователям взаимодействовать с этим миром в 3D позволяет им использовать естественные и внутренние знания о том, как происходит обмен информацией с физическими объектами в реальном мире. Текстура, звук и речь могут использоваться для дополнения 3D-взаимодействия. В настоящее время пользователи все еще испытывают трудности с интерпретацией визуальных эффектов 3D-пространства и пониманием того, как происходит взаимодействие. Хотя это естественный способ для людей перемещаться в трехмерном мире, сложность существует, поскольку многие из сигналов, присутствующих в реальных средах, отсутствуют в виртуальных средах. Восприятие и окклюзия являются основными перцептивными сигналами, используемыми людьми. Кроме того, хотя сцены в виртуальном пространстве кажутся трехмерными, они все равно отображаются на 2D-поверхности, поэтому некоторые несоответствия в восприятии глубины все еще будут существовать.
Пользовательские интерфейсы являются средствами связи между пользователями и системами. 3D-интерфейсы включают в себя носители для 3D-представления состояния системы и носители для 3D-ввода или манипуляции пользователем. Использование 3D-представлений недостаточно для создания 3D-взаимодействия. Пользователи также должны иметь способ выполнения действий в 3D. Для этого были разработаны специальные устройства ввода и вывода для поддержки этого типа взаимодействия. Некоторые из них, такие как 3D-мышь, были разработаны на основе существующих устройств для 2D-взаимодействия.
Пользовательские интерфейсы 3D, это пользовательские интерфейсы, в которых происходит 3D-взаимодействие, это означает, что задачи пользователя происходят непосредственно в трехмерном пространстве. Пользователь должен общаться с системой с помощью команд, запросов, вопросов, намерений и целей, а она в свою очередь должна предоставлять обратную связь, запросы на ввод, информацию о своем статусе и т. д.
Пользователь и система не владеют одним и тем же типом языка, поэтому для того, чтобы процесс коммуникации стал возможным, интерфейсы должны выступать посредниками или переводчиками между ними.
Способ, которым пользователь преобразует восприятие в действия, называется передаточной функцией человека, а способ, которым система преобразует сигналы в отображаемую информацию, называется передаточной функцией системы. Пользовательские 3D-интерфейсы на самом деле являются физическими устройствами, которые взаимодействуют между пользователем и системой с минимальной задержкой, в этом случае существует два типа: выходное оборудование пользовательского 3D-интерфейса и входное оборудование пользовательского 3D-интерфейса.
Устройства вывода, также называемые устройствами отображения, позволяют машине предоставлять информацию или обратную связь одному или нескольким пользователям через систему восприятия человека. Большинство из них направлены на стимуляцию зрительных, слуховых или тактильных чувств. Однако в некоторых необычных случаях они также могут стимулировать обонятельную систему пользователя.
Этот тип устройств является наиболее популярным и его цель - представить информацию, произведенную системой через зрительную систему человека, в трехмерном виде. Основные характеристики, которые отличают эти устройства: поле зрения и поле зрения , пространственное разрешение , геометрия экрана, механизм передачи света, частота обновления и эргономика .
Другой способ охарактеризовать эти устройства — в соответствии с различными категориями сигналов восприятия глубины , используемых для достижения того, чтобы пользователь мог понимать трехмерную информацию. Основные типы дисплеев, используемых в 3D-пользовательских интерфейсах: мониторы, дисплеи с объемным экраном, рабочие столы, полусферические дисплеи, дисплеи, монтируемые на голове, дисплеи, монтируемые на руке, и автостереоскопические дисплеи. Гарнитуры виртуальной реальности и CAVE ( Cave Automatic Virtual Environment ) являются примерами полностью иммерсивного визуального дисплея, где пользователь может видеть только виртуальный мир, а не реальный. Полуиммерсивные дисплеи позволяют пользователям видеть и то, и другое. Мониторы и рабочие столы являются примерами полуиммерсивных дисплеев.
3D-аудиодисплеи — это устройства, которые представляют информацию (в данном случае звук) через слуховую систему человека, что особенно полезно при предоставлении пользователям информации о местоположении и пространстве. Его цель — генерировать и отображать пространственный 3D-звук, чтобы пользователь мог использовать свои психоакустические навыки и определять местоположение и направление звука. Существуют различные сигналы локализации: бинауральные сигналы, спектральные и динамические сигналы, функции передачи, связанные с головой , реверберация , интенсивность звука и видение и знакомая среда. Добавление фонового звукового компонента к дисплею также добавляет ощущение реализма.
Эти устройства используют осязание для имитации физического взаимодействия между пользователем и виртуальным объектом. Существует три различных типа 3D-дисплеев Haptic: те, которые предоставляют пользователю ощущение силы, те, которые имитируют осязание, и те, которые используют оба. Основные характеристики, которые отличают эти устройства: возможность тактильного представления, разрешение и эргономика . Человеческая тактильная система имеет 2 основных типа сигналов: тактильные и кинестетические. Тактильные сигналы — это тип человеческих тактильных сигналов, которые имеют широкий спектр кожных рецепторов, расположенных под поверхностью кожи, которые предоставляют информацию о текстуре, температуре, давлении и повреждении. Кинестетические сигналы — это тип человеческих тактильных сигналов, которые имеют множество рецепторов в мышцах, суставах и сухожилиях, которые предоставляют информацию об угле суставов, напряжении и длине мышц.
Эти аппаратные устройства называются устройствами ввода, и их цель — фиксировать и интерпретировать действия, выполняемые пользователем. Степени свободы (DOF) являются одной из основных характеристик этих систем. Классические компоненты интерфейса (такие как мышь и клавиатура и, возможно, сенсорный экран) часто не подходят для недвумерного взаимодействия. [1] Эти системы также различаются в зависимости от того, насколько физическое взаимодействие необходимо для использования устройства: чисто активные требуют манипуляций для получения информации, чисто пассивные — нет. Основными категориями этих устройств являются стандартные (настольные) устройства ввода, устройства слежения, устройства управления, навигационное оборудование, жестовые интерфейсы , 3D-мыши и интерфейсы мозг-компьютер .
Этот тип устройств разработан для взаимодействия 3D на рабочем столе, многие из них изначально задумывались как традиционное взаимодействие в двух измерениях, но при соответствующем сопоставлении между системой и устройством это может прекрасно работать в трехмерном режиме. Существуют различные типы устройств: клавиатуры , 2D-мыши и трекболы, планшеты с пером и стилусы, джойстики . Тем не менее, многие исследования ставят под сомнение пригодность компонентов интерфейса рабочего стола для взаимодействия в 3D [1] [4] [5], хотя это все еще обсуждается. [6] [7]
Системы 3D-взаимодействия с пользователем основаны в первую очередь на технологиях отслеживания движения , чтобы получить всю необходимую информацию от пользователя посредством анализа его движений или жестов , эти технологии называются технологиями отслеживания.
Трекеры обнаруживают или отслеживают движения головы, рук или тела и отправляют эту информацию на компьютер. Затем компьютер переводит ее и обеспечивает точное отображение положения и ориентации в виртуальном мире. Отслеживание важно для представления правильной точки обзора, координации пространственной и звуковой информации, представляемой пользователям, а также задач или функций, которые они могут выполнять. 3D-трекеры были идентифицированы как механические, магнитные, ультразвуковые, оптические и гибридные инерционные. Примерами трекеров являются трекеры движения , трекеры глаз и перчатки с данными. Простая 2D-мышь может считаться навигационным устройством, если она позволяет пользователю перемещаться в другое место в виртуальном 3D-пространстве. Навигационные устройства, такие как беговая дорожка и велосипед, используют естественные способы, которыми люди перемещаются в реальном мире. Беговые дорожки имитируют ходьбу или бег, а велосипеды или подобное оборудование имитируют движение на транспорте. В случае навигационных устройств информация, передаваемая машине, представляет собой местоположение и движения пользователя в виртуальном пространстве. Проводные перчатки и боди позволяют осуществлять жестовое взаимодействие. С помощью датчиков они передают в компьютер информацию о положении и движении рук или тела.
Для полной разработки системы 3D User Interaction требуется иметь доступ к нескольким основным параметрам, все эти технологические системы должны знать, или по крайней мере частично, как относительное положение пользователя, абсолютное положение, угловую скорость, данные вращения, ориентацию или высоту. Сбор этих данных достигается с помощью систем отслеживания пространства и датчиков в различных формах, а также использования различных методов для получения. Идеальной системой для этого типа взаимодействия является система, основанная на отслеживании положения, с использованием шести степеней свободы (6-DOF), эти системы характеризуются способностью получать абсолютное 3D положение пользователя, таким образом, будет получать информацию обо всех возможных трехмерных углах поля зрения.
Реализация этих систем может быть достигнута с использованием различных технологий, таких как электромагнитные поля, оптическое или ультразвуковое отслеживание, но все они имеют основное ограничение: они должны иметь фиксированную внешнюю точку отсчета, либо базу, массив камер или набор видимых маркеров, поэтому эта единая система может быть реализована в подготовленных областях. Инерциальные системы отслеживания не требуют внешней точки отсчета, например, основанной на движении, они основаны на сборе данных с помощью акселерометров , гироскопов или видеокамер, без обязательной фиксированной точки отсчета, в большинстве случаев основная проблема этой системы заключается в том, что она не получает абсолютное положение, поскольку не является частью какой-либо предварительно заданной внешней точки отсчета, поэтому она всегда получает относительное положение пользователя, аспект, который вызывает кумулятивные ошибки в процессе выборки данных. Цель, которую необходимо достичь в системе 3D-отслеживания, заключается в получении системы с 6 степенями свободы, способной обеспечить абсолютное позиционирование и точность движения и ориентации с очень высокой точностью и неразрезанным пространством. Хорошим примером грубой ситуации может служить мобильный телефон, поскольку он оснащен всеми датчиками захвата движения, а также функцией GPS-отслеживания широты. Однако в настоящее время эти системы не настолько точны, чтобы захватывать данные с точностью до сантиметра, и поэтому будут недействительны.
Однако существует несколько систем, которые тесно адаптированы к преследуемым целям, определяющим фактором для них является то, что системы являются автоконтентом, т.е. все в одном и не требуют фиксированной предварительной ссылки, эти системы следующие:
Устройство Wii Remote не предлагает технологию, основанную на 6-DOF, поскольку, опять же, не может обеспечить абсолютное положение, напротив, оно оснащено множеством датчиков, которые превращают 2D-устройство в отличный инструмент взаимодействия в 3D-средах.
Это устройство оснащено гироскопами для определения вращения пользователя, акселерометрами ADXL3000 для получения данных о скорости и движении рук, оптическими датчиками для определения ориентации, а также электронными компасами и инфракрасными устройствами для фиксации положения.
На работу этого типа устройств могут влиять внешние источники света, такие как инфракрасные лампы или свечи, что может привести к ошибкам в точности определения местоположения.
.jpg/1280px-Google_ATAP's_Project_Tango_tablet_(15387052663).jpg)
Tango Platform — это вычислительная платформа дополненной реальности, разработанная и созданная Advanced Technology and Projects (ATAP), подразделением Google. Она использует компьютерное зрение и внутренние датчики (например, гироскопы), чтобы позволить мобильным устройствам, таким как смартфоны и планшеты, определять свое положение относительно окружающего мира без использования GPS или других внешних сигналов. Поэтому ее можно использовать для обеспечения ввода с 6 степенями свободы, который также можно комбинировать с ее мультисенсорным экраном. [8] Устройства Google Tango можно рассматривать как более интегрированные решения, чем ранние прототипы, объединяющие пространственно-отслеживаемые устройства с сенсорными экранами для трехмерных сред. [9] [10] [11]
Устройство Microsoft Kinect предлагает нам другую технологию захвата движения для отслеживания.
Вместо того чтобы основывать свою работу на датчиках, она основана на структурированном световом сканере , расположенном в стержне, который позволяет отслеживать все тело посредством обнаружения около 20 пространственных точек, из которых измеряются 3 различные степени свободы для получения положения, скорости и вращения каждой точки.
Его главным преимуществом является простота использования и отсутствие необходимости во внешнем устройстве, подключаемом пользователем, а его главным недостатком является невозможность определения ориентации пользователя, что ограничивает определенные пространственные и навигационные функции.
Leap Motion — это новая система отслеживания рук, разработанная для небольших пространств, которая обеспечивает новое взаимодействие в трехмерных средах для настольных приложений, обеспечивая большую плавность при реалистичном просмотре трехмерных сред.
Это небольшое устройство, подключаемое через USB к компьютеру, и использующее две камеры с инфракрасными светодиодами, что позволяет анализировать полусферическую область размером около 1 метра на ее поверхности, записывая таким образом ответы с частотой 300 кадров в секунду, информация отправляется на компьютер для обработки специальным программным обеспечением компании.
Методы 3D-взаимодействия — это различные способы взаимодействия пользователя с трехмерной виртуальной средой для выполнения различных видов задач. Качество этих методов оказывает глубокое влияние на качество всех трехмерных пользовательских интерфейсов. Их можно разделить на три различные группы: навигация, выбор и манипуляция и управление системой.
Компьютер должен предоставлять пользователю информацию о местоположении и движении. Навигация чаще всего используется пользователем в больших трехмерных средах и представляет различные проблемы, такие как поддержка пространственной осведомленности, предоставление эффективных перемещений между удаленными местами и обеспечение переносимости навигации, чтобы пользователь мог сосредоточиться на более важных задачах. Эти методы, навигационные задачи, можно разделить на два компонента: путешествие и поиск пути. Путешествие включает в себя перемещение из текущего местоположения в нужную точку. Поиск пути относится к поиску и установке маршрутов для достижения цели путешествия в виртуальной среде.
Путешествие — это концептуальная техника, которая заключается в перемещении точки обзора (виртуального глаза, виртуальной камеры) из одного места в другое. Такая ориентация обычно осуществляется в иммерсивных виртуальных средах с помощью отслеживания головы . Существует пять типов техники взаимодействия с путешествием:
Поиск пути — это когнитивный процесс определения маршрута для окружающей среды, использования и приобретения пространственных знаний для построения когнитивной карты среды. В виртуальном пространстве это отличается и сложнее сделать, чем в реальном мире, поскольку в синтетических средах часто отсутствуют перцептивные сигналы и ограничения движения. Его можно поддерживать с помощью методов, ориентированных на пользователя, таких как использование большего поля зрения и предоставление сигналов движения, или методов, ориентированных на среду, таких как структурная организация и принципы поиска пути.
Для того чтобы обеспечить хорошую навигацию, пользователи должны получать поддержку по навигации во время путешествия в виртуальной среде, чтобы облегчить его из-за ограничений виртуального мира.
Эти поддержки могут быть ориентированными на пользователя, такими как большое поле зрения, или даже невизуальными, такими как аудио, или ориентированными на среду, искусственными подсказками и структурной организацией для четкого определения различных частей среды. Некоторые из наиболее используемых искусственных подсказок — это карты, компасы и сетки, или даже архитектурные подсказки, такие как освещение, цвет и текстура.
Методы выбора и манипулирования для трехмерных сред должны выполнять как минимум одну из трех основных задач: выбор объекта, позиционирование объекта и вращение объекта.
Пользователи должны иметь возможность манипулировать виртуальными объектами. Задачи манипулирования включают выбор и перемещение объекта. Иногда также задействовано вращение объекта. Прямая манипуляция рукой является наиболее естественной техникой, поскольку манипулирование физическими объектами с помощью руки интуитивно понятно для людей. Однако это не всегда возможно. Виртуальная рука, которая может выбирать и перемещать виртуальные объекты, также будет работать.
3D- виджеты можно использовать для размещения элементов управления на объектах: обычно их называют 3D-гизмо или манипуляторами (хороший пример — те, что из Blender ). Пользователи могут использовать их для перемещения, масштабирования или переориентации объекта (перемещение, масштабирование, вращение).
Другие методы включают технику Go-Go и ray casting, где виртуальный луч используется для указания и выбора объекта.
Задача выбора объектов или 3D-объемов в 3D-средах требует сначала найти нужную цель, а затем выбрать ее. Большинство 3D-наборов данных/сред ограничены проблемами окклюзии [12], поэтому первый шаг поиска цели зависит от манипуляции точкой обзора или самими 3D-данными для правильной идентификации интересующего объекта или объема. Этот начальный шаг затем, конечно, тесно связан с манипуляциями в 3D. После визуальной идентификации цели пользователи получают доступ к различным методам ее выбора.
Обычно система предоставляет пользователю 3D-курсор, представленный в виде человеческой руки, движения которой соответствуют движению трекера руки. Эта техника виртуальной руки [13] довольно интуитивна, поскольку имитирует реальное взаимодействие с объектами, но с ограничением объектов, которых мы можем достичь внутри зоны досягаемости.
Чтобы обойти это ограничение, было предложено много методов, например, метод «Go-Go». [14] Этот метод позволяет пользователю расширить область досягаемости с помощью нелинейного отображения руки: когда пользователь вытягивает руку за пределы фиксированного порогового расстояния, отображение становится нелинейным, и рука растет.
Другой метод выбора и манипулирования объектами в трехмерных виртуальных пространствах заключается в указании на объекты с помощью виртуального луча, исходящего из виртуальной руки. [15] Когда луч пересекается с объектами, им можно манипулировать. Было создано несколько вариаций этого метода, например, метод апертуры, который использует конический указатель, адресованный глазам пользователя, оцениваемым по положению головы, для выбора удаленных объектов. Этот метод также использует датчик руки для регулировки размера конического указателя.
Также было разработано много других методов, основанных на различных стратегиях ввода. [16] [17]
3D-манипуляции происходят перед задачей выбора (чтобы визуально идентифицировать цель 3D-выбора) и после того, как выбор был выполнен, для манипулирования выбранным объектом. 3D-манипуляции требуют 3 степеней свободы для вращений (1 степень свободы на ось, а именно x, y, z) и 3 степеней свободы для перемещений (1 степень свободы на ось) и как минимум 1 дополнительную степень свободы для равномерного масштабирования (или, в качестве альтернативы, 3 дополнительные степени свободы для операций неравномерного масштабирования).
3D-манипуляции, как и навигация, являются одной из основных задач с 3D-данными, объектами или средами. Это основа многих широко используемых 3D-программ (таких как Blender, Autodesk, VTK). Таким образом, эти программы, доступные в основном на компьютерах, почти всегда сочетаются с мышью и клавиатурой. Чтобы обеспечить достаточное количество степеней свободы (мышь предлагает только 2), эти программы полагаются на моддинг с помощью клавиши, чтобы отдельно управлять всеми степенями свободы, участвующими в 3D-манипуляциях. С недавним появлением смартфонов и планшетов с поддержкой мультитач, отображения взаимодействия этих программ были адаптированы для мультитач (что обеспечивает больше одновременных манипуляций степенями свободы, чем мышь и клавиатура). Однако опрос, проведенный в 2017 году среди 36 коммерческих и академических мобильных приложений для Android и iOS, показал, что большинство приложений не предоставляют возможности управления минимальным количеством требуемых 6 степеней свободы [7], но среди тех, которые предоставляют, большинство используют 3D-версию отображения RST (Rotation Scale Translation): один палец используется для вращения вокруг осей x и y, в то время как взаимодействие двух пальцев управляет вращением вокруг осей z и перемещением по осям x, y и z.
Методы управления системой позволяют пользователю отправлять команды приложению, активировать некоторые функции, изменять режим взаимодействия (или системы) или изменять параметр. Отправитель команды всегда включает выбор элемента из набора. Методы управления системой как методы, которые поддерживают задачи управления системой в трех измерениях, можно разделить на четыре группы:
Существуют также различные гибридные техники, объединяющие некоторые из типов.
Эта задача позволяет пользователю вводить и/или редактировать, например, текст, что позволяет аннотировать 3D-сцены или 3D-объекты.
{{cite book}}: |website=проигнорировано ( помощь )