stringtranslate.com

Ощутимый пользовательский интерфейс

Reactable , электронный музыкальный инструмент, пример осязаемого пользовательского интерфейса
Устройство SandScape установлено в Музее детского творчества в Сан-Франциско

Осязаемый пользовательский интерфейс ( TUI ) — это пользовательский интерфейс , в котором человек взаимодействует с цифровой информацией через физическую среду . Первоначальное название было Graspable User Interface, которое больше не используется. Целью разработки TUI является расширение возможностей совместной работы, обучения и проектирования путем придания физической формы цифровой информации, тем самым используя человеческую способность хватать и манипулировать физическими объектами и материалами. [1]

Это было впервые задумано Радией Перлман как новый язык программирования, который будет обучать гораздо более маленьких детей, подобно Logo, но с использованием специальных «клавиатур» и устройств ввода. Другим пионером в области осязаемых пользовательских интерфейсов является Хироши Ишии , профессор Массачусетского технологического института , который возглавляет группу осязаемых медиа в лаборатории MIT Media Lab . Его особое видение осязаемых пользовательских интерфейсов, называемых осязаемыми битами , заключается в том, чтобы придать физическую форму цифровой информации, сделав биты непосредственно манипулируемыми и воспринимаемыми. Осязаемые биты преследуют цельную связь между физическими объектами и виртуальными данными.

Характеристики

Существует несколько фреймворков, описывающих ключевые характеристики осязаемых пользовательских интерфейсов. Брайгг Ульмер и Хироши Ишии описывают шесть характеристик, касающихся представления и управления: [2]

  1. Физические представления вычислительно связаны с базовой цифровой информацией.
  2. Физические представления воплощают механизмы интерактивного управления.
  3. Физические представления перцептивно связаны с активно опосредованными цифровыми представлениями.
  4. Физическое состояние материальных объектов воплощает ключевые аспекты цифрового состояния системы.

Ева Хорнекер и Якоб Буур описывают структурированную структуру с четырьмя темами: [3]

  1. Осязаемая манипуляция: материальные представления с отчетливыми тактильными качествами, которые обычно подвергаются физической манипуляции. Типичным примером является тактильная прямая манипуляция: может ли пользователь захватывать, чувствовать и перемещать важные элементы в интерфейсе?
  2. Пространственное взаимодействие: ощутимое взаимодействие встроено в реальное пространство; взаимодействие происходит как движение в этом пространстве. Примером может служить взаимодействие всего тела: может ли пользователь использовать все свое тело?
  3. Воплощенное упрощение: конфигурация материальных объектов и пространства влияет на то, как несколько пользователей взаимодействуют совместно с осязаемым пользовательским интерфейсом. Примеры включают несколько точек доступа: могут ли все пользователи в пространстве видеть, что происходит, и взаимодействовать с центральными элементами интерфейса?
  4. Выразительное представление: выразительность и разборчивость материальных и цифровых представлений, используемых осязаемыми системами взаимодействия. Примером является репрезентативное значение: имеют ли физические и цифровые представления одинаковую силу и заметность?

По мнению Ми Чжон Ким и Мэри Лу Махер, пять основных определяющих свойств осязаемых пользовательских интерфейсов следующие: [4]

  1. Пространственно-мультиплексное как входное, так и выходное.
  2. Одновременный доступ и манипулирование компонентами интерфейса.
  3. Сильные специфические устройства.
  4. Пространственно-ориентированные вычислительные устройства.
  5. Пространственная реконфигурируемость устройств.

Сравнение с графическими пользовательскими интерфейсами

Осязаемый пользовательский интерфейс должен отличаться от графического пользовательского интерфейса (GUI). GUI существует только в цифровом мире, тогда как TUI соединяет цифровой мир с физическим. Например, экран отображает цифровую информацию, тогда как мышь позволяет нам напрямую взаимодействовать с этой цифровой информацией. [5] Осязаемый пользовательский интерфейс представляет ввод непосредственно в физическом мире и делает цифровую информацию непосредственно воспринимаемой. [6]

Осязаемый пользовательский интерфейс обычно создается для одной конкретной целевой группы из-за небольшого диапазона возможных областей применения. Поэтому дизайн интерфейса должен разрабатываться совместно с целевой группой, чтобы обеспечить хороший пользовательский опыт. [7]

По сравнению с TUI, GUI имеет широкий спектр использования в одном интерфейсе. Благодаря этому он нацелен на большую группу возможных пользователей. [7]

Одним из преимуществ TUI является пользовательский опыт, поскольку он происходит в физическом взаимодействии между пользователем и самим интерфейсом (например, SandScape: создание собственного ландшафта из песка). Другим преимуществом является удобство использования, поскольку пользователь интуитивно знает, как использовать интерфейс, зная функцию физического объекта. Таким образом, пользователю не нужно изучать функциональность. Вот почему интерфейс Tangible User часто используется, чтобы сделать технологии более доступными для пожилых людей. [6]

[7]

Примеры

Простым примером осязаемого пользовательского интерфейса является компьютерная мышь: перетаскивание мыши по плоской поверхности перемещает указатель на экране соответствующим образом. Существует очень четкая связь между поведением, демонстрируемым системой, и движениями мыши. Другие примеры включают:

Было сделано несколько подходов для создания общего промежуточного программного обеспечения для TUI. Они нацелены на независимость доменов приложений, а также гибкость с точки зрения развернутой сенсорной технологии. Например, Siftables предоставляет платформу приложений, в которой небольшие дисплеи, чувствительные к жестам, действуют совместно, образуя интерфейс человек-компьютер.

Для поддержки совместной работы TUI должны разрешать пространственное распределение, асинхронные действия и динамическую модификацию инфраструктуры TUI, если назвать наиболее важные из них. Этот подход представляет собой фреймворк, основанный на концепции пространства кортежей LINDA, для удовлетворения этих требований. Реализованный фреймворк TUIpist развертывает произвольную технологию датчиков для любого типа приложения и исполнительных механизмов в распределенных средах. [11]

Уровень развития

Интерес к осязаемым пользовательским интерфейсам (TUI) постоянно растет с 1990-х годов, и с каждым годом появляется все больше осязаемых систем. В техническом документе 2017 года описывается эволюция TUI для сенсорных столов и открываются новые возможности для экспериментов и разработок. [12]

В 1999 году Гари Залевски запатентовал систему подвижных детских блоков, содержащих датчики и дисплеи для обучения правописанию и составлению предложений. [13]

Tangible Engine — это фирменное авторское приложение, используемое для создания интерфейсов распознавания объектов для проекционно-емкостных сенсорных столов. Tangible Engine Media Creator позволяет пользователям с небольшим или нулевым опытом кодирования быстро создавать TUI-ориентированные интерфейсы.

Группа Tangible Media MIT, возглавляемая Хироши Иши, постоянно разрабатывает и экспериментирует с TUI, включая множество настольных приложений. [14]

Система Urp [15] и более продвинутая система Augmented Urban Planning Workbench [16] позволяют выполнять цифровое моделирование потоков воздуха, теней, отражений и других данных на основе положений и ориентаций физических моделей зданий на поверхности стола.

Новейшие разработки идут еще дальше и включают третье измерение, позволяя пользователю формировать ландшафты из глины (Illuminating Clay [17] ) или песка (Sand Scape [18] ). Опять же, различные симуляции позволяют анализировать тени, карты высот, уклоны и другие характеристики интерактивно формируемых земельных массивов.

InfrActables — это совместный стол с обратной проекцией, который позволяет взаимодействовать с помощью TUI, включающих распознавание состояний. Добавление различных кнопок к TUI позволяет использовать дополнительные функции, связанные с TUI. Более новые версии технологии можно даже интегрировать в ЖК-дисплеи [19] с помощью инфракрасных датчиков за ЖК-матрицей.

Tangible Disaster [20] позволяет пользователю анализировать меры по ликвидации последствий стихийных бедствий и моделировать различные виды бедствий (пожар, наводнение, цунами и т. д.) и сценарии эвакуации во время сеансов совместного планирования. Физические объекты позволяют позиционировать бедствия, размещая их на интерактивной карте и дополнительно настраивая параметры (например, масштаб) с помощью прикрепленных к ним циферблатов.

Недавно был выявлен коммерческий потенциал TUI. Неоднократно награждаемый Reactable [21] , интерактивный осязаемый настольный инструмент, теперь распространяется на коммерческой основе Reactable Systems, дочерней компанией Университета Помпеу Фабра, где он был разработан. С Reactable пользователи могут настраивать свой собственный инструмент интерактивно, физически размещая различные объекты (представляющие собой осцилляторы, фильтры, модуляторы...) и параметризовать их путем вращения и использования сенсорного ввода.

Microsoft распространяет свою новую платформу на базе Windows Microsoft Surface [22] (теперь Microsoft PixelSense) с 2009 года. Помимо отслеживания пальцев с помощью мультитача , платформа поддерживает распознавание физических объектов по их отпечаткам. Было представлено несколько приложений, в основном для использования в коммерческих помещениях. Примеры варьируются от разработки собственного индивидуального графического макета для сноуборда или скейтборда до изучения деталей вина в ресторане путем размещения его на столе и навигации по меню с помощью сенсорного ввода. Также поддерживаются такие взаимодействия, как совместный просмотр фотографий с камеры Handycam или мобильного телефона, которые легко подключаются после размещения на столе.

Еще одна примечательная интерактивная инсталляция — instant city [23] , которая сочетает в себе игровые, музыкальные, архитектурные и совместные аспекты. Она позволяет пользователю строить трехмерные структуры и устанавливать город из прямоугольных строительных блоков, что одновременно приводит к интерактивной сборке музыкальных фрагментов разных композиторов.

Разработка Reactable и последующий выпуск его технологии отслеживания reacTIVision [24] под лицензией GNU/GPL, а также открытые спецификации протокола TUIO дали толчок огромному количеству разработок на основе этой технологии.

За последние несколько лет было начато множество любительских и полупрофессиональных проектов за пределами академических кругов и коммерции. Благодаря технологиям отслеживания с открытым исходным кодом (reacTIVision [24] ) и постоянно растущей вычислительной мощности, доступной конечным потребителям, необходимая инфраструктура теперь доступна практически каждому. Стандартный ПК, веб-камера и некоторые ручные работы позволяют людям создавать осязаемые системы с минимальными программными и материальными усилиями. Это открывает двери новым способам восприятия взаимодействия человека и компьютера и позволяет публике экспериментировать с новыми формами творчества. [ необходима цитата ]

Трудно отслеживать и не замечать быстро растущее число всех этих систем и инструментов, но хотя многие из них, по-видимому, используют только доступные технологии и ограничиваются начальными экспериментами и тестами с некоторыми базовыми идеями или просто воспроизводят существующие системы, некоторые из них раскрываются в новых интерфейсах и взаимодействиях и развертываются в общественном пространстве или встраиваются в художественные инсталляции. [25]

Tangible Factory Planning [26] — это осязаемая таблица на основе reacTIVision [24] , которая позволяет совместно планировать и визуализировать производственные процессы в сочетании с планами новых заводских зданий и была разработана в рамках дипломной работы.

Другим примером множества столешниц на основе reacTIVision является интерактивный стол ImpulsBauhaus [27] , который был выставлен в Университете Баухауса в Веймаре в честь 90-летия основания Баухауса. Посетители могли просматривать и изучать биографии, сложные отношения и социальные сети между членами движения.

Использование принципов, полученных из воплощенного познания , теории когнитивной нагрузки и воплощенного дизайна , показало, что TUI повышают эффективность обучения, предлагая мультимодальную обратную связь. [28] Однако эти преимущества для обучения требуют форм проектирования взаимодействия, которые оставляют как можно больше когнитивных возможностей для обучения.

Физический значок

Физическая иконка , или фикон , является осязаемым вычислительным эквивалентом иконки в традиционном графическом пользовательском интерфейсе, или GUI . Фиконы содержат ссылку на некий цифровой объект и тем самым передают значение. [29] [30] [31]

История

Физические значки были впервые использованы в качестве осязаемых интерфейсов в проекте metaDesk, созданном в 1997 году исследовательской группой профессора Хироши Ишии по осязаемым битам в Массачусетском технологическом институте . [32] [33] MetaDesk состоял из стола, поверхность которого показывала проецируемое видеоизображение. Размещение фикона на столе запускало датчики, которые изменяли видеопроекцию. [34]

Смотрите также

Ссылки

  1. ^ Ишии, Хироши (2008). "Осязаемые биты". Труды 2-й международной конференции по осязаемому и встроенному взаимодействию - TEI '08 . стр. xv. doi :10.1145/1347390.1347392. ISBN 978-1-60558-004-3. S2CID  18166868.
  2. ^ Ульмер, Бригг; Ишии, Хироши (2000). «Emerging Frameworks for Tangible User Interfaces» (PDF) . IBM Systems Journal . 39 (3–4): 915–931. doi :10.1147/sj.393.0915 . Получено 17 февраля 2024 г. .
  3. ^ Хорнекер, Ева; Буур, Якоб (2006). «Getting a grip on tangible interaction: A framework on physical space and social interaction» (PDF) . Труды конференции SIGCHI по человеческому фактору в вычислительных системах . Том CHI. стр. 437–446. doi :10.1145/1124772.1124838. ISBN 1-59593-372-7. Получено 17 февраля 2024 г. .
  4. ^ Ким, Ми Чжон; Махер, Мэри Лу (30 мая 2008 г.). «Влияние осязаемых пользовательских интерфейсов на пространственное познание дизайнеров». Взаимодействие человека и компьютера . 23 (2): 101–137. doi :10.1080/07370020802016415. S2CID  1268154.
  5. ^ http://tmg-trackr.media.mit.edu:8020/SuperContainer/RawData/Papers/485-Radical%20Atoms%20Beyond%20Tangible/Published/PDF Архивировано 19 сентября 2012 г. на Wayback Machine [ необходима полная ссылка ]
  6. ^ abc Ishii, Hiroshi (2007). «Осязаемые пользовательские интерфейсы». Справочник по взаимодействию человека и компьютера . стр. 495–514. doi :10.1201/9781410615862-35. ISBN 978-0-429-16397-5.
  7. ^ abc Кэмпбелл, Джон; Каранданг, Ксармейн (29 июля 2012 г.). «Сравнение графических и осязаемых пользовательских интерфейсов для игры в жанре Tower Defense». Труды AMCIS 2012 г. CiteSeerX 10.1.1.924.6112 . 
  8. ^ "Автоответчик Интернета вещей 1992 года с шариками / Boing Boing". boingboing.net . 21 марта 2013 г.
  9. ^ "Конструктор Topobo с кинетической памятью". www.topobo.com .
  10. ^ "jive - социальная сеть для вашей бабушки". jive.benarent.co.uk .
  11. ^ http://www.cs.rit.edu/~pns6910/docs/Tuple%20Space/A%20Tuple-Space%20Based%20Middleware%20for%20Collaborative%20Tangible%20User%20Interfaces.pdf [ нерабочая ссылка ] [ требуется полная цитата ]
  12. ^ "Эволюция осязаемых пользовательских интерфейсов на сенсорных столах | Ideum". Ideum - дизайн экспонатов | сенсорные столы | интерактивные экспонаты . Получено 31 октября 2017 г.
  13. ^ «Беспроводная аппаратура ввода-вывода и метод компьютерного обучения».
  14. ^ "Tangible Media". www.media.mit.edu . MIT Media Lab . Получено 10 декабря 2014 г. .
  15. ^ Андеркоффлер, Джон; Ишии, Хироши (1999). "Urp". Труды конференции SIGCHI по человеческим факторам в вычислительных системах CHI является пределом - CHI '99 . стр. 386–393. doi :10.1145/302979.303114. ISBN 978-0-201-48559-2. S2CID  52817952.
  16. ^ Ishii, H.; Underkoffler, J.; Chak, D.; Piper, B.; Ben-Joseph, E.; Yeung, L.; Kanji, Z. (2002). «Расширенное рабочее место городского планирования: наложение чертежей, физических моделей и цифровое моделирование». Труды. Международный симпозиум по смешанной и дополненной реальности . стр. 203–211. CiteSeerX 10.1.1.19.4960 . doi :10.1109/ISMAR.2002.1115090. ISBN  978-0-7695-1781-0. S2CID  2303022.
  17. ^ Пайпер, Бен; Ратти, Карло; Ишии, Хироши (2002). "Освещающая глина". Труды конференции SIGCHI "Человеческий фактор в вычислительных системах. Изменение нашего мира, изменение нас самих - CHI '02 . стр. 355. doi :10.1145/503376.503439. ISBN 978-1-58113-453-7. S2CID  7146503.
  18. ^ Ишии, Хироши (июнь 2008 г.). «Осязаемый пользовательский интерфейс и его эволюция». Сообщения ACM . 51 (6): 32–36. doi :10.1145/1349026.1349034. S2CID  29416502.
  19. ^ Хофер, Рамон; Каплан, Патрик; Кунц, Андреас (2008). "Mighty Trace ". Труды двадцать шестой ежегодной конференции CHI по человеческому фактору в вычислительных системах - CHI '08 . стр. 215. doi :10.1145/1357054.1357091. hdl :20.500.11850/9226. ISBN 978-1-60558-011-1. S2CID  12977345.
  20. ^ Алекса, Марк (5 августа 2007 г.). «Осязаемый пользовательский интерфейс для поддержки обучения по чрезвычайным ситуациям». Плакаты ACM SIGGRAPH 2007. Siggraph '07. стр. 144–es. doi :10.1145/1280720.1280877. ISBN 9781450318280. S2CID  1851821.
  21. ^ Jordà, Sergi; Geiger, Günter; Alonso, Marcos; Kaltenbrunner, Martin (2007). "The reac Table ". Труды 1-й международной конференции по осязаемому и встроенному взаимодействию - TEI '07 . стр. 139. CiteSeerX 10.1.1.81.1645 . doi :10.1145/1226969.1226998. ISBN  978-1-59593-619-6. S2CID  17384158.
  22. ^ Уолл, Джош (2009). «Демонстрация I Microsoft Surface и платформа единого представления». Международный симпозиум по технологиям и системам совместной работы 2009 г. стр. xxxi–xxxii. doi :10.1109/CTS.2009.5067436. ISBN 978-1-4244-4584-4.
  23. ^ Хауэрт, Сибилла; Райхмут, Даниэль; Бём, Фолькер (2007). «Мгновенный город». Труды 7-й международной конференции «Новые интерфейсы для музыкального выражения» — NIME '07 . С. 422. doi :10.1145/1279740.1279846. S2CID  22458111.
  24. ^ abc Кальтенбруннер, Мартин; Бенчина, Росс (2007). "ReacTIVision". Труды 1-й международной конференции по осязаемому и встроенному взаимодействию - TEI '07 . стр. 69. doi :10.1145/1226969.1226983. ISBN 978-1-59593-619-6. S2CID  459304.
  25. ^ "Выставка пользователей Sourceforge TUIO". 20 февраля 2017 г.
  26. ^ Планирование материальной фабрики, дипломная работа, Дэниел Гус, http://www.danielguse.de/tangibletable.php Архивировано 9 июля 2010 г. на Wayback Machine
  27. ^ "Интерактивный стол с reacTIVision: ImpulsBauhaus". 20 февраля 2017 г.
  28. ^ Скулмовски, Александр; Прадель, Саймон; Кюнерт, Том; Бруннетт, Гвидо; Рей, Гюнтер Даниэль (январь 2016 г.). «Воплощенное обучение с использованием осязаемого пользовательского интерфейса: влияние тактильного восприятия и выборочного указания на пространственную задачу обучения». Компьютеры и образование . 92–93: 64–75. doi :10.1016/j.compedu.2015.10.011. S2CID  10493691.
  29. ^ Фидальго, Ф., Сильва, П., Реалиньо, В.: «Повсеместные вычисления и организации», стр. 201. Текущие разработки в области технологического образования, 2006 г.
  30. ^ Мичитака Хиросе (2001). Взаимодействие человека и компьютера: INTERACT '01 : Международная конференция IFIP TC.13 по взаимодействию человека и компьютера, 9-13 июля 2001 г., Токио, Япония. IOS Press. стр. 337–. ISBN 978-1-58603-188-6.
  31. ^ Хамид Агаджан; Хуан Карлос Аугусто; Рамон Лопес-Косар Дельгадо (25 сентября 2009 г.). Интерфейсы, ориентированные на человека, для окружающего интеллекта. Academic Press. стр. 15–. ISBN 978-0-08-087850-8.
  32. ↑ Говард Рейнгольд (21 марта 2007 г.). Умные толпы: следующая социальная революция. Basic Books. стр. 104–. ISBN 978-0-465-00439-3.
  33. ^ Пол Дуриш (2004). Где действие: основы воплощенного взаимодействия. MIT Press. стр. 45–. ISBN 978-0-262-54178-7.
  34. ^ Мэри Бет Россон; Джон Миллар Кэрролл (2002). Юзабилити-инжиниринг: разработка взаимодействия человека с компьютером на основе сценариев. Морган Кауфманн. стр. 316–. ISBN 978-1-55860-712-5.

Внешние ссылки