stringtranslate.com

Осязаемый пользовательский интерфейс

Reactable — пример реального пользовательского интерфейса электронного музыкального инструмента.
Устройство SandScape установлено в Музее детского творчества в Сан-Франциско

Материальный пользовательский интерфейс ( TUI ) — это пользовательский интерфейс , в котором человек взаимодействует с цифровой информацией через физическую среду . Первоначальное название было Graspable User Interface, которое больше не используется. Цель разработки TUI — расширить возможности сотрудничества, обучения и проектирования путем придания физической формы цифровой информации, тем самым используя преимущества человеческой способности захватывать физические объекты и материалы и манипулировать ими. [1]

Впервые он был задуман Радией Перлман как новый язык программирования, который будет обучать детей гораздо младшего возраста, аналогичный Logo, но с использованием специальных «клавиатур» и устройств ввода. Еще одним пионером в области материальных пользовательских интерфейсов является Хироши Исии , профессор Массачусетского технологического института , возглавляющий группу материальных медиа в Медиа-лаборатории Массачусетского технологического института . Его особое видение материальных пользовательских интерфейсов, называемых Tangible Bits , заключается в том, чтобы придать физическую форму цифровой информации, сделав биты непосредственно манипулируемыми и воспринимаемыми. Материальные биты обеспечивают плавную связь между физическими объектами и виртуальными данными.

Характеристики

  1. Физические представления вычислительно связаны с базовой цифровой информацией.
  2. Физические представления воплощают механизмы интерактивного управления.
  3. Физические представления перцептивно связаны с активно опосредованными цифровыми представлениями.
  4. Физическое состояние материальных ценностей воплощает ключевые аспекты цифрового состояния системы.

По мнению Ми Джонг Кима и Мэри Лу Махер, пять основных определяющих свойств материальных пользовательских интерфейсов заключаются в следующем: [2]

  1. пространственный мультиплекс как ввода, так и вывода;
  2. одновременный доступ и манипулирование компонентами интерфейса;
  3. сильные специфические устройства;
  4. пространственно ориентированные вычислительные устройства;
  5. пространственная реконфигурация устройств.

Сравнение с графическими пользовательскими интерфейсами

Материальный пользовательский интерфейс следует отличать от графического пользовательского интерфейса (GUI). Графический интерфейс существует только в цифровом мире, тогда как TUI соединяет цифровой мир с физическим. Например, экран отображает цифровую информацию, тогда как мышь позволяет нам напрямую взаимодействовать с этой цифровой информацией. [3] Материальный пользовательский интерфейс представляет входные данные непосредственно в физическом мире и делает цифровую информацию непосредственно доступной для понимания. [4]

Материальный пользовательский интерфейс обычно создается для одной конкретной целевой группы из-за небольшого количества возможных областей применения. Поэтому дизайн интерфейса необходимо разрабатывать вместе с целевой группой, чтобы обеспечить хороший пользовательский опыт. [5]

По сравнению с TUI, GUI имеет широкий спектр использования в одном интерфейсе. По этой причине он ориентирован на большую группу возможных пользователей. [5]

Одним из преимуществ TUI является удобство работы с пользователем, поскольку происходит физическое взаимодействие между пользователем и самим интерфейсом (например: SandScape: создание собственного ландшафта из песка). Еще одним преимуществом является удобство использования, поскольку пользователь интуитивно знает, как использовать интерфейс, зная функцию физического объекта. Таким образом, пользователю не нужно изучать функционал. Вот почему интерфейс материального пользователя часто используется, чтобы сделать технологии более доступными для пожилых людей. [4]

[5]

Примеры

Простым примером материального пользовательского интерфейса является компьютерная мышь: перетаскивание мыши по плоской поверхности соответствующим образом перемещает указатель на экране. Существует очень четкая связь между поведением системы и движениями мыши. Другие примеры включают в себя:

Было предложено несколько подходов к созданию общего промежуточного программного обеспечения для TUI. Они нацелены на независимость областей применения, а также на гибкость с точки зрения используемой сенсорной технологии. Например, Siftables предоставляет платформу приложений, в которой небольшие чувствительные к жестам дисплеи действуют вместе, образуя интерфейс человек-компьютер.

Для поддержки совместной работы TUI должны обеспечивать пространственное распределение, асинхронные действия и динамическую модификацию инфраструктуры TUI, если назвать наиболее важные из них. Этот подход представляет собой структуру, основанную на концепции пространства кортежей LINDA, отвечающую этим требованиям. Реализованная платформа TUIpist использует технологию произвольных датчиков для любого типа приложений и исполнительных механизмов в распределенных средах. [9]

Уровень развития

Интерес к материальным пользовательским интерфейсам (TUI) постоянно растет с 1990-х годов, и с каждым годом появляется все больше материальных систем. В официальном документе 2017 года описывается эволюция TUI для сенсорных столов и открываются новые возможности для экспериментов и разработок. [10]

В 1999 году Гэри Залевски запатентовал систему передвижных детских блоков, содержащих датчики и дисплеи для обучения правописанию и составлению предложений. [11]

Tangible Engine — это собственное авторское приложение, используемое для создания интерфейсов распознавания объектов для проекционно-емкостных сенсорных столов. Tangible Engine Media Creator позволяет пользователям с небольшим опытом программирования или вообще без него быстро создавать интерфейсы на основе TUI.

Группа MIT Tangible Media, возглавляемая Хироши Иши, постоянно разрабатывает и экспериментирует с TUI, включая множество настольных приложений. [12]

Система Urp [13] и более совершенная среда Augmented Urban Planning Workbench [14] позволяют цифровое моделирование воздушных потоков, теней, отражений и других данных на основе положений и ориентации физических моделей зданий на поверхности стола.

Новые разработки идут еще дальше и включают третье измерение, позволяя пользователю формировать ландшафты из глины (Illuminating Clay [15] ) или песка (Sand Scape [16] ). Опять же, различные симуляции позволяют анализировать тени, карты высот, уклоны и другие характеристики интерактивно формируемых массивов суши.

InfrActables — это совместная таблица обратной проекции, которая позволяет взаимодействовать с помощью TUI, включающего распознавание состояний. Добавление различных кнопок в TUI позволяет использовать дополнительные функции, связанные с TUI. Более новые версии технологии можно даже интегрировать в ЖК-дисплеи [17] с помощью инфракрасных датчиков позади ЖК-матрицы.

Программа Tangible Disaster [18] позволяет пользователю анализировать меры стихийного бедствия и моделировать различные виды стихийных бедствий (пожар, наводнение, цунами и т. д.) и сценарии эвакуации во время совместных сеансов планирования. Физические объекты позволяют позиционировать катастрофы, размещая их на интерактивной карте и дополнительно настраивая параметры (т.е. масштаб) с помощью прикрепленных к ним циферблатов.

Коммерческий потенциал TUI был определен недавно. Многократно награжденный Reactable, [19] интерактивный материальный настольный инструмент, теперь коммерчески распространяется Reactable Systems, дочерней компанией Университета Помпеу Фабра, где он был разработан. С помощью Reactable пользователи могут настроить свой собственный инструмент в интерактивном режиме, физически размещая различные объекты (представляющие генераторы, фильтры, модуляторы...) и параметризовать их, вращая и используя сенсорный ввод.

Microsoft распространяет свою новую платформу Microsoft Surface на базе Windows [20] (теперь Microsoft PixelSense) с 2009 года. Помимо мультитач- отслеживания пальцев, платформа поддерживает распознавание физических объектов по их следам. Было представлено несколько приложений, в основном для использования в коммерческих помещениях. Примеры варьируются от разработки собственного индивидуального графического макета для сноуборда или скейтборда до изучения деталей вина в ресторане путем размещения его на столе и навигации по меню с помощью сенсорного ввода. Также поддерживаются такие взаимодействия, как совместный просмотр фотографий с помощью портативной камеры или мобильного телефона, который легко подключается после размещения на столе.

Еще одна примечательная интерактивная инсталляция — Instant City [21] , сочетающая в себе игры, музыку, архитектуру и аспекты сотрудничества. Он позволяет пользователю строить трехмерные конструкции и обустраивать город из прямоугольных строительных блоков, что одновременно приводит к интерактивной сборке музыкальных фрагментов разных композиторов.

Разработка Reactable и последующий выпуск технологии отслеживания reacTIVision [22] под лицензией GNU/GPL, а также открытые спецификации протокола TUIO вызвали огромное количество разработок, основанных на этой технологии.

За последние несколько лет было начато множество любительских и полупрофессиональных проектов за пределами научных кругов и торговли. Благодаря технологиям отслеживания с открытым исходным кодом (reacTIVision [22] ) и постоянно растущей вычислительной мощности, доступной конечным потребителям, необходимая инфраструктура теперь доступна практически каждому. Стандартный компьютер, веб-камера и некоторые ручные работы позволяют людям создавать реальные системы с минимальными затратами на программирование и материальные затраты. Это открывает двери для новых способов восприятия взаимодействия человека и компьютера и позволяет общественности экспериментировать с новыми формами творчества. [ нужна цитата ]

Трудно отследить и не заметить быстро растущее число всех этих систем и инструментов, но, хотя многие из них, кажется, используют только доступные технологии и ограничиваются первоначальными экспериментами и тестами с некоторыми базовыми идеями или просто воспроизводят существующие системы, немногие из них открывают новые интерфейсы и взаимодействия и размещаются в общественных местах или встраиваются в художественные инсталляции. [23]

Планирование материального производства [24] представляет собой осязаемую таблицу на основе reacTIVision [22] , которая позволяет совместно планировать и визуализировать производственные процессы в сочетании с планами новых заводских зданий и была разработана в рамках дипломной работы.

Еще одним примером многих столешниц на основе reacTIVision является интерактивный стол ImpulsBauhaus [25] , который был выставлен на выставке в Университете Баухаус в Веймаре, посвященной 90-летию основания Баухауза. Посетители могли просматривать и изучать биографии, сложные отношения и социальные сети между членами движения.

Было показано , что использование принципов, основанных на воплощенном познании , теории когнитивной нагрузки и воплощенном дизайне , TUI повышает эффективность обучения, предлагая мультимодальную обратную связь. [26] Однако эти преимущества обучения требуют таких форм взаимодействия, которые оставляют как можно больше когнитивных способностей для обучения.

Физический значок

Физический значок , или фикон , — это материальный компьютерный эквивалент значка в традиционном графическом интерфейсе пользователя или GUI . Фиконы содержат ссылку на какой-либо цифровой объект и тем самым передают смысл. [27] [28] [29]

История

Физические значки были впервые использованы в качестве материальных интерфейсов в проекте MetaDesk, созданном в 1997 году исследовательской группой профессора Хироси Исии в Массачусетском технологическом институте . [30] [31] MetaDesk представлял собой стол, на поверхности которого отображалось проецируемое назад видеоизображение. Размещение фикона на столе активировало датчики, которые изменили видеопроекцию. [32]

Смотрите также

Рекомендации

  1. ^ Исии, Хироши (2008). «Материальные кусочки». Материалы 2-й международной конференции по материальному и встроенному взаимодействию - TEI '08 . стр. xv. дои : 10.1145/1347390.1347392. ISBN 978-1-60558-004-3. S2CID  18166868.
  2. ^ Ким, Ми Чжон; Махер, Мэри Лу (30 мая 2008 г.). «Влияние материальных пользовательских интерфейсов на пространственное познание дизайнеров». Взаимодействие человека с компьютером . 23 (2): 101–137. дои : 10.1080/07370020802016415. S2CID  1268154.
  3. ^ http://tmg-trackr.media.mit.edu:8020/SuperContainer/RawData/Papers/485-Radical%20Atoms%20Beyond%20Tangible/Published/PDF. Архивировано 19 сентября 2012 г. в Wayback Machine [ нужна полная ссылка ]
  4. ^ abc Исии, Хироши (2007). «Материальные пользовательские интерфейсы». Справочник по взаимодействию человека и компьютера . стр. 495–514. дои : 10.1201/9781410615862-35. ISBN 978-0-429-16397-5.
  5. ^ abc Кэмпбелл, Джон; Каранданг, Шармань (29 июля 2012 г.). «Сравнение графического и материального пользовательского интерфейса в игре Tower Defense». Материалы AMCIS 2012 . CiteSeerX 10.1.1.924.6112 . 
  6. ^ "Автоответчик Интернета вещей 1992 года, с шариками / Boing Boing" . boingboing.net . 21 марта 2013 г.
  7. ^ "Конструктор Топобо с кинетической памятью" . www.topobo.com .
  8. ^ «Jive - социальные сети для твоей бабушки» . jive.benarent.co.uk .
  9. ^ http://www.cs.rit.edu/~pns6910/docs/Tuple%20Space/A%20Tuple-Space%20Based%20Middleware%20for%20Collaborative%20Tangible%20User%20Interfaces.pdf [ неработающая ссылка ] [ полная цитата ] нужный ]
  10. ^ «Эволюция материальных пользовательских интерфейсов на сенсорных столах | Ideum» . Идеум - оформление выставки | сенсорные столы | интерактивные экспонаты . Проверено 31 октября 2017 г.
  11. ^ «Беспроводное устройство ввода-вывода и метод компьютерного обучения».
  12. ^ «Материальные медиа». www.media.mit.edu . Медиалаборатория Массачусетского технологического института . Проверено 10 декабря 2014 г.
  13. ^ Андеркоффлер, Джон; Исии, Хироши (1999). «Урп». Материалы конференции SIGCHI по Человеческому фактору в вычислительных системах. CHI - предел - CHI '99 . стр. 386–393. дои : 10.1145/302979.303114. ISBN 978-0-201-48559-2. S2CID  52817952.
  14. ^ Исии, Х.; Андеркоффлер, Дж.; Чак, Д.; Пайпер, Б.; Бен-Джозеф, Э.; Юнг, Л.; Кандзи, З. (2002). «Инструменты расширенного городского планирования: наложение чертежей, физических моделей и цифрового моделирования». Слушания. Международный симпозиум по смешанной и дополненной реальности . стр. 203–211. CiteSeerX 10.1.1.19.4960 . дои : 10.1109/ISMAR.2002.1115090. ISBN  978-0-7695-1781-0. S2CID  2303022.
  15. ^ Пайпер, Бен; Ратти, Карло; Исии, Хироши (2002). «Светящаяся глина». Материалы конференции SIGCHI «Человеческий фактор в вычислительных системах Меняем наш мир, меняемся сами — CHI '02» . п. 355. дои : 10.1145/503376.503439. ISBN 978-1-58113-453-7. S2CID  7146503.
  16. ^ Исии, Хироши (июнь 2008 г.). «Осязаемый пользовательский интерфейс и его эволюция». Коммуникации АКМ . 51 (6): 32–36. дои : 10.1145/1349026.1349034. S2CID  29416502.
  17. ^ Хофер, Рамон; Каплан, Патрик; Кунц, Андреас (2008). «Могучий след ». Материалы двадцать шестой ежегодной конференции CHI «Человеческий фактор в вычислительных системах — CHI '08» . п. 215. дои : 10.1145/1357054.1357091. hdl : 20.500.11850/9226. ISBN 978-1-60558-011-1. S2CID  12977345.
  18. ↑ Алекса, Марк (5 августа 2007 г.). «Осязаемый пользовательский интерфейс для поддержки образования в области стихийных бедствий». Плакаты ACM SIGGRAPH 2007 . Сигграф '07. стр. 144–е. дои : 10.1145/1280720.1280877. ISBN 9781450318280. S2CID  1851821.
  19. ^ Жорда, Сержи; Гейгер, Гюнтер; Алонсо, Маркос; Кальтенбруннер, Мартин (2007). «Реакционная таблица ». Материалы 1-й международной конференции по материальному и встроенному взаимодействию - TEI '07 . п. 139. CiteSeerX 10.1.1.81.1645 . дои : 10.1145/1226969.1226998. ISBN  978-1-59593-619-6. S2CID  17384158.
  20. ^ Уолл, Джош (2009). «Демо I Microsoft Surface и платформа единого представления». 2009 Международный симпозиум по совместным технологиям и системам . стр. xxxi – xxxii. дои : 10.1109/CTS.2009.5067436. ISBN 978-1-4244-4584-4.
  21. ^ Хауэрт, Сибилла; Райхмут, Дэниел; Бём, Волкер (2007). «Мгновенный город». Материалы 7-й международной конференции «Новые интерфейсы для музыкальной выразительности» — NIME '07 . п. 422. дои : 10.1145/1279740.1279846. S2CID  22458111.
  22. ^ abc Кальтенбруннер, Мартин; Бенчина, Росс (2007). «РеакТИВижн». Материалы 1-й международной конференции по материальному и встроенному взаимодействию - TEI '07 . п. 69. дои : 10.1145/1226969.1226983. ISBN 978-1-59593-619-6. S2CID  459304.
  23. ^ "Выставка пользователей Sourceforge TUIO" .
  24. ^ Материальное планирование завода, дипломная работа, Дэниел Гузе, http://www.danielguse.de/tangibletable.php. Архивировано 9 июля 2010 г. в Wayback Machine.
  25. ^ «Интерактивный стол с reacTIVision: ImpulsBauhaus» .
  26. ^ Скульмовский, Александр; Прадель, Саймон; Кюнерт, Том; Бруннетт, Гвидо; Рей, Гюнтер Даниэль (январь 2016 г.). «Воплощенное обучение с использованием осязаемого пользовательского интерфейса: влияние тактильного восприятия и выборочного указания на задачу пространственного обучения». Компьютеры и образование . 92–93: 64–75. doi :10.1016/j.compedu.2015.10.011. S2CID  10493691.
  27. ^ Фидальго Ф., Силва П., Реалиньо В.: «Повсеместные вычисления и организации», стр. 201. Текущие достижения в технологическом образовании, 2006 г.
  28. ^ Мичитака Хиросе (2001). Взаимодействие человека и компьютера: INTERACT '01: Международная конференция IFIP TC.13 по взаимодействию человека и компьютера, 9-13 июля 2001 г., Токио, Япония. ИОС Пресс. стр. 337–. ISBN 978-1-58603-188-6.
  29. ^ Хамид Агаджан; Хуан Карлос Аугусто; Рамон Лопес-Козар Дельгадо (25 сентября 2009 г.). Человеко-ориентированные интерфейсы для окружающего интеллекта. Академическая пресса. стр. 15–. ISBN 978-0-08-087850-8.
  30. ^ Говард Рейнгольд (21 марта 2007 г.). Умная мафия: следующая социальная революция. Основные книги. стр. 104–. ISBN 978-0-465-00439-3.
  31. ^ Пол Дуриш (2004). Где действие: основы воплощенного взаимодействия. МТИ Пресс. стр. 45–. ISBN 978-0-262-54178-7.
  32. ^ Мэри Бет Россон; Джон Миллар Кэрролл (2002). Юзабилити-инжиниринг: разработка сценариев взаимодействия человека и компьютера. Морган Кауфманн. стр. 316–. ISBN 978-1-55860-712-5.

Внешние ссылки