Виртуальная клавиатура — это программный компонент, который позволяет вводить символы без использования физических клавиш. [1] Взаимодействие с виртуальной клавиатурой происходит в основном через интерфейс сенсорного экрана , но может происходить и в другой форме в виртуальной или дополненной реальности .
На настольном компьютере виртуальная клавиатура может стать альтернативным механизмом ввода для пользователей с ограниченными возможностями , которые не могут использовать обычную клавиатуру, для многоязычных пользователей, которые часто переключаются между различными наборами символов или алфавитов, что со временем может сбивать с толку, или для пользователей которым не хватает традиционной клавиатуры.
Виртуальные клавиатуры могут использовать следующее:
В веб-браузерах были созданы различные виртуальные клавиатуры JavaScript , позволяющие пользователям вводить текст на своих языках на иностранных клавиатурах. Мультитач -экраны позволяют создавать виртуальные аккордовые клавиатуры для планшетных компьютеров , [7] сенсорных экранов, тачпадов и проводных перчаток . [8] [9]
Виртуальные клавиатуры обычно используются в качестве метода ввода на экране в устройствах без физической клавиатуры, где для нее нет места, таких как карманный компьютер , персональный цифровой помощник (КПК), планшетный компьютер или мобильный телефон с сенсорным экраном . Текст обычно вводится либо путем нажатия на виртуальную клавиатуру, либо путем ведения пальца. [10] Виртуальные клавиатуры также используются в программах эмуляции систем, в которых меньше кнопок, чем на компьютерной клавиатуре.
Четыре основных подхода к вводу текста в КПК : виртуальные клавиатуры, управляемые стилусом, внешние USB-клавиатуры, рукописные клавиатуры и распознавание штрихов. Подход Microsoft к мобильной операционной системе заключался в имитации полностью функциональной клавиатуры, что приводило к перегрузке раскладки. [11] Без поддержки технологии мультитач виртуальные клавиатуры КПК имели ограничения по удобству использования.
Когда Apple представила iPhone в 2007 году, отсутствие физической клавиатуры рассматривалось как ущерб. [12] Однако Apple внедрила в устройство технологию мультитач , преодолев проблемы с удобством использования КПК.
Наиболее распространенные мобильные операционные системы Android и iOS дают сообществу разработчиков возможность индивидуально разрабатывать собственные виртуальные клавиатуры.
Android SDK предоставляет «InputMethodService». [13] Этот сервис предоставляет стандартную реализацию метода ввода, позволяя сообществу разработчиков Android реализовать свои собственные раскладки клавиатуры. Служба InputMethodService поставляется вместе с ним в представлении с клавиатурой. [14] Хотя служба InputMethodService может использоваться для настройки ввода с помощью клавиш и жестов, класс клавиатуры загружает XML- описание клавиатуры и сохраняет атрибуты клавиш. [15]
В результате на Android- устройство можно установить разные версии клавиатуры , а клавиатура — это всего лишь приложение, наиболее часто скачиваемым среди которых являются Gboard и SwiftKey ; Возможна простая активация через меню настроек Android. [16]
iOS от Apple позволяет разрабатывать собственные клавиатуры, но не дает доступа к словарю или общим настройкам клавиатуры. iOS автоматически переключается между системной и пользовательской клавиатурой, если пользователь вводит текст в поле ввода текста. [17] [18]
UIInputViewController — это основной контроллер представления для пользовательского расширения приложения клавиатуры. Этот контроллер предоставляет различные методы реализации пользовательской клавиатуры, такие как пользовательский интерфейс для пользовательской клавиатуры, получение дополнительного словаря или изменение основного языка пользовательской клавиатуры. [19]
В различных научных работах начала 2000-х годов еще до изобретения смартфонов было показано, что предсказание слов на основе того, что печатает пользователь, помогает повысить скорость набора текста. [20] [21] В начале разработки этой функции клавиатуры прогнозирование в основном основывалось на статических словарях. Google реализовал метод прогнозирования в 2013 году в Android 4.4. Эта разработка в основном осуществлялась сторонними поставщиками клавиатур, такими как SwiftKey и Swype . [22] В 2014 году Apple представила iOS 8 [23] , которая включает новую функцию интеллектуального набора текста под названием «Быстрый ввод», которая отображает подсказки слов над клавиатурой по мере того, как пользователь печатает.
Тактильная обратная связь обеспечивает тактильное подтверждение того, что клавиша была успешно активирована, т.е. пользователь слышит и чувствует «щелчок» при нажатии клавиши. Используя гистерезис , можно в еще большей степени имитировать ощущение физической клавиши. В этом случае сначала раздается «щелчок», который слышен и ощущается при нажатии виртуальной клавиши, но затем, когда давление пальца уменьшается после нажатия клавиши, раздается дальнейший звук «отщелкивания» и ощущение, как будто физическая клавиша возвращается в исходное ненажатое состояние. Такое поведение объясняется в статье Алекса Онищака и Скотта Маккензи 2004 года «Сравнение двух методов ввода для клавиатур на мобильных устройствах», в которой впервые была представлена тактильная обратная связь с гистерезисом на виртуальной клавиатуре. [24]
Клавиатуры нужны в разных цифровых сферах. смартфоны и устройства, создающие виртуальные миры, например, очки виртуальной реальности или дополненной реальности , должны обеспечивать возможности ввода текста.
Оптическая виртуальная клавиатура была изобретена и запатентована инженерами IBM в 1992 году. [25] Она оптически обнаруживает и анализирует движения рук и пальцев человека и интерпретирует их как операции на физически несуществующем устройстве ввода, например, на поверхности с нарисованными клавишами . Это позволяет ему эмулировать неограниченное количество типов устройств ввода с ручным управлением, включая мышь или клавиатуру. Все механические блоки ввода могут быть заменены такими виртуальными устройствами, оптимизированными под текущее применение и физиологию пользователя с сохранением скорости, простоты и однозначности ручного ввода данных.
Одним из примеров этой технологии является «Тип селфи» — технология клавиатуры для мобильных телефонов, разработанная компанией Samsung Electronics . Предполагалось использовать фронтальную камеру (селфи-камеру) для отслеживания пальцев пользователя, позволяя пользователю печатать на «невидимой клавиатуре» на столе или другой поверхности перед телефоном. [26] [27] Он был представлен на выставке Consumer Electronics Show 2020 [28] [29] [30] и должен был быть представлен в том же году, но этого не произошло.
Основная идея виртуальной клавиатуры в среде дополненной реальности — предоставить пользователю возможность ввода текста. Распространенный подход — преобразовать плоскую клавиатуру в дополненную реальность, например, с помощью Unity TouchScreenKeyboard. Microsoft HoloLens позволяет пользователю указывать на буквы на клавиатуре , двигая головой. [31]
Другой подход был исследован корейской лабораторией KJIST U-VR в 2003 году. Они предложили использовать носимые устройства для отслеживания движения пальцев, чтобы заменить физическую клавиатуру виртуальной. Они также пытались предоставить пользователю аудиовизуальную обратную связь при нажатии клавиши. Основная идея заключалась в том, чтобы предоставить пользователю более естественный способ ввода текста, основанный на том, к чему он привык. [32]
Magic Leap 1 от Magic Leap реализует виртуальную клавиатуру с дополненной реальностью. [33]
Задача, как и в дополненной реальности , состоит в том, чтобы дать пользователю возможность вводить текст в полностью виртуальной среде. Большинство систем дополненной реальности не отслеживают руки пользователя. Многие доступные системы предоставляют возможность указывать на буквы. [34]
В сентябре 2016 года Google выпустила приложение виртуальной клавиатуры для своей гарнитуры виртуальной реальности Daydream [35] . Чтобы ввести текст, пользователь указывает на буквы с помощью контроллера. [36]
В феврале 2017 года Logitech представила экспериментальный подход к переносу своих клавиатур в виртуальную среду. Vive Tracker и игровая клавиатура Logitech G отслеживают движения пальцев без перчаток . Пятьдесят комплектов были отправлены эксклюзивным разработчикам, что позволило им в сочетании с комплектом для разработчиков BRIDGE от Logitech протестировать и поэкспериментировать с новой технологией. [37] [38]
В некоторых случаях можно использовать виртуальные клавиатуры, чтобы снизить риск регистрации нажатий клавиш . [39] Например, служба онлайн-банкинга Westpac использует виртуальную клавиатуру для ввода пароля, как и TreasuryDirect (см. рисунок). Вредоносному ПО сложнее контролировать дисплей и мышь для получения данных, вводимых через виртуальную клавиатуру, чем отслеживать реальные нажатия клавиш. Однако это возможно, например, путем записи снимков экрана через определенные промежутки времени или при каждом щелчке мыши. [40] [41]
Использование экранной клавиатуры, на которой пользователь «печатает» щелчками мыши, может увеличить риск раскрытия пароля при серфинге через плечо , потому что:
{{cite journal}}: Требуется цитировать журнал |journal=( помощь )CS1 maint: несколько имен: список авторов ( ссылка ){{cite journal}}: Требуется цитировать журнал |journal=( помощь )CS1 maint: несколько имен: список авторов ( ссылка ){{cite journal}}: Требуется цитировать журнал |journal=( помощь )