Виртуальная клавиатура — это программный компонент, позволяющий вводить символы без необходимости использования физических клавиш. [1] Взаимодействие с виртуальной клавиатурой в основном происходит через сенсорный экран , но может также происходить в другой форме в виртуальной или дополненной реальности .
На настольном компьютере виртуальная клавиатура может стать альтернативным механизмом ввода для пользователей с ограниченными возможностями , которые не могут использовать обычную клавиатуру, для многоязычных пользователей, которые часто переключаются между различными наборами символов или алфавитами, что со временем может сбивать с толку, или для пользователей, у которых нет традиционной клавиатуры.
Виртуальные клавиатуры могут использовать следующее:
Различные виртуальные клавиатуры JavaScript были созданы в веб-браузерах, позволяя пользователям печатать на своих языках на иностранных клавиатурах. Мультисенсорные экраны позволяют создавать виртуальные аккордовые клавиатуры для планшетных компьютеров , [7] сенсорных экранов, сенсорных панелей и проводных перчаток . [8] [9]
Виртуальные клавиатуры обычно используются в качестве экранного метода ввода в устройствах без физической клавиатуры, где нет места для нее, таких как карманный компьютер , персональный цифровой помощник (КПК), планшетный компьютер или мобильный телефон с сенсорным экраном . Текст обычно вводится либо нажатием на виртуальную клавиатуру, либо отслеживанием пальцем. [10] Виртуальные клавиатуры также представлены в программном обеспечении для эмуляции систем, которые имеют меньше кнопок, чем клавиатура компьютера.
Четыре основных подхода к вводу текста в КПК : виртуальные клавиатуры, управляемые стилусом, внешние USB-клавиатуры, рукописные клавиатуры и распознавание штрихов. Подход Microsoft к мобильной операционной системе заключался в имитации полностью функциональной клавиатуры, что приводило к перегруженной раскладке. [11] Без поддержки технологии multi-touch виртуальные клавиатуры КПК имели ограничения по удобству использования.
Когда Apple представила iPhone в 2007 году, отсутствие физической клавиатуры рассматривалось как недостаток. [12] Однако Apple реализовала в устройстве технологию multi-touch , преодолев проблемы удобства использования КПК.
Наиболее распространенные мобильные операционные системы, Android и iOS , предоставляют сообществу разработчиков возможность индивидуально разрабатывать собственные виртуальные клавиатуры.
Android SDK предоставляет «InputMethodService». [13] Эта служба предоставляет стандартную реализацию метода ввода, позволяя сообществу разработчиков Android реализовывать собственные раскладки клавиатуры. InputMethodService поставляется с ним в Keyboard View. [14] В то время как InputMethodService можно использовать для настройки ввода клавиш и жестов, Keyboard Class загружает XML- описание клавиатуры и сохраняет атрибуты клавиш. [15]
В результате на Android- устройство можно установить различные версии клавиатуры , а клавиатура представляет собой всего лишь приложение, наиболее часто загружаемыми из которых являются Gboard и SwiftKey ; возможна простая активация через меню настроек Android. [16]
Операционная система iOS от Apple позволяет разрабатывать пользовательские клавиатуры, однако доступ к словарю или общим настройкам клавиатуры не предоставляется. iOS автоматически переключается между системной и пользовательской клавиатурами, если пользователь вводит текст в поле ввода текста. [17] [18]
UIInputViewController — это основной контроллер представления для расширения приложения пользовательской клавиатуры. Этот контроллер предоставляет различные методы для реализации пользовательской клавиатуры, такие как пользовательский интерфейс для пользовательской клавиатуры, получение дополнительного словаря или изменение основного языка пользовательской клавиатуры. [19]
Различные научные работы начала 2000-х годов показали, что даже до изобретения смартфонов предсказание слов на основе того, что печатает пользователь, способствовало увеличению скорости печати. [20] [21] В начале разработки этой функции клавиатуры предсказание в основном основывалось на статических словарях. Google реализовала метод предсказания в 2013 году в Android 4.4. Это развитие в основном стимулировалось сторонними поставщиками клавиатур, такими как SwiftKey и Swype . [22] В 2014 году Apple представила iOS 8 [23] , которая включает в себя новую функцию предиктивного набора текста под названием Quick Type, которая отображает предсказания слов над клавиатурой по мере того, как пользователь печатает.
Тактильная обратная связь обеспечивает тактильное подтверждение того, что клавиша была успешно нажата, т. е. пользователь слышит и чувствует «щелчок» при нажатии клавиши. Используя гистерезис , ощущение физической клавиши может быть эмулировано в еще большей степени. В этом случае есть начальный «щелчок», который слышен и ощущается при нажатии виртуальной клавиши, но затем, когда давление пальца уменьшается после нажатия клавиши, есть еще один звук «отщелкивания» и ощущение, как будто физическая клавиша возвращается в исходное ненажатое состояние. Это поведение объясняется в статье Алекса Онищака и Скотта Маккензи 2004 года «Сравнение двух методов ввода для клавиатур на мобильных устройствах», в которой впервые была представлена тактильная обратная связь с гистерезисом на виртуальной клавиатуре. [24]
Клавиатуры необходимы в различных цифровых областях. Смартфоны и устройства, создающие виртуальные миры, например, очки виртуальной реальности или дополненной реальности , должны обеспечивать возможности ввода текста.
Оптическая виртуальная клавиатура была изобретена и запатентована инженерами IBM в 1992 году. [25] Она оптически обнаруживает и анализирует движения рук и пальцев человека и интерпретирует их как операции на физически несуществующем устройстве ввода, таком как поверхность с нарисованными клавишами. Это позволяет ей эмулировать неограниченное количество типов ручных устройств ввода, включая мышь или клавиатуру. Все механические устройства ввода могут быть заменены такими виртуальными устройствами, оптимизированными для текущего приложения и физиологии пользователя, сохраняя скорость, простоту и однозначность ручного ввода данных.
Одним из примеров этой технологии является «Selfie Type» — технология клавиатуры для мобильных телефонов, разработанная Samsung Electronics . Она была предназначена для использования фронтальной камеры (камеры для селфи) для отслеживания пальцев пользователя, что позволяло пользователю печатать на «невидимой клавиатуре» на столе или другой поверхности перед телефоном. [26] [27] Она была представлена на выставке Consumer Electronics Show 2020 [28] [29] [30] и должна была быть запущена в том же году, но так и не была.
Основная идея виртуальной клавиатуры в среде дополненной реальности — предоставить пользователю возможность ввода текста. Распространенный подход — перенести плоскую клавиатуру в дополненную реальность, например, с помощью Unity TouchScreenKeyboard. Microsoft HoloLens позволяет пользователю указывать на буквы на клавиатуре, двигая головой. [31]
Другой подход был исследован корейской лабораторией KJIST U-VR в 2003 году. Их предложение состояло в том, чтобы использовать носимые устройства для отслеживания движения пальцев, чтобы заменить физическую клавиатуру виртуальной. Они также пытались дать пользователю аудиовизуальную обратную связь при нажатии клавиши. Основная идея состояла в том, чтобы дать пользователю более естественный способ ввода текста, основанный на том, к чему он привык. [32]
Magic Leap 1 от Magic Leap реализует виртуальную клавиатуру с дополненной реальностью. [33]
Задача, как и в дополненной реальности , заключается в том, чтобы дать пользователю возможность вводить текст в полностью виртуальной среде. Большинство систем дополненной реальности не отслеживают руки пользователя. Поэтому многие доступные системы предоставляют возможность указывать на буквы. [34]
В сентябре 2016 года Google выпустила приложение виртуальной клавиатуры для своей гарнитуры виртуальной реальности Daydream [35] . Чтобы ввести текст, пользователь указывает на буквы с помощью контроллера. [36]
В феврале 2017 года Logitech представила экспериментальный подход к переносу своих клавиатур в виртуальную среду. Vive Tracker и игровая клавиатура Logitech G отслеживают движение пальцев без надевания перчаток. Пятьдесят комплектов были отправлены эксклюзивным разработчикам, что позволило им в сочетании с комплектом разработчиков BRIDGE от Logitech протестировать и поэкспериментировать с новой технологией. [37] [38]
В некоторых случаях виртуальные клавиатуры могут использоваться для снижения риска регистрации нажатий клавиш . [39] Например, онлайн-банкинг Westpac использует виртуальную клавиатуру для ввода пароля, как и TreasuryDirect ( см. рисунок). Вредоносному ПО сложнее контролировать дисплей и мышь, чтобы получить данные, введенные с помощью виртуальной клавиатуры, чем отслеживать реальные нажатия клавиш. Однако это возможно, например, путем записи снимков экрана через регулярные промежутки времени или при каждом щелчке мыши. [40] [41]
Использование экранной клавиатуры, на которой пользователь «печатает» с помощью щелчков мыши, может увеличить риск раскрытия пароля при серфинге через плечо , потому что:
{{cite journal}}: Цитировать журнал требует |journal=( помощь )CS1 maint: несколько имен: список авторов ( ссылка ){{cite journal}}: Цитировать журнал требует |journal=( помощь )CS1 maint: несколько имен: список авторов ( ссылка ){{cite journal}}: Цитировать журнал требует |journal=( помощь )