Перьевые вычисления относятся к любому компьютерному пользовательскому интерфейсу с использованием пера или стилуса и планшета поверх устройств ввода, таких как клавиатура или мышь.
Исторически перьевые вычисления (определяемые как компьютерная система, использующая пользовательский интерфейс с использованием указательного устройства плюс распознавание рукописного текста в качестве основного средства интерактивного ввода пользователя) появились как минимум на два десятилетия раньше использования мыши и графического дисплея, начиная со Stylator. [1] и RAND Tablet [2] системы 1950-х и начала 1960-х годов.
Общие техники
Пользовательские интерфейсы для перьевых вычислений могут быть реализованы несколькими способами. [3] Современные системы обычно используют комбинацию этих методов.
Ввод указателя/локатора
Планшет и стилус используются в качестве указывающих устройств, например, вместо мыши. В то время как мышь является относительным указывающим устройством (мышь используется для «перемещения курсора» по экрану), планшет является абсолютным указывающим устройством (перо помещается туда, где должен появиться курсор).
При замене мыши стилусом и планшетом необходимо учитывать ряд человеческих факторов. Например, гораздо труднее нацелиться или коснуться одной и той же позиции дважды с помощью стилуса, поэтому операции «двойного касания» стилусом труднее выполнять, если система ожидает ввода «двойного щелчка» от мыши.
Палец можно использовать в качестве стилуса на сенсорной поверхности планшета, например сенсорного экрана .
Распознавание рукописного ввода
Планшет и стилус можно использовать вместо клавиатуры или одновременно мыши и клавиатуры, используя планшет и стилус в двух режимах:
Режим указания: стилус используется в качестве указывающего устройства, как описано выше.
Режим распознавания рукописного ввода в режиме онлайн: штрихи, сделанные стилусом, анализируются программным обеспечением как «электронные чернила», которое распознает форму штрихов или меток как рукописные символы. Затем символы вводятся в виде текста, как если бы они были с клавиатуры.
Различные системы переключаются между режимами (указание или распознавание рукописного текста) разными способами, например
написав в отдельных областях планшета для режима указания и для режима распознавания рукописного ввода.
нажав специальную кнопку сбоку стилуса для изменения режимов.
по контексту, например, обработка любых меток, не распознанных как текст, как указывающих ввод.
распознав специальный знак жеста.
Термин «онлайновое распознавание рукописного текста» используется для обозначения распознавания рукописного текста с использованием для ввода цифрового планшета в режиме реального времени , в отличие от «офлайнового распознавания рукописного текста», которое представляет собой оптическое распознавание статических рукописных символов с бумаги.
Прямая манипуляция
Стилус используется для непосредственного касания, нажатия и перетаскивания смоделированных объектов . Система Wang Freestyle [4] является одним из примеров. Фристайл работал исключительно путем прямого манипулирования, с добавлением электронных «чернил» для добавления рукописных заметок.
Распознавание жестов
Это техника распознавания определенных специальных форм не как рукописный ввод, а как индикатор специальной команды.
Например, форма «косички» (часто используемая в качестве отметки корректора) будет обозначать операцию «удаления». В зависимости от реализации удаляемым может быть объект или текст, на котором была сделана отметка, или же стилус можно использовать в качестве указательного устройства для выбора того, что следует удалить. В ОС Apple Newton текст можно было удалить, процарапав его зигзагообразным узором.
В последних системах используются дигитайзеры, которые могут распознавать более одного «стилуса» (обычно пальца) одновременно и использовать жесты Multi-touch .
PenPoint OS представляла собой специальную операционную систему, которая включала распознавание жестов и рукописный ввод на всех уровнях операционной системы. Предыдущие системы, которые использовали распознавание жестов, делали это только в специальных приложениях, таких как приложения CAD/CAM [5] [6] или обработка текста. [7]
История
Перьевые вычисления имеют очень глубокие исторические корни.
Первый патент на электронное устройство, используемое для рукописного ввода, телеавтограф , был выдан в 1888 году. [8]
Вероятно, первый патент на систему, которая распознавала рукописные символы путем анализа движения руки, был выдан в 1915 году. [9]
Примерно в 1954 году. Дуглас Т. Росс , работавший над компьютером Whirlwind в Массачусетском технологическом институте, написал «первую программу ввода рисованной графики на компьютер». [10]
Первая публично продемонстрированная система, использующая планшет и распознавание рукописного текста вместо клавиатуры для работы с современным цифровым компьютером, датируется 1956 годом. [11]
Помимо многих академических и исследовательских систем, в 1980-е годы существовало несколько компаний, предлагающих коммерческие продукты: Pencept , Communications Intelligence Corporation и Linus были одними из самых известных в этой насыщенной области. Позже корпорация GO выпустила операционную систему PenPoint OS для планшетного ПК: один из патентов корпорации GO стал предметом недавнего иска о нарушении прав, касающегося операционной системы планшетного ПК. [12]
В следующем списке хронологии представлены некоторые основные моменты этой истории:
До 1950 г.
1888: Элише Грею выдан патент США на электрическое стилус для захвата рукописного текста. [8] [13]
1915: Патент США на пользовательский интерфейс для распознавания рукописного ввода с помощью стилуса. [9] [14]
1942: Патент США на сенсорный экран для рукописного ввода. [15] [16]
1945: Ванневар Буш в эссе под названием « Как мы можем думать» предлагает Memex , устройство архивирования данных, включающее рукописный ввод . [17]
1950-е годы
Том Даймонд демонстрирует электронный планшет Styalator с ручкой для компьютерного ввода и распознавания рукописного текста. [11]
Начало 1960-х годов
РЭНД Изобрел планшет. [18] [19]
Конец 1960-х годов
Алан Кей из Xerox PARC предложил идею ноутбука под названием Dynabook , в котором можно было бы использовать перьевой ввод. Однако физическое устройство создано не было.
1971 год
Сенсорный интерфейс разработан в SLAC . [20]
1979 год
Fairlight CMI , первая коммерческая рабочая станция для цифрового отбора проб.
1982 год
Pencept из Уолтема, штат Массачусетс, продает компьютерный терминал общего назначения, использующий планшет и распознавание рукописного ввода вместо клавиатуры и мыши. [21]
Cadre System продает кассовый терминал Inforite, использующий распознавание рукописного ввода, а также небольшой электронный планшет и ручку. [22]
1985:
Pencept [23] [24] и CIC [25] предлагают компьютеры для потребительского рынка, использующие планшет и распознавание рукописного ввода вместо клавиатуры и мыши. Операционная система MS-DOS .
1989 год
Первым коммерчески доступным портативным компьютером планшетного типа стал GRiDPad 1900 [26] от GRiD Systems , выпущенный в сентябре. На нем работала GRiDPen (позже выпущенная как PenRight), графическая система с перьевым вводом и распознаванием рукописного ввода, работающая под управлением MS-DOS.
Wang Laboratories представляет Freestyle. Freestyle — это приложение, которое делало снимки экрана из приложения MS-DOS и позволяло пользователю добавлять голосовые и рукописные аннотации. Это был сложный предшественник более поздних приложений для создания заметок для таких систем, как Tablet PC. Операционная система была MS-DOS . [27]
1991 год
Был выпущен Momenta Pentop. [28] [29]
GO Corp анонсировала специальную операционную систему под названием PenPoint OS , обеспечивающую управление рабочим столом операционной системы с помощью рукописных жестов. [30] [31] Жесты включали в себя жесты «перелистывания» в разных направлениях, галочки, перечеркивания, косички и круглые формы, среди прочего.
Порша Исааксен из Future Computing оценивает общий годовой рынок перьевых компьютеров, таких как те, которые работают под управлением ОС PenPoint, примерно в 500 миллионов долларов.
NCR выпустила перьевой компьютер модели 3125 под управлением MS-DOS, Penpoint или Pen Windows. [32]
Apple Newton вступил в разработку; хотя в конечном итоге он стал КПК , его первоначальная концепция (которая требовала большего экрана и больших возможностей рисования эскизов) напоминала концепцию планшетного ПК.
IBM выпускает ThinkPad , первый коммерческий портативный планшетный компьютер IBM, доступный на потребительском рынке, под названием IBM ThinkPad 750P и 360P [34].
Apple Computer анонсирует КПК Newton, также известный как Apple MessagePad, который поддерживает распознавание рукописного ввода с помощью стилуса.
Компания Amstrad выпустила PenPad или PDA600, аналогичное устройство с пером. Коммерческого успеха он не добился. [35]
BellSouth выпустила IBM Simon Personal Communicator, аналоговый мобильный телефон с сенсорным экраном и дисплеем. Он не включал распознавание рукописного ввода, но позволял пользователям писать сообщения и отправлять их в виде факсов по аналоговой сети сотовой связи, а также включал функции КПК и электронной почты.
1999 год
Перьевой компьютер QBE, созданный Aqcess Technologies, получил награду Comdex Best of Show. [36]
2000 г.
Ручной компьютер QBE Vivo, созданный Aqcess Technologies, участвует в выставке Comdex Best of Show.
2001 г.
Билл Гейтс из Microsoft демонстрирует первый публичный прототип планшетного ПК (определяемого Microsoft как компьютер с перьевым вводом, соответствующий аппаратным спецификациям, разработанным Microsoft и работающий под управлением лицензионной копии Windows XP Tablet PC Edition ) [37] на выставке Comdex .
Wacom представляет платформу планшетов Cintiq с пером для профессиональных художников. [38]
2003 г.
Компания FingerWorks [39] разрабатывает сенсорную технологию и сенсорные жесты, которые позже использовались в Apple iPhone . [40]
Windows Vista выпущена для общедоступной версии. Vista включала в себя функциональность специальной версии Windows XP для планшетных ПК.
2008 год
В апреле 2008 года в рамках более крупного дела в федеральном суде было установлено, что функции жестов операционной системы и оборудования Windows/Tablet PC нарушают патент GO Corp., касающийся пользовательских интерфейсов для операционных систем перьевых компьютеров. [12] Приобретение технологии компанией Microsoft является предметом отдельного иска. [42] [43]
HP выпускает второй планшет с поддержкой MultiTouch: HP TouchSmart tx2z. [44]
Apple выпускает Apple Pencil для iPad Pro , который включает в себя чувствительность к давлению и определение угла.
2021 год
Samsung выпускает Samsung Galaxy S21 Ultra , первый телефон Samsung Galaxy S с поддержкой S Pen, присутствующей в серии Samsung Galaxy Note , а также выпуск S Pen Pro в качестве отдельного высококачественного стилуса, совместимого со смартфонами. , планшеты и ПК с поддержкой S Pen.
В августе 2021 года, в связи с прекращением выпуска всей серии Samsung Galaxy Note , компания Samsung выпускает Samsung Galaxy Z Fold 3 , первый складной телефон Galaxy Z Fold с поддержкой S Pen, а также выпускает S Pen Fold Edition в качестве отдельной версии. стилус должен быть исключительно совместим с Galaxy Z Fold 3 и более поздних версий, чтобы избежать повреждения экрана, вместо использования других стилусов и S Pen Pro без совместимости с Z Fold.
^ Даймонд, TL (1957-12-01), Устройства для чтения рукописных символов, Труды Восточной объединенной компьютерной конференции, стр. 232–237.
^ Гронер, GF (август 1966 г.), Распознавание рукописного текста в реальном времени, Меморандум RM-5016-ARPA, RAND Corporation
^ Сигнер, Б. (2024), Взаимодействие с помощью пера (PDF) , Справочник по взаимодействию человека с компьютером, Основной справочный материал, Springer Nature
^ Демонстрация WANG Freestyle, Wang Laboratories, 1989 , получено 22 сентября 2008 г.
^ Компьютеризированная система обработки графики: Руководство пользователя системы, Applicon Incorporated, 1 сентября 1973 г.
^ Коулман, Майкл Л. (1969), Редактирование текста на графическом устройстве отображения с использованием нарисованных от руки символов корректора, из «Соответствующие концепции в компьютерной графике: материалы 2-й конференции Университета Иллинойса по компьютерной графике», University of Illinois Press
^ Аб Грей, Элиша (31 июля 1888 г.), Telautograph (PDF) , Патент США 386 815 (полное изображение)
^ Аб Голдберг, HE (28 декабря 1915 г.), Контролер (PDF) , Патент США 1117184 (полное изображение)
^ Росс, Дуг (1989), Ретроспективы 1: Первые годы компьютерной графики (PDF) , SIGGRAPH 89 Proceedings, стр. 27–28
^ аб Даймонд, Том (1957-12-01), Устройства для чтения рукописных символов, Труды Восточной объединенной компьютерной конференции, стр. 232–237 , получено 23 августа 2008 г.
^ Аб Минц, Джессика (4 апреля 2008 г.), Microsoft подаст апелляцию на решение о патенте на сумму 367 миллионов долларов , Associated Press , получено 4 сентября 2008 г.
^ Грей (31 июля 1888 г.), Telautograph, Патент США 386 815.
^ Голдберг, HE (28 декабря 1915), контролер, патент США 1117184.
^ Муди, ХК (27 декабря 1942), Система телаутографа, патент США 2 269 599.
^ Муди, ХК (27 декабря 1942 г.), Система телавтографа (PDF) , патент США 2 269 599 (полное изображение)
^ Буш, Ванневар (15 июля 1945), Как мы можем думать, The Atlantic Monthly
^ Табличка РЭНД, 1 сентября 1961 г.
^ 50 лет видения вперед, RAND Corporation, 1 сентября 1998 г., архивировано из оригинала 7 мая 2009 г.
^ Фрайбергер, Д. (март 1972 г.), Инновации в панелях управления для больших компьютерных систем управления, Proc. 4-я конференция IEEE по ускорителям частиц, Чикаго, штат Иллинойс, США, 1–3 марта 1971 г., стр. 414–417.
^ Pencept Penpad (TM) 200 Литература по продуктам, Pencept, Inc., 15 августа 1982 г.
^ Терминал распознавания символов руки Inforite, Cadre Systems Limited, Англия, 15 августа 1982 г.
^ Руководство пользователя Penpad 320, Pencept, Inc., 15 июня 1984 г.
^ Управление программным обеспечением одним росчерком пера, Pencept, Inc., 1985 , получено 21 мая 2009 г.
^ Рукописный писатель (R) GrafText (TM) Модель системы GT-5000, Communication Intelligence Corporation, 15 января 1985 г.
^ Награды BYTE: GRiDPad от GRiD System, журнал BYTE, том 15. № 1, 12 января 1990 г., стр. 285
^ Wang Laboratories (1989), The Wang Freestyle System, WANG Laboratories
^ Лемпесис, Билл (май 1990 г.), Что нового в ноутбуках и перьевых вычислениях, Новости плоскопанельных дисплеев
^ "Компьютер-пентоп Momenta Corporation 1/40 - RICM" . сайты.google.com . Проверено 4 июня 2020 г.
^ Агульник, Тодд (13 сентября 1994 г.), Управление компьютером с помощью стилуса с определением положения, Патент США № 5,347,295.
^ Агульник, Тодд (13 сентября 1994 г.), Управление компьютером с помощью стилуса с определением положения (PDF) , Патент США 5 347 295 (полное изображение)
↑ NCR объявляет пресс-релиз о перьевых компьютерах, архивировано из оригинала 2 мая 2008 г. , получено 20 апреля 2007 г.
^ Пресс-релиз о выпуске Penpoint OS, заархивировано из оригинала 30 августа 2007 г. , получено 20 апреля 2007 г.
^ «История ThinkPad». Архивировано из оригинала 29 апреля 2007 г.
^ Amstrad PenPad PDA600. История вычислений (21 октября 2011 г.). Проверено 9 декабря 2013 г.
^ Тенденции на мероприятии COMDEX 1999 г. , данные получены 11 августа 2008 г.
^ Microsoft (2005), Требования к оборудованию Windows XP Tablet PC Edition 2005, www.microsoft.com , получено 14 марта 2009 г.
^ «Годовой отчет за 2009 год» (PDF) . Ваком.
^ Fingerworks, Inc. (2003), Руководство по игровым режимам iGesture, www.fingerworks.com , получено 30 апреля 2009 г.
^ MacEssentials (2007-08-02), Rubrik Apple: Das Lexikon der Fingersprache, www.mac-essentials.de , получено 16 мая 2009 г.
^ Друин, Эллисон (16 марта 2009 г.). Мобильные технологии для детей: проектирование для взаимодействия и обучения. Морган Кауфманн. п. 177. ИСБН978-0-08-095409-7.
↑ Фрид, Ина (6 июля 2005 г.). «Go подает антимонопольный иск против Microsoft» . CNET .
^ Новый антимонопольный иск - Go Corp. против Microsoft. Гроклав (4 июля 2005 г.). Проверено 9 декабря 2013 г.
^ HP TouchSmart tx2z, HP , получено 28 ноября 2008 г.
Внешние ссылки
«Неизвестная история перьевых вычислений» содержит историю перьевых вычислений, включая технологию прикосновения и жестов, примерно с 1917 по 1992 год.
Аннотированная библиография ссылок на распознавание рукописного ввода и перьевые вычисления.
Ряд ссылок на ресурсы перьевых вычислений.
Digital Ink, революционная технология в планшетных ПК, переносящая мощь пера на настольный компьютер