Перьевые вычисления относятся к любому компьютерному пользовательскому интерфейсу с использованием пера или стилуса и планшета поверх устройств ввода, таких как клавиатура или мышь.
Исторически перьевые вычисления (определяемые как компьютерная система, использующая пользовательский интерфейс с использованием указательного устройства плюс распознавание рукописного текста в качестве основного средства интерактивного ввода пользователя) появились как минимум на два десятилетия раньше использования мыши и графического дисплея, начиная со Stylator. [1] и RAND Tablet [2] системы 1950-х и начала 1960-х годов.
Общие техники
Пользовательские интерфейсы для перьевых вычислений могут быть реализованы несколькими способами. Реальные системы обычно используют комбинацию этих методов.
Ввод указателя/локатора
Планшет и стилус используются в качестве указывающих устройств, например, вместо мыши. В то время как мышь является относительным указывающим устройством (мышь используется для «передвигания курсора» по экрану), планшет является абсолютным указывающим устройством (перо помещается туда, где должен появиться курсор).
При замене мыши стилусом и планшетом необходимо учитывать ряд человеческих факторов. Например, гораздо сложнее нацелиться или дважды коснуться одной и той же позиции стилусом, поэтому операции «двойного касания» стилусом труднее выполнять, если система ожидает ввода «двойного щелчка» от мыши.
Палец можно использовать в качестве стилуса на сенсорной поверхности планшета, например сенсорного экрана .
Распознавание рукописного ввода
Планшет и стилус можно использовать вместо клавиатуры или одновременно мыши и клавиатуры, используя планшет и стилус в двух режимах:
Режим указания: стилус используется в качестве указывающего устройства, как указано выше.
Режим распознавания рукописного ввода в режиме онлайн: штрихи, сделанные стилусом, анализируются программным обеспечением как «электронные чернила», которое распознает форму штрихов или меток как рукописные символы. Затем символы вводятся в виде текста, как если бы они были с клавиатуры.
Различные системы переключаются между режимами (указание или распознавание рукописного текста) разными способами, например
написав в отдельных областях планшета для режима указания и для режима распознавания рукописного ввода.
нажав специальную кнопку сбоку стилуса для изменения режимов.
по контексту, например, обработка любых меток, не распознанных как текст, как указывающих ввод.
Стилус используется для непосредственного касания, нажатия и перетаскивания смоделированных объектов . Система Wang Freestyle [3] является одним из примеров. Фристайл работал исключительно путем прямого манипулирования, с добавлением электронных «чернил» для добавления рукописных заметок.
Распознавание жестов
Это техника распознавания определенных специальных форм не как рукописный ввод, а как индикатор специальной команды.
Например, форма «косички» (часто используемая в качестве отметки корректора) будет обозначать операцию «удаления». В зависимости от реализации удаляемым может быть объект или текст, на котором была сделана отметка, или же стилус можно использовать в качестве указательного устройства для выбора того, что следует удалить. В операционной системе Apple Newton текст можно было удалить, процарапав его зигзагообразным узором.
В последних системах используются дигитайзеры, которые могут распознавать более одного «стилуса» (обычно пальца) одновременно и использовать жесты Multi-touch .
PenPoint OS представляла собой специальную операционную систему, которая включала распознавание жестов и рукописный ввод на всех уровнях операционной системы. Предыдущие системы, которые использовали распознавание жестов, делали это только в специальных приложениях, таких как приложения CAD/CAM [4] [5] или обработка текста. [6]
История
Перьевые вычисления имеют очень глубокие исторические корни. Например, первый патент на электронное устройство, используемое для рукописного ввода, телеавтограф , был выдан в 1888 году. [7]
Вероятно, первый патент на систему, которая распознавала рукописные символы путем анализа движения руки, был выдан в 1915 году. [8] ]
Примерно в 1954 году Дуглас Т. Росс , работая над компьютером Whirlwind в Массачусетском технологическом институте, написал «первую программу ввода рисованной графики на компьютер». [9]
Первая публично продемонстрированная система, использующая планшет и распознавание рукописного текста вместо клавиатуры для работы с современным цифровым компьютером, датируется 1956 годом. [10]
Помимо многих академических и исследовательских систем, в 1980-е годы существовало несколько компаний, предлагающих коммерческие продукты: Pencept , Communications Intelligence Corporation и Linus были одними из самых известных в этой насыщенной области. Позже корпорация GO представила операционную систему PenPoint OS для планшетного ПК: один из патентов корпорации GO стал предметом недавнего иска о нарушении прав, касающегося операционной системы планшетного ПК. [11]
В следующем списке хронологии представлены некоторые основные моменты этой истории:
До 1950 г.
1888: Элише Грею выдан патент США на электрическое стилусное устройство для захвата рукописного текста. [7] [12]
1915: Патент США на пользовательский интерфейс для распознавания рукописного текста с помощью стилуса. [8] [13]
1942: Патент США на сенсорный экран для рукописного ввода. [14] [15]
Том Даймонд демонстрирует электронный планшет Styalator с ручкой для компьютерного ввода и распознавания рукописного текста. [10]
Начало 1960-х годов
РЭНД Изобрел планшет. [17] [18]
Конец 1960-х годов
Алан Кей из Xerox PARC предложил ноутбук с перьевым вводом под названием Dynabook , однако это устройство так и не было создано.
1971 год
Сенсорный интерфейс разработан в SLAC . [19]
1979 год
Fairlight CMI , первая коммерческая рабочая станция для цифрового отбора проб.
1982 год
Pencept из Уолтема, штат Массачусетс, продает компьютерный терминал общего назначения, использующий планшет и распознавание рукописного ввода вместо клавиатуры и мыши. [20]
Cadre System продает кассовый терминал Inforite, использующий распознавание рукописного ввода, а также небольшой электронный планшет и ручку. [21]
1985:
Pencept [22] [23] и CIC [24] предлагают компьютеры для потребительского рынка, использующие планшет и распознавание рукописного ввода вместо клавиатуры и мыши. Операционная система MS-DOS .
1989 год
Первым коммерчески доступным портативным компьютером планшетного типа стал GRiDPad 1900 [25] от GRiD Systems , выпущенный в сентябре. На нем работала GRiDPen (позже выпущенная как PenRight), графическая система с перьевым вводом и распознаванием рукописного ввода, работающая под управлением MS-DOS.
Wang Laboratories представляет Freestyle. Freestyle — это приложение, которое делало снимок экрана из приложения MS-DOS и позволяло пользователю добавлять голосовые и рукописные аннотации. Это был сложный предшественник более поздних приложений для создания заметок для таких систем, как планшетный ПК. Операционная система была MS-DOS . [26]
1991 год
Был выпущен Momenta Pentop. [27] [28]
GO Corp анонсировала специальную операционную систему под названием PenPoint OS , обеспечивающую управление рабочим столом операционной системы с помощью рукописных жестов. [29] [30] Жесты включали, среди прочего, жесты «перелистывания» в разных направлениях, галочки, перечеркивания, косички и круглые формы.
Порша Исааксен из Future Computing оценивает общий годовой рынок перьевых компьютеров, таких как те, которые работают под управлением ОС PenPoint , примерно в 500 миллионов долларов.
NCR выпустила перьевой компьютер модели 3125 под управлением MS-DOS, Penpoint или Pen Windows. [31]
Apple Newton вступил в разработку; хотя в конечном итоге он стал КПК , его первоначальная концепция (которая требовала большего экрана и больших возможностей рисования эскизов) напоминала концепцию планшетного ПК.
Сэм Трэмиел из Atari Corp. представил « ST-Pad » (под кодовым названием «STylus») на выставке CeBIT '91 в Ганновере , Германия . Компьютер так и не пошел в производство.
1992 год
GO Corp поставила PenPoint, а IBM анонсировала перьевой компьютер IBM 2125 (первая модель IBM под названием ThinkPad) в апреле. [32]
IBM выпускает ThinkPad , первый коммерческий портативный планшетный компьютер IBM, доступный на потребительском рынке, под названием IBM ThinkPad 750P и 360P [33].
Apple Computer анонсирует КПК Newton, также известный как Apple MessagePad, который поддерживает распознавание рукописного ввода с помощью стилуса.
Компания Amstrad выпустила PenPad или PDA600, аналогичное устройство с пером. Коммерческого успеха он не добился. [34]
BellSouth выпустила IBM Simon Personal Communicator, аналоговый мобильный телефон с сенсорным экраном и дисплеем. Он не включал распознавание рукописного ввода, но позволял пользователям писать сообщения и отправлять их в виде факсов по аналоговой сети сотовой связи, а также включал функции КПК и электронной почты.
1999 год
Перьевой компьютер QBE, созданный Aqcess Technologies, получил награду Comdex Best of Show. [35]
2000 г.
Ручной компьютер QBE Vivo, созданный Aqcess Technologies, участвует в выставке Comdex Best of Show.
2001 г.
Билл Гейтс из Microsoft демонстрирует первый публичный прототип планшетного ПК (определяемого Microsoft как компьютер с перьевым вводом, соответствующий спецификациям оборудования, разработанным Microsoft и работающий под управлением лицензионной копии Windows XP Tablet PC Edition ) [36] на выставке Comdex .
Wacom представляет платформу планшетов Cintiq с пером для профессиональных художников. [37]
2003 г.
Компания FingerWorks [38] разрабатывает сенсорную технологию и сенсорные жесты, которые позже использовались в Apple iPhone . [39]
Windows Vista выпущена для общедоступной версии. Vista включала в себя функциональность специальной версии Windows XP для планшетных ПК.
2008 год
В апреле 2008 года в рамках более крупного дела в федеральном суде было обнаружено, что функции жестов операционной системы и оборудования Windows/Tablet PC нарушают патент GO Corp. , касающийся пользовательских интерфейсов для операционных систем перьевых компьютеров. [11] Приобретение технологии Microsoft является предметом отдельного иска. [41] [42]
HP выпускает второй планшет с поддержкой MultiTouch: HP TouchSmart tx2z. [43]
Apple выпускает Apple Pencil для iPad Pro , который включает в себя чувствительность к давлению и определение угла.
2021 год
Samsung выпускает Samsung Galaxy S21 Ultra , первый телефон Samsung Galaxy S с поддержкой S Pen, присутствующей в серии Samsung Galaxy Note , а также выпуск S Pen Pro в качестве отдельного высококачественного стилуса, совместимого со смартфонами. , планшеты и ПК с поддержкой S Pen.
В августе 2021 года, в связи с прекращением выпуска всей серии Samsung Galaxy Note , компания Samsung выпускает Samsung Galaxy Z Fold 3 , первый складной телефон Galaxy Z Fold с поддержкой S Pen, а также выпускает S Pen Fold Edition в качестве отдельной версии. стилус должен быть исключительно совместим с Galaxy Z Fold 3 и более поздних версий, чтобы избежать повреждения экрана, вместо использования других стилусов и S Pen Pro без совместимости с Z Fold.
^ Коулман, Майкл Л. (1969), Редактирование текста на графическом устройстве отображения с использованием нарисованных от руки символов корректора, из «Соответствующие концепции в компьютерной графике: материалы 2-й конференции Университета Иллинойса по компьютерной графике», University of Illinois Press
^ Аб Грей, Элиша (31 июля 1888 г.), Telautograph (PDF) , Патент США 386 815 (полное изображение)
^ Аб Голдберг, HE (28 декабря 1915 г.), Контролер (PDF) , Патент США 1117184 (полное изображение)
^ Росс, Дуг (1989), Ретроспективы 1: Первые годы компьютерной графики (PDF) , SIGGRAPH 89 Proceedings, стр. 27–28.
^ аб Даймонд, Том (1957-12-01), Устройства для чтения рукописных символов, Труды Восточной объединенной компьютерной конференции, стр. 232–237 , получено 23 августа 2008 г.
^ Аб Минц, Джессика (04 апреля 2008 г.), Microsoft подаст апелляцию на решение о патенте на сумму 367 миллионов долларов , Associated Press , получено 4 сентября 2008 г.
^ Грей (31 июля 1888 г.), Telautograph, Патент США 386 815.
^ Голдберг, HE (28 декабря 1915 г.), контролер, патент США № 1117184.
^ Муди, ХК (27 декабря 1942), Система телаутографа, патент США 2 269 599.
^ Муди, ХК (27 декабря 1942 г.), Система телавтографа (PDF) , патент США 2 269 599 (полное изображение)
^ Буш, Ванневар (15 июля 1945), Как мы можем думать, The Atlantic Monthly
^ Табличка РЭНД, 1 сентября 1961 г.
^ 50 лет видения вперед, RAND Corporation, 1 сентября 1998 г., архивировано из оригинала 7 мая 2009 г.
^ Фрайбергер, Д. (март 1972 г.), Инновации в панелях управления для больших компьютерных систем управления, Proc. 4-я конференция IEEE по ускорителям частиц, Чикаго, штат Иллинойс, США, 1–3 марта 1971 г., стр. 414–417.
^ Pencept Penpad (TM) 200 Литература по продуктам, Pencept, Inc., 15 августа 1982 г.
^ Терминал распознавания символов руки Inforite, Cadre Systems Limited, Англия, 15 августа 1982 г.
^ Руководство пользователя Penpad 320, Pencept, Inc., 15 июня 1984 г.
^ Управление программным обеспечением одним росчерком пера, Pencept, Inc., 1985 , получено 21 мая 2009 г.
^ Рукописный писатель (R) GrafText (TM) Модель системы GT-5000, Communication Intelligence Corporation, 15 января 1985 г.
^ The BYTE Awards: GRiDPad от GRiD System, журнал BYTE, том 15. № 1, 12 января 1990 г., стр. 285
^ Wang Laboratories (1989), The Wang Freestyle System, WANG Laboratories
^ Лемпесис, Билл (май 1990 г.), Что нового в ноутбуках и перьевых вычислениях, Новости плоскопанельных дисплеев
^ "Компьютер-пентоп Momenta Corporation 1/40 - RICM" . сайты.google.com . Проверено 4 июня 2020 г.
^ Агульник, Тодд (13 сентября 1994 г.), Управление компьютером с помощью стилуса с определением положения, Патент США 5,347,295.
^ Агульник, Тодд (13 сентября 1994 г.), Управление компьютером с помощью стилуса с определением положения (PDF) , Патент США 5 347 295 (полное изображение)
↑ NCR объявляет пресс-релиз о перьевых компьютерах, архивировано из оригинала 2 мая 2008 г. , получено 20 апреля 2007 г.
^ Пресс-релиз о выпуске Penpoint OS, заархивировано из оригинала 30 августа 2007 г. , получено 20 апреля 2007 г.
^ «История ThinkPad». Архивировано из оригинала 29 апреля 2007 г.
^ Amstrad PenPad PDA600. История вычислений (21 октября 2011 г.). Проверено 9 декабря 2013 г.
^ Тенденции на мероприятии COMDEX 1999 г. , данные получены 11 августа 2008 г.
^ Microsoft (2005), Требования к оборудованию Windows XP Tablet PC Edition 2005, www.microsoft.com , получено 14 марта 2009 г.
^ «Годовой отчет за 2009 год» (PDF) . Ваком.
^ Fingerworks, Inc. (2003), Руководство по игровым режимам iGesture, www.fingerworks.com , получено 30 апреля 2009 г.
^ MacEssentials (2007-08-02), Rubrik Apple: Das Lexikon der Fingersprache, www.mac-essentials.de , получено 16 мая 2009 г.
^ Друин, Эллисон (16 марта 2009 г.). Мобильные технологии для детей: проектирование для взаимодействия и обучения. Морган Кауфманн. п. 177. ИСБН978-0-08-095409-7.
↑ Фрид, Ина (6 июля 2005 г.). «Go подает антимонопольный иск против Microsoft» . CNET .
^ Новый антимонопольный иск - Go Corp. против Microsoft. Гроклав (4 июля 2005 г.). Проверено 9 декабря 2013 г.
^ HP TouchSmart tx2z, HP , получено 28 ноября 2008 г.
Внешние ссылки
«Неизвестная история перьевых вычислений» содержит историю перьевых вычислений, включая технологию прикосновения и жестов, примерно с 1917 по 1992 год.
Аннотированная библиография ссылок на распознавание рукописного ввода и перьевые вычисления.
Ряд ссылок на ресурсы перьевых вычислений.
Digital Ink, революционная технология в планшетных ПК, переносящая мощь пера на настольный компьютер