Перьевые вычисления — это любой пользовательский интерфейс компьютера с использованием пера или стилуса и планшета с использованием устройств ввода, таких как клавиатура или мышь.
Исторически перьевые вычисления (определяемые как компьютерная система, использующая пользовательский интерфейс с использованием указательного устройства и распознавания рукописного ввода в качестве основных средств интерактивного ввода данных пользователем) появились по крайней мере на два десятилетия раньше использования мыши и графического дисплея, начиная с систем Stylator [1] и RAND Tablet [2] 1950-х и начала 1960-х годов.
Общие методы
Пользовательские интерфейсы для перьевых вычислений могут быть реализованы несколькими способами. [3] Современные системы обычно используют комбинацию этих методов.
Ввод указателя/локатора
Планшет и стилус используются в качестве указательных устройств, например, для замены мыши. В то время как мышь является относительным указательным устройством (мышь используется для «перемещения курсора» по экрану), планшет является абсолютным указательным устройством (стилус помещается туда, где должен появиться курсор).
При фактической замене мыши на стилус и планшет следует учитывать ряд человеческих факторов. Например, гораздо сложнее дважды нацелиться или нажать на одну и ту же точку стилусом, поэтому операции «двойного нажатия» с помощью стилуса выполнять сложнее, если система ожидает ввода «двойного щелчка» от мыши.
Палец можно использовать в качестве стилуса на сенсорной поверхности планшета, например, на сенсорном экране .
Распознавание почерка
Планшет и стилус можно использовать вместо клавиатуры или и мыши, и клавиатуры, используя планшет и стилус в двух режимах:
Режим указания: Стилус используется в качестве указательного устройства, как описано выше.
Режим распознавания рукописного ввода в режиме онлайн: штрихи, сделанные стилусом, анализируются как «электронные чернила» программным обеспечением, которое распознает формы штрихов или отметок как рукописные символы. Затем символы вводятся как текст, как будто с клавиатуры.
Различные системы переключаются между режимами (указание и распознавание рукописного ввода) разными способами, например:
путем записи в отдельных областях планшета для режима указания и для режима распознавания рукописного ввода.
нажатием специальной кнопки на боковой стороне стилуса можно менять режимы.
по контексту, например, рассматривая любые знаки, не распознанные как текст, как указательный ввод.
распознавая особый жест-знак.
Термин «онлайн-распознавание рукописного текста» используется для обозначения распознавания рукописного текста с использованием цифрового планшета в режиме реального времени для ввода данных, в отличие от «офлайн-распознавания рукописного текста», которое представляет собой оптическое распознавание статических рукописных символов с бумаги.
Прямая манипуляция
Стилус используется для непосредственного касания, нажатия и перетаскивания на моделируемых объектах. Система Wang Freestyle [4] является одним из примеров. Freestyle работала полностью посредством прямой манипуляции с добавлением электронных «чернил» для добавления рукописных заметок .
Распознавание жестов
Это метод распознавания определенных специальных фигур не как рукописного ввода, а как индикатора специальной команды.
Например, форма «свинки» (часто используемая как отметка корректора) будет обозначать операцию «удаления». В зависимости от реализации, то, что удаляется, может быть объектом или текстом, где была сделана отметка, или стилус может использоваться как указательное устройство для выбора того, что должно быть удалено. С помощью Newton OS от Apple текст можно было удалить, процарапав его зигзагообразным узором.
В современных системах используются дигитайзеры, способные распознавать более одного «стилуса» (обычно пальца) одновременно, а также использовать жесты Multi-touch .
PenPoint OS была специальной операционной системой, которая включала распознавание жестов и рукописный ввод на всех уровнях операционной системы. Предыдущие системы, которые использовали распознавание жестов, делали это только в специальных приложениях, таких как приложения CAD/CAM [5] [6] или обработка текста. [7]
Отторжение ладони
Отклонение ладоней — это технология, используемая в сенсорных устройствах для различения намеренного ввода с помощью стилуса или пальца и контакта с ладонью пользователя. Эта функция позволяет пользователям держать руку на экране во время использования устройства, не вызывая непреднамеренных отметин или взаимодействий. Она основана на сочетании технологий в ручке, программном обеспечении и технологии экранного дигитайзера для эффективной работы.
История
Перьевые вычисления имеют очень глубокие исторические корни.
Первый патент на электронное устройство, используемое для рукописного ввода, телеавтограф , был выдан в 1888 году. [8]
Вероятно, первый патент на систему, которая распознавала рукописные символы, анализируя движение руки, был выдан в 1915 году. [9]
Около 1954 года Дуглас Т. Росс , работая над компьютером Whirlwind в Массачусетском технологическом институте, написал «первую программу ввода рисованной графики в компьютер». [10]
Первая публично продемонстрированная система, использующая планшет и распознавание рукописного текста вместо клавиатуры для работы с современным цифровым компьютером, датируется 1956 годом. [11]
В дополнение ко многим академическим и исследовательским системам, в 1980-х годах было несколько компаний с коммерческими продуктами: Pencept , Communications Intelligence Corporation и Linus были среди самых известных в переполненной области. Позже, GO Corporation выпустила операционную систему PenPoint OS для планшетного ПК: один из патентов GO стал предметом иска о нарушении патентных прав в 2008 году, касающегося операционной системы планшетного ПК от Microsoft. [12]
В следующем списке временной шкалы представлены некоторые основные моменты этой истории:
До 1950 г.
1888: Патент США, выданный Элише Грею, на электрическое перо для фиксации рукописного текста. [8] [13]
1915: Патент США на пользовательский интерфейс распознавания рукописного ввода с помощью стилуса. [9] [14]
1942: Патент США на сенсорный экран для рукописного ввода. [15] [16]
Алан Кей из Xerox PARC предложил идею ноутбука под названием Dynabook , который использовал бы перьевой ввод. Однако физическое устройство создано не было.
1971
Интерфейс сенсорного экрана, разработанный в SLAC . [20]
1979
Fairlight CMI , ранняя коммерческая цифровая сэмплерная рабочая станция
1982
Компания Pencept из Уолтема, штат Массачусетс, продает универсальный компьютерный терминал, использующий планшет и распознавание рукописного ввода вместо клавиатуры и мыши. [21]
Cadre System продает POS-терминал Inforite, использующий распознавание рукописного ввода, а также небольшой электронный планшет и ручку. [22]
1985:
Pencept [23] [24] и CIC [25] предлагают ПК для потребительского рынка, используя планшет и распознавание рукописного ввода вместо клавиатуры и мыши. Операционная система — MS-DOS .
1989
Первым коммерчески доступным планшетным портативным компьютером был GRiDPad 1900 [26] от GRiD Systems , выпущенный в сентябре. Он работал под управлением GRiDPen (позже выпущенной как PenRight), графической системы с перьевым вводом и распознаванием рукописного ввода, работающей на MS-DOS.
Wang Laboratories представляет Freestyle. Freestyle было приложением, которое делало снимок экрана из приложения MS-DOS и позволяло пользователю добавлять голосовые и рукописные аннотации. Это был сложный предшественник более поздних приложений для создания заметок для систем, таких как Tablet PC. Операционная система была MS-DOS . [27]
1991
Был выпущен Momenta Pentop. [28] [29]
Корпорация GO анонсировала специальную операционную систему под названием PenPoint OS , в которой реализовано управление рабочим столом операционной системы с помощью рукописных жестов. [30] [31] Жесты включали в себя «щелчки» в разных направлениях, галочки, перечеркивания, косички и круговые фигуры, среди прочих.
По оценкам Портии Айзексен из Future Computing, общий годовой объем рынка перьевых компьютеров, работающих под управлением ОС PenPoint, составляет порядка 500 миллионов долларов.
NCR выпустила модель 3125 Pen Computer под управлением MS-DOS, Penpoint или Pen Windows. [32]
Началась разработка Apple Newton ; хотя в конечном итоге он стал КПК , его первоначальная концепция (требовавшая большего экрана и расширенных возможностей для создания эскизов) напоминала планшетный ПК.
Сэм Трамиел из Atari Corp. представил " ST-Pad " (кодовое название "STylus") на выставке CeBIT '91 в Ганновере , Германия . Компьютер так и не был запущен в производство.
1992
В апреле GO Corp поставила PenPoint, а IBM анонсировала перьевой компьютер IBM 2521/700T (первая модель IBM под названием «ThinkPad»). [33]
IBM выпускает ThinkPad , первый коммерческий портативный планшетный компьютер IBM, доступный на потребительском рынке под обозначениями IBM ThinkPad 750P и 360P [34]
Компания Apple Computer анонсировала карманный компьютер Newton, также известный как Apple MessagePad, который оснащен функцией распознавания рукописного ввода с помощью стилуса.
Amstrad выпустила " PenPad " или PDA600, похожее устройство на основе ручки. Оно не имело коммерческого успеха. [35]
BellSouth выпустила IBM Simon Personal Communicator, аналоговый сотовый телефон с сенсорным экраном и дисплеем. Он не включал распознавание рукописного ввода, но позволял пользователям писать сообщения и отправлять их как факсы по аналоговой сотовой сети, а также включал функции КПК и электронной почты.
1999
Ручка-компьютер «QBE», созданная компанией Aqcess Technologies, побеждает в номинации «Лучший на выставке» на Comdex . [36]
2000
Графический компьютер «QBE Vivo», созданный компанией Aqcess Technologies, стал победителем конкурса Comdex Best of Show.
2001
Билл Гейтс из Microsoft демонстрирует первый публичный прототип планшетного ПК (определяемого Microsoft как компьютер с возможностью ввода пером, соответствующий аппаратным спецификациям, разработанным Microsoft, и работающий под управлением лицензионной копии Windows XP Tablet PC Edition ) [37] на выставке Comdex .
Wacom представляет платформу планшета Cintiq с перьевым управлением для профессиональных художников. [38]
2003
FingerWorks [39] разрабатывает сенсорную технологию и сенсорные жесты, которые позже использовались в Apple iPhone . [40]
Windows Vista выпущена для всеобщего пользования. Vista включала в себя функциональность специальной версии Tablet PC Windows XP.
2008
В апреле 2008 года в рамках более крупного дела в федеральном суде было установлено, что функции жестов операционной системы Windows/Tablet PC и оборудования нарушают патент GO Corp., касающийся пользовательских интерфейсов для операционных систем для перьевых компьютеров. [12] Приобретение этой технологии корпорацией Microsoft является предметом отдельного судебного иска. [42] [43]
HP выпускает второй планшет с поддержкой MultiTouch: HP TouchSmart tx2z. [44]
Apple выпускает Apple Pencil для iPad Pro , который включает в себя чувствительность к нажатию и определение угла наклона.
2021
Samsung выпускает Samsung Galaxy S21 Ultra , первый телефон Samsung Galaxy S с поддержкой S Pen, как в серии Samsung Galaxy Note , а также выпускает S Pen Pro в качестве отдельного высококлассного стилуса, совместимого со смартфонами, планшетами и ПК, поддерживающими S Pen.
В августе 2021 года, в связи с прекращением выпуска всей серии Samsung Galaxy Note , Samsung выпускает Samsung Galaxy Z Fold 3 — первый складной телефон Galaxy Z Fold с поддержкой S Pen, а также выпускает S Pen Fold Edition в качестве отдельного стилуса, совместимого исключительно с Galaxy Z Fold 3 и более поздними моделями, чтобы избежать повреждения экрана вместо использования других стилусов и S Pen Pro без совместимости с Z Fold.
^ Даймонд, Т.Л. (1957-12-01), Устройства для чтения рукописных символов, Труды Восточной объединенной компьютерной конференции, стр. 232–237.
↑ Гронер, ГФ (август 1966 г.), Распознавание рукописного текста в реальном времени, Меморандум RM-5016-ARPA, RAND Corporation
^ Signer, B. (2024), Взаимодействие с использованием пера (PDF) , Справочник по взаимодействию человека с компьютером, Основная справочная работа, Springer Nature
↑ Демонстрация WANG Freestyle, Wang Laboratories, 1989 , получено 22 сентября 2008 г.
^ Система компьютерной обработки графики: Руководство пользователя системы, Applicon Incorporated, 1973-09-01
^ Ньюман, В. М. (1973-09-01), Распознаватель символов Ледина, Принципы интерактивной компьютерной графики, McGraw-Hill, стр. 575–582
^ Коулмен, Майкл Л. (1969), Редактирование текста на графическом устройстве отображения с использованием нарисованных от руки символов корректора, из книги «Соответствующие концепции в компьютерной графике: Труды 2-й конференции Иллинойсского университета по компьютерной графике», Издательство Иллинойсского университета
^ ab Gray, Elisha (1888-07-31), Telautograph (PDF) , Патент США 386,815 (полное изображение)
^ ab Goldberg, HE (1915-12-28), Контролер (PDF) , Патент США 1,117,184 (полное изображение)
^ Росс, Дуг (1989), Ретроспектива 1: Ранние годы в компьютерной графике (PDF) , Труды SIGGRAPH 89, стр. 27–28
^ ab Dimond, Tom (1957-12-01), Устройства для чтения рукописных символов, Труды Восточной объединенной компьютерной конференции, стр. 232–237 , получено 2008-08-23
^ ab Mintz, Jessica (2008-04-04). "Microsoft подаст апелляцию по патентному решению на сумму 367 млн долларов". Associated Press . Архивировано из оригинала 2008-12-12 . Получено 2008-09-04 .
↑ Грей (1888-07-31), Telautograph, патент США 386,815
↑ Голдберг, Х.Э. (1915-12-28), Контролер, Патент США 1,117,184
^ Moodey, HC (1942-12-27), Система Telautograph, Патент США 2,269,599
^ Moodey, HC (1942-12-27), Система Telautograph (PDF) , Патент США 2,269,599 (полное изображение)
↑ Буш, Ванневар (1945-07-15), Как мы можем думать, The Atlantic Monthly
↑ Табличка RAND, 1961-09-01
↑ 50 лет взгляда в будущее, RAND Corporation, 1998-09-01, архивировано из оригинала 2009-05-07
^ Фрайбергер, Д. (март 1972 г.), Инновации в панелях управления для больших компьютерных систем управления, Труды 4-й конференции IEEE по ускорителям частиц, Чикаго, Иллинойс, США, 1–3 марта 1971 г., стр. 414–417
^ Литература о продукте Pencept Penpad (TM) 200, Pencept, Inc., 1982-08-15
^ Терминал распознавания рукописных символов Inforite, Cadre Systems Limited, Англия, 1982-08-15
↑ Руководство пользователя Penpad 320, Pencept, Inc., 1984-06-15
^ Программное управление одним росчерком пера, Pencept, Inc., 1985 , получено 21 мая 2009 г.
^ Handwriter (R) GrafText (TM) System Model GT-5000, Communication Intelligence Corporation, 15.01.1985
↑ Награды BYTE: GRiDPad от GRiD System, журнал BYTE, том 15. № 1, 12 января 1990 г., стр. 285
^ Wang Laboratories (1989), Система свободного стиля Ванга, WANG Laboratories
^ Лемпесис, Билл (май 1990 г.), Что нового в ноутбуках и перьевых вычислениях, Новости о плоских дисплеях
^ Агулник, Тодд (1994-09-13), Управление компьютером с помощью стилуса с датчиком положения, Патент США 5,347,295
^ Агулник, Тодд (1994-09-13), Управление компьютером с помощью стилуса с датчиком положения (PDF) , Патент США 5,347,295 (полное изображение)
^ Шапиро, Эбен (1991-06-24). "NCR предлагает компьютер с перьевым вводом". The New York Times . Получено 2024-09-12 .
^ Рорбоу, Линда (1992-04-17), Поставки Penpoint OS, представленные продукты - операционная система на основе ручки от Go Technology Corp. - Анонс продукта, Newsbytes News Network , архивировано из оригинала 2007-08-30 , извлечено 2007-04-20
^ "История ThinkPad". Архивировано из оригинала 29-04-2007.
^ Amstrad PenPad PDA600. История вычислений (21.10.2011). Получено 09.12.2013.
^ Тенденции на COMDEX Event 1999 , получено 2008-08-11
^ Microsoft (2005), Требования к оборудованию для Windows XP Tablet PC Edition 2005, www.microsoft.com , дата обращения 14.03.2009
^ "Годовой отчет 2009" (PDF) . Wacom.
^ Fingerworks, Inc. (2003), iGesture Game Mode Guide, www.fingerworks.com , получено 30 апреля 2009 г.
^ MacEssentials (2007-08-02), Rubrik Apple: Das Lexikon der Fingersprache, www.mac-essentials.de , получено 16 мая 2009 г.
^ Друин, Эллисон (2009-03-16). Мобильные технологии для детей: проектирование для взаимодействия и обучения. Морган Кауфманн. стр. 177. ISBN978-0-08-095409-7.
↑ Фрид, Ина (6 июля 2005 г.). «Go подает антимонопольный иск против Microsoft». CNET .
^ Новый антимонопольный иск — Go Corp. против Microsoft. Groklaw (2005-07-04). Получено 2013-12-09.
^ HP TouchSmart tx2z, HP , получено 28.11.2008
Внешние ссылки
Книга «Неизвестная история перьевых вычислений» содержит историю перьевых вычислений, включая технологии сенсорного ввода и жестов, примерно с 1917 по 1992 год.
Аннотированная библиография ссылок на распознавание рукописного ввода и перьевые вычисления
Ряд ссылок на ресурсы по перьевым вычислениям.
Цифровые чернила — революционная технология в планшетных ПК — переносят мощь пера на настольные компьютеры