Анализ движений руки при письме — это изучение и анализ движений, задействованных в письме и рисовании. Он является важной частью графономики , которая была создана после «Международного семинара по анализу движений руки при письме» в 1982 году в Неймегене, Нидерланды. Он стал первым из продолжающейся серии международных конференций по графономике. Первой вехой графономики были Томассен, Кейсс, Ван Гален, Гроотвельд (1983).
Рукописное письмо исторически считается самым обширным обучаемым двигательным навыком. Это также один из первых и часто единственный двигательный навык, который дети изучают в начальной школе. Требуются годы практики и взросления, прежде чем человек овладеет навыком письма от руки для взрослых. Рукописное письмо не рассматривается только как движение, которое оставляет видимый след чернил на бумаге (продукт), но его также можно рассматривать как движение (процесс). Понимание продукта письма не будет полным, пока не будет понят процесс письма. Поэтому движение письма исследовалось с тех пор, как стали доступны методы измерения.
Однако прежде чем запись и обработка движений руки стали доступны для тех, кто интересуется изучением движений руки, потребовались три компонента: устройства для фиксации движений руки, лабораторные компьютеры для хранения и обработки данных о движении и компьютерное программное обеспечение, которое позволяет исследователю делать это в рамках определенных экспериментальных парадигм без необходимости программирования непроверенного пользовательского программного обеспечения. Программное обеспечение для анализа движений руки также используется для изучения рисования, координации глаз и рук или любой другой ситуации, когда исследователь хочет записать движения с помощью ручки.
«Telautograph» Элиши Грея, патент США 386,815 (1888), за которым последовали еще четыре похожих патента (1891–93). См. «Аннотированную библиографию по перьевым вычислениям и распознаванию рукописного ввода» Жана Ренарда Уорда (http://users.erols.com/rwservices/biblio.html). Рукописный текст можно было передавать только по проводам и воспроизводить в другом месте в режиме реального времени. Священное Писание (1895) разработало пишущий аппарат, который позволял сохранять положения пера на бумаге с частотой 100 Гц. Этот аппарат позволял измерять длительность отдельных штрихов рукописного ввода (McAllister, 1900).
Движения при письме быстрые, неповторяющиеся, с первичной частотой около 5 Гц и полосой пропускания около 10 Гц. Хотя теоретически частота дискретизации 20 Гц будет достаточна, для правильной визуализации почерка и штрихов Лиссажу потребуется повышение частоты дискретизации . Более высокие, чем необходимо, частоты дискретизации, такие как 100 Гц, предпочтительны, поскольку это также позволит фильтровать низкие частоты или сглаживать данные с уменьшенным оборудованием и шумом квантования на коэффициент √ 100/20 = √ 5. Для хранения, обработки и визуализации огромного количества образцов потребуется лабораторный компьютер. Потребовалось более 50 лет, чтобы компьютеры стали доступны в лабораториях. Электронные аналоговые компьютеры использовались до тех пор, пока цифровые компьютеры не стали доступны для исследований: Wang Laboratories , Digital Equipment Corporation (DEC), Apple Inc. , IBM PC (Personal Computer), Norsk Data , Atari , Osborne Computer Corporation и Data General . Большинство этих инновационных компаний по производству мини- и микрокомпьютеров прекратили свою деятельность.
Первыми устройствами для точной записи рукописного ввода, которые можно было подключить к компьютерам, были графические планшеты или дигитайзеры, xy-планшеты, графические планшеты с электронными ручками, как мы их знаем сегодня. Среди самых ранних планшетов — электронный планшет Styalator с ручкой для ввода данных с компьютера и распознавания рукописного ввода в 1957 году [1] и коммерческие продукты Vector General . Продукты Vector General сообщали о положении стилуса с частотой 100 Гц и заявляли точность 0,1 см. Типичные планшеты определяют положение пера электромагнитным способом. Сенсорные планшеты нельзя использовать, когда рука лежит на планшете, если только они не реализуют какую-либо форму отклонения руки. Планшеты могут иметь встроенный дисплей (например, как в планшетных ПК). До сих пор планшеты для рукописного ввода являются золотым стандартом для записи рукописного ввода. Частота дискретизации раньше составляла 100 Гц, пока не было решено, что минимальная частота для устройств ввода HID должна быть не менее 133 Гц, что увеличило частоту дискретизации до 133–200 Гц. Преимущество заключается в снижении шума устройства и шума квантования на 15%–40%. Технология дигитайзера относится к наиболее точным и экономичным указательным устройствам . Достижима динамическая точность 0,01 см при постоянной частоте. Непрозрачные планшеты производятся Wacom , которая также производит дисплейные дигитайзеры, Euronovate SA, Hanvon, [2] VisTablet, [3] Adesso, [4] Genius. [5]
Были разработаны устройства для захвата рукописного ввода на основе ручки [6] , но они так и не достигли точности планшетов. В настоящее время на рынке появляется много новых систем, которые «записывают» рукописный ввод, например, системы Anoto , а также системы на основе ЭМГ.
Многие системы регистрации движения пера фиксируют не только координаты x и y вершины пера, но также осевое давление пера, наклон x и y или высоту и азимут корпуса пера.
Системы измерения движений руки могут фиксировать:
При желании дигитайзеры могут задать ориентацию корпуса пера относительно планшета:
В идеале каждый набор координат должен быть выбран одновременно и с фиксированной частотой, и включать временные метки для каждой координаты для исправления неизохронной выборки. Дополнительные характеристики, которые могут быть измерены дигитайзерами (в основном в прошлых моделях), включают высоту пера, вращение корпуса пера и силу захвата (например, в областях захвата 3 пальцами).
Движения руки при письме изучаются во многих дисциплинах, включая кинезиологию , науку о движении человека, биомеханику руки, тонкую моторику , леворукость , взаимодействие человека с компьютером , зрительно-моторный контроль, зрительную обратную связь, целенаправленные движения, рисование , экспериментальную психологию , психиатрию , экстрапирамидные симптомы (ЭПС) или побочные эффекты движения, вызванные приемом лекарств, неврологию , двигательные расстройства , болезнь Паркинсона , дистонию , писчий спазм , физиотерапию , корректирующее обучение письму, трудотерапию , развитие ребенка , расстройства развития , образование , начальное образование , домашнее обучение , перевоспитание, лингвистику , язык , коммуникацию , заикание , судебно-медицинскую экспертизу документов , анализ документов , судебно-медицинскую экспертизу документов или экспертизу сомнительных документов , проверку и идентификацию подписи, анализ изображений почерка, информатику , искусственный интеллект , распознавание почерка и т. д.
Следующая волна состояла из пакетного программного обеспечения, которое могло быть доступно для записи почерка во многих местах. Большинство первоначальных программных систем были разработаны университетскими исследователями, которые, часто, были единственными, кто мог их использовать. Даже сегодня это является большим достижением сделать программное обеспечение доступным в виде пакета, который может быть установлен на неизвестном компьютере и может использоваться после короткого времени ознакомления другими пользователями, которые не были вовлечены.
За последние несколько лет на рынке появились программные пакеты, которые могут использоваться многими другими исследователями, интересующимися областью анализа движений почерка.
Первый анализ движения почерка, выставленный на продажу (около 1980 года), был CSWin от Science And Motion [7] , разработанный Кристианом Марквардтом и Норбертом Мэем в Мюнхене, Германия. CSWin был продан в Германии и используется во многих немецких больницах. Он использовался для лечения 500 пациентов с писчим спазмом. Нынешняя компания фокусируется на обучении гольфу, была основана в 2003 году и управляется владельцем Кристианом Марквардтом. Их самая старая публикация была опубликована Марквардтом и Май (1994).
Другой ранней системой был Oasis от KikoSoft, Нидерланды, созданный в 1995 году Питером Де Йонгом. Oasis можно настраивать с помощью его гибкого макроязыка. В 1998 году эта система была использована для разработки автоматизированной тестовой батареи для психофармакологических исследований: Orgabat. Одной из самых старых ссылок на Oasis является De Jong, Hulstijn, Kosterman и Smits-Engelsman (1996).
В Колумбийском университете профессор д-р Сет Пуллман разработал метод получения и анализа спирали Пуллмана. [8] Он используется для проверки тремора у пациентов с болезнью Паркинсона. В 2002 году Пуллман получил патент США 6,454,706: «Система и метод клинической оценки двигательной функции». Пациенты с двигательными расстройствами, такими как болезнь Паркинсона, рисуют спирали. Программное обеспечение вычисляет гладкость первого порядка, гладкость второго порядка, плотность спирали, скорость пересечения нуля, скорость пересечения нуля второго порядка и выводит из этих оценок степень тяжести. Их система позволяет объективно оценивать двигательную функцию врачам, которые не имеют навыков или опыта в оценке двигательных расстройств, например, врачам общей практики или педиатрам, которые не сертифицированы в практике неврологии. Ранняя публикация о его спиральном анализе была опубликована Пуллманом (1998).
Другая система анализа почерка — Neuroskill от Verifax, Боулдер, Колорадо, США, которая была основана в 1990 году доктором Рут Шрайрман и Алексом Ландау. Neuroskill была разработана для биометрических измерений, целей безопасности и эффектов лекарств от болезни Паркинсона и имеет множество применений при двигательных расстройствах. Verifax начала свою деятельность с целью разработки биометрического инструмента для проверки подписей на расстоянии (технология VeriFax Autograph). Verifax разработала еще два приложения, используя модификации своего специализированного программного обеспечения Neuroskill, ориентированные на конкретные приложения: приложения для скрининга и обнаружения злоупотребления психоактивными веществами, мониторинга токсичных ингалянтов и экологического бедствия, а также точной идентификации подписи для обеспечения безопасности/защиты конфиденциальности и обнаружения подделок. Целевыми рынками могут быть центры нервно-мышечных заболеваний, клиники по лечению наркомании и алкоголизма, центры профессиональной гигиены и индустрия безопасности. В процессе они применили свою технологию к биометрическим измерениям в качестве клинического инструмента мониторинга для врачей, исследующих нервно-мышечные заболевания.
В 2003 году компания NeuroSkill получила патент США 6,546,134: «Система оценки мелкой моторики у людей». Их метод оценивает стабильность, плавность и синхронизацию движений пишущего как количественные показатели неврологической функции с использованием анализа корреляционной функции (CFA) поведенческих сигналов. CFA возвращает числовые оценки и диаграммы, выражающие стабильность штрихов рукописного текста и характеристики фазовых искажений при воспроизведении образцов курсива.
Другим применением была оценка лиц с критическими навыками (например, пилотов авиакомпаний, водителей автобусов) на предмет ухудшения физической и умственной работоспособности, вызванного стрессом, физиологическими расстройствами, а также злоупотреблением алкоголем и наркотиками, с использованием их фирменного пишущего инструмента VeriFax Impairoscope. Это последнее применение подняло вопрос о возможности использования варианта Impairoscope, пригодного для использования в космосе, для оценки работоспособности астронавтов с учетом воздействия стресса, усталости, чрезмерной рабочей нагрузки, накопления токсичных химикатов в космической среде обитания и т. д.
В 2009 году веб-портал iNeuroskill был создан в рамках нового бизнес-подразделения: iNeuroskill. Веб-сайт позволяет пациентам с болезнью Паркинсона загружать свои подписи, записанные с помощью оцифровывающего планшета. Они получают немедленную обратную связь относительно своей мелкой моторики в форме анализа диаграммы. [9] Их самая старая статья принадлежит Моргенталеру, Шрайрману и Ландау (1998).
MovAlyzeR был разработан NeuroScript, [10] Темпе, Аризона, США. NeuroScript был основан в 1997 году профессором доктором Джорджем Стельмахом, который с тех пор вышел на пенсию, и доктором Гансом-Лео Теулингсом. В 1999 году Грегори М. Бейкер присоединился в качестве разработчика и разработчика MovAlyzeR. Это программное обеспечение для анализа движений почерка является первым, продемонстрировавшим, что оно может распознавать побочные эффекты движений, вызванные лекарствами от шизофрении, лучше, чем любой традиционный метод оценки, используемый в психиатрии сегодня (международный патент находится на рассмотрении) (Caligiuri et al., 2009a, b). MovAlyzeR в настоящее время является единственным программным обеспечением для анализа движений почерка, сертифицированным для Microsoft Windows XP и Vista. Его можно интегрировать с MATLAB и выполнять обработку изображений на отсканированных образцах почерка. Он используется в различных областях, от исследований в области наук о движении человека, кинезиологии , психологии , образования , исследований старения , психиатрии , неврологии , трудотерапии , судебной экспертизы документов , компьютерных наук ( распознавание почерка , проверка подписи ), до образовательных демонстраций или студенческих проектов в этих областях. Самые ранние ссылки на MovAlyzeR — Teulings и Romero (2003), Teulings и Van Gemmert, (2003), Romero и Teulings (2003).
В Университете Хайфы доктор Сара Розенблюм и Патрисия Л. (Тамар) Вайс и коллеги разработали компьютерную систему оценки почерка под названием POET: Penmanship Objective Evaluation Tool с использованием MATLAB. Она использовалась для управления визуальными стимулами и для записи и анализа движений почерка. Они исследовали явление воздуха: движения пера над бумагой (воздушные штрихи). Самое раннее упоминание о POET содержится в работе Розенблюма, Паруша, Эпстейна и Вайса (2003).
Вскоре после этого POET был доработан и переименован в ComPET: Computerized Penmanship Evaluation Tool. Он используется для изучения детей с дисграфией, расстройствами координации развития (DCD) и взрослых с несколькими патологиями, такими как рассеянный склероз (РС), депрессия, болезнь Альцгеймера, болезнь Паркинсона, а также эффекты старения. [11] Он также используется с технологией вербальной детекции лжи, такой как полиграф.
Eye and Pen [12] — программное обеспечение, разработанное в Университете Пуатье (Франция) для синхронной записи почерка и движений глаз. Его первая версия направлена на изучение периодов паузы и письма при создании текста (G-Studio; 1994). После полной переработки для поддержки MS-Windows была добавлена запись движения глаз, чтобы получить представление о чтении во время письма и поиска информации. Его эволюция является плодом сотрудничества с исследователями почерка, в основном из психологической лаборатории Университета Пуатье (Дени Аламарго, Эрик Ламберт, Сирил Перре, Тьерри Олив). Теперь оно объединяет аудиозапись, сигналы синхронизации (с/на другие компьютеры, программное обеспечение или устройства), инструменты маркировки данных, а также различные модули фильтрации и извлечения данных, открывая пути для мультимодальных исследований. После коммерческого распространения (2004-2018) оно теперь распространяется бесплатно. Самые ранние упоминания Eye and Pen встречаются в работах Chesnet and Alamargot (2005), Alamargot, Chesnet, Dansac, Ros, C. (2006).
MedDraw — это проект компьютерной системы диагностики и реабилитации с помощью рисуночных заданий, реализуемый Кентским университетом (Великобритания) и Руанским университетом (Франция), координируемый доктором Ричардом Гестом и начатый в 2003 году. Целью проекта является разработка надежной, современной, но простой в использовании клинической системы, которая выдает объективные диагностические рекомендации по целому ряду клинических состояний. Их внимание сосредоточено на выявлении пространственного игнорирования в поле зрения и организации двигательных расстройств. Они по-прежнему будут сосредоточены на диагностике этих расстройств на основе рисунков. Первые исследовательские публикации, в которых упоминается MedDraw, принадлежат Каплани, Гесту и Фэрхерсту (2005), а также Гленату, Хойтте, Паке и Мелье (2005). Программа переходит в автономный режим с 2006 года.
Расширенный тест рисования — это компьютерная графономическая оценка функции руки и кисти. EDT измеряет способность испытуемого рисовать вертикальные линии как левой, так и правой рукой. Для сравнения производительности между грубыми движениями руки и точным контролем пальцев испытуемые рисуют линии, держа либо ручку планшета (удерживаемую пальцами), либо мышь (удерживаемую всей рукой). Последние движения не включают движения пальцев. Нормы были установлены для здоровых людей в возрасте от 3 до 70 лет. Отклонения от здоровых норм будут отражать различные патологии для разных групп пациентов, например, пациентов с гемиплегическим инсультом. Первая статья, в которой упоминается EDT, — Vuillermot, Pescatore, Holper, Kiper и Eng (2009).