Отслеживание глаз — это процесс измерения либо точки взгляда (куда человек смотрит), либо движения глаза относительно головы. Отслеживание глаз — это устройство для измерения положения и движения глаз . Отслеживание глаз используется в исследованиях зрительной системы , в психологии, психолингвистике , маркетинге, в качестве устройства ввода для взаимодействия человека с компьютером и в дизайне продукта. Кроме того, отслеживание глаз все чаще используется для вспомогательных и реабилитационных приложений, таких как управление инвалидными колясками, роботизированными руками и протезами. В последнее время отслеживание глаз было изучено как инструмент для раннего выявления расстройств аутистического спектра . Существует несколько методов измерения движения глаз, наиболее популярный вариант — использование видеоизображений для определения положения глаз. Другие методы используют поисковые катушки или основаны на электроокулограмме .
В 1800-х годах исследования движения глаз проводились с использованием прямых наблюдений. Например, Луи Эмиль Жаваль заметил в 1879 году, что чтение не предполагает плавного перемещения глаз по тексту, как предполагалось ранее, а представляет собой серию коротких остановок (называемых фиксациями ) и быстрых саккад . [1] Это наблюдение подняло важные вопросы о чтении, вопросы, которые изучались в 1900-х годах: на каких словах останавливаются глаза? Как долго? Когда они возвращаются к уже увиденным словам?
Эдмунд Хьюи [2] построил ранний айтрекер, используя своего рода контактную линзу с отверстием для зрачка . Линза была соединена с алюминиевой указкой, которая двигалась в ответ на движение глаза. Хьюи изучал и количественно определял регрессии (только небольшая часть саккад является регрессией), и он показал, что некоторые слова в предложении не фиксируются.
Первые неинтрузивные устройства слежения за глазами были созданы Гаем Томасом Басвеллом в Чикаго, они использовали лучи света, которые отражались от глаза, а затем записывались на пленку. Басвелл проводил систематические исследования чтения [3] [4] и просмотра изображений. [5]
В 1950-х годах Альфред Л. Ярбус [6] проводил исследования по отслеживанию взгляда, и его книгу 1967 года часто цитируют. Он показал, что задание, данное субъекту, оказывает очень большое влияние на движение его глаз. Он также писал о связи между фиксациями и интересом:
Все записи... убедительно показывают, что характер движения глаз либо полностью независим, либо лишь в очень незначительной степени зависит от материала изображения и способа его создания, при условии, что оно плоское или почти плоское». [7]
Цикличность при рассмотрении изображений «зависит не только от того, что изображено на изображении, но и от проблемы, с которой сталкивается наблюдатель, и от информации, которую он надеется получить от изображения» [8] .
Записи движений глаз показывают, что внимание наблюдателя обычно удерживается только определенными элементами изображения... Движение глаз отражает мыслительные процессы человека; поэтому мысль наблюдателя можно в какой-то степени проследить по записям движения глаз (мысль, сопровождающая рассмотрение конкретного объекта). По этим записям легко определить, какие элементы привлекают взгляд наблюдателя (и, следовательно, его мысль), в каком порядке и как часто. [7]
Внимание наблюдателя часто привлекается к элементам, которые не дают важной информации, но которые, по его мнению, могут ее дать. Часто наблюдатель сосредоточивает свое внимание на элементах, которые необычны в конкретных обстоятельствах, незнакомы, непонятны и т. д. [9]
... при смене точек фиксации глаз наблюдателя многократно возвращается к одним и тем же элементам изображения. Дополнительное время, затрачиваемое на восприятие, используется не для изучения второстепенных элементов, а для повторного изучения наиболее важных элементов. [10]
В 1970-х годах исследования слежения за глазами быстро расширялись, особенно исследования чтения. Хороший обзор исследований этого периода дан Рейнером . [ 13]
В 1980 году Джаст и Карпентер [14] сформулировали влиятельную гипотезу Strong eye-mind , согласно которой «нет заметной задержки между тем, что фиксируется, и тем, что обрабатывается». Если эта гипотеза верна, то когда субъект смотрит на слово или объект, он или она также думает об этом (когнитивно обрабатывает), и ровно столько же, сколько зафиксирована фиксация. Гипотеза часто принимается как должное исследователями, использующими отслеживание взгляда. Однако методы, зависящие от взгляда, предлагают интересный вариант для того, чтобы распутать явное и скрытое внимание, чтобы различить то, что фиксируется, а что обрабатывается.
В 1980-х годах гипотеза о связи глаза и разума часто подвергалась сомнению в свете скрытого внимания, [15] [16] внимания к чему-то, на что человек не смотрит, что люди часто делают. Если скрытое внимание распространено во время записей отслеживания взгляда, то полученные паттерны траектории сканирования и фиксации часто будут показывать не то, где было внимание, а только то, куда смотрел глаз, не указывая на когнитивную обработку.
В 1980-х годах также зародилось использование отслеживания взгляда для ответа на вопросы, связанные с взаимодействием человека и компьютера. В частности, исследователи исследовали, как пользователи ищут команды в меню компьютера. [17] Кроме того, компьютеры позволили исследователям использовать результаты отслеживания взгляда в реальном времени, в первую очередь для помощи пользователям с ограниченными возможностями. [17]
В последнее время наблюдается рост использования отслеживания взгляда для изучения того, как пользователи взаимодействуют с различными компьютерными интерфейсами. Конкретные вопросы, которые задают исследователи, связаны с тем, насколько просты различные интерфейсы для пользователей. [17] Результаты исследования отслеживания взгляда могут привести к изменениям в дизайне интерфейса. Другая недавняя область исследований сосредоточена на веб-разработке. Это может включать в себя то, как пользователи реагируют на раскрывающиеся меню или на чем они фокусируют свое внимание на веб-сайте, чтобы разработчик знал, где разместить рекламу. [18]
По словам Хоффмана, [19] в настоящее время консенсус заключается в том, что зрительное внимание всегда немного (на 100–250 мс) опережает глаз. Но как только внимание перемещается в новое положение, глаза захотят последовать за ним. [20]
Конкретные когнитивные процессы по-прежнему не могут быть выведены напрямую из фиксации на определенном объекте в сцене. [21] Например, фиксация на лице на картинке может указывать на узнавание, симпатию, антипатию, озадаченность и т. д. Поэтому отслеживание взгляда часто сочетается с другими методологиями, такими как интроспективные вербальные протоколы .
Благодаря прогрессу в области портативных электронных устройств, портативные головные трекеры глаз в настоящее время могут достигать превосходной производительности и все чаще используются в исследовательских и маркетинговых приложениях, ориентированных на повседневные условия жизни. [22] Эти же достижения привели к увеличению исследований небольших движений глаз, которые происходят во время фиксации, как в лабораторных, так и в прикладных условиях. [23]
В 21 веке использование искусственного интеллекта (ИИ) и искусственных нейронных сетей стало жизнеспособным способом выполнения задач и анализа отслеживания глаз. В частности, сверточная нейронная сеть подходит для отслеживания глаз, поскольку она разработана для задач, ориентированных на изображения. С ИИ задачи и исследования отслеживания глаз могут предоставить дополнительную информацию, которая могла быть не обнаружена наблюдателями-людьми. Практика глубокого обучения также позволяет данной нейронной сети улучшаться в данной задаче при наличии достаточного количества выборочных данных. Однако для этого требуется относительно большой запас обучающих данных. [24]
Потенциальные варианты использования ИИ в отслеживании глаз охватывают широкий спектр тем: от медицинских приложений [25] до безопасности водителей [24] , теории игр [26] и даже образовательных и обучающих приложений. [27] [28] [29]
Айтрекеры измеряют вращение глаз несколькими способами, но в основном они попадают в одну из трех категорий:
Первый тип использует приспособление для глаза, например, специальную контактную линзу со встроенным зеркалом или датчиком магнитного поля, и движение приспособления измеряется с предположением, что оно не проскальзывает значительно при вращении глаза. Измерения с плотно прилегающими контактными линзами обеспечили чрезвычайно чувствительные записи движения глаза, и магнитные поисковые катушки являются методом выбора для исследователей, изучающих динамику и лежащую в основе физиологию движения глаза. Этот метод позволяет измерять движение глаза в горизонтальном, вертикальном и торсионном направлениях. [30]
Вторая широкая категория использует некоторые бесконтактные оптические методы измерения движения глаз. Свет, как правило, инфракрасный, отражается от глаза и воспринимается видеокамерой или каким-либо другим специально разработанным оптическим датчиком. Затем информация анализируется для извлечения вращения глаза из изменений отражений. Видеотрекеры обычно используют отражение роговицы (первое изображение Пуркинье ) и центр зрачка в качестве признаков для отслеживания с течением времени. Более чувствительный тип трекера, двойной трекер Пуркинье [31], использует отражения от передней части роговицы (первое изображение Пуркинье) и задней части хрусталика (четвертое изображение Пуркинье) в качестве признаков для отслеживания. Еще более чувствительный метод отслеживания заключается в том, чтобы визуализировать признаки изнутри глаза, такие как кровеносные сосуды сетчатки, и отслеживать эти признаки по мере вращения глаза. Оптические методы, особенно основанные на видеозаписи, широко используются для отслеживания взгляда и пользуются популярностью из-за своей неинвазивности и невысокой стоимости.
Третья категория использует электрические потенциалы, измеренные с помощью электродов, размещенных вокруг глаз. Глаза являются источником постоянного электрического потенциального поля, которое также может быть обнаружено в полной темноте и если глаза закрыты. Его можно смоделировать так, чтобы он генерировался диполем с положительным полюсом на роговице и отрицательным полюсом на сетчатке. Электрический сигнал, который можно получить с помощью двух пар контактных электродов, размещенных на коже вокруг одного глаза, называется электроокулограммой (ЭОГ) . Если глаза движутся от центрального положения к периферии, сетчатка приближается к одному электроду, а роговица приближается к противоположному. Это изменение ориентации диполя и, следовательно, электрического потенциального поля приводит к изменению измеренного сигнала ЭОГ. И наоборот, анализируя эти изменения движения глаз, можно отслеживать. Благодаря дискретизации, заданной общей установкой электродов, можно идентифицировать два отдельных компонента движения — горизонтальный и вертикальный. Третий компонент EOG — это радиальный канал EOG, [32] , который является средним значением каналов EOG, отнесенных к некоторому заднему скальповому электроду. Этот радиальный канал EOG чувствителен к саккадическим спайковым потенциалам, исходящим от экстраокулярных мышц в начале саккад, и позволяет надежно обнаруживать даже миниатюрные саккады. [33]
Из-за потенциальных дрейфов и переменных отношений между амплитудами сигнала EOG и размерами саккад сложно использовать EOG для измерения медленного движения глаз и определения направления взгляда. Однако EOG является очень надежным методом измерения саккадического движения глаз , связанного со сдвигами взгляда и обнаружением морганий . В отличие от видеотрекеров, EOG позволяет регистрировать движения глаз даже при закрытых глазах и, таким образом, может использоваться в исследованиях сна. Это очень легкий подход, который, в отличие от современных видеотрекеров, требует низкой вычислительной мощности, работает при разных условиях освещения и может быть реализован как встроенная автономная носимая система. [34] [35] Таким образом, это метод выбора для измерения движения глаз в мобильных повседневных ситуациях и фазах быстрого сна во время сна. Основным недостатком EOG является его относительно низкая точность направления взгляда по сравнению с видеотрекером. То есть, трудно с хорошей точностью определить, куда именно смотрит субъект, хотя можно определить время движения глаз.
Наиболее широко используемые современные разработки — это видеотрекеры глаз. Камера фокусируется на одном или обоих глазах и записывает движение глаз, когда зритель смотрит на какой-либо стимул. Большинство современных трекеров глаз используют центр зрачка и инфракрасный / ближний инфракрасный неколлимированный свет для создания роговичных отражений (CR). Вектор между центром зрачка и роговичными отражениями можно использовать для вычисления точки наблюдения на поверхности или направления взгляда. Перед использованием трекера глаз обычно требуется простая процедура калибровки человека. [36]
Используются два основных типа инфракрасных/ближних инфракрасных (также известных как активный свет) методов отслеживания глаз: яркий зрачок и темный зрачок. Их различие основано на расположении источника освещения по отношению к оптике. Если освещение коаксиально с оптическим путем, то глаз действует как ретрорефлектор , поскольку свет отражается от сетчатки, создавая эффект яркого зрачка, похожий на эффект красных глаз . Если источник освещения смещен относительно оптического пути, то зрачок выглядит темным, поскольку ретрорефлектор от сетчатки направлен в сторону от камеры. [37]
Отслеживание яркого зрачка создает больший контраст радужной оболочки/зрачка, что позволяет более надежно отслеживать глаза с учетом пигментации радужной оболочки и значительно снижает помехи, вызванные ресницами и другими затемняющими элементами. [38] Он также позволяет отслеживать в условиях освещения от полной темноты до очень яркого.
Другой, менее используемый, метод известен как пассивный свет. Он использует видимый свет для освещения, что может отвлекать пользователей. [37] Другая проблема с этим методом заключается в том, что контрастность зрачка меньше, чем в методах активного света, поэтому вместо этого для расчета вектора используется центр радужной оболочки . [39] Этот расчет должен определять границу радужной оболочки и белой склеры ( отслеживание лимба ). Это представляет еще одну проблему для вертикальных движений глаз из-за препятствия век. [40]
Установки для отслеживания глаз сильно различаются. Некоторые из них крепятся на голове, некоторые требуют, чтобы голова была неподвижна (например, с подставкой для подбородка), а некоторые функционируют удаленно и автоматически отслеживают голову во время движения. Большинство используют частоту дискретизации не менее 30 Гц. Хотя более распространены 50/60 Гц, сегодня многие видеотрекеры работают на частоте 240, 350 или даже 1000/1250 Гц — скорости, необходимые для захвата фиксационных движений глаз или правильного измерения динамики саккад.
Движения глаз обычно делятся на фиксации и саккады — когда взгляд останавливается в определенном положении и когда он перемещается в другое положение соответственно. Результирующая серия фиксаций и саккад называется scanpath. Плавное слежение описывает глаз, следующий за движущимся объектом. Фиксационные движения глаз включают микросаккады : небольшие непроизвольные саккады, которые происходят во время попытки фиксации. Большая часть информации от глаза становится доступной во время фиксации или плавного слежения, но не во время саккады. [41]
Scanpaths полезны для анализа когнитивного намерения, интереса и значимости. Другие биологические факторы (некоторые из них такие простые, как пол) также могут влиять на scanpath. Отслеживание глаз при взаимодействии человека с компьютером (HCI) обычно исследует scanpath для целей удобства использования или как метод ввода в дисплеях, зависящих от взгляда , также известных как интерфейсы на основе взгляда. [42]
Интерпретация данных, записанных различными типами айтрекеров, использует разнообразное программное обеспечение, которое анимирует или визуально представляет их, так что визуальное поведение одного или нескольких пользователей может быть графически возобновлено. Видео обычно кодируется вручную для идентификации AOI (областей интереса) или в последнее время с использованием искусственного интеллекта. Графическое представление редко является основой результатов исследований, поскольку они ограничены с точки зрения того, что можно проанализировать - исследования, основанные на айтрекинге, например, обычно требуют количественных измерений событий движения глаз и их параметров. Наиболее часто используются следующие визуализации:
Анимированные представления точки на интерфейсе. Этот метод используется, когда визуальное поведение изучается индивидуально, указывая, где пользователь фокусировал свой взгляд в каждый момент, дополняя его небольшой траекторией, которая указывает на предыдущие саккадические движения, как показано на изображении.
Статические представления пути саккады Это довольно похоже на описанное выше, с той разницей, что это статический метод. Для интерпретации этого требуется более высокий уровень знаний, чем в случае с анимированными.
Тепловые карты Альтернативное статическое представление, используемое в основном для агломерированного анализа визуальных моделей исследования в группе пользователей. В этих представлениях «горячие» зоны или зоны с более высокой плотностью обозначают, где пользователи фокусируют свой взгляд (не свое внимание) с более высокой частотой. Тепловые карты являются наиболее известным методом визуализации для исследований с отслеживанием движения глаз. [43]
Карты слепых зон или карты фокусировки Этот метод представляет собой упрощенную версию тепловых карт, на которых визуально менее посещаемые пользователями зоны отображаются четко, что позволяет легче понять наиболее важную информацию, то есть предоставляет больше информации о том, какие зоны не были видны пользователям.
Карты заметности Подобно тепловым картам, карта заметности иллюстрирует области фокусировки, ярко отображая привлекающие внимание объекты на изначально черном холсте. Чем больше внимания уделяется конкретному объекту, тем ярче он будет казаться. [44]
Айтрекеры обязательно измеряют вращение глаза относительно некоторой системы отсчета. Обычно это связано с измерительной системой. Таким образом, если измерительная система закреплена на голове, как в случае с EOG или видеосистемой, закрепленной на шлеме, то измеряются углы «глаз в голове». Чтобы вывести линию взгляда в мировых координатах, голова должна находиться в постоянном положении или ее движения также должны отслеживаться. В этих случаях направление головы добавляется к направлению «глаз в голове», чтобы определить направление взгляда. Однако, если движение головы незначительно, глаз остается в постоянном положении. [45]
Если измерительная система установлена на столе, как в случае с катушками поиска склеры или системами камер (дистанционного управления), то углы взгляда измеряются непосредственно в мировых координатах. Обычно в таких ситуациях движения головы запрещены. Например, положение головы фиксируется с помощью прикусной планки или опоры для лба. Тогда система отсчета, центрированная на голове, идентична системе отсчета, центрированной на мире. Или, говоря простым языком, положение глаз в голове напрямую определяет направление взгляда.
Некоторые результаты доступны по движениям глаз человека в естественных условиях, где также разрешены движения головы. [46] Относительное положение глаз и головы, даже при постоянном направлении взгляда, влияет на нейронную активность в высших зрительных областях. [47]
Большое количество исследований было посвящено изучению механизмов и динамики вращения глаз, но целью отслеживания глаз чаще всего является оценка направления взгляда. Например, пользователи могут быть заинтересованы в том, какие особенности изображения привлекают взгляд. Устройство отслеживания глаз не обеспечивает абсолютного направления взгляда, а может измерять только изменения направления взгляда. Чтобы точно определить, на что смотрит субъект, требуется некоторая процедура калибровки, при которой субъект смотрит на точку или ряд точек, в то время как устройство отслеживания глаз записывает значение, которое соответствует каждому положению взгляда. (Даже те методы, которые отслеживают особенности сетчатки, не могут обеспечить точное направление взгляда, поскольку нет конкретной анатомической особенности, которая отмечает точную точку, где зрительная ось встречается с сетчаткой, если действительно есть такая единственная, стабильная точка.) Точная и надежная калибровка имеет важное значение для получения достоверных и повторяемых данных о движении глаз, и это может быть значительной проблемой для невербальных субъектов или тех, у кого нестабильный взгляд.
Каждый метод отслеживания глаз имеет свои преимущества и недостатки, и выбор системы отслеживания глаз зависит от соображений стоимости и применения. Существуют офлайн-методы и онлайн-процедуры, такие как AttentionTracking . Существует компромисс между стоимостью и чувствительностью, при этом самые чувствительные системы стоят многие десятки тысяч долларов и требуют значительных знаний для правильной работы. Достижения в области компьютерных и видеотехнологий привели к разработке относительно недорогих систем, которые полезны для многих приложений и довольно просты в использовании. [48] Однако интерпретация результатов по-прежнему требует определенного уровня знаний, поскольку неправильно выровненная или плохо откалиброванная система может выдавать крайне ошибочные данные.
Движение глаз двух групп водителей было снято на камеру, установленную на голове, командой Швейцарского федерального технологического института: Начинающие и опытные водители записывали движение глаз при приближении к изгибу узкой дороги. Серия изображений была сжата из исходных кадров фильма [50], чтобы показать 2 фиксации глаз на изображении для лучшего понимания.
Каждый из этих кадров соответствует примерно 0,5 секунды реального времени.
На серии изображений показан пример фиксаций глаз № 9–14 типичного новичка и опытного водителя.
Сравнение верхних изображений показывает, что опытный водитель следит за поворотом и даже оставляет фиксацию № 9 в стороне, в то время как начинающему водителю необходимо следить за дорогой и оценивать расстояние до припаркованного автомобиля.
На средних изображениях опытный водитель теперь полностью сосредоточен на месте, где можно было бы увидеть встречный автомобиль. Новичок концентрирует свой взгляд на припаркованном автомобиле.
На нижнем изображении новичок занят оценкой расстояния между левой стеной и припаркованным автомобилем, в то время как опытный водитель может использовать для этого свое периферийное зрение и по-прежнему концентрировать зрение на опасной точке поворота: если там появляется автомобиль, водителю приходится уступить дорогу, т.е. остановиться справа, вместо того чтобы проезжать мимо припаркованного автомобиля. [51]
В более поздних исследованиях также использовалась система отслеживания глаз, закрепленная на голове, для измерения движений глаз в реальных условиях вождения. [52] [23]
При ходьбе пожилые люди больше полагаются на фовеальное зрение, чем молодые. Скорость их ходьбы снижается из-за ограниченного поля зрения , вероятно, из-за ухудшения периферического зрения.
Молодые люди используют как центральное, так и периферическое зрение во время ходьбы. Их периферическое зрение позволяет быстрее контролировать процесс ходьбы. [53]
Методы отслеживания взгляда используются в самых разных дисциплинах, включая когнитивную науку ; психологию (особенно психолингвистику ; парадигму визуального мира); взаимодействие человека с компьютером (HCI); человеческие факторы и эргономику ; маркетинговые исследования и медицинские исследования (неврологическая диагностика). [54] Конкретные приложения включают отслеживание движения глаз при чтении языка , чтении музыки , распознавании человеческой активности , восприятии рекламы, занятиях спортом, обнаружении отвлечения внимания и оценке когнитивной нагрузки водителей и пилотов, а также в качестве средства управления компьютерами людьми с тяжелыми двигательными нарушениями. [23] В области виртуальной реальности отслеживание взгляда используется в дисплеях, монтируемых на голове, для различных целей, включая снижение нагрузки на обработку путем визуализации только графической области в пределах взгляда пользователя. [55]
В последние годы возросшая сложность и доступность технологий отслеживания взгляда вызвали большой интерес в коммерческом секторе. Приложения включают удобство использования веб-сайтов , рекламу, спонсорство, дизайн упаковки и автомобильную инженерию. В целом, коммерческие исследования отслеживания взгляда работают путем представления целевого стимула выборке потребителей, в то время как трекер взгляда регистрирует активность глаз. Примерами целевых стимулов могут быть веб-сайты, телевизионные программы, спортивные мероприятия, фильмы и рекламные ролики, журналы и газеты, упаковки, полочные дисплеи, потребительские системы (банкоматы, кассовые системы, киоски) и программное обеспечение. Полученные данные можно статистически проанализировать и графически визуализировать для предоставления доказательств определенных визуальных моделей. Изучая фиксации, саккады , расширение зрачков, моргание и множество других видов поведения, исследователи могут многое определить об эффективности данного средства или продукта. Хотя некоторые компании выполняют этот тип исследований внутри компании, существует множество частных компаний, которые предлагают услуги и анализ отслеживания взгляда.
Одной из областей коммерческого исследования отслеживания взгляда является удобство использования веб-сайтов. В то время как традиционные методы удобства использования часто являются довольно мощными в предоставлении информации о шаблонах щелчков и прокрутки, отслеживание взгляда дает возможность анализировать взаимодействие пользователя между щелчками и сколько времени пользователь проводит между щелчками, тем самым предоставляя ценную информацию о том, какие функции наиболее привлекательны, какие функции вызывают путаницу, а какие вообще игнорируются. В частности, отслеживание взгляда может использоваться для оценки эффективности поиска, брендинга, онлайн-рекламы, удобства использования навигации, общего дизайна и многих других компонентов сайта. Анализ может быть нацелен на прототип или сайт конкурента в дополнение к основному сайту клиента.
Отслеживание взгляда обычно используется в различных рекламных носителях. Рекламные ролики, печатная реклама, онлайн-реклама и спонсируемые программы — все это способствует анализу с помощью современной технологии отслеживания взгляда. Одним из примеров является анализ движений глаз над рекламой в « Желтых страницах» . Одно исследование было сосредоточено на том, какие конкретные особенности заставили людей заметить рекламу, просматривали ли они рекламу в определенном порядке и как менялось время просмотра. Исследование показало, что размер рекламы, графика, цвет и текст влияют на внимание к рекламе. Знание этого позволяет исследователям очень подробно оценить, как часто выборка потребителей фиксирует внимание на целевом логотипе, продукте или рекламе. Следовательно, рекламодатель может количественно оценить успех данной кампании с точки зрения фактического визуального внимания. [56] Другим примером этого является исследование, которое обнаружило, что на странице результатов поисковой системы фрагменты авторства получили больше внимания, чем платные объявления или даже первый органический результат. [57]
Еще один пример коммерческого исследования отслеживания глаз происходит из области рекрутинга. Исследование проанализировало, как рекрутеры просматривают профили LinkedIn и представили результаты в виде тепловых карт . [58]
Ученые в 2017 году построили глубокую интегрированную нейронную сеть (DINN) из глубокой нейронной сети и сверточной нейронной сети. [24] Цель состояла в том, чтобы использовать глубокое обучение для изучения изображений водителей и определения уровня их сонливости путем «классификации состояний глаз». При наличии достаточного количества изображений предлагаемая DINN могла бы в идеале определять, когда водители моргают, как часто они моргают и как долго. Оттуда она могла бы судить, насколько усталым выглядит данный водитель, эффективно выполняя упражнение по отслеживанию глаз. DINN была обучена на данных более чем 2400 испытуемых и правильно диагностировала их состояния в 96% -99,5% случаев. Большинство других моделей искусственного интеллекта работали со скоростью выше 90%. [24] Эта технология могла бы в идеале предоставить еще один путь для обнаружения сонливости водителей .
В исследовании 2019 года была создана сверточная нейронная сеть (CNN), способная идентифицировать отдельные шахматные фигуры так же, как другие CNN могут идентифицировать черты лица. [26] Затем ей были предоставлены входные данные отслеживания глаз от 30 шахматистов разного уровня мастерства. С помощью этих данных CNN использовала оценку взгляда для определения частей шахматной доски, на которые игрок обращал пристальное внимание. Затем она сгенерировала карту заметности, чтобы проиллюстрировать эти части доски. В конечном итоге CNN объединила свои знания о доске и фигурах со своей картой заметности, чтобы предсказать следующий ход игроков. Независимо от набора обучающих данных, на котором обучалась система нейронной сети, она предсказывала следующий ход точнее, чем если бы она выбирала любой возможный ход случайным образом, и карты заметности, составленные для любого данного игрока и ситуации, были более чем на 54% схожи. [26]
Люди с тяжелыми двигательными нарушениями могут использовать отслеживание глаз для взаимодействия с компьютерами [59], поскольку это быстрее, чем методы сканирования с одним переключателем, и интуитивно понятно в использовании. [60] [61] Двигательные нарушения, вызванные церебральным параличом [62] или боковым амиотрофическим склерозом, часто влияют на речь, и пользователи с тяжелыми речевыми и двигательными нарушениями (SSMI) используют тип программного обеспечения, известного как средство дополнительной и альтернативной коммуникации (AAC), [63] которое отображает значки, слова и буквы на экране [64] и использует программное обеспечение для преобразования текста в речь для генерации речевого вывода. [65] В последнее время исследователи также исследовали отслеживание глаз для управления роботизированными руками [66] и электрическими инвалидными колясками. [67] Отслеживание глаз также полезно для анализа шаблонов визуального поиска, [68] обнаружения наличия нистагма и обнаружения ранних признаков нарушения обучения путем анализа движения взгляда во время чтения. [69]
Отслеживание глаз уже изучалось для безопасности полетов путем сравнения траекторий сканирования и продолжительности фиксации для оценки прогресса пилотов-стажеров, [70] для оценки навыков пилотов, [71] для анализа совместного внимания экипажа и общей ситуационной осведомленности. [72] Технология отслеживания глаз также изучалась для взаимодействия с нашлемными системами отображения [73] и многофункциональными дисплеями [74] в военных самолетах. Были проведены исследования для изучения полезности отслеживания глаз для захвата цели на лобовом стекле и получения цели на лобовом стекле в нашлемных системах отображения (HMDS). [73] Отзывы пилотов показали, что, хотя технология является многообещающей, ее аппаратные и программные компоненты еще не доработаны. [73] Исследования взаимодействия с многофункциональными дисплеями в среде симулятора показали, что отслеживание глаз может значительно улучшить время отклика и воспринимаемую когнитивную нагрузку по сравнению с существующими системами. Кроме того, исследования также изучали использование измерений фиксации и зрачковых реакций для оценки когнитивной нагрузки пилота. Оценка когнитивной нагрузки может помочь в разработке адаптивных кабин следующего поколения с улучшенной безопасностью полетов. [75] Отслеживание движения глаз также полезно для обнаружения усталости пилота. [76] [23]
В последнее время технология отслеживания глаз исследуется в автомобильной сфере как пассивным, так и активным способом. Национальное управление безопасности дорожного движения измеряло продолжительность взгляда для выполнения второстепенных задач во время вождения и использовало ее для повышения безопасности, препятствуя внедрению чрезмерно отвлекающих устройств в транспортных средствах [77] В дополнение к обнаружению отвлечения, отслеживание глаз также используется для взаимодействия с IVIS. [78] Хотя первоначальное исследование [79] изучало эффективность системы отслеживания глаз для взаимодействия с HDD (Head Down Display), оно все еще требовало от водителей отрывать взгляд от дороги при выполнении второстепенной задачи. Недавние исследования изучали контролируемое взглядом взаимодействие с HUD (Head Up Display), которое устраняет отвлечение глаз от дороги. [80] Отслеживание глаз также используется для мониторинга когнитивной нагрузки водителей с целью обнаружения потенциального отвлечения. Хотя исследователи [81] исследовали различные методы оценки когнитивной нагрузки водителей по различным физиологическим параметрам, использование окулярных параметров исследовало новый способ использования существующих трекеров глаз для мониторинга когнитивной нагрузки водителей в дополнение к взаимодействию с IVIS. [82] [83]
Видеоигра Before Your Eyes 2021 года регистрирует и считывает моргание игрока и использует его как основной способ взаимодействия с игрой. [84] [85]
Широкое использование технологии отслеживания глаз пролило свет на ее использование в эмпирической разработке программного обеспечения в самые последние годы. Технология отслеживания глаз и методы анализа данных используются для исследования понятности концепций разработки программного обеспечения исследователями. К ним относятся понятность моделей бизнес-процессов, [86] и диаграммы, используемые в разработке программного обеспечения, такие как диаграммы активности UML и диаграммы EER . [87] Метрики отслеживания глаз, такие как фиксация, путь сканирования, точность пути сканирования, отзыв пути сканирования, фиксации на интересующей области/релевантной области, вычисляются, анализируются и интерпретируются с точки зрения понятности модели и диаграммы. Результаты используются для повышения понятности диаграмм и моделей с помощью соответствующих решений, связанных с моделью, и путем улучшения личных факторов, таких как объем рабочей памяти, когнитивная нагрузка , стиль обучения и стратегия инженеров-программистов и разработчиков моделей.
Картографические исследования широко используют методы отслеживания глаз. Исследователи использовали их, чтобы увидеть, как люди воспринимают и интерпретируют карты . [88] Например, отслеживание глаз использовалось для изучения различий в восприятии 2D и 3D визуализации, [89] [90] сравнения стратегий чтения карт между новичками и экспертами [91] или студентами и их учителями географии, [92] и оценки картографического качества карт. [93] Кроме того, картографы использовали отслеживание глаз для исследования различных факторов, влияющих на чтение карт, включая такие атрибуты, как цвет или плотность символов. [94] [95] Многочисленные исследования об удобстве использования картографических приложений также использовали отслеживание глаз. [96] [97]
Ежедневное взаимодействие картографического сообщества с визуальными и пространственными данными позволило ему внести значительный вклад в методы и инструменты визуализации данных отслеживания глаз. [98] Например, картографы разработали методы интеграции данных отслеживания глаз с ГИС , используя программное обеспечение ГИС для дальнейшей визуализации и анализа. [99] [100] Сообщество также предоставило инструменты для визуализации данных отслеживания глаз [101] [98] или набор инструментов для определения фиксаций глаз на основе пространственного компонента данных отслеживания глаз. [102]
Поскольку отслеживание взгляда, как ожидается, станет обычной функцией в различных потребительских электронных устройствах, включая смартфоны, [103] ноутбуки [104] и гарнитуры виртуальной реальности, [105] [106] были высказаны опасения относительно влияния этой технологии на конфиденциальность потребителей. [107] [108] С помощью методов машинного обучения данные отслеживания взгляда могут косвенно раскрывать информацию об этнической принадлежности пользователя, чертах личности, страхах, эмоциях, интересах, навыках, а также состоянии физического и психического здоровья. [109] Если такие выводы делаются без осознания или одобрения пользователя, это можно классифицировать как атаку вывода . Действия глаз не всегда находятся под волевым контролем, например, «вызванные стимулом взгляды, расширение зрачков, тремор глаз и спонтанные моргания в основном происходят без сознательных усилий, подобно пищеварению и дыханию». [109] Поэтому пользователям отслеживания взгляда может быть сложно оценить или контролировать объем информации, которую они раскрывают о себе.