Отслеживание глаз — это процесс измерения либо точки взгляда ( куда человек смотрит), либо движения глаза относительно головы. Айт -трекер — это устройство для измерения положения и движения глаз . Айт-трекеры используются в исследованиях зрительной системы , в психологии, в психолингвистике , маркетинге, в качестве устройства ввода при взаимодействии человека с компьютером , а также в дизайне продуктов. Кроме того, айтрекеры все чаще используются в вспомогательных и реабилитационных целях, таких как управление инвалидными колясками, роботизированными руками и протезами. Недавно отслеживание движений глаз рассматривалось как инструмент раннего выявления расстройств аутистического спектра . Существует несколько методов измерения движения глаз, наиболее популярный вариант — использование видеоизображений для определения положения глаз. Другие методы используют поисковые катушки или основаны на электроокулограмме .
В 1800-х годах исследования движения глаз проводились с помощью прямых наблюдений. Например, Луи Эмиль Жаваль заметил в 1879 году, что чтение предполагает не плавное проведение глазами по тексту, как предполагалось ранее, а серию коротких остановок (называемых фиксациями ) и быстрых саккад . [1] Это наблюдение подняло важные вопросы о чтении, вопросы, которые исследовались в 1900-х годах: на каких словах останавливаются глаза? Как долго? Когда они возвращаются к уже увиденным словам?
Эдмунд Хьюи [2] создал первый айтрекер, использовавший своего рода контактную линзу с отверстием для зрачка . Линза была соединена с алюминиевой указкой, которая двигалась в ответ на движение глаза. Хьюи изучил и количественно оценил регрессию (только небольшая часть саккад является регрессией) и показал, что некоторые слова в предложении не фиксируются.
Первые ненавязчивые устройства для отслеживания движений глаз были созданы Гаем Томасом Басвеллом в Чикаго. Они использовали лучи света, которые отражались в глазу и затем записывались на пленку. Басвелл провел систематические исследования чтения [3] [4] и просмотра изображений. [5]
В 1950-х годах Альфред Л. Ярбус [6] провел исследование по айтрекингу, и его книгу 1967 года часто цитируют. Он показал, что задание, данное испытуемому, оказывает очень большое влияние на движение глаз испытуемого. Он также писал о связи между фиксациями и интересом:
Все записи... убедительно показывают, что характер движения глаз либо совершенно не зависит, либо весьма незначительно зависит от материала рисунка и способа его изготовления, при условии, что он плоский или почти плоский» [7 ] .
Цикличность рассмотрения изображений «зависит не только от того, что изображено на изображении, но и от проблемы, стоящей перед наблюдателем, и от информации, которую он надеется получить от изображения». [8]
Записи движений глаз показывают, что внимание наблюдателя обычно удерживается лишь отдельными элементами картины.... Движение глаз отражает мыслительные процессы человека; поэтому мысль наблюдателя можно в некоторой степени проследить по записям движения глаз (мысли, сопровождающей рассмотрение конкретного объекта). По этим записям легко определить, какие элементы привлекают взгляд наблюдателя (а, следовательно, и его мысль), в каком порядке и как часто. [7]
Внимание наблюдателя часто привлекают элементы, которые не несут важной информации, но, по его мнению, могут ее дать. Часто наблюдатель фокусирует свое внимание на элементах, необычных в конкретных обстоятельствах, незнакомых, непонятных и т. д. [9]
…при смене точек фиксации взгляд наблюдателя неоднократно возвращается к одним и тем же элементам картины. Дополнительное время, затрачиваемое на восприятие, используется не для изучения второстепенных элементов, а для повторного рассмотрения наиболее важных элементов. [10]
В 1970-х годах исследования по айтрекингу быстро расширились, особенно исследования чтения. Хороший обзор исследований этого периода дан Рейнером . [13]
В 1980 году Джаст и Карпентер [14] сформулировали влиятельную гипотезу «сильного глаза-разума» , согласно которой «нет заметного лага между тем, что фиксируется, и тем, что обрабатывается». Если эта гипотеза верна, то когда испытуемый смотрит на слово или предмет, он также думает о нем (процесс когнитивный), причем ровно столько времени, сколько зафиксирована фиксация. Гипотеза часто воспринимается как нечто само собой разумеющееся исследователями, использующими айтрекинг. Однако методы, основанные на взгляде, предлагают интересный вариант, позволяющий распутать явное и скрытое внимание, различить, что фиксируется, а что обрабатывается.
В 1980-х годах гипотеза глаза-разума часто подвергалась сомнению в свете скрытого внимания, [15] [16] внимания к чему-то, на что человек не смотрит, что люди часто делают. Если скрытое внимание является обычным явлением во время записей с отслеживанием глаз, полученные в результате траектории сканирования и модели фиксации часто будут показывать не то, на чем было внимание, а только то, куда смотрел глаз, не указывая на когнитивную обработку.
В 1980-е годы также зародилось использование отслеживания глаз для ответа на вопросы, связанные с взаимодействием человека и компьютера. В частности, исследователи исследовали, как пользователи ищут команды в меню компьютера. [17] Кроме того, компьютеры позволили исследователям использовать результаты отслеживания глаз в режиме реального времени, в первую очередь, чтобы помочь пользователям с ограниченными возможностями. [17]
В последнее время наблюдается рост использования отслеживания взгляда для изучения того, как пользователи взаимодействуют с различными компьютерными интерфейсами. Конкретные вопросы, которые задают исследователи, связаны с тем, насколько просты различные интерфейсы для пользователей. [17] Результаты исследования айтрекинга могут привести к изменениям в дизайне интерфейса. Другая недавняя область исследований сосредоточена на веб-разработке. Это может включать в себя реакцию пользователей на раскрывающиеся меню или то, на чем они сосредоточивают свое внимание на веб-сайте, чтобы разработчик знал, где разместить рекламу. [18]
Согласно Хоффману [19] , в настоящее время существует мнение, что зрительное внимание всегда немного (от 100 до 250 мс) опережает глаз. Но как только внимание переместится на новую позицию, глаза захотят следовать за ним. [20]
Конкретные когнитивные процессы до сих пор нельзя вывести непосредственно из фиксации на конкретном объекте сцены. [21] Например, фиксация лица на изображении может указывать на узнавание, симпатию, неприязнь, замешательство и т. д. Поэтому отслеживание взгляда часто сочетается с другими методологиями, такими как интроспективные вербальные протоколы .
Благодаря развитию портативных электронных устройств портативные головные устройства для отслеживания взгляда в настоящее время могут достигать превосходных характеристик и все чаще используются в исследованиях и рыночных приложениях, ориентированных на повседневную жизнь. [22] Эти же достижения привели к увеличению количества исследований небольших движений глаз, которые происходят во время фиксации, как в лаборатории, так и в прикладных условиях. [23]
В 21 веке использование искусственного интеллекта (ИИ) и искусственных нейронных сетей стало жизнеспособным способом выполнения задач по отслеживанию глаз и анализу. В частности, сверточная нейронная сеть подходит для отслеживания взгляда, поскольку она предназначена для задач, ориентированных на изображения. Благодаря ИИ задачи и исследования по отслеживанию движений глаз могут дать дополнительную информацию, которая, возможно, не была обнаружена людьми-наблюдателями. Практика глубокого обучения также позволяет конкретной нейронной сети улучшить выполнение конкретной задачи при наличии достаточного количества выборочных данных. Однако для этого требуется относительно большой объем обучающих данных. [24]
Потенциальные варианты использования ИИ для отслеживания взгляда охватывают широкий спектр тем: от медицинских приложений [25] до безопасности водителя [24] и теории игр [26] и даже приложений для образования и обучения. [27] [28] [29]
Ай-трекеры измеряют вращение глаза одним из нескольких способов, но в основном они попадают в одну из трех категорий:
В первом типе используется насадка на глаз, например специальная контактная линза со встроенным зеркалом или датчиком магнитного поля, и движение насадки измеряется в предположении, что она не скользит значительно при вращении глаза. Измерения с помощью плотно прилегающих контактных линз позволили получить чрезвычайно чувствительную запись движения глаз, а магнитные поисковые катушки являются методом выбора для исследователей, изучающих динамику и лежащую в основе физиологию движения глаз. Этот метод позволяет измерить движение глаз в горизонтальном, вертикальном и торсионном направлениях. [30]
Вторая широкая категория использует некоторые бесконтактные оптические методы измерения движения глаз. Свет, обычно инфракрасный, отражается от глаза и воспринимается видеокамерой или другим специально разработанным оптическим датчиком. Затем информация анализируется, чтобы извлечь вращение глаз из изменений отражений. Глазные трекеры на основе видео обычно используют отражение роговицы (первое изображение Пуркинье ) и центр зрачка в качестве признаков для отслеживания с течением времени. Более чувствительный тип айтрекера, двойной айтрекер Пуркинье [31] использует в качестве признаков для отслеживания отражения от передней части роговицы (первое изображение Пуркинье) и задней части хрусталика (четвертое изображение Пуркинье). Еще более чувствительный метод отслеживания состоит в том, чтобы визуализировать особенности изнутри глаза, например, кровеносные сосуды сетчатки, и отслеживать эти особенности при вращении глаза. Оптические методы, особенно основанные на видеозаписи, широко используются для отслеживания взгляда и считаются неинвазивными и недорогими.
Третья категория использует электрические потенциалы, измеряемые с помощью электродов, расположенных вокруг глаз. Глаза являются источником постоянного электрического потенциального поля, которое также можно обнаружить в полной темноте и если глаза закрыты. Его можно смоделировать так, чтобы он генерировался диполем с положительным полюсом на роговице и отрицательным полюсом на сетчатке. Электрический сигнал, который можно получить с помощью двух пар контактных электродов, помещенных на кожу вокруг одного глаза, называется электроокулограммой (ЭОГ) . Если глаза перемещаются от центрального положения к периферии, сетчатка приближается к одному электроду, а роговица — к противоположному. Это изменение ориентации диполя и, следовательно, поля электрического потенциала приводит к изменению измеряемого сигнала ЭОГ. И наоборот, анализируя эти изменения в движении глаз, можно отследить. Благодаря дискретности, обеспечиваемой общей установкой электродов, можно идентифицировать два отдельных компонента движения – горизонтальный и вертикальный. Третьим компонентом ЭОГ является радиальный канал ЭОГ [32] , который представляет собой среднее значение каналов ЭОГ, привязанных к некоторому заднему скальповому электроду. Этот радиальный канал ЭОГ чувствителен к спайковым потенциалам саккад, исходящим от экстраокулярных мышц в начале саккад, и позволяет надежно обнаруживать даже миниатюрные саккады. [33]
Из-за потенциальных дрейфов и переменных отношений между амплитудами сигнала ЭОГ и размерами саккад сложно использовать ЭОГ для измерения медленных движений глаз и определения направления взгляда. Однако ЭОГ является очень надежным методом измерения саккадических движений глаз , связанных со сдвигом взгляда и распознаванием моргания . В отличие от айтрекеров на основе видео, EOG позволяет записывать движения глаз даже с закрытыми глазами и, таким образом, может использоваться в исследованиях сна. Это очень легкий подход, который, в отличие от современных айтрекеров на основе видео, требует малой вычислительной мощности, работает при различных условиях освещения и может быть реализован как встроенная автономная носимая система . [34] [35] Таким образом, это метод выбора для измерения движения глаз в мобильных ситуациях повседневной жизни и фаз быстрого сна во время сна. Основным недостатком EOG является его относительно низкая точность направления взгляда по сравнению с видеотрекером. То есть трудно с хорошей точностью определить, куда именно смотрит субъект, хотя время движения глаз можно определить.
Наиболее широко используемые в настоящее время конструкции — это айтрекеры на основе видео. Камера фокусируется на одном или обоих глазах и записывает движения глаз, когда зритель смотрит на какой-то стимул. Большинство современных айтрекеров используют центр зрачка и инфракрасный / ближний инфракрасный неколлимированный свет для создания роговичных отражений (CR). Вектор между центром зрачка и отражениями от роговицы можно использовать для расчета точки наблюдения на поверхности или направления взгляда. Перед использованием айтрекера обычно требуется простая процедура индивидуальной калибровки. [36]
Используются два основных типа инфракрасных / ближних инфракрасных (также известных как активный свет) методов слежения за глазами: яркий зрачок и темный зрачок. Их отличие основано на расположении источника освещения относительно оптики. Если освещение соосно оптическому пути, то глаз действует как ретрорефлектор , поскольку свет отражается от сетчатки , создавая эффект яркого зрачка, аналогичный красному глазу . Если источник освещения смещен от оптического пути, то зрачок кажется темным, поскольку светоотражение от сетчатки направлено в сторону от камеры. [37]
Отслеживание ярких зрачков создает больший контраст между радужной оболочкой и зрачком, обеспечивая более надежное отслеживание глаз при любой пигментации радужной оболочки и значительно снижает помехи, вызванные ресницами и другими затемняющими элементами. [38] Он также позволяет отслеживать объекты в условиях освещения: от полной темноты до очень яркого.
Другой, менее используемый метод известен как пассивное освещение. Для освещения он использует видимый свет, что может отвлекать пользователей. [37] Еще одна проблема этого метода заключается в том, что контраст зрачка меньше, чем в методах активного освещения, поэтому вместо этого для расчета вектора используется центр радужной оболочки . [39] Этот расчет необходим для определения границы радужной оболочки и белой склеры ( отслеживание лимба ). Это представляет собой еще одну проблему для вертикальных движений глаз из-за закупорки век. [40]
Настройки отслеживания глаз сильно различаются. Некоторые из них крепятся на голову, некоторые требуют, чтобы голова была устойчивой (например, с подставкой для подбородка), а некоторые функционируют дистанционно и автоматически отслеживают голову во время движения. Большинство из них используют частоту дискретизации не менее 30 Гц. Хотя частота 50/60 Гц более распространена, сегодня многие видеотрекеры для отслеживания движения глаз работают на частоте 240, 350 или даже 1000/1250 Гц — скоростях, необходимых для регистрации фиксационных движений глаз или правильного измерения динамики саккад.
Движения глаз принято разделять на фиксации и саккады – когда взгляд задерживается в определенном положении и когда он перемещается в другое положение соответственно. Получающаяся в результате серия фиксаций и саккад называется траекторией сканирования. Плавное преследование описывает глаз, следующий за движущимся объектом. Фиксационные движения глаз включают микросаккады : небольшие непроизвольные саккады, возникающие при попытке фиксации. Большая часть информации от глаза поступает во время фиксации или плавного преследования, но не во время саккады. [41]
Пути сканирования полезны для анализа когнитивных намерений, интересов и значимости. Другие биологические факторы (например, пол) также могут влиять на путь сканирования. Отслеживание глаз при взаимодействии человека с компьютером (HCI) обычно исследует путь сканирования в целях удобства использования или в качестве метода ввода в дисплеях, зависящих от взгляда , также известных как интерфейсы на основе взгляда. [42]
Для интерпретации данных, записываемых различными типами айтрекеров, используется различное программное обеспечение, которое анимирует или визуально представляет их, так что визуальное поведение одного или нескольких пользователей может быть возобновлено графически. Видео обычно кодируется вручную для определения AOI (областей интереса) или недавно с использованием искусственного интеллекта. Графическое представление редко является основой результатов исследований, поскольку они ограничены с точки зрения того, что можно проанализировать - например, исследования, основанные на отслеживании глаз, обычно требуют количественного измерения событий движения глаз и их параметров. Следующие визуализации являются наиболее часто используется:
Анимированные представления точки на интерфейсе. Этот метод используется, когда визуальное поведение рассматривается индивидуально с указанием того, на чем пользователь сосредоточил свой взгляд в каждый момент, и дополнено небольшим контуром, указывающим предыдущие саккадные движения, как видно на изображении.
Статические представления пути саккад. Это очень похоже на описанное выше, с той разницей, что это статический метод. Для интерпретации этого требуется более высокий уровень знаний, чем в случае с анимационными.
Тепловые карты. Альтернативное статическое представление, используемое в основном для совокупного анализа шаблонов визуального исследования группы пользователей. В этих представлениях «горячие» зоны или зоны с более высокой плотностью обозначают места, на которых пользователи фокусируют свой взгляд (а не внимание) с более высокой частотой. Тепловые карты — самый известный метод визуализации для исследований с отслеживанием взгляда. [43]
Карты слепых зон или карты фокуса. Этот метод представляет собой упрощенную версию тепловых карт, где визуально менее посещаемые пользователями зоны четко отображаются, что позволяет легче понять наиболее важную информацию, то есть дает больше информации. информация о том, какие зоны не были видны пользователям.
Карты значимости Подобно тепловым картам, карта значимости иллюстрирует области внимания, ярко отображая привлекающие внимание объекты на изначально черном холсте. Чем больше внимания уделяется конкретному объекту, тем ярче он будет казаться. [44]
Ай-трекеры обязательно измеряют вращение глаза относительно некоторой системы отсчета. Обычно это связано с измерительной системой. Таким образом, если измерительная система крепится на голове, как в случае с ЭОГ или системой видеосвязи, прикрепленной к шлему, то измеряются углы глаз в голове. Для вывода линии взгляда в мировых координатах необходимо держать голову в постоянном положении или отслеживать ее движения. В этих случаях направление головы добавляется к направлению глаз в голову, чтобы определить направление взгляда. Однако если движение головы незначительное, глаз остается в постоянном положении. [45]
Если измерительная система установлена на столе, как в случае со склеральными поисковыми катушками или настольными камерами (дистанционными) системами, то углы взгляда измеряются непосредственно в мировых координатах. Обычно в таких ситуациях движения головой запрещены. Например, положение головы фиксируется с помощью прикусной планки или упора для лба. Тогда система отсчета с центром в голове идентична системе отсчета с центром в мире. Или, говоря в просторечии, положение глаз в голове напрямую определяет направление взгляда.
Доступны некоторые результаты по движениям глаз человека в естественных условиях, когда движения головы также разрешены. [46] Относительное положение глаз и головы, даже при постоянном направлении взгляда, влияет на активность нейронов в высших зрительных областях. [47]
Было проведено большое количество исследований механизмов и динамики вращения глаз, но целью отслеживания глаз чаще всего является оценка направления взгляда. Например, пользователей может интересовать, какие особенности изображения привлекают внимание. Важно понимать, что айтрекер не обеспечивает абсолютное направление взгляда, а может измерять только изменения направления взгляда. Чтобы точно определить, на что смотрит субъект, требуется некоторая процедура калибровки, при которой субъект смотрит на точку или серию точек, а айтрекер записывает значение, соответствующее каждому положению взгляда. (Даже те методы, которые отслеживают особенности сетчатки, не могут обеспечить точное направление взгляда, поскольку не существует конкретной анатомической особенности, которая бы отмечала точную точку, где зрительная ось встречается с сетчаткой, если такая единственная стабильная точка действительно существует.) Точный и надежная калибровка необходима для получения достоверных и повторяемых данных о движении глаз, и это может стать серьезной проблемой для невербальных субъектов или тех, у кого нестабильный взгляд.
Каждый метод отслеживания глаз имеет свои преимущества и недостатки, а выбор системы отслеживания глаз зависит от соображений стоимости и применения. Существуют офлайн-методы и онлайн-процедуры, такие как AttentionTracking . Существует компромисс между стоимостью и чувствительностью: наиболее чувствительные системы стоят многие десятки тысяч долларов и требуют значительного опыта для правильной работы. Достижения в области компьютерных и видеотехнологий привели к разработке относительно недорогих систем, которые полезны для многих приложений и довольно просты в использовании. [48] Однако интерпретация результатов по-прежнему требует определенного уровня знаний, поскольку неправильно настроенная или плохо откалиброванная система может давать совершенно ошибочные данные.
Движение глаз двух групп водителей было снято специальной налобной камерой командой Швейцарского федерального технологического института: движения глаз новичков и опытных водителей фиксировались при приближении к повороту узкой дороги. Серия изображений была сжата из оригинальных кадров фильма [50] , чтобы показать две фиксации глаз на изображение для лучшего понимания.
Каждый из этих кадров соответствует примерно 0,5 секунды реального времени.
В серии изображений показан пример фиксации взгляда №9–14 типичного новичка и опытного водителя.
Сравнение верхних изображений показывает, что опытный водитель проверяет поворот и даже оставляет Фиксацию №9, чтобы посмотреть в сторону, тогда как начинающему водителю необходимо проверить дорогу и оценить расстояние до припаркованного автомобиля.
На средних изображениях опытный водитель теперь полностью концентрируется на том месте, где можно было увидеть встречный автомобиль. Начинающий водитель концентрирует взгляд на припаркованном автомобиле.
На нижнем изображении новичок занят оценкой расстояния между левой стеной и припаркованным автомобилем, а опытный водитель может использовать для этого периферийное зрение и при этом концентрировать взгляд на опасной точке поворота: Если там появляется машина, водителю приходится уступить дорогу, т.е. остановиться вправо вместо того, чтобы обгонять припаркованную машину. [51]
В более поздних исследованиях также использовалось отслеживание глаз с помощью головного устройства для измерения движений глаз в реальных условиях вождения. [52] [23]
Во время ходьбы пожилые люди больше зависят от фовеального зрения, чем молодые люди. Скорость их ходьбы снижается из-за ограниченного поля зрения , вероятно, вызванного ухудшением периферического зрения.
Более молодые люди во время ходьбы используют как центральное, так и периферическое зрение. Их периферийное зрение позволяет быстрее контролировать процесс ходьбы. [53]
Методы отслеживания взгляда используются в самых разных дисциплинах, включая когнитивную науку ; психология (особенно психолингвистика ; парадигма визуального мира); взаимодействие человека и компьютера (HCI); человеческий фактор и эргономика ; маркетинговые исследования и медицинские исследования (неврологическая диагностика). [54] Конкретные приложения включают отслеживание движения глаз при чтении на языке , чтении музыки , распознавании человеческой деятельности , восприятии рекламы, занятиях спортом, обнаружении отвлечений и оценке когнитивной нагрузки водителей и пилотов, а также в качестве средства управления компьютерами людьми с ограниченными возможностями. тяжелые двигательные нарушения. [23] В области виртуальной реальности отслеживание глаз используется в наголовных дисплеях для различных целей, в том числе для снижения нагрузки на обработку за счет визуализации графической области только в пределах взгляда пользователя. [55]
В последние годы возросшая сложность и доступность технологий отслеживания движений глаз вызвали большой интерес в коммерческом секторе. Приложения включают удобство использования веб-сайтов , рекламу, спонсорство, дизайн упаковки и автомобильную технику. Как правило, коммерческие исследования с отслеживанием глаз представляют собой целевой стимул выборке потребителей, в то время как айтрекер записывает активность глаз. Примерами целевых стимулов могут быть веб-сайты, телевизионные программы, спортивные мероприятия, фильмы и рекламные ролики, журналы и газеты, упаковки, полки, потребительские системы (банкоматы, кассовые системы, киоски) и программное обеспечение. Полученные данные могут быть статистически проанализированы и графически отображены, чтобы предоставить доказательства конкретных визуальных закономерностей. Изучая фиксации, саккады , расширение зрачков, моргание и множество других форм поведения, исследователи могут многое узнать об эффективности того или иного средства или продукта. Хотя некоторые компании проводят подобные исследования самостоятельно, существует множество частных компаний, которые предлагают услуги по айтрекингу и анализу.
Одной из областей коммерческих исследований в области отслеживания глаз является удобство использования веб-страниц. В то время как традиционные методы юзабилити зачастую весьма эффективны в предоставлении информации о шаблонах кликов и прокрутки, айтрекинг дает возможность анализировать взаимодействие пользователя между кликами и сколько времени пользователь проводит между кликами, тем самым предоставляя ценную информацию о том, какие функции являются наиболее эффективными. бросаются в глаза, какие особенности вызывают недоумение, а какие вообще игнорируются. В частности, айтрекинг можно использовать для оценки эффективности поиска, брендинга, онлайн-рекламы, удобства навигации, общего дизайна и многих других компонентов сайта. Помимо основного сайта клиента, анализ может быть нацелен на прототип или сайт конкурента.
Eye-tracking широко используется в различных рекламных средствах. Рекламные ролики, печатная реклама, онлайн-реклама и спонсируемые программы — все это способствует анализу с помощью современной технологии отслеживания взгляда. Одним из примеров является анализ движений глаз при просмотре рекламы в «Желтых страницах» . Одно исследование было сосредоточено на том, какие именно функции заставляли людей замечать рекламу, просматривали ли они рекламу в определенном порядке и как менялось время просмотра. Исследование показало, что размер рекламы, графика, цвет и текст влияют на внимание к рекламе. Знание этого позволяет исследователям очень детально оценить, как часто выборка потребителей зацикливается на целевом логотипе, продукте или рекламе. Следовательно, рекламодатель может количественно оценить успех конкретной кампании с точки зрения фактического визуального внимания. [56] Другим примером этого является исследование, которое показало, что на странице результатов поисковой системы авторские фрагменты получили больше внимания, чем платные объявления или даже первый органический результат. [57]
Еще один пример коммерческого исследования айтрекинга относится к сфере подбора персонала. Исследование проанализировало, как рекрутеры проверяют профили LinkedIn , и представило результаты в виде тепловых карт . [58]
В 2017 году ученые построили глубокую интегрированную нейронную сеть (DINN) на основе глубокой нейронной сети и сверточной нейронной сети. [24] Целью было использовать глубокое обучение для изучения изображений водителей и определения уровня их сонливости путем «классификации состояний глаз». Имея достаточное количество изображений, предлагаемый DINN мог бы идеально определить, когда водители моргают, как часто и как долго. Отсюда он мог бы оценить, насколько устал тот или иной водитель, эффективно выполняя упражнение по отслеживанию глаз. DINN был обучен на данных более чем 2400 субъектов и правильно диагностировал их состояния в 96–99,5% случаев. Большинство других моделей искусственного интеллекта работали с показателями выше 90%. [24] В идеале эта технология могла бы стать еще одним способом обнаружения сонливости водителя .
В исследовании 2019 года была создана сверточная нейронная сеть (CNN), способная идентифицировать отдельные шахматные фигуры так же, как другие CNN могут идентифицировать черты лица. [26] Затем ему были переданы входные данные для отслеживания глаз от 30 шахматистов разного уровня подготовки. Используя эти данные, CNN использовал оценку взгляда, чтобы определить части шахматной доски, на которые игрок обращал пристальное внимание. Затем была создана карта значимости, чтобы проиллюстрировать эти части доски. В конечном итоге CNN объединит свои знания о доске и фигурах с картой заметности, чтобы предсказать следующий ход игроков. Независимо от набора обучающих данных, на котором обучалась система нейронной сети, она предсказала следующий ход более точно, чем если бы она выбрала любой возможный ход наугад, а карты значимости, нарисованные для любого конкретного игрока и ситуации, были схожи более чем на 54%. [26]
Люди с тяжелыми двигательными нарушениями могут использовать отслеживание глаз для взаимодействия с компьютерами [59] , поскольку это быстрее, чем методы сканирования с одним переключателем, и интуитивно понятно в использовании. [60] [61] Двигательные нарушения, вызванные церебральным параличом [62] или боковым амиотрофическим склерозом , часто влияют на речь, и пользователи с тяжелыми речевыми и моторными нарушениями (SSMI) используют тип программного обеспечения, известного как средства дополнительной и альтернативной коммуникации (AAC), [63] который отображает значки, слова и буквы на экране [64] и использует программное обеспечение для преобразования текста в речь для создания речевого вывода. [65] В последнее время исследователи также изучали отслеживание взгляда для управления роботизированными руками [66] и инвалидными колясками. [67] Отслеживание взгляда также полезно при анализе моделей визуального поиска, [68] обнаружении нистагма и обнаружении ранних признаков неспособности к обучению путем анализа движения взгляда во время чтения. [69]
Отслеживание глаз уже изучалось для обеспечения безопасности полета путем сравнения траекторий сканирования и продолжительности фиксации для оценки прогресса пилотов-стажеров, [70] для оценки навыков пилотов, [71] для анализа совместного внимания экипажа и общей ситуационной осведомленности. [72] Также изучалась технология отслеживания движений глаз для взаимодействия с системами отображения на шлемах [73] и многофункциональными дисплеями [74] в военных самолетах. Были проведены исследования с целью изучить полезность системы отслеживания глаз для захвата цели на лобовом стекле и захвата цели на лобовом стекле в системах отображения на шлеме (HMDS). [73] Отзывы пилотов свидетельствуют о том, что, хотя технология является многообещающей, ее аппаратные и программные компоненты еще не доработаны. [73] Исследования взаимодействия с многофункциональными дисплеями в среде симулятора показали, что отслеживание глаз может значительно улучшить время отклика и воспринимаемую когнитивную нагрузку по сравнению с существующими системами. Кроме того, в ходе исследования также изучалось использование измерений фиксации и реакции зрачков для оценки когнитивной нагрузки пилота. Оценка когнитивной нагрузки может помочь в разработке адаптивных кабин нового поколения с повышенной безопасностью полетов. [75] Отслеживание глаз также полезно для выявления усталости пилота. [76] [23]
В последнее время технология отслеживания взгляда исследуется в автомобильной сфере как пассивным, так и активным образом. Национальное управление безопасности дорожного движения измеряло продолжительность взгляда при выполнении второстепенных задач во время вождения и использовало это для повышения безопасности, препятствуя установке чрезмерно отвлекающих устройств в транспортных средствах [77] . Помимо обнаружения отвлечения глаз, для взаимодействия с IVIS также используется отслеживание глаз. [78] Хотя первоначальные исследования [79] изучали эффективность системы отслеживания взгляда при взаимодействии с HDD (Head Down Display), она по-прежнему требовала от водителей отводить взгляд от дороги во время выполнения второстепенной задачи. Недавние исследования изучали взаимодействие, контролируемое взглядом, с HUD (Head Up Display), который исключает отвлечение глаз от дороги. [80] Отслеживание движений глаз также используется для мониторинга когнитивной нагрузки водителей и выявления потенциальных отвлечений. Хотя исследователи [81] изучали различные методы оценки когнитивной нагрузки водителей по различным физиологическим параметрам, использование параметров глаз открыло новый способ использования существующих айтрекеров для мониторинга когнитивной нагрузки водителей в дополнение к взаимодействию с IVIS. [82] [83]
Видеоигра Before Your Eyes 2021 года регистрирует и считывает моргание игрока и использует его как основной способ взаимодействия с игрой. [84] [85]
Широкое распространение технологии отслеживания взгляда пролило свет на ее использование в эмпирической разработке программного обеспечения в последние годы. Технология отслеживания взгляда и методы анализа данных используются для изучения понятности концепций разработки программного обеспечения исследователями. К ним относятся понятность моделей бизнес-процессов [86] и диаграмм, используемых в разработке программного обеспечения, таких как диаграммы деятельности UML и диаграммы EER . [87] Показатели отслеживания глаз, такие как фиксация, траектория сканирования, точность траектории сканирования, запоминание траектории сканирования, фиксация области интереса/соответствующей области, вычисляются, анализируются и интерпретируются с точки зрения понятности модели и диаграммы. Результаты используются для повышения понятности диаграмм и моделей с помощью соответствующих решений, связанных с моделями, а также для улучшения личных факторов, таких как емкость рабочей памяти, когнитивная нагрузка , стиль обучения и стратегия инженеров-программистов и разработчиков моделей.
В картографических исследованиях широко используются методы отслеживания взгляда. Исследователи использовали их, чтобы увидеть, как люди воспринимают и интерпретируют карты . [88] Например, отслеживание глаз использовалось для изучения различий в восприятии 2D- и 3D-визуализации, [89] [90] сравнения стратегий чтения карт между новичками и экспертами [91] или студентами и их учителями географии, [92] и оценка картографического качества карт. [93] Кроме того, картографы использовали отслеживание глаз для изучения различных факторов, влияющих на чтение карт, включая такие атрибуты, как цвет или плотность символов. [94] [95] Многочисленные исследования удобства использования картографических приложений также использовали преимущества отслеживания взгляда. [96] [97]
Ежедневное взаимодействие картографического сообщества с визуальными и пространственными данными позволило ему внести значительный вклад в методы и инструменты визуализации данных отслеживания движений глаз. [98] Например, картографы разработали методы интеграции данных отслеживания движений глаз с ГИС , используя программное обеспечение ГИС для дальнейшей визуализации и анализа. [99] [100] Сообщество также предоставило инструменты для визуализации данных отслеживания глаз [101] [98] или набор инструментов для идентификации фиксаций глаз на основе пространственного компонента данных отслеживания глаз. [102]
Поскольку отслеживание взгляда, по прогнозам, станет общей функцией в различной бытовой электронике, включая смартфоны, [103] ноутбуки [104] и гарнитуры виртуальной реальности, [105] [106] возникли опасения по поводу влияния этой технологии на конфиденциальность потребителей. [107] [108] С помощью методов машинного обучения данные отслеживания глаз могут косвенно раскрывать информацию об этнической принадлежности пользователя, личностных качествах, страхах, эмоциях, интересах, навыках, а также состоянии физического и психического здоровья. [109] Если такие выводы делаются без ведома или одобрения пользователя, это можно классифицировать как атаку на основе вывода . Глазная деятельность не всегда находится под волевым контролем, например, «взгляды, вызванные стимулами, расширение зрачков, тремор глаз и спонтанное моргание в большинстве случаев происходят без сознательного усилия, подобно пищеварению и дыханию». [109] Поэтому это может быть трудным для глаз . отслеживание пользователей для оценки или контроля объема информации, которую они раскрывают о себе.
