stringtranslate.com

Аффективные вычисления

Электронные устройства, такие как роботы, все чаще способны распознавать и имитировать человеческие эмоции.

Аффективные вычисления — это изучение и разработка систем и устройств, которые могут распознавать, интерпретировать, обрабатывать и моделировать человеческие эмоции . Это междисциплинарная область, охватывающая информатику , психологию и когнитивную науку . [1] Хотя некоторые основные идеи в этой области можно проследить еще до ранних философских исследований эмоций , [2] более современная ветвь компьютерных наук возникла с работы Розалинд Пикард 1995 года [3] об аффективных вычислениях и ее книги «Аффективные вычисления» [4], опубликованной издательством MIT Press . [5] [6] Одной из мотиваций для исследования является возможность наделить машины эмоциональным интеллектом , в том числе для моделирования эмпатии . Машина должна интерпретировать эмоциональное состояние людей и адаптировать свое поведение к ним, давая соответствующую реакцию на эти эмоции.

Районы

Обнаружение и распознавание эмоциональной информации

Обнаружение эмоциональной информации обычно начинается с пассивных датчиков , которые собирают данные о физическом состоянии или поведении пользователя без интерпретации ввода. Собранные данные аналогичны сигналам, которые люди используют для восприятия эмоций у других. Например, видеокамера может фиксировать выражения лица, позу тела и жесты, в то время как микрофон может фиксировать речь. Другие датчики обнаруживают эмоциональные сигналы, напрямую измеряя физиологические данные, такие как температура кожи и гальваническое сопротивление . [7]

Распознавание эмоциональной информации требует извлечения значимых шаблонов из собранных данных. Это делается с помощью методов машинного обучения, которые обрабатывают различные модальности , такие как распознавание речи , обработка естественного языка или обнаружение выражения лица . Цель большинства этих методов — создание меток, которые соответствовали бы меткам, которые дал бы воспринимающий человек в той же ситуации: например, если человек делает выражение лица, нахмурив брови, то система компьютерного зрения может быть обучена маркировать его лицо как выглядящее «смущенным» или как «сосредоточенное» или «слегка негативное» (в отличие от позитивного, которое она могла бы сказать, если бы он улыбался счастливым образом). Эти метки могут соответствовать или не соответствовать тому, что человек на самом деле чувствует.

Эмоции в машинах

Другая область в аффективных вычислениях — это проектирование вычислительных устройств, которые, как предполагается, демонстрируют либо врожденные эмоциональные способности, либо способны убедительно имитировать эмоции. Более практичный подход, основанный на современных технологических возможностях, — это имитация эмоций в разговорных агентах с целью обогащения и облегчения интерактивности между человеком и машиной. [8]

Марвин Мински , один из пионеров компьютерных наук в области искусственного интеллекта , связывает эмоции с более широкими проблемами машинного интеллекта, заявляя в своей книге «Машина эмоций » , что эмоции «не особенно отличаются от процессов, которые мы называем «мышлением». [9] Инновационный подход «цифровых людей» или виртуальных людей включает попытку придать этим программам, которые имитируют людей, эмоциональное измерение, включая реакции в соответствии с реакцией, на которую отреагировал бы реальный человек в определенной эмоционально стимулирующей ситуации, а также выражения лица и жесты. [10]

Эмоция в машинах часто относится к эмоциям в вычислительных, часто основанных на ИИ, системах. В результате используются термины «эмоциональный ИИ» и «эмоциональный ИИ». [11]

Технологии

В психологии, когнитивной науке и нейронауке существуют два основных подхода к описанию того, как люди воспринимают и классифицируют эмоции: непрерывный или категориальный. Непрерывный подход, как правило, использует такие измерения, как отрицательное против положительного, спокойное против возбужденного.

Категориальный подход имеет тенденцию использовать дискретные классы, такие как счастье, грусть, злость, страх, удивление, отвращение. Различные виды регрессии машинного обучения и классификационные модели могут использоваться для того, чтобы машины производили непрерывные или дискретные метки. Иногда также строятся модели, которые допускают комбинации по категориям, например, счастливое-удивленное лицо или испуганное-удивленное лицо. [12]

В следующих разделах рассматриваются многие виды входных данных, используемых для задачи распознавания эмоций .

Эмоциональная речь

Различные изменения в автономной нервной системе могут косвенно изменять речь человека, и аффективные технологии могут использовать эту информацию для распознавания эмоций. Например, речь, произнесенная в состоянии страха, гнева или радости, становится быстрой, громкой и четко выраженной, с более высоким и широким диапазоном тона, тогда как такие эмоции, как усталость, скука или грусть, как правило, генерируют медленную, низкую и невнятную речь. [13] Было обнаружено, что некоторые эмоции легче идентифицировать с помощью вычислений, например, гнев [14] или одобрение. [15]

Технологии обработки эмоциональной речи распознают эмоциональное состояние пользователя с помощью вычислительного анализа речевых характеристик. Вокальные параметры и просодические характеристики, такие как переменные высоты тона и скорость речи, могут быть проанализированы с помощью методов распознавания образов. [14] [16]

Анализ речи является эффективным методом определения аффективного состояния, имея среднюю точность от 70 до 80% в исследованиях 2003 и 2006 годов. [17] [18] Эти системы, как правило, превосходят среднюю человеческую точность (примерно 60% [14] ), но менее точны, чем системы, которые используют другие модальности для определения эмоций, такие как физиологические состояния или выражения лица. [19] Однако, поскольку многие характеристики речи не зависят от семантики или культуры, этот метод считается многообещающим направлением для дальнейших исследований. [20]

Алгоритмы

Процесс обнаружения речевых/текстовых эмоций требует создания надежной базы данных , базы знаний или модели векторного пространства [21] , достаточно широкой, чтобы соответствовать всем потребностям ее применения, а также выбора успешного классификатора, который позволит быстро и точно идентифицировать эмоции.

По состоянию на 2010 год наиболее часто используемыми классификаторами были линейные дискриминантные классификаторы (LDC), k-ближайшие соседи (k-NN), модель гауссовской смеси (GMM), машины опорных векторов (SVM), искусственные нейронные сети (ANN), алгоритмы дерева решений и скрытые марковские модели (HMM). [22] Различные исследования показали, что выбор подходящего классификатора может значительно повысить общую производительность системы. [19] В списке ниже дано краткое описание каждого алгоритма:

Доказано, что при наличии достаточного количества акустических свидетельств эмоциональное состояние человека может быть классифицировано набором классификаторов большинства голосов. Предлагаемый набор классификаторов основан на трех основных классификаторах: kNN, C4.5 и SVM-RBF Kernel. Этот набор достигает лучшей производительности, чем каждый базовый классификатор, взятый в отдельности. Он сравнивается с двумя другими наборами классификаторов: один-против-всех (OAA) многоклассовый SVM с гибридными ядрами и набором классификаторов, который состоит из следующих двух основных классификаторов: C5.0 и Neural Network. Предлагаемый вариант достигает лучшей производительности, чем два других набора классификаторов. [24]

Базы данных

Подавляющее большинство современных систем зависят от данных. Это создает одну из самых больших проблем при обнаружении эмоций на основе речи, поскольку подразумевает выбор подходящей базы данных, используемой для обучения классификатора. Большая часть имеющихся в настоящее время данных была получена от актеров и, таким образом, является представлением архетипических эмоций. Эти так называемые актерские базы данных обычно основаны на теории базовых эмоций (Пола Экмана ), которая предполагает существование шести основных эмоций (гнев, страх, отвращение, удивление, радость, печаль), а остальные просто являются смесью первых. [25] Тем не менее, они по-прежнему предлагают высокое качество звука и сбалансированные классы (хотя часто их слишком мало), что способствует высоким показателям успешности распознавания эмоций.

Однако для реального применения предпочтительны натуралистические данные. Натуралистическая база данных может быть создана путем наблюдения и анализа субъектов в их естественном контексте. В конечном счете, такая база данных должна позволить системе распознавать эмоции на основе их контекста, а также вырабатывать цели и результаты взаимодействия. Природа этого типа данных допускает аутентичную реализацию в реальной жизни, поскольку она описывает состояния, естественным образом возникающие во время взаимодействия человека с компьютером (HCI).

Несмотря на многочисленные преимущества, которые натуралистические данные имеют по сравнению с данными, полученными в результате экспериментов, их трудно получить, и обычно они имеют низкую эмоциональную интенсивность. Более того, данные, полученные в естественном контексте, имеют более низкое качество сигнала из-за окружающего шума и расстояния субъектов от микрофона. Первой попыткой создания такой базы данных был корпус эмоций FAU Aibo для CEICES (объединение усилий по улучшению автоматической классификации эмоциональных состояний пользователя), который был разработан на основе реалистичного контекста детей (возраст 10–13 лет), играющих с роботом-домашним животным Aibo от Sony. [26] [27] Аналогичным образом, создание одной стандартной базы данных для всех эмоциональных исследований предоставило бы метод оценки и сравнения различных систем распознавания аффектов.

Речевые дескрипторы

Сложность процесса распознавания аффектов возрастает с увеличением числа классов (аффектов) и речевых дескрипторов, используемых в классификаторе. Поэтому крайне важно выбирать только наиболее релевантные признаки, чтобы гарантировать способность модели успешно определять эмоции, а также повысить производительность, что особенно важно для обнаружения в реальном времени. Диапазон возможных вариантов огромен, и в некоторых исследованиях упоминается использование более 200 различных признаков. [22] Крайне важно определить те, которые являются избыточными и нежелательными, чтобы оптимизировать систему и повысить вероятность успешного определения правильных эмоций. Наиболее распространенные речевые характеристики подразделяются на следующие группы. [26] [27]

  1. Частотные характеристики [28]
    • Форма акцента – зависит от скорости изменения основной частоты.
    • Средний тон голоса – описание того, насколько высоко/низко говорит говорящий по сравнению с обычной речью.
    • Наклон контура – ​​описывает тенденцию изменения частоты с течением времени, может быть возрастающим, убывающим или ровным.
    • Конечное понижение – величина, на которую падает частота в конце высказывания.
    • Диапазон высоты тона – измеряет разброс между максимальной и минимальной частотой высказывания.
  2. Особенности, связанные со временем:
    • Темп речи – описывает скорость произнесения слов или слогов за единицу времени.
    • Частота ударения – измеряет частоту появления ударных высказываний.
  3. Параметры качества голоса и энергетические дескрипторы:
    • Придыхательность – измеряет аспирационный шум в речи.
    • Яркость – описывает преобладание высоких или низких частот в речи.
    • Громкость – измеряет амплитуду речевой волны, преобразуется в энергию высказывания.
    • Пауза Прерывистость – описывает переходы между звуком и тишиной.
    • Перепады высоты тона – описывают переходы основной частоты.

Распознавание аффекта лица

Обнаружение и обработка выражения лица достигаются с помощью различных методов, таких как оптический поток , скрытые марковские модели , обработка нейронных сетей или активные модели внешнего вида. Более одной модальности могут быть объединены или слиты (мультимодальное распознавание, например, выражения лица и речевая просодия, [29] выражения лица и жесты рук, [30] или выражения лица с речью и текстом для анализа мультимодальных данных и метаданных), чтобы обеспечить более надежную оценку эмоционального состояния субъекта.

Базы данных выражений лиц

Создание базы данных эмоций — сложная и трудоемкая задача. Однако создание базы данных — это важный шаг в создании системы, которая будет распознавать человеческие эмоции. Большинство общедоступных баз данных эмоций включают только постановочные выражения лица. В базах данных постановочных выражений участников просят демонстрировать различные основные выражения эмоций, в то время как в базе данных спонтанных выражений выражения являются естественными. Спонтанное выявление эмоций требует значительных усилий при выборе правильных стимулов, что может привести к богатому проявлению предполагаемых эмоций. Во-вторых, процесс включает ручную маркировку эмоций обученными людьми, что делает базы данных высоконадежными. Поскольку восприятие выражений и их интенсивность носят субъективный характер, аннотация экспертов имеет важное значение для целей проверки.

Исследователи работают с тремя типами баз данных, такими как база данных только пиковых изображений выражений, база данных последовательностей изображений, изображающих эмоцию от нейтральной до пиковой, и видеоклипы с эмоциональными аннотациями. Было создано и опубликовано множество баз данных выражений лиц для целей распознавания выражений. Две из широко используемых баз данных — CK+ и JAFFE.

Классификация эмоций

Проводя кросс-культурные исследования в Папуа, Новая Гвинея, на племени Форе в конце 1960-х годов, Пол Экман предложил идею о том, что выражения эмоций на лице не определяются культурой, а универсальны. Таким образом, он предположил, что они имеют биологическое происхождение и, следовательно, могут быть безопасно и правильно классифицированы. [25] Поэтому в 1972 году он официально выдвинул шесть основных эмоций: [31]

Однако в 1990-х годах Экман расширил свой список основных эмоций, включив в него ряд положительных и отрицательных эмоций, не все из которых кодируются в мышцах лица. [32] Новые включенные эмоции:

  1. Развлечение
  2. Презрение
  3. Удовлетворенность
  4. Смущение
  5. Возбуждение
  6. Чувство вины
  7. Гордость за достижения
  8. Облегчение
  9. Удовлетворение
  10. Чувственное удовольствие
  11. Стыд

Система кодирования мимических движений

Психологами была разработана система для формальной классификации физического выражения эмоций на лицах. Центральная концепция Системы кодирования лицевых действий , или FACS, созданной Полом Экманом и Уоллесом В. Фризеном в 1978 году на основе более ранней работы Карла-Германа Хьортшё [33], — это единицы действия (AU). Они, по сути, представляют собой сокращение или расслабление одной или нескольких мышц. Психологи предложили следующую классификацию шести основных эмоций в соответствии с их единицами действия («+» здесь означает «и»):

Проблемы с распознаванием лиц

Как и в случае с любой вычислительной практикой, при обнаружении аффекта с помощью обработки лица необходимо преодолеть некоторые препятствия, чтобы полностью раскрыть скрытый потенциал общего алгоритма или метода. В ранние дни почти каждого вида обнаружения на основе ИИ (распознавание речи, распознавание лиц, распознавание аффекта) точность моделирования и отслеживания была проблемой. По мере развития оборудования, сбора большего количества данных, совершения новых открытий и внедрения новых практик этот недостаток точности исчезает, оставляя после себя проблемы с шумом. Однако существуют методы удаления шума, включая усреднение окрестностей, линейное сглаживание Гаусса , медианную фильтрацию [34] или более новые методы, такие как алгоритм оптимизации бактериального кормления. [35] [36]

Другие проблемы включают в себя:

Жест тела

Жесты могут эффективно использоваться как средство определения определенного эмоционального состояния пользователя, особенно при использовании в сочетании с речью и распознаванием лиц. В зависимости от конкретного действия жесты могут быть простыми рефлекторными реакциями, например, поднятием плеч, когда вы не знаете ответа на вопрос, или они могут быть сложными и значимыми, как при общении с помощью языка жестов. Не используя какой-либо объект или окружающую среду, мы можем махать руками, хлопать или подзывать. С другой стороны, при использовании объектов мы можем указывать на них, перемещать, касаться или обращаться с ними. Компьютер должен уметь распознавать их, анализировать контекст и реагировать значимым образом, чтобы эффективно использоваться для взаимодействия человека и компьютера.

Существует множество предложенных методов [38] для обнаружения жестов тела. В некоторых источниках различаются два разных подхода к распознаванию жестов: основанный на 3D-модели и основанный на внешнем виде. [39] Самый главный метод использует 3D-информацию ключевых элементов частей тела для получения нескольких важных параметров, таких как положение ладони или углы суставов. С другой стороны, системы, основанные на внешнем виде, используют изображения или видео для прямой интерпретации. Жесты рук были общим фокусом методов обнаружения жестов тела. [39]

Физиологический мониторинг

Это может быть использовано для определения аффективного состояния пользователя путем мониторинга и анализа его физиологических признаков. Эти признаки варьируются от изменений частоты сердечных сокращений и проводимости кожи до мельчайших сокращений лицевых мышц и изменений в кровотоке лица. Эта область набирает обороты, и теперь мы видим реальные продукты, которые реализуют эти методы. Четыре основных физиологических признака, которые обычно анализируются, — это пульс объема крови , гальваническая реакция кожи , электромиография лица и цветовые паттерны лица.

Объем крови пульс

Обзор

Пульс объема крови субъекта (BVP) может быть измерен с помощью процесса, называемого фотоплетизмографией , который создает график, показывающий поток крови через конечности. [40] Пики волн указывают на сердечный цикл, в котором сердце перекачивает кровь к конечностям. Если субъект испытывает страх или испуган, его сердце обычно «подпрыгивает» и бьется быстро в течение некоторого времени, в результате чего амплитуда сердечного цикла увеличивается. Это можно ясно увидеть на фотоплетизмографе, когда расстояние между впадиной и пиком волны уменьшается. По мере того, как субъект успокаивается, и по мере того, как внутреннее ядро ​​тела расширяется, позволяя большему количеству крови течь обратно к конечностям, цикл возвращается к норме.

Методология

Инфракрасный свет направляется на кожу специальным сенсорным оборудованием, и измеряется количество отраженного света. Количество отраженного и прошедшего света коррелирует с BVP, поскольку свет поглощается гемоглобином, который в большом количестве содержится в кровотоке.

Недостатки

Может быть обременительно гарантировать, что датчик, излучающий инфракрасный свет и отслеживающий отраженный свет, всегда будет направлен на одну и ту же конечность, особенно учитывая, что субъекты часто растягиваются и меняют положение, используя компьютер. Есть и другие факторы, которые могут повлиять на пульс объема крови. Поскольку это мера кровотока через конечности, если субъект чувствует себя горячим или особенно холодным, то его тело может позволить большему или меньшему количеству крови поступать к конечностям, все это независимо от эмоционального состояния субъекта.

Мышца, сморщивающая бровь, и большая скуловая мышца — две основные мышцы, используемые для измерения электрической активности при электромиографии лица.

Электромиография лица

Электромиография лица — это метод, используемый для измерения электрической активности мышц лица путем усиления крошечных электрических импульсов, которые генерируются мышечными волокнами при сокращении. [41] Лицо выражает множество эмоций, однако есть две основные группы мышц лица, которые обычно изучаются для обнаружения эмоций: Мышца corrugator supercilii, также известная как «нахмуренная» мышца, опускает бровь вниз, хмурясь, и поэтому является лучшим тестом на отрицательную, неприятную эмоциональную реакцию. ↵ Большая скуловая мышца отвечает за оттягивание уголков рта назад, когда вы улыбаетесь, и поэтому является мышцей, используемой для проверки положительной эмоциональной реакции.

Здесь мы видим график сопротивления кожи, измеренного с использованием GSR и времени, пока субъект играл в видеоигру. На графике есть несколько четких пиков, что говорит о том, что GSR является хорошим методом дифференциации возбужденного и невозбужденного состояния. Например, в начале игры, когда обычно не так много захватывающего игрового процесса, регистрируется высокий уровень сопротивления, что говорит о низком уровне проводимости и, следовательно, меньшем возбуждении. Это явно контрастирует с внезапным спадом, когда игрок погибает, поскольку обычно он очень напряжен и напряжён, когда его персонаж погибает в игре.

Кожно-гальваническая реакция

Гальваническая реакция кожи (GSR) — устаревший термин для более общего явления, известного как [электродермальная активность] или EDA. EDA — это общее явление, при котором изменяются электрические свойства кожи. Кожа иннервируется [симпатической нервной системой], поэтому измерение ее сопротивления или проводимости дает возможность количественно оценить небольшие изменения в симпатической ветви автономной нервной системы. Поскольку потовые железы активируются, даже до того, как кожа станет потной, уровень EDA может быть зафиксирован (обычно с использованием проводимости) и использован для выявления небольших изменений в автономном возбуждении. Чем больше возбужден субъект, тем выше, как правило, проводимость кожи. [40]

Проводимость кожи часто измеряется с помощью двух небольших серебряно-хлоридных электродов, размещенных где-то на коже, и приложения небольшого напряжения между ними. Для максимального комфорта и уменьшения раздражения электроды можно разместить на запястье, ноге или ступне, что оставляет руки полностью свободными для повседневной деятельности.

Цвет лица

Обзор

Поверхность человеческого лица пронизана большой сетью кровеносных сосудов. Изменения кровотока в этих сосудах приводят к видимым изменениям цвета на лице. Независимо от того, активируют ли эмоции лица лицевые мышцы или нет, происходят изменения в кровотоке, кровяном давлении, уровне глюкозы и других изменениях. Кроме того, сигнал цвета лица не зависит от сигнала, обеспечиваемого движениями лицевых мышц. [42]

Методология

Подходы основаны на изменении цвета лица. Триангуляция Делоне используется для создания треугольных локальных областей. Некоторые из этих треугольников, которые определяют внутреннюю часть рта и глаз (склеру и радужную оболочку), удаляются. Используйте пиксели левых треугольных областей для создания векторов признаков. [42] Это показывает, что преобразование цвета пикселя стандартного цветового пространства RGB в цветовое пространство, такое как цветовое пространство oRGB [43] или каналы LMS работают лучше при работе с лицами. [44] Итак, сопоставьте указанный выше вектор с лучшим цветовым пространством и разложите на красно-зеленый и желто-синий каналы. Затем используйте методы глубокого обучения для поиска эквивалентных эмоций.

Визуальная эстетика

Эстетика в мире искусства и фотографии относится к принципам природы и восприятия красоты. Оценка красоты и других эстетических качеств — весьма субъективная задача. Специалисты по информатике в Университете штата Пенсильвания рассматривают задачу автоматического вывода эстетического качества изображений с использованием их визуального содержания как задачу машинного обучения, используя в качестве источника данных веб-сайт для обмена фотографиями с рейтингом коллег. [45] Они извлекают определенные визуальные особенности, основываясь на интуиции, что они могут различать эстетически приятные и неприятные изображения.

Потенциальные приложения

Образование

Привязанность влияет на состояние обучения учащихся. Используя технологию аффективных вычислений, компьютеры могут судить о привязанности и состоянии обучения учащихся, распознавая выражения их лиц. В образовании учитель может использовать результаты анализа, чтобы понять способность учащегося к обучению и принятию, а затем сформулировать разумные планы обучения. В то же время они могут обращать внимание на внутренние чувства учащихся, что полезно для психологического здоровья учащихся. Особенно в дистанционном образовании, из-за разделения времени и пространства, нет эмоционального стимула между учителями и учениками для двусторонней коммуникации. Без атмосферы, приносимой традиционным обучением в классе, ученикам легко становится скучно, и это влияет на эффект обучения. Применение аффективных вычислений в системе дистанционного образования может эффективно улучшить эту ситуацию. [46]

Транспорт

Применение сенсорных вычислений может способствовать повышению безопасности дорожного движения. Например, автомобиль может отслеживать эмоции всех пассажиров и принимать дополнительные меры безопасности, например, предупреждать другие транспортные средства, если он обнаруживает, что водитель сердится. [47] Кроме того, аффективные вычислительные системы для мониторинга стресса водителя могут позволить различные вмешательства, такие как системы помощи водителю, регулируемые в соответствии с уровнем стресса [48] и минимальные и прямые вмешательства для изменения эмоционального состояния водителя. [49]

Здравоохранение

Социальные роботы , а также все большее число роботов, используемых в здравоохранении, выигрывают от эмоциональной осведомленности, поскольку они могут лучше оценивать эмоциональное состояние пользователей и пациентов и соответствующим образом изменять их действия/программирование. Это особенно важно в странах с растущим стареющим населением и/или нехваткой молодых работников для удовлетворения их потребностей. [50]

Аффективные вычисления также применяются для разработки коммуникативных технологий для использования людьми с аутизмом. [51] Аффективный компонент текста также привлекает все большее внимание, особенно его роль в так называемом эмоциональном или эмоциональнм Интернете . [52]

Видеоигры

Аффективные видеоигры могут получать доступ к эмоциональному состоянию игроков через устройства биологической обратной связи . [53] Особенно простая форма биологической обратной связи доступна через игровые планшеты , которые измеряют давление, с которым нажимается кнопка: было показано, что это тесно связано с уровнем возбуждения игроков ; [54] на другом конце шкалы находятся интерфейсы мозг-компьютер . [55] [56] Аффективные игры использовались в медицинских исследованиях для поддержки эмоционального развития детей- аутистов . [57]

Психомоторная тренировка

Методы обучения психомоторным операциям, таким как рулевое управление и маневрирование, используются в различных областях, таких как авиация, транспорт и медицина. Интеграция возможностей аффективных вычислений в этот тип систем обучения, в соответствии с подходом адаптивной автоматизации, оказалась эффективной для повышения качества обучения и сокращения необходимой продолжительности обучения. [58]

Другие приложения

Аффективные вычисления имеют потенциальные приложения во взаимодействии человека и компьютера , например, аффективные зеркала, позволяющие пользователю видеть, как он или она себя проявляет; агенты мониторинга эмоций, отправляющие предупреждение, прежде чем кто-то отправит гневное электронное письмо; или даже музыкальные проигрыватели, выбирающие треки на основе настроения. [59]

Одна из идей, выдвинутых румынским исследователем доктором Нику Себе в интервью, заключается в анализе лица человека во время употребления им определенного продукта (в качестве примера он привел мороженое). [60] Затем компании смогут использовать такой анализ, чтобы сделать вывод о том, будет ли их продукт хорошо или нет воспринят соответствующим рынком.

Можно также использовать распознавание аффективного состояния, чтобы судить о воздействии телевизионной рекламы через видеозапись этого человека в реальном времени и через последующее изучение его или ее выражения лица. Усредняя результаты, полученные на большой группе субъектов, можно сказать, имеет ли эта реклама (или фильм) желаемый эффект и какие элементы больше всего интересуют зрителя.

Когнитивистский и интеракционистский подходы

В области взаимодействия человека и компьютера когнитивистская или « информационная модель» концепции эмоций Розалинд Пикард подверглась критике и противопоставлялась «посткогнитивистскому» или «интерактивному» прагматическому подходу, принятому Кирстен Бёнер и другими, которые рассматривают эмоции как нечто по своей сути социальное. [61]

Пикард фокусируется на взаимодействии человека и компьютера, и ее цель в аффективных вычислениях — «дать компьютерам возможность распознавать, выражать и, в некоторых случаях, «иметь» эмоции». [4] Напротив, интерактивный подход стремится помочь «людям понимать и испытывать свои собственные эмоции» [62] и улучшить межличностное общение, опосредованное компьютером. Он не обязательно стремится отображать эмоции в объективную математическую модель для машинной интерпретации, а скорее позволяет людям понимать эмоциональные выражения друг друга открытыми способами, которые могут быть неоднозначными, субъективными и чувствительными к контексту. [62] : 284  [ нужен пример ]

Критики Пикард описывают ее концепцию эмоций как «объективную, внутреннюю, личную и механистическую». Они говорят, что она сводит эмоцию к дискретному психологическому сигналу, возникающему внутри тела, который можно измерить и который является входом для познания, подрывая сложность эмоционального опыта. [62] : 280  [62] : 278 

Интеракционистский подход утверждает, что хотя эмоция имеет биофизические аспекты, она «культурно обоснована, динамически переживается и в некоторой степени формируется в действии и взаимодействии». [62] : 276  Другими словами, он рассматривает «эмоцию как социальный и культурный продукт, переживаемый посредством наших взаимодействий». [63] [62] [64]

Смотрите также

Ссылки

Цитаты

  1. ^ Тао, Цзяньхуа; Тиеню Тан (2005). «Аффективные вычисления: обзор». Аффективные вычисления и интеллектуальное взаимодействие . Т.  LNCS 3784. Springer. С. 981–995. doi :10.1007/11573548.
  2. ^ Джеймс, Уильям (1884). «Что такое эмоция». Mind . 9 (34): 188–205. doi :10.1093/mind/os-IX.34.188.Цитируется Тао и Таном.
  3. ^ «Аффективные вычисления» Технический отчет Массачусетского технологического института № 321 (Аннотация), 1995 г.
  4. ^ ab Picard, Rosalind (1997). Аффективные вычисления . Кембридж, Массачусетс: MIT Press. стр. 1.
  5. ^ Kleine-Cosack, Christian (октябрь 2006 г.). "Распознавание и моделирование эмоций" (PDF) . Архивировано из оригинала (PDF) 28 мая 2008 г. Получено 13 мая 2008 г. Введение эмоций в информатику было сделано Пикардом (sic), который создал область аффективных вычислений.
  6. ↑ Даймонд, Дэвид (декабрь 2003 г.). «Машина любви; Создание заботливых компьютеров». Wired . Архивировано из оригинала 18 мая 2008 г. Получено 13 мая 2008 г. Розалинд Пикард, гениальный профессор Массачусетского технологического института, является крестной матерью этой области; ее книга 1997 года «Аффективные вычисления » вызвала взрыв интереса к эмоциональной стороне компьютеров и их пользователей.
  7. ^ Гарай, Нестор; Идоя Сеаррета; Хуан Мигель Лопес; Инмакулада Фахардо (апрель 2006 г.). «Вспомогательные технологии и аффективная медиация» (PDF) . Human Technology . 2 (1): 55–83. doi : 10.17011/ht/urn.2006159 . Архивировано (PDF) из оригинала 28 мая 2008 г. . Получено 12 мая 2008 г. .
  8. ^ Хайзе, Дэвид (2004). «Инкультурация агентов с экспрессивным ролевым поведением». В Сабине Пайр; Траппл, Роберт (ред.). Культура агентов: взаимодействие человека и агентов в мультикультурном мире . Lawrence Erlbaum Associates. стр. 127–142.
  9. ^ Рестак, Ричард (2006-12-17). "Mind Over Matter". The Washington Post . Получено 2008-05-13 .
  10. ^ Loveys, Kate; Sagar, Mark; Broadbent, Elizabeth (2020-07-22). «Влияние мультимодального эмоционального выражения на ответы цифрового человека во время разговора о самораскрытии: вычислительный анализ языка пользователя». Journal of Medical Systems . 44 (9): 143. doi :10.1007/s10916-020-01624-4. ISSN  0148-5598. PMID  32700060. S2CID  220717084.
  11. ^ Хо, Мань-Тунг (29 марта 2023 г.). «Аналитическая структура для изучения отношения к эмоциональному ИИ: трехсторонний подход». MethodsX . 10 (102149). doi :10.1016/j.mex.2023.102149. PMC 10113835 . PMID  37091958. 
  12. ^ Алейкс и Шичуань Ду, Мартинес (2012). «Модель восприятия выражений лица эмоций людьми: обзор исследований и перспективы» (PDF) . Журнал исследований машинного обучения . 13 (1): 1589–1608.
  13. ^ Бризил, Синтия; Ариананда, Лиджин (2002). «Распознавание аффективного коммуникативного намерения в речи, управляемой роботом» (PDF) . Автономные роботы . 12 (1). Спрингер: 83–104. дои : 10.1023/а: 1013215010749. ISSN  0929-5593. S2CID  459892.
  14. ^ abc Деллэрт, Ф., Полизин, т., и Вайбель, А., Распознавание эмоций в речи, в Proc. Of ICSLP 1996, Филадельфия, Пенсильвания, стр. 1970–1973, 1996
  15. ^ Рой, Д.; Пентланд, А. (1996-10-01). «Автоматическая классификация и анализ речевых аффектов». Труды Второй международной конференции по автоматическому распознаванию лиц и жестов . стр. 363–367. doi :10.1109/AFGR.1996.557292. ISBN 978-0-8186-7713-7. S2CID  23157273.
  16. ^ Ли, CM; Нараянан, S.; Пьераччини, R., Распознавание отрицательных эмоций в сигналах человеческой речи, Семинар по автоматическому распознаванию и пониманию речи, декабрь 2001 г.
  17. ^ Нейберг, Д.; Элениус, К.; Ласковски, К. (2006). «Распознавание эмоций в спонтанной речи с использованием GMM» (PDF) . Труды Interspeech . doi :10.21437/Interspeech.2006-277. S2CID  5790745.
  18. ^ Якуб, Шериф; Симске, Стив; Лин, Сяофань; Бернс, Джон (2003). «Распознавание эмоций в интерактивных системах голосового реагирования». Труды Eurospeech : 729–732. CiteSeerX 10.1.1.420.8158 . doi :10.21437/Eurospeech.2003-307. S2CID  11671944. 
  19. ^ ab Hudlicka 2003, стр. 24
  20. ^ Худличка 2003, стр. 25
  21. ^ Чарльз Осгуд; Уильям Мэй; Мюррей Мирон (1975). Кросс-культурные универсалии аффективного значения . Univ. of Illinois Press. ISBN 978-94-007-5069-2.
  22. ^ аб Шерер, Бенцигер и Роеш 2010, стр. 241
  23. ^ "Gaussian Mixture Model". Connexions – Sharing Knowledge and Building Communities. Получено 10 марта 2011 г.
  24. ^ С. Е. Хоружников и др. (2014). «Распознавание и прогнозирование расширенной речевой эмоции». Научно-технический журнал информационных технологий, механики и оптики . 14 (6): 137.
  25. ^ ab Ekman, P. & Friesen, W. V (1969). Репертуар невербального поведения: категории, происхождение, использование и кодирование. Semiotica, 1, 49–98.
  26. ↑ Аб Стейдл, Стефан (5 марта 2011 г.). «Корпус эмоций ФАУ Айбо». Лаборатория распознавания образов.
  27. ^ аб Шерер, Бенцигер и Роеш 2010, стр. 243
  28. ^ Сингх, Премджит; Саха, Гаутам; Сахидулла, Мэриленд (2021). «Нелинейное изменение частоты с использованием преобразования с постоянным Q для распознавания речевых эмоций». Международная конференция по компьютерным коммуникациям и информатике (ICCCI) 2021 г. . стр. 1–4. arXiv : 2102.04029 . doi :10.1109/ICCCI50826.2021.9402569. ISBN 978-1-7281-5875-4. S2CID  231846518.
  29. ^ Каридакис, Г.; Малатеста, Л.; Кессоус, Л.; Амир, Н.; Раузайу, А.; Карпузис, К. (2–4 ноября 2006 г.). Моделирование натуралистических аффективных состояний посредством распознавания выражений лица и голоса. Международная конференция по мультимодальным интерфейсам (ICMI'06). Банф, Альберта, Канада.
  30. ^ Баломенос, Т.; Раузайу, А.; Иоанну, С.; Дросопулос, А.; Карпузис, К.; Коллиас, С. (2004). «Анализ эмоций в системах человеко-машинного взаимодействия». В Бенгио, Сами; Бурлард, Эрве (ред.). Машинное обучение для мультимодального взаимодействия . Конспект лекций по информатике . Том 3361. Springer-Verlag . С. 318–328.
  31. ^ Экман, Пол (1972). Коул, Дж. (ред.). Универсалии и культурные различия в выражении эмоций на лице . Симпозиум в Небраске по мотивации. Линкольн, Небраска: Издательство Университета Небраски. С. 207–283.
  32. ^ Экман, Пол (1999). «Основные эмоции». В Dalgleish, T; Power, M (ред.). Справочник по познанию и эмоциям (PDF) . Сассекс, Великобритания: John Wiley & Sons. Архивировано из оригинала (PDF) 28.12.2010..
  33. ^ «Система кодирования мимики лица (FACS) и руководство FACS» Архивировано 19 октября 2013 г. на Wayback Machine . Человеческое лицо. Получено 21 марта 2011 г.
  34. ^ «Методы пространственной области».
  35. ^ Clever Algorithms. «Bacterial Foraging Optimization Algorithm – Swarm Algorithms – Clever Algorithms» Архивировано 12 июня 2019 г. на Wayback Machine . Clever Algorithms. Получено 21 марта 2011 г.
  36. ^ "Soft Computing". Soft Computing. Получено 18 марта 2011 г.
  37. ^ Уильямс, Марк. «Лучшее программное обеспечение для распознавания лиц – Обзор технологий» Архивировано 08.06.2011 на Wayback Machine . Обзор технологий: авторитет в области будущего технологий. Получено 21 марта 2011 г.
  38. ^ JK Aggarwal, Q. Cai, Анализ движений человека: обзор, Компьютерное зрение и понимание изображений, т. 73, № 3, 1999
  39. ^ ab Павлович, Владимир И.; Шарма, Раджив; Хуан, Томас С. (1997). «Визуальная интерпретация жестов рук для взаимодействия человека с компьютером: обзор» (PDF) . Труды IEEE по анализу образов и машинному интеллекту . 19 (7): 677–695. doi :10.1109/34.598226. S2CID  7185733.
  40. ^ ab Picard, Rosalind (1998). Аффективные вычисления. MIT.
  41. ^ Larsen JT, Norris CJ, Cacioppo JT, «Влияние положительного и отрицательного воздействия на электромиографическую активность над большой скуловой мышцей и мышцей, сморщивающей бровь», (сентябрь 2003 г.)
  42. ^ ab Бенитес-Кирос, Карлос Ф.; Шринивасан, Рампракаш; Мартинес, Алейкс М. (2018-03-19). «Цвет лица — эффективный механизм визуальной передачи эмоций». Труды Национальной академии наук . 115 (14): 3581–3586. Bibcode : 2018PNAS..115.3581B. doi : 10.1073 /pnas.1716084115 . PMC 5889636. PMID  29555780. 
  43. ^ Браткова, Маргарита; Булос, Соломон; Ширли, Питер (2009). «oRGB: практическое альтернативное цветовое пространство для компьютерной графики». IEEE Computer Graphics and Applications . 29 (1): 42–55. doi :10.1109/mcg.2009.13. PMID  19363957. S2CID  16690341.
  44. ^ Хадас Шахар, Хагит Хель-Ор , Классификация микровыражений с использованием цвета лица и методов глубокого обучения, Международная конференция IEEE по компьютерному зрению (ICCV), 2019, стр. 0–0.
  45. ^ Ритендра Датта, Дхирадж Джоши, Цзя Ли и Джеймс З. Ван, Изучение эстетики фотографических изображений с использованием вычислительного подхода, Конспект лекций по информатике, т. 3953, Труды Европейской конференции по компьютерному зрению, часть III, стр. 288–301, Грац, Австрия, май 2006 г.
  46. ^ Wu, Chih-Hung; Huang, Yueh-Min; Hwang, Jan-Pan (ноябрь 2016 г.). «Обзор аффективных вычислений в образовании/обучении: тенденции и проблемы». British Journal of Educational Technology . 47 (6): 1304–1323. doi :10.1111/bjet.12324.
  47. ^ «Система распознавания лиц в автомобиле обнаруживает разгневанных водителей, предотвращая дорожную ярость». Gizmodo . 30 августа 2018 г.
  48. ^ Колет, Кристиан; Музыкант, Орен (24.04.2019). «Связывание автоматизации транспортных средств с системами оценки функционального состояния водителей: вызов для безопасности дорожного движения в будущем». Frontiers in Human Neuroscience . 13 : 131. doi : 10.3389/fnhum.2019.00131 . ISSN  1662-5161. PMC 6503868. PMID 31114489  . 
  49. ^ Балтерс, Стефани; Бернстайн, Мадлен; Паредес, Пабло Э. (2019-05-02). «Анализ стресса на дороге для внутриавтомобильных вмешательств во время поездок на работу». Расширенные тезисы конференции CHI 2019 года по человеческому фактору в вычислительных системах . ACM. стр. 1–6. doi :10.1145/3290607.3312824. ISBN 978-1-4503-5971-9. S2CID  144207824.
  50. ^ Йонк, Ричард (2017). Сердце машины: наше будущее в мире искусственного эмоционального интеллекта . Нью-Йорк: Arcade Publishing. С. 150–153. ISBN 9781628727333. OCLC  956349457.
  51. ^ Проекты в области аффективных вычислений
  52. ^ Шанахан, Джеймс; Ку, Ян; Вибе, Джанис (2006). Вычислительное отношение и аффект в тексте: теория и приложения . Дордрехт: Springer Science & Business Media. стр. 94. ISBN 1402040261 
  53. ^ Gilleade, Kiel Mark; Dix, Alan; Allanson, Jen (2005). Affective Videogames and Modes of Affective Gaming: Assist Me, Challenge Me, Emote Me (PDF) . Proc. DiGRA Conf. Архивировано из оригинала (PDF) 2015-04-06 . Получено 2016-12-10 .
  54. ^ Сайкс, Джонатан; Браун, Саймон (2003). Аффективные игры: измерение эмоций с помощью геймпада . CHI '03 Extended Abstracts on Human Factors in Computing Systems. CiteSeerX 10.1.1.92.2123 . doi :10.1145/765891.765957. ISBN  1581136374.
  55. ^ Nijholt, Anton; Plass-Oude Bos, Danny; Reuderink, Борис (2009). «Превращение недостатков в проблемы: интерфейсы мозг–компьютер для игр» (PDF) . Entertainment Computing . 1 (2): 85–94. Bibcode : 2009itie.conf..153N. doi : 10.1016/j.entcom.2009.09.007.
  56. ^ Рейдеринк, Борис; Нийхолт, Антон; Поэль, Маннес (2009). Аффективный Пакман: ​​фрустрирующая игра для экспериментов по интерфейсу мозг-компьютер . Интеллектуальные технологии для интерактивных развлечений (INTETAIN). стр. 221–227. doi :10.1007/978-3-642-02315-6_23. ISBN 978-3-642-02314-9.
  57. ^ Хандакер, М (2009). «Разработка аффективных видеоигр для поддержки социально-эмоционального развития подростков с расстройствами аутистического спектра». Исследования в области медицинских технологий и информатики . 144 : 37–9. PMID  19592726.
  58. ^ Сахар, Йотам; Вагнер, Майкл; Барель, Ариэль; Шовал, Шрага (2022-11-01). «Адаптивная к стрессу тренировка: адаптивная психомоторная тренировка в соответствии со стрессом, измеренным по силе захвата». Датчики . 22 (21): 8368. Bibcode : 2022Senso..22.8368S. doi : 10.3390/s22218368 . ISSN  1424-8220. PMC 9654132. PMID 36366066  . 
  59. ^ Янссен, Йорис Х.; ван ден Брук, Эгон Л. (июль 2012 г.). «Настройтесь на свои эмоции: надежный персонализированный аффективный музыкальный проигрыватель». Моделирование пользователей и адаптированное для пользователей взаимодействие . 22 (3): 255–279. doi : 10.1007/s11257-011-9107-7 . hdl : 2066/103051 .
  60. ^ «Мона Лиза: Улыбка? Ученые-компьютерщики разрабатывают программное обеспечение, которое оценивает выражения лица». ScienceDaily . 1 августа 2006 г. Архивировано из оригинала 19 октября 2007 г.
  61. ^ Battarbee, Katja; Koskinen, Ilpo (2005). «Co-experience: user experience as interaction» (PDF) . CoDesign . 1 (1): 5–18. CiteSeerX 10.1.1.294.9178 . doi :10.1080/15710880412331289917. S2CID  15296236. Архивировано из оригинала (PDF) 2017-12-14 . Получено 2016-02-02 . 
  62. ^ abcdef Бёнер, Кирстен; ДеПаула, Роджерио; Дуриш, Пол ; Сенгерс, Фиби (2007). «Как создаются и измеряются эмоции». Международный журнал исследований человека и компьютеров . 65 (4): 275–291. doi :10.1016/j.ijhcs.2006.11.016. S2CID  15551492.
  63. ^ Бёнер, Кирстен; ДеПаула, Роджерио; Дуриш, Пол ; Сенгерс, Фиби (2005). «Привязанность: от информации к взаимодействию». Труды Десятилетней конференции в Орхусе по критическим вычислениям : 59–68.
  64. ^ Крюк, Кристина; Стааль, Анна; Сундстрем, Петра; Лааксолахти, Ярмо (2008). «Интерактивное расширение возможностей» (PDF) . Учеб. ЧИ : 647–656.

Цитируемые работы