stringtranslate.com

Аффективные вычисления

Аффективные вычисления — это исследование и разработка систем и устройств, которые могут распознавать, интерпретировать, обрабатывать и моделировать человеческие аффекты . Это междисциплинарная область, охватывающая информатику , психологию и когнитивную науку . [1] Хотя некоторые основные идеи в этой области можно проследить еще в ранних философских исследованиях эмоций , [ 2] более современная отрасль информатики зародилась в статье Розалинды Пикард 1995 года [3] об аффективных вычислениях и ее книга Affective Computing [4] , изданная MIT Press . [5] [6] Одним из мотивов исследования является способность наделять машины эмоциональным интеллектом , в том числе имитировать эмпатию . Машина должна интерпретировать эмоциональное состояние людей и адаптировать к ним свое поведение, давая соответствующий ответ на эти эмоции.

Области

Обнаружение и распознавание эмоциональной информации

Обнаружение эмоциональной информации обычно начинается с пассивных датчиков , которые собирают данные о физическом состоянии или поведении пользователя без интерпретации входных данных. Собранные данные аналогичны сигналам, которые люди используют для восприятия эмоций других. Например, видеокамера может фиксировать выражение лица, позу тела и жесты, а микрофон — речь. Другие датчики обнаруживают эмоциональные сигналы, напрямую измеряя физиологические данные, такие как температура кожи и гальваническое сопротивление . [7]

Распознавание эмоциональной информации требует извлечения значимых закономерностей из собранных данных. Это делается с помощью методов машинного обучения, которые обрабатывают различные методы , такие как распознавание речи , обработка естественного языка или обнаружение выражения лица . Целью большинства этих методов является создание ярлыков, которые соответствовали бы ярлыкам, которые человеческий воспринимающий человек дал бы в той же ситуации: например, если человек делает выражение лица, нахмурив брови, тогда систему компьютерного зрения можно научить обозначать. их лицо выглядит «растерянным», «сосредоточенным» или «слегка негативным» (в отличие от позитивного, о котором можно было бы сказать, если бы они улыбались счастливо). Эти ярлыки могут соответствовать, а могут и не соответствовать тому, что на самом деле чувствует человек.

Эмоции в машинах

Еще одна область аффективных вычислений — это разработка вычислительных устройств, демонстрирующих либо врожденные эмоциональные способности, либо способных убедительно моделировать эмоции. Более практичный подход, основанный на современных технологических возможностях, — это моделирование эмоций у диалоговых агентов с целью обогащения и облегчения взаимодействия между человеком и машиной. [8]

Марвин Мински , один из пионеров компьютерных наук в области искусственного интеллекта , связывает эмоции с более широкими проблемами машинного интеллекта, заявляя в книге « Машина эмоций» , что эмоции «не особенно отличаются от процессов, которые мы называем «мышлением». подход «цифровых людей» или виртуальных людей включает в себя попытку придать этим программам, имитирующим человека, также эмоциональное измерение, включая реакции в соответствии с реакцией, которую реальный человек отреагировал бы в определенной эмоционально стимулирующей ситуации, а также мимику лица. и жесты. [10]

Эмоции в машинах часто относятся к эмоциям в вычислительных системах, часто на основе искусственного интеллекта. В результате используются термины «эмоциональный ИИ» и «эмоциональный ИИ». [11]

Технологии

В психологии, когнитивной науке и нейробиологии существует два основных подхода к описанию того, как люди воспринимают и классифицируют эмоции: непрерывный или категориальный. Непрерывный подход имеет тенденцию использовать такие измерения, как негативный и позитивный, спокойный и возбужденный.

Категориальный подход имеет тенденцию использовать отдельные классы, такие как счастье, грусть, злость, страх, удивление, отвращение. Различные виды моделей регрессии и классификации машинного обучения можно использовать для того, чтобы машины производили непрерывные или дискретные этикетки. Иногда также создаются модели, позволяющие комбинировать категории, например, счастливое удивленное лицо или испуганно-удивленное лицо. [12]

В следующих разделах рассматриваются многие виды входных данных, используемых для задачи распознавания эмоций .

Эмоциональная речь

Различные изменения в вегетативной нервной системе могут косвенно изменить речь человека, а аффективные технологии могут использовать эту информацию для распознавания эмоций. Например, речь, произносимая в состоянии страха, гнева или радости, становится быстрой, громкой и четко произносимой, с более высоким и широким диапазоном тонов, тогда как такие эмоции, как усталость, скука или печаль, имеют тенденцию порождать медленные, низкие звуки. невнятная и невнятная речь. [13] Было обнаружено, что некоторые эмоции легче идентифицировать с помощью вычислений, например гнев [14] или одобрение. [15]

Технологии обработки эмоциональной речи распознают эмоциональное состояние пользователя с помощью компьютерного анализа особенностей речи. Параметры голоса и просодические характеристики, такие как переменные высоты тона и скорость речи, можно анализировать с помощью методов распознавания образов. [14] [16]

Речевой анализ является эффективным методом определения аффективного состояния, его средняя точность составляет от 70 до 80% в исследованиях 2003 и 2006 годов. [17] [18] Эти системы, как правило, превосходят среднюю человеческую точность (примерно 60% [14] ). но они менее точны, чем системы, которые используют другие способы обнаружения эмоций, такие как физиологические состояния или выражения лица. [19] Однако, поскольку многие речевые характеристики не зависят от семантики или культуры, этот метод считается многообещающим направлением для дальнейших исследований. [20]

Алгоритмы

Процесс обнаружения речевого/текстового воздействия требует создания надежной базы данных , базы знаний или модели векторного пространства [21] , достаточно широкой, чтобы удовлетворить все потребности ее применения, а также выбора успешного классификатора, который позволит быстрая и точная идентификация эмоций.

По состоянию на 2010 год наиболее часто используемыми классификаторами были линейные дискриминантные классификаторы (LDC), k-ближайший сосед (k-NN), модель гауссовой смеси (GMM), машины опорных векторов (SVM), искусственные нейронные сети (ANN), дерево решений. алгоритмы и скрытые марковские модели (СММ). [22] Различные исследования показали, что выбор подходящего классификатора может значительно повысить общую производительность системы. [19] В списке ниже дано краткое описание каждого алгоритма:

Доказано, что при наличии достаточного количества акустических данных эмоциональное состояние человека можно классифицировать с помощью набора мажоритарных классификаторов. Предлагаемый набор классификаторов основан на трех основных классификаторах: kNN, C4.5 и SVM-RBF Kernel. Этот набор обеспечивает лучшую производительность, чем каждый базовый классификатор, взятый отдельно. Он сравнивается с двумя другими наборами классификаторов: мультиклассовым SVM «один против всех» (OAA) с гибридными ядрами и набором классификаторов, состоящим из следующих двух базовых классификаторов: C5.0 и нейронной сети. Предлагаемый вариант обеспечивает лучшую производительность, чем два других набора классификаторов. [24]

Базы данных

Подавляющее большинство современных систем зависят от данных. Это создает одну из самых больших проблем при обнаружении эмоций на основе речи, поскольку требует выбора подходящей базы данных, используемой для обучения классификатора. Большая часть имеющихся в настоящее время данных была получена от актеров и, таким образом, представляет собой представление архетипических эмоций. Эти так называемые действующие базы данных обычно основаны на теории основных эмоций ( Пола Экмана ), которая предполагает существование шести основных эмоций (гнев, страх, отвращение, удивление, радость, печаль), а остальные представляют собой просто смесь бывшие. [25] Тем не менее, они по-прежнему предлагают высокое качество звука и сбалансированные классы (хотя зачастую их слишком мало), что способствует высоким показателям успеха в распознавании эмоций.

Однако для реального применения предпочтительны натуралистические данные. Натуралистическая база данных может быть создана путем наблюдения и анализа субъектов в их естественном контексте. В конечном итоге такая база данных должна позволить системе распознавать эмоции на основе их контекста, а также определять цели и результаты взаимодействия. Характер данных этого типа позволяет реализовать их в реальной жизни, поскольку они описывают состояния, естественным образом возникающие во время взаимодействия человека с компьютером (HCI).

Несмотря на многочисленные преимущества, которые натуралистические данные имеют перед игровыми данными, они трудно достижимы и обычно имеют низкую эмоциональную интенсивность. Более того, данные, полученные в естественном контексте, имеют более низкое качество сигнала из-за шума окружающей среды и расстояния объектов от микрофона. Первой попыткой создать такую ​​базу данных был корпус эмоций FAU Aibo для CEICES (объединение усилий по улучшению автоматической классификации эмоциональных состояний пользователя), который был разработан на основе реалистичного контекста, когда дети (в возрасте 10–13 лет) играют с домашним животным-роботом Aibo от Sony. . [26] [27] Аналогично, создание одной стандартной базы данных для всех эмоциональных исследований обеспечит метод оценки и сравнения различных систем распознавания аффектов.

Речевые дескрипторы

Сложность процесса распознавания аффектов возрастает с увеличением количества классов (аффектов) и речевых дескрипторов, используемых в классификаторе. Поэтому крайне важно выбрать только наиболее релевантные функции, чтобы гарантировать способность модели успешно идентифицировать эмоции, а также повысить производительность, что особенно важно для обнаружения в реальном времени. Диапазон возможных вариантов огромен: в некоторых исследованиях упоминается использование более 200 различных функций. [22] Крайне важно выявить излишние и нежелательные эмоции, чтобы оптимизировать систему и повысить вероятность успешного обнаружения правильных эмоций. Наиболее распространенные речевые характеристики можно разделить на следующие группы. [26] [27]

  1. Частотные характеристики [28]
    • Форма акцента – зависит от скорости изменения основной частоты.
    • Средний тон – описание того, насколько высоко/низко говорит говорящий по сравнению с обычной речью.
    • Наклон контура – ​​описывает тенденцию изменения частоты во времени, она может быть повышающейся, понижающейся или ровной.
    • Итоговое понижение – величина, на которую падает частота в конце высказывания.
    • Диапазон высоты тона – измеряет разброс между максимальной и минимальной частотой высказывания.
  2. Функции, связанные со временем:
    • Скорость речи – описывает скорость произнесения слов или слогов за единицу времени.
    • Частота ударения - измеряет частоту появления высказываний с акцентом на высоте.
  3. Параметры качества голоса и дескрипторы энергии:
    • Дыхание – измеряет придыхательный шум в речи.
    • Яркость – описывает доминирование высоких или низких частот в речи.
    • Громкость – измеряет амплитуду речевого сигнала и преобразует его в энергию высказывания.
    • Pause Discontinuity – описывает переходы между звуком и тишиной.
    • Pitch Discontinuity – описывает переходы основной частоты.

Обнаружение аффекта на лице

Обнаружение и обработка выражения лица достигаются с помощью различных методов, таких как оптический поток , скрытые модели Маркова , обработка нейронной сети или модели активного внешнего вида. Можно комбинировать или объединять более одной модальности (мультимодальное распознавание, например, выражений лица и просодии речи, [29] мимики и жестов рук, [30] или выражений лица с речью и текстом для мультимодальных данных и анализа метаданных), чтобы обеспечить более робастная оценка эмоционального состояния субъекта.

Базы данных выражений лица

Создание базы данных эмоций — сложная и трудоемкая задача. Однако создание базы данных является важным шагом в создании системы, которая будет распознавать человеческие эмоции. Большинство общедоступных баз данных эмоций включают только постановочные выражения лица. В базах данных постановочных выражений участников просят продемонстрировать различные основные выражения эмоций, тогда как в базе данных спонтанных выражений выражения являются естественными. Спонтанное выявление эмоций требует значительных усилий по выбору правильных стимулов, которые могут привести к яркому проявлению предполагаемых эмоций. Во-вторых, этот процесс включает в себя маркировку эмоций обученными людьми вручную, что делает базы данных очень надежными. Поскольку восприятие выражений и их интенсивность носят субъективный характер, для целей валидации необходима экспертная аннотация.

Исследователи работают с тремя типами баз данных, такими как база данных только изображений пиковых выражений, база данных последовательностей изображений, изображающих эмоцию от нейтральной до ее пика, и видеоклипы с эмоциональными аннотациями. Для целей распознавания выражений было создано и опубликовано множество баз данных по выражениям лиц. Двумя широко используемыми базами данных являются CK+ и JAFFE.

Классификация эмоций

Проводя в конце 1960-х годов кросс-культурное исследование коренных племен в Папуа, Новая Гвинея, Пол Экман выдвинул идею о том, что выражения эмоций на лице не детерминированы культурой, а универсальны. Таким образом, он предположил, что они имеют биологическое происхождение и, следовательно, могут быть безопасно и правильно классифицированы. [25] Поэтому в 1972 году он официально сформулировал шесть основных эмоций: [31]

Однако в 1990-е годы Экман расширил свой список основных эмоций, включив в него ряд положительных и отрицательных эмоций , не все из которых закодированы в мышцах лица. [32] Новые эмоции:

  1. Развлечение
  2. Презрение
  3. Удовлетворенность
  4. Смущение
  5. Возбуждение
  6. Вина
  7. Гордость за достижения
  8. Облегчение
  9. Удовлетворение
  10. Сенсорное удовольствие
  11. Стыд

Система кодирования действий лица

Психологи придумали систему для формальной классификации физического выражения эмоций на лицах. Центральной концепцией системы кодирования действий лица , или FACS, созданной Полом Экманом и Уоллесом В. Фризеном в 1978 году на основе более ранней работы Карла-Хермана Хьёртсьё [33], являются единицы действия (AU). По сути, это сокращение или расслабление одной или нескольких мышц. Психологи предложили следующую классификацию шести основных эмоций по единицам их действия («+» здесь означает «и»):

Проблемы с распознаванием лиц

Как и в любой вычислительной практике, при обнаружении аффектов с помощью обработки лица необходимо преодолеть некоторые препятствия, чтобы полностью раскрыть скрытый потенциал используемого алгоритма или метода в целом. На заре почти всех видов обнаружения на основе ИИ (распознавание речи, распознавание лиц, распознавание аффектов) точность моделирования и отслеживания была проблемой. По мере развития аппаратного обеспечения, сбора большего количества данных, новых открытий и внедрения новых практик недостаток точности исчезает, оставляя после себя проблемы с шумом. Однако существуют методы удаления шума, включая усреднение по окрестностям, линейное сглаживание по Гауссу , медианную фильтрацию [34] или более новые методы, такие как алгоритм оптимизации бактериального поиска пищи. [35] [36]

Другие проблемы включают в себя

Жест тела

Жесты можно эффективно использовать как средство определения определенного эмоционального состояния пользователя, особенно в сочетании с распознаванием речи и лиц. В зависимости от конкретного действия жесты могут быть простыми рефлекторными реакциями, например, поднятие плеч, когда вы не знаете ответа на вопрос, или же они могут быть сложными и осмысленными, как при общении с помощью языка жестов. Не используя какой-либо предмет или окружающую среду, мы можем махать руками, хлопать в ладоши или подзывать. С другой стороны, используя объекты, мы можем указывать на них, перемещать, трогать или манипулировать ими. Компьютер должен уметь распознавать их, анализировать контекст и осмысленно реагировать, чтобы его можно было эффективно использовать для взаимодействия человека и компьютера.

Существует множество предложенных методов [38] для обнаружения жестов тела. В некоторой литературе различают два разных подхода к распознаванию жестов: на основе 3D-модели и на основе внешнего вида. [39] Самый передовой метод использует трехмерную информацию о ключевых элементах частей тела для получения нескольких важных параметров, таких как положение ладоней или углы суставов. С другой стороны, системы, основанные на внешнем виде, используют изображения или видео для прямой интерпретации. Жесты рук всегда были в центре внимания методов обнаружения жестов тела. [39]

Физиологический мониторинг

Это можно использовать для определения аффективного состояния пользователя путем мониторинга и анализа его физиологических признаков. Эти признаки варьируются от изменений частоты сердечных сокращений и проводимости кожи до мельчайших сокращений лицевых мышц и изменений лицевого кровотока. Эта область набирает обороты, и теперь мы видим реальные продукты, реализующие эти методы. Обычно анализируются четыре основных физиологических признака: объем крови , кожно-гальваническая реакция , электромиография лица и цвет лица.

Пульс объема крови

Обзор

Пульс объема крови (ОБП) субъекта можно измерить с помощью процесса, называемого фотоплетизмографией , который создает график, показывающий поток крови через конечности. [40] Пики волн указывают на сердечный цикл, при котором сердце перекачивает кровь к конечностям. Если субъект испытывает страх или испуган, его сердце обычно некоторое время «подпрыгивает» и быстро бьется, вызывая увеличение амплитуды сердечного цикла. Это хорошо видно на фотоплетизмографе, когда расстояние между впадиной и пиком волны уменьшилось. Когда субъект успокоится и внутреннее ядро ​​тела расширится, позволяя большему количеству крови течь обратно к конечностям, цикл вернется в норму.

Методология

Специальное сенсорное оборудование воздействует на кожу инфракрасным светом и измеряет количество отраженного света. Количество отраженного и прошедшего света коррелирует с BVP, поскольку свет поглощается гемоглобином, который в большом количестве содержится в кровотоке.

Недостатки

Может оказаться затруднительным гарантировать, что датчик, излучающий инфракрасный свет и отслеживающий отраженный свет, всегда направлен на одну и ту же точку, особенно если учесть, что объекты часто растягиваются и меняют свое положение во время использования компьютера. Есть и другие факторы, которые могут повлиять на объем пульса крови. Поскольку это показатель кровотока через конечности, если субъект чувствует себя жарко или особенно холодно, то его тело может пропускать больше или меньше крови к конечностям, и все это независимо от эмоционального состояния субъекта.

Мышца, сморщивающая суперцилии, и большая скуловая мышца — две основные мышцы, используемые для измерения электрической активности при электромиографии лица.

Лицевая электромиография

Лицевая электромиография — это метод, используемый для измерения электрической активности лицевых мышц путем усиления крошечных электрических импульсов, которые генерируются мышечными волокнами при их сокращении. [41] Лицо выражает много эмоций, однако есть две основные группы мышц лица, которые обычно изучаются для обнаружения эмоций: мышца, сморщивающая брови, также известная как «нахмуренная» мышца, которая хмурит брови. , и, следовательно, является лучшим тестом на отрицательную, неприятную эмоциональную реакцию. ↵ Большая скуловая мышца отвечает за отведение уголков рта назад, когда вы улыбаетесь, и, следовательно, эта мышца используется для проверки положительной эмоциональной реакции.

Здесь мы можем увидеть график сопротивления кожи, измеренный с помощью GSR и времени, пока субъект играл в видеоигру. На графике четко видно несколько пиков, что позволяет предположить, что КГР является хорошим методом различения возбужденного и невозбужденного состояния. Например, в начале игры, где обычно не так уж много интересного, регистрируется высокий уровень сопротивления, что предполагает низкий уровень проводимости и, следовательно, меньшее возбуждение. Это резко контрастирует с внезапным провалом, когда игрока убивают, поскольку он обычно очень напряжен и напряжен, когда его персонаж погибает в игре.

Кожно-гальваническая реакция

Кожно-гальваническая реакция (КГР) — устаревший термин для более общего явления, известного как «Электродермальная активность» или ЭДА. ЭДА – это общее явление, при котором изменяются электрические свойства кожи. Кожа иннервируется [симпатической нервной системой], поэтому измерение ее сопротивления или проводимости позволяет количественно оценить небольшие изменения в симпатической ветви вегетативной нервной системы. Поскольку потовые железы активируются, еще до того, как кожа почувствует потливость, можно определить уровень ЭДА (обычно с помощью проводимости) и использовать его для выявления небольших изменений вегетативного возбуждения. Чем более возбужден субъект, тем выше проводимость кожи. [40]

Проводимость кожи часто измеряют с помощью двух небольших электродов из хлорида серебра и серебра, помещаемых где-нибудь на коже и прикладывающих между ними небольшое напряжение. Чтобы максимизировать комфорт и уменьшить раздражение, электроды можно разместить на запястьях, ногах или ступнях, что оставляет руки полностью свободными для повседневной деятельности.

Цвет лица

Обзор

Поверхность человеческого лица иннервируется крупной сетью кровеносных сосудов. Изменения кровотока в этих сосудах приводят к видимым изменениям цвета лица. Независимо от того, активируют ли лицевые эмоции мышцы лица, происходят изменения в кровотоке, артериальном давлении, уровне глюкозы и другие изменения. Кроме того, цветовой сигнал лица не зависит от сигнала, обеспечиваемого движениями мышц лица. [42]

Методология

Подходы основаны на изменении цвета лица. Триангуляция Делоне используется для создания треугольных локальных областей. Некоторые из этих треугольников, которые определяют внутреннюю часть рта и глаз (склера и радужная оболочка), удаляются. Используйте пиксели левых треугольных областей для создания векторов объектов. [42] Он показывает, что преобразование цвета пикселей стандартного цветового пространства RGB в цветовое пространство, такое как цветовое пространство oRGB [43] или каналы LMS, работает лучше при работе с лицами. [44] Итак, сопоставьте приведенный выше вектор с лучшим цветовым пространством и разложите его на красно-зеленый и желто-синий каналы. Затем используйте методы глубокого обучения, чтобы найти эквивалентные эмоции.

Визуальная эстетика

Эстетика в мире искусства и фотографии относится к принципам природы и понимания красоты. Оценка красоты и других эстетических качеств — весьма субъективная задача. Ученые-компьютерщики из Пенсильванского университета рассматривают задачу автоматического определения эстетического качества изображений с использованием их визуального контента как задачу машинного обучения, используя в качестве источника данных веб-сайт для обмена фотографиями с одинаковым рейтингом. [45] Они извлекают определенные визуальные особенности, основываясь на интуиции, позволяющей различать эстетически приятные и неприятные изображения.

Возможные применения

Образование

Привязанность влияет на состояние обучения учащихся. Используя технологию аффективных вычислений, компьютеры могут судить об привязанности учащихся и состоянии обучения, распознавая выражения их лиц. В сфере образования учитель может использовать результаты анализа, чтобы понять способность учащегося к обучению и принятию, а затем сформулировать разумные планы обучения. В то же время они могут обращать внимание на внутренние чувства учащихся, что полезно для их психологического здоровья. Особенно в дистанционном образовании из-за разделения времени и пространства между преподавателями и учениками нет эмоционального стимула к двустороннему общению. Без атмосферы, создаваемой традиционным обучением в классе, учащимся быстро становится скучно, и это влияет на эффект обучения. Применение аффективных вычислений в системе дистанционного образования может эффективно улучшить эту ситуацию. [46]

Транспорт

Применение сенсорных вычислений может способствовать повышению безопасности дорожного движения. Например, автомобиль может отслеживать эмоции всех пассажиров и принимать дополнительные меры безопасности, например, предупреждать другие транспортные средства, если обнаруживает, что водитель рассержен. [47] Кроме того, аффективные вычислительные системы для мониторинга стресса водителя могут позволять различные вмешательства, такие как системы помощи водителю, настраиваемые в соответствии с уровнем стресса [48] , а также минимальные и прямые вмешательства для изменения эмоционального состояния водителя. [49]

Здравоохранение

Социальные роботы , а также растущее число роботов, используемых в здравоохранении, получают выгоду от эмоциональной осведомленности, поскольку они могут лучше оценивать эмоциональное состояние пользователей и пациентов и соответствующим образом изменять свои действия/программы. Это особенно важно в странах с растущим стареющим населением и/или нехваткой молодых работников для удовлетворения их потребностей. [50]

Аффективные вычисления также применяются для разработки коммуникативных технологий для людей с аутизмом. [51] Аффективная составляющая текста также все больше привлекает внимание, особенно ее роль в так называемом эмоциональном или эмоциональном Интернете . [52]

Видеоигры

Аффективные видеоигры могут получать доступ к эмоциональному состоянию своих игроков через устройства биологической обратной связи . [53] Особенно простая форма биологической обратной связи доступна через геймпады , которые измеряют силу нажатия кнопки: было показано, что это сильно коррелирует с уровнем возбуждения игроков ; [54] На другом конце шкалы находятся интерфейсы мозг-компьютер . [55] [56] Аффективные игры использовались в медицинских исследованиях для поддержки эмоционального развития детей с аутизмом . [57]

Психомоторная тренировка

Методы тренировки психомоторных операций, таких как рулевое управление и маневрирование, используются в различных областях, таких как авиация, транспорт и медицина. Было обнаружено, что интеграция возможностей аффективных вычислений в системы обучения этого типа в соответствии с подходом адаптивной автоматизации эффективна для повышения качества обучения и сокращения необходимой продолжительности обучения. [58]

Другие приложения

Аффективные вычисления имеют потенциальное применение во взаимодействии человека с компьютером , например, аффективные зеркала, позволяющие пользователю видеть, как он или она работает; агенты мониторинга эмоций отправляют предупреждение перед отправкой гневного электронного письма; или даже музыкальные проигрыватели, выбирающие треки по настроению. [59]

Одна из идей, выдвинутых румынским исследователем доктором Нику Себе в интервью, заключается в анализе лица человека, когда он употребляет определенный продукт (в качестве примера он упомянул мороженое). [60] Тогда компании смогут использовать такой анализ, чтобы сделать вывод о том, будет ли их продукт хорошо принят соответствующим рынком.

Можно также использовать аффективное государственное распознавание, чтобы оценить воздействие телевизионной рекламы посредством видеозаписи этого человека в реальном времени и последующего изучения выражения его или ее лица. Усредняя результаты, полученные на большой группе субъектов, можно сказать, имеет ли рекламный ролик (или фильм) желаемый эффект и какие элементы больше всего интересуют зрителя.

Когнитивистский и интерактивный подходы

В области взаимодействия человека и компьютера когнитивистская концепция эмоций Розалинды Пикард , или «информационная модель» , подвергалась критике и противопоставлялась «посткогнитивистскому» или «интеракциональному» прагматическому подходу, принятому Кирстен Бонер и другими, которые рассматривают эмоции. как по своей сути социальный. [61]

В центре внимания Пикард - взаимодействие человека и компьютера, а ее цель в области аффективных вычислений - «дать компьютерам способность распознавать, выражать и, в некоторых случаях, «испытывать» эмоции». [4] Напротив, интерактивный подход направлен на то, чтобы помочь «людям понять и пережить свои собственные эмоции» [62] и улучшить компьютерное межличностное общение. Он не обязательно стремится отобразить эмоции в объективную математическую модель для машинной интерпретации, а скорее позволяет людям понимать выражения эмоций друг друга открытыми способами, которые могут быть двусмысленными, субъективными и чувствительными к контексту. [62] : 284  [ нужен пример ]

Критики Пикард описывают ее концепцию эмоций как «объективную, внутреннюю, частную и механистическую». Они говорят, что это сводит эмоции к дискретному психологическому сигналу, происходящему внутри тела, который можно измерить и который является входной информацией для познания, снижая сложность эмоционального опыта. [62] : 280  [62] : 278 

Интерактивный подход утверждает, что, хотя эмоция имеет биофизические аспекты, она «культурно обоснована, динамически переживается и в некоторой степени конструируется в действии и взаимодействии». [62] : 276  Другими словами, он рассматривает «эмоции как социальный и культурный продукт, переживаемый в результате нашего взаимодействия». [63] [62] [64]

Смотрите также

Рекомендации

Цитаты

  1. ^ Тао, Цзяньхуа; Тьеню Тан (2005). «Аффективные вычисления: обзор». Аффективные вычисления и интеллектуальное взаимодействие . Том.  LNCS 3784. Спрингер. стр. 981–995. дои : 10.1007/11573548.
  2. ^ Джеймс, Уильям (1884). «Что такое эмоции». Разум . 9 (34): 188–205. doi : 10.1093/mind/os-IX.34.188.Цитируется Тао и Таном.
  3. ^ Технический отчет Массачусетского технологического института № 321 «Аффективные вычисления» (Резюме), 1995 г.
  4. ^ аб Пикард, Розалинда (1997). Аффективные вычисления . Кембридж, Массачусетс: MIT Press. п. 1.
  5. ^ Кляйне-Казак, Кристиан (октябрь 2006 г.). «Распознавание и моделирование эмоций» (PDF) . Архивировано из оригинала (PDF) 28 мая 2008 года . Проверено 13 мая 2008 г. Введение эмоций в информатику было сделано Пикардом (так в оригинале), который создал область аффективных вычислений.
  6. ^ Даймонд, Дэвид (декабрь 2003 г.). «Машина любви; создание заботливых компьютеров». Проводной . Архивировано из оригинала 18 мая 2008 года . Проверено 13 мая 2008 г. Розалинда Пикард, гениальный профессор Массачусетского технологического института, является крестной матерью этой области; ее книга 1997 года « Аффективные вычисления » вызвала взрыв интереса к эмоциональной стороне компьютеров и их пользователей.
  7. ^ Гарай, Нестор; Идоя Серрета; Хуан Мигель Лопес; Инмакулада Фахардо (апрель 2006 г.). «Вспомогательные технологии и аффективная медиация» (PDF) . Человеческие технологии . 2 (1): 55–83. дои : 10.17011/ht/urn.2006159 . Архивировано (PDF) из оригинала 28 мая 2008 г. Проверено 12 мая 2008 г.
  8. ^ Хейзе, Дэвид (2004). «Инкультурация агентов с выразительным ролевым поведением». У Сабины Пайр; Траппл, Роберт (ред.). Агентская культура: взаимодействие человека и агента в мультикультурном мире . Лоуренс Эрлбаум Ассошиэйтс. стр. 127–142.
  9. ^ Рестак, Ричард (17 декабря 2006 г.). «Разум превыше материи». Вашингтон Пост . Проверено 13 мая 2008 г.
  10. ^ Лавис, Кейт; Сагар, Марк; Бродбент, Элизабет (22 июля 2020 г.). «Влияние мультимодального эмоционального выражения на реакцию цифрового человека во время разговора о самораскрытии: вычислительный анализ языка пользователя». Журнал медицинских систем . 44 (9): 143. doi :10.1007/s10916-020-01624-4. ISSN  0148-5598. PMID  32700060. S2CID  220717084.
  11. ↑ Хо, Мань-Тунг (29 марта 2023 г.). «Аналитическая основа для изучения отношения к эмоциональному ИИ: трехсторонний подход». МетодыX . 10 (102149) – через Elsevier Science Direct.
  12. ^ Алейкс и Шичуань Ду, Мартинес (2012). «Модель восприятия выражений эмоций на лице человеком: обзор исследования и перспективы» (PDF) . Журнал исследований машинного обучения . 13 (1): 1589–1608.
  13. ^ Бризил, Синтия; Ариананда, Лиджин (2002). «Распознавание аффективного коммуникативного намерения в речи, управляемой роботом» (PDF) . Автономные роботы . 12 (1). Спрингер: 83–104. дои : 10.1023/а: 1013215010749. ISSN  0929-5593. S2CID  459892.
  14. ^ abc Деллаерт Ф., Полизин Т. и Вайбель А., Распознавание эмоций в речи», В Proc. Of ICSLP 1996, Филадельфия, Пенсильвания, стр. 1970–1973, 1996
  15. ^ Рой, Д.; Пентленд, А. (1 октября 1996 г.). «Автоматическая классификация и анализ разговорных аффектов». Материалы Второй международной конференции по автоматическому распознаванию лиц и жестов . стр. 363–367. дои : 10.1109/AFGR.1996.557292. ISBN 978-0-8186-7713-7. S2CID  23157273.
  16. ^ Ли, CM; Нарайанан, С.; Пьераччини Р. Распознавание негативных эмоций в речевых сигналах человека, Семинар по авто. Распознавание и понимание речи, декабрь 2001 г.
  17. ^ Нейберг, Д; Элениус, К; Ласковский, К. (2006). «Распознавание эмоций в спонтанной речи с использованием GMM» (PDF) . Труды Интерспича . doi : 10.21437/Interspeech.2006-277. S2CID  5790745.
  18. ^ Якуб, Шериф; Симске, Стив; Линь, Сяофань; Бернс, Джон (2003). «Распознавание эмоций в интерактивных системах голосового ответа». Труды Eurospeech : 729–732. CiteSeerX 10.1.1.420.8158 . дои : 10.21437/Eurospech.2003-307. S2CID  11671944. 
  19. ^ аб Гудличка 2003, с. 24
  20. ^ Гудличка 2003, с. 25
  21. ^ Чарльз Осгуд; Уильям Мэй; Мюррей Мирон (1975). Межкультурные универсалии аффективного значения . унив. из Иллинойс Пресс. ISBN 978-94-007-5069-2.
  22. ^ ab Scherer, Bänziger & Roesch 2010, стр. 241
  23. ^ «Модель гауссовой смеси». Connexions – обмен знаниями и создание сообществ. Проверено 10 марта 2011 г.
  24. ^ С.Е. Хоружников; и другие. (2014). «Расширенное распознавание и прогнозирование речевых эмоций». Научно-технический журнал информационных технологий, механики и оптики . 14 (6): 137.
  25. ^ Аб Экман, П. и Фризен, WV (1969). Репертуар невербального поведения: категории, происхождение, использование и кодирование. Семиотика, 1, 49–98.
  26. ^ Аб Стейдл, Стефан (5 марта 2011 г.). «Корпус эмоций ФАУ Айбо». Лаборатория распознавания образов.
  27. ^ ab Scherer, Bänziger & Roesch 2010, стр. 243
  28. ^ Сингх, Премджит; Саха, Гутам; Сахидулла, Мэриленд (2021). «Нелинейное искажение частоты с использованием преобразования с постоянной добротностью для распознавания речевых эмоций». Международная конференция по компьютерной связи и информатике (ICCCI) 2021 . стр. 1–4. arXiv : 2102.04029 . дои : 10.1109/ICCCI50826.2021.9402569. ISBN 978-1-7281-5875-4. S2CID  231846518.
  29. ^ Каридакис, Г.; Малатеста, Л.; Кессоус, Л.; Амир, Н.; Раузайу, А.; Карпузис, К. (2–4 ноября 2006 г.). Моделирование натуралистических аффективных состояний посредством распознавания мимики и голоса. Международная конференция по мультимодальным интерфейсам (ICMI'06). Банф, Альберта, Канада.
  30. ^ Баломенос, Т.; Раузайу, А.; Иоанну, С.; Дросопулос, А.; Карпузис, К.; Коллиас, С. (2004). «Анализ эмоций в системах взаимодействия человека и машины». В Бенджио, Сами; Бурлар, Эрве (ред.). Машинное обучение для мультимодального взаимодействия . Конспекты лекций по информатике . Том. 3361. Шпрингер-Верлаг . стр. 318–328.
  31. ^ Экман, Пол (1972). Коул, Дж. (ред.). Универсалии и культурные различия в выражении эмоций на лице . Симпозиум Небраски по мотивации. Линкольн, Небраска: Издательство Университета Небраски. стр. 207–283.
  32. ^ Экман, Пол (1999). «Основные эмоции». В Далглише, Т; Мощность, М (ред.). Справочник по познанию и эмоциям (PDF) . Сассекс, Великобритания: John Wiley & Sons. Архивировано из оригинала (PDF) 28 декабря 2010 г..
  33. ^ «Система кодирования действий лица (FACS) и руководство FACS». Архивировано 19 октября 2013 г., в Wayback Machine . Человеческое лицо. Проверено 21 марта 2011 г.
  34. ^ «Методы пространственной области».
  35. ^ Умные алгоритмы. «Алгоритм оптимизации бактериального поиска пищи – Роевые алгоритмы – Умные алгоритмы». Архивировано 12 июня 2019 г. на Wayback Machine . Умные алгоритмы. Проверено 21 марта 2011 г.
  36. ^ «Мягкие вычисления». Мягкие вычисления. Проверено 18 марта 2011 г.
  37. ^ Уильямс, Марк. «Лучшее программное обеспечение для распознавания лиц – обзор технологий». Архивировано 8 июня 2011 г. в Wayback Machine . Обзор технологий: орган по вопросам будущего технологий. Проверено 21 марта 2011 г.
  38. ^ Дж. К. Аггарвал, К. Цай, Анализ движения человека: обзор, Компьютерное зрение и понимание изображений, Том. 73, № 3, 1999 г.
  39. ^ аб Павлович, Владимир И.; Шарма, Раджив; Хуанг, Томас С. (1997). «Визуальная интерпретация жестов рук для взаимодействия человека с компьютером: обзор» (PDF) . Транзакции IEEE по анализу шаблонов и машинному интеллекту . 19 (7): 677–695. дои : 10.1109/34.598226. S2CID  7185733.
  40. ^ аб Пикард, Розалинда (1998). Аффективные вычисления. Массачусетский технологический институт.
  41. ^ Ларсен Дж.Т., Норрис С.Дж., Качиоппо Дж.Т., «Влияние положительного и отрицательного воздействия на электромиографическую активность больших скуловых мышц и сморщивающихся бровей», (сентябрь 2003 г.)
  42. ^ аб Бенитес-Кирос, Карлос Ф.; Шринивасан, Рампракаш; Мартинес, Алей М. (19 марта 2018 г.). «Цвет лица — эффективный механизм визуальной передачи эмоций». Труды Национальной академии наук . 115 (14): 3581–3586. Бибкод : 2018PNAS..115.3581B. дои : 10.1073/pnas.1716084115 . ПМЦ 5889636 . ПМИД  29555780. 
  43. ^ Браткова, Маргарита; Булос, Соломон; Ширли, Питер (2009). «oRGB: цветовое пространство практического противника компьютерной графики». IEEE Компьютерная графика и приложения . 29 (1): 42–55. дои : 10.1109/mcg.2009.13. PMID  19363957. S2CID  16690341.
  44. ^ Хадас Шахар, Хагит Хель-Ор , Классификация микровыражений с использованием цвета лица и методов глубокого обучения, Международная конференция IEEE по компьютерному зрению (ICCV), 2019, стр. 0–0.
  45. ^ Ритендра Датта, Дирадж Джоши, Цзя Ли и Джеймс З. Ван, Изучение эстетики фотографических изображений с использованием вычислительного подхода, Конспекты лекций по информатике, том. 3953, Материалы Европейской конференции по компьютерному зрению, Часть III, стр. 288–301, Грац, Австрия, май 2006 г.
  46. ^ Ву, Чи-Хун; Хуан, Юэ-Мин; Хван, Ян-Пан (ноябрь 2016 г.). «Обзор аффективных вычислений в образовании/обучении: тенденции и проблемы». Британский журнал образовательных технологий . 47 (6): 1304–1323. дои : 10.1111/bjet.12324.
  47. ^ «Распознавание лиц в автомобиле обнаруживает разгневанных водителей, чтобы предотвратить ярость на дороге» . Гизмодо . 30 августа 2018 г.
  48. ^ Колле, Кристиан; Музыкант Орен (24 апреля 2019 г.). «Связывание автоматизации транспортных средств с системами оценки функционального состояния водителей: вызов безопасности дорожного движения в будущем». Границы человеческой неврологии . 13 : 131. дои : 10.3389/fnhum.2019.00131 . ISSN  1662-5161. ПМК 6503868 . ПМИД  31114489. 
  49. ^ Балтерс, Стефани; Бернштейн, Мэдлин; Паредес, Пабло Э. (2 мая 2019 г.). «Анализ стресса на дороге для вмешательства в автомобиле во время поездки». Расширенные тезисы конференции CHI 2019 года по человеческому фактору в вычислительных системах . АКМ. стр. 1–6. дои : 10.1145/3290607.3312824. ISBN 978-1-4503-5971-9. S2CID  144207824.
  50. ^ Йонк, Ричард (2017). Сердце машины: наше будущее в мире искусственного эмоционального интеллекта . Нью-Йорк: Издательство Arcade Publishing. стр. 150–153. ISBN 9781628727333. ОКЛК  956349457.
  51. ^ Проекты в области аффективных вычислений
  52. ^ Шанахан, Джеймс; Цюй, Ян; Вибе, Дженис (2006). Вычисление отношения и аффекта в тексте: теория и приложения . Дордрехт: Springer Science & Business Media. п. 94. ISBN 1402040261. 
  53. ^ Гиллиад, Киль Марк; Дикс, Алан; Аллансон, Джен (2005). Аффективные видеоигры и способы аффективных игр: помоги мне, брось мне вызов, подари мне эмоции (PDF) . Учеб. Конференция ДиГРА . Архивировано из оригинала (PDF) 6 апреля 2015 г. Проверено 10 декабря 2016 г.
  54. ^ Сайкс, Джонатан; Браун, Саймон (2003). Аффективные игры: измерение эмоций с помощью геймпада . CHI '03 Расширенные тезисы по человеческому фактору в вычислительных системах. CiteSeerX 10.1.1.92.2123 . дои : 10.1145/765891.765957. ISBN  1581136374.
  55. ^ Нейхолт, Антон; Пласс-Уде Бос, Дэнни; Ройдеринк, Борис (2009). «Превращение недостатков в проблемы: интерфейсы мозг-компьютер для игр» (PDF) . Развлечения Компьютеры . 1 (2): 85–94. Бибкод : 2009itie.conf..153N. дои : 10.1016/j.entcom.2009.09.007.
  56. ^ Ройдеринк, Борис; Нейхолт, Антон; Поэль, Маннес (2009). Affective Pacman: разочаровывающая игра для экспериментов по интерфейсу мозг-компьютер . Интеллектуальные технологии для интерактивных развлечений (INTETAIN). стр. 221–227. дои : 10.1007/978-3-642-02315-6_23. ISBN 978-3-642-02314-9.
  57. ^ Хандакер, М (2009). «Разработка аффективных видеоигр для поддержки социально-эмоционального развития подростков с расстройствами аутистического спектра». Исследования в области медицинских технологий и информатики . 144 : 37–9. ПМИД  19592726.
  58. ^ Сахар, Йотам; Вагнер, Майкл; Барель, Ариэль; Шовал, Шрага (01 ноября 2022 г.). «Стресс-адаптивная тренировка: адаптивная психомоторная тренировка в зависимости от стресса, измеряемого силой захвата». Датчики . 22 (21): 8368. Бибкод : 2022Senso..22.8368S. дои : 10.3390/s22218368 . ISSN  1424-8220. ПМЦ 9654132 . ПМИД  36366066. 
  59. ^ Янссен, Йорис Х.; ван ден Брук, Эгон Л. (июль 2012 г.). «Настройтесь на свои эмоции: надежный персонализированный эмоциональный музыкальный плеер». Пользовательское моделирование и взаимодействие с пользователем . 22 (3): 255–279. дои : 10.1007/s11257-011-9107-7 . hdl : 2066/103051 .
  60. ^ «Мона Лиза: Улыбается? Ученые-компьютерщики разрабатывают программное обеспечение, которое оценивает мимику лица» . ScienceDaily . 1 августа 2006 г. Архивировано из оригинала 19 октября 2007 г.
  61. ^ Баттарби, Катя; Коскинен, Ильпо (2005). «Совместный опыт: пользовательский опыт как взаимодействие» (PDF) . Кодизайн . 1 (1): 5–18. CiteSeerX 10.1.1.294.9178 . дои : 10.1080/15710880412331289917. S2CID  15296236. Архивировано из оригинала (PDF) 14 декабря 2017 г. Проверено 2 февраля 2016 г. 
  62. ^ abcdef Бонер, Кирстен; ДеПаула, Роджерио; Дуриш, Пол ; Сенгерс, Фиби (2007). «Как создаются и измеряются эмоции». Международный журнал человеко-компьютерных исследований . 65 (4): 275–291. дои : 10.1016/j.ijhcs.2006.11.016. S2CID  15551492.
  63. ^ Бонер, Кирстен; ДеПаула, Роджерио; Дуриш, Пол ; Сенгерс, Фиби (2005). «Привязанность: от информации к взаимодействию». Материалы Орхусской десятилетней конференции по критическим вычислениям : 59–68.
  64. ^ Крюк, Кристина; Стааль, Анна; Сундстрем, Петра; Лааксолахти, Ярмо (2008). «Интерактивное расширение возможностей» (PDF) . Учеб. ЧИ : 647–656.

Цитируемые работы