stringtranslate.com

Распознавание эмоций

Распознавание эмоций — это процесс идентификации человеческих эмоций . Люди сильно различаются по точности распознавания эмоций других. Использование технологий для помощи людям в распознавании эмоций — относительно молодая область исследований. Как правило, технология работает лучше всего, если она использует несколько модальностей в контексте. На сегодняшний день большая часть работы была проведена по автоматизации распознавания выражений лица из видео, устных выражений из аудио, письменных выражений из текста и физиологии , измеряемой с помощью носимых устройств.

Человек

Люди демонстрируют большую изменчивость в своих способностях распознавать эмоции. Ключевой момент, который следует иметь в виду при изучении автоматизированного распознавания эмоций, заключается в том, что существует несколько источников «основной истины» или правды о том, что такое настоящая эмоция. Предположим, мы пытаемся распознать эмоции Алекса. Один из источников — «что большинство людей сказали бы, что чувствует Алекс?» В этом случае «истина» может не соответствовать тому, что чувствует Алекс, но может соответствовать тому, что большинство людей сказали бы, что Алекс выглядит так, как чувствует себя. Например, Алекс может на самом деле чувствовать грусть, но он широко улыбается, а затем большинство людей говорят, что он выглядит счастливым. Если автоматизированный метод достигает тех же результатов, что и группа наблюдателей, его можно считать точным, даже если он на самом деле не измеряет то, что Алекс чувствует на самом деле. Другой источник «истины» — спросить Алекса, что он чувствует на самом деле. Это работает, если Алекс хорошо чувствует свое внутреннее состояние и хочет рассказать вам, что это такое, и способен точно выразить это словами или числом. Однако некоторые люди алекситимичны и не имеют хорошего представления о своих внутренних чувствах или не могут точно передать их словами и числами. В целом, чтобы добраться до истины о том, какая эмоция на самом деле присутствует, может потребоваться некоторая работа, она может варьироваться в зависимости от выбранных критериев и, как правило, подразумевает поддержание некоторого уровня неопределенности.

Автоматический

Десятилетия научных исследований были проведены для разработки и оценки методов автоматического распознавания эмоций. В настоящее время существует обширная литература, предлагающая и оценивающая сотни различных видов методов, использующих методы из различных областей, таких как обработка сигналов , машинное обучение , компьютерное зрение и обработка речи . Для интерпретации эмоций могут использоваться различные методологии и методы, такие как байесовские сети . [1] , модели гауссовых смесей [2] и скрытые марковские модели [3] и глубокие нейронные сети . [4]

Подходы

Точность распознавания эмоций обычно повышается, когда она объединяет анализ человеческих выражений из мультимодальных форм, таких как тексты, физиология, аудио или видео. [5] Различные типы эмоций определяются посредством интеграции информации из выражений лица , движений тела и жестов , а также речи. [6] Говорят, что эта технология способствует появлению так называемого эмоционального или эмоциональности Интернета . [7]

Существующие подходы к распознаванию эмоций для классификации определенных типов эмоций можно в целом разделить на три основные категории: методы, основанные на знаниях, статистические методы и гибридные подходы. [8]

Методы, основанные на знаниях

Методы, основанные на знаниях (иногда называемые методами, основанными на лексике ), используют знания предметной области, а также семантические и синтаксические характеристики текста и потенциально устной речи для обнаружения определенных типов эмоций . [9] В этом подходе обычно используются ресурсы, основанные на знаниях, в процессе классификации эмоций, такие как WordNet , SenticNet, [10] ConceptNet и EmotiNet, [11] и многие другие. [12] Одним из преимуществ этого подхода является доступность и экономичность, обусловленные большой доступностью таких ресурсов, основанных на знаниях. [8] С другой стороны, ограничением этого метода является его неспособность обрабатывать нюансы концепций и сложные лингвистические правила. [8]

Методы, основанные на знаниях, можно в основном разделить на две категории: подходы, основанные на словаре и подходы, основанные на корпусе. [ требуется ссылка ] Подходы, основанные на словаре, находят исходные слова, выражающие мнение или эмоции, в словаре и ищут их синонимы и антонимы, чтобы расширить первоначальный список мнений или эмоций . [13] Подходы, основанные на корпусе, с другой стороны, начинают с исходного списка слов, выражающих мнение или эмоции , и расширяют базу данных, находя другие слова с характеристиками, зависящими от контекста, в большом корпусе . [13] Хотя подходы, основанные на корпусе, учитывают контекст, их эффективность по-прежнему различается в разных доменах, поскольку слово в одном домене может иметь другую ориентацию в другом домене. [14]

Статистические методы

Статистические методы обычно предполагают использование различных контролируемых алгоритмов машинного обучения , в которых большой набор аннотированных данных подается в алгоритмы для того, чтобы система могла изучить и предсказать соответствующие типы эмоций . [8] Алгоритмы машинного обучения , как правило, обеспечивают более разумную точность классификации по сравнению с другими подходами, но одной из проблем в достижении хороших результатов в процессе классификации является необходимость иметь достаточно большой обучающий набор. [8]

Некоторые из наиболее часто используемых алгоритмов машинного обучения включают в себя опорные векторные машины (SVM) , наивный байесовский алгоритм и максимальную энтропию . [15] Глубокое обучение , которое относится к неконтролируемому семейству машинного обучения , также широко применяется в распознавании эмоций. [16] [17] [18] Известные алгоритмы глубокого обучения включают в себя различные архитектуры искусственных нейронных сетей (ИНС), такие как сверточные нейронные сети (CNN) , долговременная краткосрочная память (LSTM) и экстремальная обучающая машина (ELM) . [15] Популярность подходов глубокого обучения в области распознавания эмоций может быть в основном связана с его успехом в смежных приложениях, таких как компьютерное зрение , распознавание речи и обработка естественного языка (NLP) . [15]

Гибридные подходы

Гибридные подходы к распознаванию эмоций по сути являются комбинацией методов, основанных на знаниях, и статистических методов, которые используют взаимодополняющие характеристики обоих методов. [8] Некоторые из работ, в которых применялся ансамбль лингвистических элементов, основанных на знаниях, и статистических методов, включают в себя вычисления Sentic и iFeel, обе из которых приняли ресурс, основанный на знаниях на уровне концептов SenticNet. [19] [20] Роль таких ресурсов, основанных на знаниях, в реализации гибридных подходов очень важна в процессе классификации эмоций . [12] Поскольку гибридные методы извлекают выгоду из преимуществ, предлагаемых как подходами, основанными на знаниях, так и статистическими подходами, они, как правило, имеют лучшую производительность классификации по сравнению с использованием методов, основанных на знаниях или статистических методов по отдельности. [ необходима ссылка ] Однако недостатком использования гибридных методов является вычислительная сложность в процессе классификации. [12]

Наборы данных

Данные являются неотъемлемой частью существующих подходов к распознаванию эмоций, и в большинстве случаев получение аннотированных данных, необходимых для обучения алгоритмов машинного обучения, является сложной задачей . [13] Для задачи классификации различных типов эмоций из мультимодальных источников в виде текстов, аудио, видео или физиологических сигналов доступны следующие наборы данных:

  1. HUMAINE: предоставляет естественные клипы со словами эмоций и контекстными метками в нескольких модальностях [21]
  2. База данных Белфаста: содержит клипы с широким спектром эмоций из телепрограмм и записей интервью [22]
  3. SEMAINE: обеспечивает аудиовизуальные записи между человеком и виртуальным агентом и содержит аннотации эмоций, такие как гнев, счастье, страх, отвращение, печаль, презрение и веселье [23]
  4. IEMOCAP: обеспечивает записи диадических сессий между актерами и содержит аннотации эмоций, такие как счастье, гнев, грусть, разочарование и нейтральное состояние [24]
  5. eNTERFACE: обеспечивает аудиовизуальные записи субъектов семи национальностей и содержит аннотации эмоций, такие как счастье, гнев, грусть, удивление, отвращение и страх [25]
  6. DEAP: обеспечивает электроэнцефалографию (ЭЭГ), электрокардиографию (ЭКГ) и видеозаписи лиц, а также аннотации эмоций с точки зрения валентности , возбуждения и доминирования людей, просматривающих видеоклипы [26]
  7. DREAMER: обеспечивает записи электроэнцефалографии (ЭЭГ) и электрокардиографии (ЭКГ), а также аннотации эмоций с точки зрения валентности и доминирования людей, просматривающих видеоклипы [27]
  8. MELD: многосторонний разговорный набор данных, где каждое высказывание помечено эмоцией и настроением. MELD [28] обеспечивает разговоры в видеоформате и, следовательно, подходит для мультимодального распознавания эмоций и анализа настроений . MELD полезен для мультимодального анализа настроений и распознавания эмоций, диалоговых систем и распознавания эмоций в разговорах . [29]
  9. MuSe: обеспечивает аудиовизуальные записи естественных взаимодействий между человеком и объектом. [30] Он имеет дискретные и непрерывные аннотации эмоций с точки зрения валентности, возбуждения и надежности, а также речевые темы, полезные для мультимодального анализа настроений и распознавания эмоций.
  10. UIT-VSMEC: стандартный вьетнамский корпус эмоций социальных сетей (UIT-VSMEC), содержащий около 6927 предложений с человеческими комментариями и шестью метками эмоций, способствующий исследованию распознавания эмоций на вьетнамском языке, который является языком с низкими ресурсами в обработке естественного языка (NLP). [31]
  11. BED: обеспечивает валентность и возбуждение людей, смотрящих изображения. Он также включает записи электроэнцефалографии (ЭЭГ) людей, подвергавшихся различным стимулам ( SSVEP , отдых с закрытыми глазами, отдых с открытыми глазами, когнитивные задачи) для задачи биометрии на основе ЭЭГ . [32]

Приложения

Распознавание эмоций используется в обществе по разным причинам. Affectiva , которая отделилась от MIT , предоставляет программное обеспечение искусственного интеллекта , которое делает более эффективным выполнение задач, ранее выполнявшихся людьми вручную, в основном для сбора информации о выражении лица и голосовом выражении, связанной с определенными контекстами, в которых зрители согласились поделиться этой информацией. Например, вместо того, чтобы заполнять длинный опрос о том, как вы себя чувствуете в каждый момент просмотра образовательного видео или рекламы, вы можете согласиться на то, чтобы камера следила за вашим лицом и слушала, что вы говорите, и отмечала, в какие моменты опыта вы показываете такие выражения, как скука, интерес, замешательство или улыбка. (Обратите внимание, что это не означает, что она считывает ваши самые сокровенные чувства — она считывает только то, что вы выражаете внешне.) Другие области применения Affectiva включают помощь детям с аутизмом, помощь слепым людям в считывании выражений лица, помощь роботам в более разумном взаимодействии с людьми и отслеживание знаков внимания во время вождения в целях повышения безопасности водителя. [33]

Академические исследования все чаще используют распознавание эмоций как метод изучения вопросов социальных наук, связанных с выборами, протестами и демократией. Несколько исследований фокусируются на выражениях лиц политических кандидатов в социальных сетях и обнаруживают, что политики склонны выражать счастье. [34] [35] [36] Однако это исследование показывает, что инструменты компьютерного зрения, такие как Amazon Rekognition, точны только для счастья и в основном надежны как «детекторы счастья». [37] Исследователи, изучающие протесты, где ожидаются негативные эмоции, такие как гнев, поэтому разработали свои собственные модели для более точного изучения выражений негатива и насилия в демократических процессах. [38]

Патент, заархивированный 7 октября 2019 года в Wayback Machine , поданный Snapchat в 2015 году, описывает метод извлечения данных о толпе на публичных мероприятиях путем выполнения алгоритмического распознавания эмоций на геотегированных селфи пользователей . [39]

Emotient была стартапом, который применил распознавание эмоций для чтения хмурых лиц, улыбок и других выражений на лицах, а именно искусственный интеллект для прогнозирования «отношений и действий на основе выражений лица». [40] Apple купила Emotient в 2016 году и использует технологию распознавания эмоций для улучшения эмоционального интеллекта своих продуктов. [40]

nViso обеспечивает распознавание эмоций в реальном времени для веб- и мобильных приложений через API реального времени . [41] Visage Technologies AB предлагает оценку эмоций как часть своего Visage SDK для маркетинговых и научных исследований и аналогичных целей. [42]

Eyeris — это компания по распознаванию эмоций, которая работает с производителями встраиваемых систем , включая автопроизводителей и компании по разработке социальных роботов, над интеграцией своего программного обеспечения для анализа лиц и распознавания эмоций; а также с создателями видеоконтента, помогая им измерять воспринимаемую эффективность их коротких и длинных видеообъявлений. [43] [44]

Существует также множество продуктов для сбора информации об эмоциях, передаваемых в Интернете, в том числе посредством нажатия кнопки «Нравится» и подсчета положительных и отрицательных фраз в тексте, а распознавание эмоций все чаще используется в некоторых видах игр и виртуальной реальности как в образовательных целях, так и для предоставления игрокам более естественного контроля над своими социальными аватарами. [ необходима цитата ]

Подполя

Распознавание эмоций, вероятно, даст наилучший результат, если применить несколько модальностей , комбинируя различные объекты, включая текст (разговор), аудио, видео и физиологию для обнаружения эмоций.

Распознавание эмоций в тексте

Текстовые данные являются благоприятным объектом исследования для распознавания эмоций, когда они бесплатны и доступны везде в человеческой жизни. По сравнению с другими типами данных, хранение текстовых данных легче и их легко сжимать для достижения наилучшей производительности из-за частого повторения слов и символов в языках. Эмоции могут быть извлечены из двух основных текстовых форм: письменных текстов и разговоров (диалогов). [45] Для письменных текстов многие ученые сосредотачиваются на работе с уровнем предложений, чтобы извлечь «слова/фразы», ​​представляющие эмоции. [46] [47]

Распознавание эмоций в аудио

В отличие от распознавания эмоций в тексте, голосовые сигналы используются для распознавания с целью извлечения эмоций из аудио . [48]

Распознавание эмоций в видео

Видеоданные представляют собой комбинацию аудиоданных, данных изображений и иногда текстов (в случае субтитров [49] ).

Распознавание эмоций в разговоре

Распознавание эмоций в разговоре (ERC) извлекает мнения между участниками из массивов разговорных данных на социальных платформах , таких как Facebook , Twitter , YouTube и других. [29] ERC может принимать входные данные, такие как текст, аудио, видео или их комбинацию, для обнаружения нескольких эмоций, таких как страх, похоть, боль и удовольствие.

Смотрите также

Ссылки

  1. ^ Миякоши, Ёсихиро и Шохей Като. «Обнаружение эмоций на лице с учетом частичной окклюзии лица с использованием байесовской сети». Компьютеры и информатика (2011): 96–101.
  2. ^ Хари Кришна Видана, П. Фани Кумар, К. Шри Рама Кришна и Анил Кумар Вуппала. «Улучшенное распознавание эмоций с использованием GMM-UBM». Международная конференция по системам обработки сигналов и инженерии связи 2015 г.
  3. ^ Б. Шуллер, Г. Риголль, М. Ланг. «Распознавание эмоций речи на основе скрытой марковской модели». ICME '03. Труды. 2003 Международная конференция по мультимедиа и выставкам, 2003.
  4. ^ Сингх, Премджит; Саха, Гаутам; Сахидулла, Мэриленд (2021). «Нелинейное изменение частоты с использованием преобразования с постоянным Q для распознавания речевых эмоций». Международная конференция по компьютерным коммуникациям и информатике (ICCCI) 2021 г. . стр. 1–4. arXiv : 2102.04029 . doi :10.1109/ICCCI50826.2021.9402569. ISBN 978-1-7281-5875-4. S2CID  231846518.
  5. ^ Poria, Soujanya; Cambria, Erik; Bajpai, Rajiv; Hussain, Amir (сентябрь 2017 г.). «Обзор аффективных вычислений: от унимодального анализа до многомодального слияния». Information Fusion . 37 : 98–125. doi : 10.1016/j.inffus.2017.02.003. hdl : 1893/25490 . S2CID  205433041.
  6. ^ Каридакис, Джордж; Кастеллано, Джиневра; Кессоус, Лоик; Раузайу, Амариллис; Малатеста, Лори; Астериадис, Стелиос; Карпузис, Костас (19 сентября 2007 г.). «Мультимодальное распознавание эмоций по выразительным лицам, жестам тела и речи». Искусственный интеллект и инновации 2007: от теории к приложениям . IFIP Международная федерация по обработке информации. Том 247. стр. 375–388. doi :10.1007/978-0-387-74161-1_41. ISBN 978-0-387-74160-4.
  7. ↑ Прайс (23 августа 2015 г.). «Tapping Into The Emotional Internet». TechCrunch . Получено 12 декабря 2018 г.
  8. ^ abcdef Камбрия, Эрик (март 2016 г.). «Аффективные вычисления и анализ настроений». IEEE Intelligent Systems . 31 (2): 102–107. doi :10.1109/MIS.2016.31. S2CID  18580557.
  9. ^ Табоада, Майте; Брук, Джулиан; Тофилоски, Милан; Фолль, Кимберли; Стеде, Манфред (июнь 2011 г.). «Методы анализа настроений на основе лексики». Computational Linguistics . 37 (2): 267–307. doi : 10.1162/coli_a_00049 . ISSN  0891-2017.
  10. ^ Кэмбрия, Эрик; Лю, Цянь; Декерчи, Серджио; Син, Фрэнк; Квок, Кеннет (2022). «SenticNet 7: нейросимволическая структура ИИ на основе здравого смысла для объяснимого анализа настроений» (PDF) . Труды LREC . стр. 3829–3839.
  11. ^ Балахур, Александра; Эрмида, Хесус М; Монтойо, Андрес (1 ноября 2012 г.). «Обнаружение неявных выражений эмоций в тексте: сравнительный анализ». Системы поддержки принятия решений . 53 (4): 742–753. doi :10.1016/j.dss.2012.05.024. ISSN  0167-9236.
  12. ^ abc Медхат, Валаа; Хасан, Ахмед; Кораши, Хода (декабрь 2014 г.). «Алгоритмы и приложения анализа настроений: опрос». Инженерный журнал Айн-Шамс . 5 (4): 1093–1113. дои : 10.1016/j.asej.2014.04.011 .
  13. ^ abc Мадхуши, Зохре; Хамдан, Абдул Разак; Заинудин, Сухайла (2015). «Методы анализа настроений в последних работах». 2015 Научно-информационная конференция (SAI) . стр. 288–291. дои : 10.1109/SAI.2015.7237157. ISBN 978-1-4799-8547-0. S2CID  14821209.
  14. ^ Хемматиан, Фатемех; Сохраби, Мохаммад Карим (18 декабря 2017 г.). «Обзор методов классификации для анализа мнений и настроений». Обзор искусственного интеллекта . 52 (3): 1495–1545. doi :10.1007/s10462-017-9599-6. S2CID  11741285.
  15. ^ abc Sun, Shiliang; Luo, Chen; Chen, Junyu (июль 2017 г.). «Обзор методов обработки естественного языка для систем анализа мнений». Information Fusion . 36 : 10–25. doi :10.1016/j.inffus.2016.10.004.
  16. ^ Маджумдер, Навонил; Пория, Суджанья; Гелбух, Александр; Камбрия, Эрик (март 2017 г.). «Моделирование документов на основе глубокого обучения для определения личности по тексту». IEEE Intelligent Systems . 32 (2): 74–79. doi :10.1109/MIS.2017.23. S2CID  206468984.
  17. ^ Махендхиран, ПД; Каннимуту, С. (май 2018 г.). «Методы глубокого обучения для классификации полярности в мультимодальном анализе настроений». Международный журнал информационных технологий и принятия решений . 17 (3): 883–910. doi :10.1142/S0219622018500128.
  18. ^ Юй, Хунлян; Гуй, Лянкэ; Мадайо, Майкл; Оган, Эми; Касселл, Джастин; Моренси, Луи-Филипп (23 октября 2017 г.). «Временно-избирательная модель внимания для распознавания социального и аффективного состояния в мультимедийном контенте». Труды 25-й международной конференции ACM по мультимедиа . MM '17. ACM. стр. 1743–1751. doi :10.1145/3123266.3123413. ISBN 9781450349062. S2CID  3148578.
  19. ^ Кэмбрия, Эрик; Хуссейн, Амир (2015). Sentic Computing: фреймворк на основе здравого смысла для анализа настроений на уровне концепций. Springer Publishing Company, Incorporated. ISBN 978-3319236537.
  20. ^ Араужо, Матеус; Гонсалвес, Поллианна; Ча, Миён ; Беневенуто, Фабрисио (7 апреля 2014 г.). «IFeel: система, которая сравнивает и объединяет методы анализа настроений». Труды 23-й Международной конференции по всемирной паутине . WWW '14 Companion. ACM. стр. 75–78. doi :10.1145/2567948.2577013. ISBN 9781450327459. S2CID  11018367.
  21. ^ Паоло Петта; Катрин Пелашо ; Родди Коуи, ред. (2011). Emotion-oriented systems the humaine handbook . Берлин: Springer. ISBN 978-3-642-15184-2.
  22. ^ Дуглас-Коуи, Эллен; Кэмпбелл, Ник; Коуи, Родди; Роуч, Питер (1 апреля 2003 г.). «Эмоциональная речь: к новому поколению баз данных». Speech Communication . 40 (1–2): 33–60. CiteSeerX 10.1.1.128.3991 . doi :10.1016/S0167-6393(02)00070-5. ISSN  0167-6393. S2CID  6421586. 
  23. ^ МакКеон, Г.; Валстар, М.; Коуи, Р.; Пантик, М.; Шредер, М. (январь 2012 г.). «База данных SEMAINE: аннотированные мультимодальные записи эмоционально окрашенных разговоров между человеком и ограниченным агентом». Труды IEEE по аффективным вычислениям . 3 (1): 5–17. doi :10.1109/T-AFFC.2011.20. S2CID  2995377.
  24. ^ Буссо, Карлос; Булут, Муртаза; Ли, Чи-Чун; Каземзаде, Абэ; Мауэр, Эмили ; Ким, Сэмюэл; Чанг, Жанетт Н.; Ли, Сангбок; Нараянан, Шрикант С. (5 ноября 2008 г.). "IEMOCAP: интерактивная эмоциональная диадическая база данных захвата движения". Языковые ресурсы и оценка . 42 (4): 335–359. doi :10.1007/s10579-008-9076-6. ISSN  1574-020X. S2CID  11820063.
  25. ^ Мартин, О.; Котсия, И.; Мак, Б.; Питас, И. (3 апреля 2006 г.). "The eNTERFACE'05 Audio-Visual Emotion Database". 22-я Международная конференция по семинарам по инжинирингу данных (ICDEW'06). Icdew '06. IEEE Computer Society. стр. 8–. doi :10.1109/ICDEW.2006.145. ISBN 9780769525716. S2CID  16185196.
  26. ^ Коелстра, Сандер; Мюль, Кристиан; Сулеймани, Мохаммед; Ли, Чон Сок; Яздани, Ашкан; Эбрахими, Турадж; Каламбур, Тьерри; Нейхолт, Антон; Патры, Иоаннис (январь 2012 г.). «DEAP: база данных для анализа эмоций с использованием физиологических сигналов». Транзакции IEEE для аффективных вычислений . 3 (1): 18–31. CiteSeerX 10.1.1.593.8470 . дои : 10.1109/T-AFFC.2011.15. ISSN  1949-3045. S2CID  206597685. 
  27. ^ Katsigiannis, Stamos; Ramzan, Naeem (январь 2018 г.). «DREAMER: База данных для распознавания эмоций с помощью сигналов ЭЭГ и ЭКГ с беспроводных недорогих готовых устройств» (PDF) . IEEE Journal of Biomedical and Health Informatics . 22 (1): 98–107. doi :10.1109/JBHI.2017.2688239. ISSN  2168-2194. PMID  28368836. S2CID  23477696. Архивировано из оригинала (PDF) 1 ноября 2022 г. . Получено 1 октября 2019 г. .
  28. ^ Poria, Soujanya; Hazarika, Devamanyu; Majumder, Navonil; Naik, Gautam; Cambria, Erik; Mihalcea, Rada (2019). «MELD: Мультимодальный многопартийный набор данных для распознавания эмоций в разговорах». Труды 57-го ежегодного собрания Ассоциации компьютерной лингвистики . Страудсбург, Пенсильвания, США: Ассоциация компьютерной лингвистики: 527–536. arXiv : 1810.02508 . doi : 10.18653/v1/p19-1050. S2CID  52932143.
  29. ^ ab Poria, S., Majumder, N., Mihalcea, R., & Hovy, E. (2019). Распознавание эмоций в разговоре: исследовательские проблемы, наборы данных и последние достижения. IEEE Access, 7, 100943-100953.
  30. ^ Stappen, Lukas; Schuller, Björn; Lefter, Iulia; Cambria, Erik; Kompatsiaris, Ioannis (2020). «Summary of MuSe 2020: Multimodal Sentiment Analysis, Emotion-target Engagement and Trustworthiness Detection in Real-life Media». Труды 28-й Международной конференции ACM по мультимедиа . Сиэтл, Пенсильвания, США: Ассоциация вычислительной техники. стр. 4769–4770. arXiv : 2004.14858 . doi :10.1145/3394171.3421901. ISBN 9781450379885. S2CID  222278714.
  31. ^ Хо, Вонг (2020). «Распознавание эмоций для вьетнамских текстов социальных сетей». Вычислительная лингвистика . Коммуникации в области компьютерных и информационных наук. Том 1215. С. 319–333. arXiv : 1911.09339 . doi :10.1007/978-981-15-6168-9_27. ISBN 978-981-15-6167-2. S2CID  208202333.
  32. ^ Арнау-Гонсалес, Пабло; Кацигианнис, Стамос; Аревалило-Эррас, Мигель; Рамзан, Наим (февраль 2021 г.). «BED: новый набор данных для биометрии на основе ЭЭГ». Журнал IEEE Интернета вещей . (Ранний доступ) (15): 1. doi :10.1109/JIOT.2021.3061727. ISSN  2327-4662. S2CID  233916681.
  33. ^ "Аффективная".
  34. ^ Боссетта, Михаэль; Шмёкель, Расмус (2 января 2023 г.). «Кросс-платформенные эмоции и вовлечение аудитории в политическую кампанию в социальных сетях: сравнение изображений кандидатов в Facebook и Instagram на выборах в США в 2020 году». Политическая коммуникация . 40 (1): 48–68. doi : 10.1080/10584609.2022.2128949 . ISSN  1058-4609.
  35. ^ Пэн, Илан (январь 2021 г.). «Что делает посты политиков в Instagram популярными? Анализ стратегий кандидатов и должностных лиц в социальных сетях с помощью компьютерного зрения». Международный журнал прессы/политики . 26 (1): 143–166. doi : 10.1177/1940161220964769. ISSN  1940-1612. S2CID  225108765.
  36. ^ Хаим, Марио; Юнгблут, Марк (15 марта 2021 г.). «Самоизображение политиков и их новостной портрет: данные из 28 стран, использующих визуальный вычислительный анализ». Политическая коммуникация . 38 (1–2): 55–74. doi : 10.1080/10584609.2020.1753869. ISSN  1058-4609. S2CID  219481457.
  37. ^ Боссетта, Михаэль; Шмёкель, Расмус (2 января 2023 г.). «Кросс-платформенные эмоции и вовлечение аудитории в политическую кампанию в социальных сетях: сравнение изображений кандидатов в Facebook и Instagram на выборах в США в 2020 году». Политическая коммуникация . 40 (1): 48–68. doi : 10.1080/10584609.2022.2128949 . ISSN  1058-4609.
  38. ^ Вон, Донхён; Штайнерт-Трелкелд, Закари К.; Джу, Чонсок (19 октября 2017 г.). «Обнаружение протестной активности и оценка воспринимаемого насилия по изображениям в социальных сетях». Труды 25-й международной конференции ACM по мультимедиа . MM '17. Нью-Йорк, штат Нью-Йорк, США: Ассоциация вычислительной техники. стр. 786–794. arXiv : 1709.06204 . doi : 10.1145/3123266.3123282. ISBN 978-1-4503-4906-2.
  39. ^ Бушвик, Софи. «Это видео следит за тобой». Scientific American . Получено 27 января 2020 г.
  40. ^ ab DeMuth Jr., Chris (8 января 2016 г.). «Apple Reads Your Mind». M&A Daily . Seeking Alpha . Получено 9 января 2016 г.
  41. ^ "nViso". nViso.ch .
  42. ^ «Visage Technologies».
  43. ^ «Чувствуете грусть, злость? Ваша будущая машина узнает».
  44. ^ Варагур, Критика (22 марта 2016 г.). «Автомобили вскоре смогут предупреждать водителей, прежде чем они уснут». Huffington Post .
  45. ^ Shivhare, SN, & Khethawat, S. (2012). Определение эмоций по тексту. Препринт arXiv arXiv :1205.4944
  46. ^ Эжилараси, Р. и Мину, Р.И. (2012). Автоматическое распознавание и классификация эмоций. Procedia Engineering, 38, 21-26.
  47. ^ Кркадинац, У., Паскье, П., Йованович, Дж. и Деведжич, В. (2013). Synesketch: библиотека с открытым исходным кодом для распознавания эмоций на основе предложений. Труды IEEE по аффективным вычислениям, 4(3), 312-325.
  48. ^ Шмитт, М., Рингевал, Ф. и Шуллер, Б. В. (2016, сентябрь). На границе акустики и лингвистики: набор аудиослов для распознавания эмоций в речи. В Interspeech (стр. 495-499).
  49. ^ Дхалл, А., Гёкке, Р., Люси, С. и Гедеон, Т. (2012). Сбор больших, богато аннотированных баз данных выражений лиц из фильмов. IEEE мультимедиа, (3), 34-41.