stringtranslate.com

Распознавание эмоций в разговоре

Распознавание эмоций в разговоре ( ERC ) — это подобласть распознавания эмоций , которая фокусируется на извлечении человеческих эмоций из разговоров или диалогов с двумя или более собеседниками . [1] Наборы данных в этой области обычно извлекаются из социальных платформ , которые предоставляют бесплатные и многочисленные образцы, часто содержащие мультимодальные данные (т. е. некоторую комбинацию текстовых, визуальных и акустических данных). [2] Личностные и межличностные влияния играют решающую роль [3] в определении некоторых основных эмоций, таких как страх , гнев , радость, удивление и т. д. Чем более детализированы ярлыки эмоций, тем сложнее обнаружить правильную эмоцию. ERC создает ряд проблем, [1] таких как моделирование контекста разговора, моделирование состояния говорящего, наличие сарказма в разговоре, сдвиг эмоций между последовательными высказываниями одного и того же собеседника .

Задача

Задача ERC заключается в обнаружении эмоций, выражаемых говорящими в каждом высказывании разговора. ERC зависит от трех основных факторов – контекста разговора, психического состояния собеседников и намерения. [1]

Наборы данных

IEMOCAP, [4] SEMAINE, [5] DailyDialogue, [6] и MELD [7] — четыре широко используемых набора данных в ERC. Среди этих четырех наборов данных MELD содержит многосторонние диалоги.

Методы

Подходы к ERC состоят из неконтролируемых , полунеконтролируемых и контролируемых [8] методов. Популярные контролируемые методы включают использование или комбинирование предопределенных признаков, рекуррентных нейронных сетей [9] (DialogueRNN [10] ), графовых сверточных сетей [11] (DialogueGCN [12] ) и иерархической сети памяти с контролем внимания. [13] Большинство современных методов для ERC основаны на глубоком обучении и полагаются на идею моделирования латентного состояния говорящего.

Распознавание причин эмоций в разговоре

Недавно появилась новая подзадача ERC, которая фокусируется на распознавании причины эмоций в разговоре. [14] Методы решения этой задачи основаны на механизме вопросов и ответов на основе языковых моделей. RECCON [14] является одним из ключевых наборов данных для этой задачи.

Смотрите также

Ссылки

  1. ^ abc Poria, Soujanya; Majumder, Navonil; Mihalcea, Rada; Hovy, Eduard (2019). «Распознавание эмоций в разговоре: исследовательские проблемы, наборы данных и последние достижения». IEEE Access . 7 : 100943–100953. arXiv : 1905.02947 . Bibcode : 2019arXiv190502947P. doi : 10.1109/ACCESS.2019.2929050. S2CID  147703962.
  2. ^ Ли, Чул Мин; Нараянан, Шрикант (март 2005 г.). «К обнаружению эмоций в разговорных диалогах». Труды IEEE по обработке речи и звука . 13 (2): 293–303. doi :10.1109/TSA.2004.838534. S2CID  12710581.
  3. ^ Хазарика, Деваманью; Пория, Суджанья; Циммерманн, Роджер; Михалча, Рада (октябрь 2019 г.). «Распознавание эмоций в разговорах с переносом обучения из генеративного моделирования разговора». arXiv : 1910.04980 [cs.CL].
  4. ^ Буссо, Карлос; Булут, Муртаза; Ли, Чи-Чун; Каземзаде, Абэ; Мауэр, Эмили ; Ким, Сэмюэл; Чанг, Жанетт Н.; Ли, Сангбок; Нараянан, Шрикант С. (2008-11-05). "IEMOCAP: интерактивная эмоциональная диадическая база данных захвата движения". Языковые ресурсы и оценка . 42 (4): 335–359. doi :10.1007/s10579-008-9076-6. ISSN  1574-020X. S2CID  11820063.
  5. ^ МакКеон, Г.; Вальстар, М.; Коуи, Р.; Пантик, М.; Шредер, М. (2012-01-02). «База данных SEMAINE: аннотированные мультимодальные записи эмоционально окрашенных разговоров между человеком и ограниченным агентом». Труды IEEE по аффективным вычислениям . 3 (1): 5–17. doi :10.1109/t-affc.2011.20. ISSN  1949-3045. S2CID  2995377.
  6. ^ Ли, Яньрань, Хуэй Су, Сяоюй Шэнь, Вэньцзе Ли, Цзыцян Цао и Шуцзы Ню. «DailyDialog: набор данных диалогов с многооборотной маркировкой вручную». В трудах Восьмой международной совместной конференции по обработке естественного языка (том 1: длинные статьи) , стр. 986-995. 2017.
  7. ^ Poria, Soujanya; Hazarika, Devamanyu; Majumder, Navonil; Naik, Gautam; Cambria, Erik; Mihalcea, Rada (2019). «MELD: Мультимодальный многопартийный набор данных для распознавания эмоций в разговорах». Труды 57-го ежегодного собрания Ассоциации компьютерной лингвистики . Страудсбург, Пенсильвания, США: Ассоциация компьютерной лингвистики: 527–536. arXiv : 1810.02508 . doi : 10.18653/v1/p19-1050. S2CID  52932143.
  8. ^ Абдельвахаб, Мохаммед; Буссо, Карлос (март 2005 г.). «Управляемая адаптация домена для распознавания эмоций по речи». Международная конференция IEEE по акустике, речи и обработке сигналов (ICASSP) 2015 г. стр. 5058–5062. doi :10.1109/ICASSP.2015.7178934. ISBN 978-1-4673-6997-8. S2CID  8207841. {{cite book}}: |journal=проигнорировано ( помощь )
  9. ^ Черных, Владимир; Приходько Павел; Кинг, Ирвин (июль 2019 г.). «Распознавание эмоций по речи с помощью рекуррентных нейронных сетей». arXiv : 1701.08071 [cs.CL].
  10. ^ Маджумдер, Навонил; Пория, Суджанья; Хазарика, Деваманью; Михалча, Рада; Гелбух, Александр; Камбрия, Эрик (17.07.2019). «DialogueRNN: Внимательная RNN для обнаружения эмоций в разговорах». Труды конференции AAAI по искусственному интеллекту . 33 : 6818–6825. arXiv : 1811.00405 . doi : 10.1609/aaai.v33i01.33016818 . ISSN  2374-3468.
  11. ^ «Сверточные сети графов приближают распознавание эмоций к машинам. Вот как». Tech Times. 2019-11-26 . Получено 25 февраля 2020 г.
  12. ^ Ghosal, Deepanway; Majumder, Navonil; Soujanya, Poria (август 2019 г.). DialogueGCN: Графовая сверточная нейронная сеть для распознавания эмоций в разговоре . Конференция по эмпирическим методам обработки естественного языка (EMNLP).
  13. ^ Цзяо, Вэньсян; Р. Лю, Майкл; Кинг, Ирвин (ноябрь 2019 г.). «Распознавание эмоций в реальном времени с помощью иерархической сети памяти, управляемой вниманием». arXiv : 1911.09075 [cs.CL].
  14. ^ аб Пория, Суджанья; Маджумдер, Навонил; Хазарика, Деваманью; Госал, Дипанвей; Бхардвадж, Ришаб; Цзянь, Самсон Ю Бай; Хун, Пэнфэй; Гош, Ромила; Рой, Абхинаба; Чхая, Нияти; Гельбух, Александр (13 сентября 2021 г.). «Распознавание причин эмоций в разговорах». Когнитивные вычисления . 13 (5): 1317–1332. arXiv : 2012.11820 . дои : 10.1007/s12559-021-09925-7. ISSN  1866-9964. S2CID  229349214.