Анализ настроений (также известный как интеллектуальный анализ мнений или ИИ эмоций ) — это использование обработки естественного языка , анализа текста , компьютерной лингвистики и биометрии для систематической идентификации, извлечения, количественной оценки и изучения аффективных состояний и субъективной информации. Анализ настроений широко применяется для анализа материалов клиентов, таких как обзоры и ответы на опросы, онлайн- и социальные сети, а также материалов о здравоохранении для приложений, которые варьируются от маркетинга до обслуживания клиентов и клинической медицины. С появлением моделей глубокого языка, таких как RoBERTa, можно анализировать и более сложные области данных, например, тексты новостей, где авторы обычно выражают свое мнение/чувства менее явно. [1]
Цель и проблемы анализа настроений можно показать на нескольких простых примерах.
Основная задача анализа настроений - классифицировать полярность данного текста на уровне документа, предложения или функции/аспекта - является ли выраженное мнение в документе, предложении или функции/аспекте объекта положительным, отрицательным или нейтральным. Расширенная классификация чувств «за пределами полярности» рассматривает, например, эмоциональные состояния, такие как удовольствие, гнев, отвращение, печаль, страх и удивление. [2]
Предшественниками сентиментального анализа являются журнал General Inquirer [3] , в котором содержались подсказки по количественному определению закономерностей в тексте, и отдельно психологические исследования, в которых изучалось психологическое состояние человека на основе анализа его вербального поведения. [4]
Впоследствии метод, описанный в патенте Вулкани и Фогеля [5] , специально рассматривал настроения и идентифицировал отдельные слова и фразы в тексте по различным эмоциональным шкалам. Современная система, основанная на их работе, под названием EffectCheck, представляет синонимы, которые можно использовать для увеличения или уменьшения уровня вызванных эмоций по каждой шкале.
Многие другие последующие попытки были менее сложными и использовали просто полярный взгляд на настроения, от позитивных к негативным, например, работа Терни [6] и Панга [7] , которые применили разные методы для обнаружения полярности обзоров продуктов и обзоров фильмов соответственно. . Эта работа ведется на уровне документа. Можно также классифицировать полярность документа по многомерной шкале, что, в частности, попытались сделать Панг [8] и Снайдер [9] : Панг и Ли [8] расширили основную задачу классификации рецензий на фильмы как на положительные, так и на отрицательные. для прогнозирования звездных рейтингов по 3- или 4-звездочной шкале, в то время как Снайдер [9] провел углубленный анализ обзоров ресторанов, прогнозируя рейтинги по различным аспектам данного ресторана, таким как еда и атмосфера (по пятизвездочная шкала).
Первые шаги по объединению различных подходов — обучения, лексики, знаний и т. д. — были сделаны на весеннем симпозиуме AAAI 2004 года , где лингвисты, компьютерщики и другие заинтересованные исследователи впервые согласовали интересы и предложили общие задачи и наборы эталонных данных для систематические вычислительные исследования аффекта, привлекательности, субъективности и настроений в тексте. [10]
Несмотря на то, что в большинстве методов статистической классификации нейтральный класс игнорируется, исходя из предположения, что нейтральные тексты лежат вблизи границы бинарного классификатора, некоторые исследователи предполагают, что, как и в каждой проблеме полярности, необходимо идентифицировать три категории. Более того, можно доказать, что конкретные классификаторы, такие как Max Entropy [11] и SVM [12], могут выиграть от введения нейтрального класса и повысить общую точность классификации. В принципе есть два способа работы с нейтральным классом. Либо алгоритм сначала идентифицирует нейтральный язык, фильтрует его, а затем оценивает остальные с точки зрения положительных и отрицательных настроений, либо строит трехстороннюю классификацию за один шаг. [13] Этот второй подход часто включает оценку распределения вероятностей по всем категориям (например, наивные классификаторы Байеса, реализованные NLTK ) . Использовать ли нейтральный класс и как его использовать, зависит от характера данных: если данные четко сгруппированы в нейтральные, негативные и позитивные выражения, имеет смысл отфильтровать нейтральные выражения и сосредоточиться на полярности между позитивными и негативными настроениями. Если, напротив, данные в основном нейтральны с небольшими отклонениями в сторону положительного и отрицательного воздействия, эта стратегия затруднит четкое различие между двумя полюсами.
Другой метод определения настроения - это использование системы шкалы, при которой словам, обычно связанным с отрицательным, нейтральным или положительным настроением, присваивается соответствующее число по шкале от -10 до +10 (от самого отрицательного до самого положительного). или просто от 0 до положительного верхнего предела, например +4. Это позволяет корректировать тональность данного термина относительно его окружения (обычно на уровне предложения). Когда фрагмент неструктурированного текста анализируется с использованием обработки естественного языка , каждому понятию в указанной среде присваивается оценка, основанная на том, как эмоциональные слова соотносятся с понятием и связанной с ним оценкой. [14] [15] [16] Это позволяет перейти к более сложному пониманию настроений, поскольку теперь можно корректировать значение настроения концепции относительно модификаций, которые могут ее окружать. Например, слова, которые усиливают, ослабляют или сводят на нет чувство, выражаемое концепцией, могут повлиять на ее оценку. В качестве альтернативы текстам можно присвоить положительную и отрицательную оценку силы настроения, если цель состоит в том, чтобы определить настроение в тексте, а не общую полярность и силу текста. [17]
Существуют различные другие типы анализа настроений, такие как анализ настроений на основе аспектов, анализ настроений по шкале (положительные, отрицательные, нейтральные), многоязычный анализ настроений и обнаружение эмоций.
Эту задачу обычно определяют как отнесение данного текста (обычно предложения) к одному из двух классов: объективному или субъективному. [18] Иногда эта проблема может быть более сложной, чем классификация полярностей. [19] Субъективность слов и фраз может зависеть от их контекста, а объективный документ может содержать субъективные предложения (например, новостная статья, цитирующая мнения людей). Более того, как отметил Су, [20] результаты во многом зависят от определения субъективности, используемого при аннотировании текстов. Однако Панг [21] показал, что удаление объективных предложений из документа перед классификацией его полярности помогает повысить производительность.
Субъективная и объективная идентификация, новые подзадачи анализа настроений для использования синтаксических, семантических особенностей и знаний машинного обучения для определения того, содержит ли предложение или документ факты или мнения. Осознание необходимости распознавания фактов и мнений появилось не недавно, возможно, впервые оно было представлено Карбонеллом в Йельском университете в 1979 году. [ уточнить ]
Термин «цель» относится к инциденту, несущему фактическую информацию. [22]
Термин «субъективный» описывает инцидент, содержащий нефактическую информацию в различных формах, таких как личное мнение, суждение и прогнозы, также известные как «частные состояния». [23] В приведенном ниже примере это отражает частное государство «Мы, американцы». Более того, целевой объект, комментируемый мнениями, может принимать различные формы: от материального продукта до нематериальных тем, указанных в Liu (2010). [24] Кроме того, Лю (2010) наблюдал три типа отношения: 1) положительные мнения, 2) нейтральные мнения и 3) отрицательные мнения. [24]
Этот анализ представляет собой проблему классификации. [25]
Коллекции слов или индикаторов фраз каждого класса определены для поиска желаемых шаблонов в неаннотированном тексте. Для субъективного выражения был создан другой список слов. Списки субъективных показателей в словах или фразах были разработаны многими исследователями в области лингвистики и обработки естественного языка в Riloff et al. (2003). [26] Для измерения заданных выражений необходимо создать словарь правил извлечения. С годами, в субъективном обнаружении, извлечение функций прогрессировало от ручного управления функциями до автоматического изучения функций. На данный момент методы автоматизированного обучения можно разделить на контролируемое и неконтролируемое машинное обучение . Извлечение шаблонов с помощью процесса машинного обучения, аннотированного и неаннотированного текста, широко изучалось академическими исследователями.
Тем не менее, исследователи признали несколько проблем в разработке фиксированных наборов правил для респектабельных выражений. Большая часть проблем при разработке правил связана с природой текстовой информации. Несколько исследователей признали шесть проблем: 1) метафорические выражения, 2) расхождения в написании, 3) контекстно-зависимые, 4) представленные слова с меньшим употреблением, 5) чувствительные ко времени и 6) постоянно растущий объем.
Ранее исследования в основном были сосредоточены на классификации на уровне документов. Однако классификация уровня документа страдает меньшей точностью, поскольку в статье могут использоваться различные типы выражений. Данные исследования показывают, что в ряде новостных статей, как ожидается, будет доминировать объективное выражение, тогда как результаты показывают, что он состоит более чем на 40% из субъективного выражения. [22]
Чтобы преодолеть эти проблемы, исследователи приходят к выводу, что эффективность классификатора зависит от точности изучаемых шаблонов. А учащиеся, получающие большие объемы аннотированных обучающих данных, превосходили тех, кто обучался менее полным субъективным характеристикам. Однако одним из основных препятствий для выполнения этого типа работы является ручное создание большого набора данных аннотированных предложений. Метод ручного аннотирования менее популярен, чем автоматическое обучение, по трем причинам:
Все эти упомянутые причины могут повлиять на эффективность и результативность субъективной и объективной классификации. Соответственно, были разработаны два метода начальной загрузки для изучения лингвистических шаблонов на основе неаннотированных текстовых данных. Оба метода начинаются с нескольких исходных слов и неаннотированных текстовых данных.
В целом, эти алгоритмы подчеркивают необходимость автоматического распознавания и извлечения образов в субъективных и объективных задачах.
Субъективный и объектный классификаторы могут улучшить некоторые приложения обработки естественного языка. Одним из основных преимуществ классификатора является то, что он популяризирует практику процессов принятия решений на основе данных в различных отраслях. По словам Лю, применение субъективной и объективной идентификации реализовано в бизнесе, рекламе, спорте и социальных науках. [31]
Это относится к определению мнений или настроений, выраженных в отношении различных характеристик или аспектов объектов, например сотового телефона, цифровой камеры или банка. [35] Характеристика или аспект — это атрибут или компонент объекта, например, экрана сотового телефона, услуги ресторана или качества изображения камеры. Преимущество анализа настроений на основе признаков заключается в возможности улавливать нюансы интересующих объектов. Различные функции могут вызывать разные реакции настроения, например, отель может иметь удобное расположение, но посредственную еду. [36] Эта проблема включает в себя несколько подзадач, например, идентификация соответствующих объектов, извлечение их особенностей/аспектов и определение того, является ли мнение, выраженное по каждой функции/аспекту, положительным, отрицательным или нейтральным. [37] Автоматическое определение особенностей может выполняться с помощью синтаксических методов, с помощью тематического моделирования , [38] [39] или с помощью глубокого обучения . [40] [41] Более подробные обсуждения этого уровня анализа настроений можно найти в работе Лю. [24]
Эмоции и чувства субъективны по своей природе. Степень эмоций/чувств, выраженных в данном тексте на уровне документа, предложения или функции/аспекта — степень интенсивности, выраженная по мнению документа , предложения или объекта, различается в каждом конкретном случае. основе. [42] Однако предсказание только эмоций и настроений не всегда дает полную информацию. Степень или уровень эмоций и чувств часто играет решающую роль в понимании конкретного чувства в рамках одного класса (например, «хорошо» или «потрясающе»). Некоторые методы используют метод составного ансамбля [43] для прогнозирования интенсивности эмоций и настроений путем объединения полученных результатов и использования моделей глубокого обучения , основанных на сверточных нейронных сетях , [44] сетях долгосрочной краткосрочной памяти и закрытых рекуррентных единицах . [45]
Существующие подходы к анализу настроений можно сгруппировать в три основные категории: методы, основанные на знаниях, статистические методы и гибридные подходы. [46] Методы, основанные на знаниях, классифицируют текст по категориям аффектов на основе наличия однозначных аффектных слов, таких как счастье, грусть, страх и скука. [47] Некоторые базы знаний не только перечисляют слова с очевидным эффектом, но также приписывают произвольным словам возможную «близость» к конкретным эмоциям. [48] Статистические методы используют элементы машинного обучения , такие как скрытый семантический анализ , машины опорных векторов , « мешок слов », « Поточечная взаимная информация » для семантической ориентации, [6] модели семантического пространства или модели встраивания слов , [49] и глубокое обучение . Более сложные методы пытаются обнаружить носителя настроения (т. е. человека, который поддерживает это аффективное состояние) и цель (т. е. сущность, в отношении которой ощущается аффект). [50] Чтобы изучить мнение в контексте и получить характеристику, о которой высказал мнение говорящий, используются грамматические отношения слов. Отношения грамматической зависимости получаются путем глубокого разбора текста. [51] Гибридные подходы используют как машинное обучение, так и элементы представления знаний , такие как онтологии и семантические сети, для обнаружения семантики, выраженной тонким способом, например, посредством анализа концепций, которые явно не передают соответствующую информацию, но которые неявно связаны с другими концепциями, которые делают это. [52]
Программные инструменты с открытым исходным кодом, а также ряд бесплатных и платных инструментов анализа настроений используют методы машинного обучения , статистики и обработки естественного языка для автоматизации анализа настроений в больших коллекциях текстов, включая веб-страницы, онлайн-новости, интернет-дискуссионные группы, онлайн-обзоры, веб-блоги и социальные сети. [53] Системы, основанные на знаниях, с другой стороны, используют общедоступные ресурсы для извлечения семантической и аффективной информации, связанной с концепциями естественного языка. Система может помочь в реализации аффективных рассуждений, основанных на здравом смысле . [54] Анализ настроений также можно выполнять на визуальном контенте, то есть изображениях и видео (см. Мультимодальный анализ настроений ). Одним из первых подходов в этом направлении является SentiBank [55] , использующий для представления визуального контента пару прилагательных-существительных. Кроме того, подавляющее большинство подходов к классификации настроений основано на модели «мешка слов», которая игнорирует контекст, грамматику и даже порядок слов . Подходы, которые анализируют настроения на основе того, как слова составляют значение более длинных фраз, показали лучшие результаты [56] , но они требуют дополнительных накладных расходов на аннотации.
При анализе настроений необходим компонент человеческого анализа, поскольку автоматизированные системы не способны анализировать исторические тенденции отдельного комментатора или платформы и часто неправильно классифицируются по выраженным ими настроениям. Автоматизация влияет примерно на 23% комментариев, которые правильно классифицируются людьми. [57] Однако люди часто не соглашаются, и утверждается, что соглашение между людьми обеспечивает верхнюю границу, которой в конечном итоге могут достичь автоматизированные классификаторы настроений. [58]
Точность системы анализа настроений, в принципе, определяется тем, насколько хорошо она согласуется с человеческими суждениями. Обычно это измеряется различными показателями, основанными на точности и запоминаемости двух целевых категорий негативных и позитивных текстов. Однако, согласно исследованиям, оценщики-люди обычно соглашаются только примерно в 80% случаев [59] (см. «Надежность между оценщиками »). Таким образом, программа, которая достигает 70% точности в классификации настроений, работает почти так же хорошо, как люди, хотя такая точность может показаться не впечатляющей. Если бы программа была «правильной» в 100% случаев, люди все равно не соглашались бы с ней примерно в 20% случаев, поскольку они не согласны с любым ответом. [ нужна цитата ]
С другой стороны, компьютерные системы допускают совсем другие ошибки, чем люди-оценщики, поэтому цифры не совсем сопоставимы. Например, у компьютерной системы будут проблемы с отрицаниями, преувеличениями, шутками или сарказмом, с которыми обычно легко справиться читателю: некоторые ошибки, которые допускает компьютерная система, покажутся человеку слишком наивными. В целом полезность анализа настроений для практических коммерческих задач, как он определен в академических исследованиях, была поставлена под сомнение, главным образом потому, что простая одномерная модель настроения от негативного к позитивному дает довольно мало полезной информации для клиента, беспокоящегося о влияние общественного дискурса, например, на репутацию бренда или компании. [60] [61] [62]
Чтобы лучше соответствовать потребностям рынка, оценка анализа настроений перешла к более целенаправленным измерениям, сформулированным совместно с представителями PR-агентств и специалистами по исследованию рынка. Например, в наборе оценочных данных RepLab основное внимание уделяется не содержанию рассматриваемого текста, а влиянию рассматриваемого текста на репутацию бренда . [63] [64] [65]
Поскольку оценка анализа настроений становится все более и более основанной на задачах, для каждой реализации требуется отдельная модель обучения, чтобы получить более точное представление настроений для данного набора данных.
Рост социальных сетей , таких как блоги и социальные сети, подогрел интерес к анализу настроений. С распространением обзоров, рейтингов, рекомендаций и других форм онлайн-выражения онлайн-мнение превратилось в своего рода виртуальную валюту для компаний, стремящихся продвигать свою продукцию, выявлять новые возможности и управлять своей репутацией. Поскольку компании стремятся автоматизировать процесс фильтрации шума, понимания разговоров, определения соответствующего контента и принятия соответствующих мер, многие теперь обращают внимание на область анализа настроений. [66] Ситуация еще больше усложняется ростом анонимных социальных сетей, таких как 4chan и Reddit . [67] Если веб 2.0 был направлен на демократизацию публикации, то следующий этап развития Интернета вполне может быть основан на демократизации интеллектуального анализа данных всего публикуемого контента. [68]
Один шаг к этой цели делается в исследованиях. Несколько исследовательских групп в университетах по всему миру в настоящее время сосредоточены на понимании динамики настроений в электронных сообществах посредством анализа настроений. [69]
Проблема в том, что большинство алгоритмов анализа настроений используют простые термины для выражения настроений по поводу продукта или услуги. Однако культурные факторы, лингвистические нюансы и различные контексты чрезвычайно затрудняют превращение строки письменного текста в простое высказывание «за» или «против». [66] Тот факт, что люди часто не согласны с тональностью текста, иллюстрирует, насколько велика задача компьютеров, чтобы понять это правильно. Чем короче строка текста, тем сложнее она становится.
Несмотря на то, что короткие текстовые строки могут быть проблемой, анализ настроений в микроблогах показал, что Twitter можно рассматривать как надежный онлайн-индикатор политических настроений. Политические настроения в Твиттерах демонстрируют близкое соответствие политическим позициям партий и политиков, что указывает на то, что содержание сообщений в Твиттере правдоподобно отражает офлайновый политический ландшафт. [70] Кроме того, было показано, что анализ настроений в Твиттере позволяет выявить общественные настроения, связанные с циклами репродукции человека во всем мире, [71] а также другие проблемы, имеющие значение для общественного здравоохранения, такие как побочные реакции на лекарства. [72]
Хотя анализ настроений был популярен в областях, где авторы выражают свое мнение довольно явно («фильм потрясающий»), таких как социальные сети и обзоры продуктов, только недавно были разработаны надежные методы для других областей, где настроения сильно неявны или косвенны. Например, в новостных статьях – в основном из-за ожидаемой журналистской объективности – журналисты часто описывают действия или события, а не прямо заявляют о полярности той или иной информации. Более ранние подходы с использованием словарей или поверхностных функций машинного обучения не могли уловить «смысл между строк», но недавно исследователи предложили подход, основанный на глубоком обучении, и набор данных, который способен анализировать настроения в новостных статьях. [1]
Для рекомендательной системы анализ настроений оказался ценным методом. Цель рекомендательной системы — предсказать предпочтение элемента целевого пользователя. Основные рекомендательные системы работают с явным набором данных. Например, совместная фильтрация работает с матрицей рейтингов, а фильтрация на основе контента — с метаданными элементов.
Во многих социальных сетях или на веб -сайтах электронной коммерции пользователи могут оставлять текстовые обзоры, комментарии или отзывы о товарах. Этот генерируемый пользователем текст представляет собой богатый источник мнений пользователей о многочисленных продуктах и предметах. Потенциально для элемента такой текст может раскрывать как связанную функцию/аспекты элемента, так и мнение пользователей по поводу каждой функции. [73] Характеристики/аспекты элемента, описанные в тексте, играют ту же роль, что и метаданные при контентной фильтрации , но первые более ценны для рекомендательной системы. Поскольку эти функции широко упоминаются пользователями в своих обзорах, их можно рассматривать как наиболее важные функции, которые могут существенно повлиять на взаимодействие пользователя с элементом, в то время как метаданные элемента (обычно предоставляемые производителями, а не потребителями) может игнорировать функции, которые интересуют пользователей. К различным элементам с общими характеристиками пользователь может относиться по-разному. Кроме того, функция одного и того же элемента может вызывать разные мнения у разных пользователей. Мнения пользователей по поводу функций можно рассматривать как многомерный рейтинг, отражающий их предпочтения в отношении элементов.
На основе особенностей/аспектов и настроений, извлеченных из пользовательского текста, можно построить гибридную рекомендательную систему. [74] Существует два типа мотивации рекомендовать пользователю элемент-кандидат. Первая мотивация заключается в том, что элемент-кандидат имеет множество общих характеристик с предметами, которые предпочитает пользователь, [75] , а вторая мотивация заключается в том, что элемент-кандидат получает высокую оценку своих характеристик. В случае предпочтительного предмета разумно полагать, что предметы с одинаковыми характеристиками будут иметь аналогичную функцию или полезность. Таким образом, эти элементы также, скорее всего, будут предпочтительнее пользователем. С другой стороны, что касается общей функции двух элементов-кандидатов, другие пользователи могут дать положительную оценку одному из них и отрицательную оценку другому. Очевидно, что продукт с высокой оценкой должен быть рекомендован пользователю. На основе этих двух мотивов для каждого кандидата можно построить комбинацию рейтинговых оценок сходства и рейтинга настроений. [74]
Помимо сложности самого анализа настроений, применение анализа настроений к отзывам или отзывам также сталкивается с проблемой спама и предвзятых отзывов. Одно направление работы сосредоточено на оценке полезности каждого обзора. [76] Плохо написанные обзоры или отзывы вряд ли полезны для рекомендательной системы. Кроме того, отзыв может быть составлен таким образом, чтобы препятствовать продажам целевого продукта и тем самым нанести вред рекомендательной системе, даже если он хорошо написан.
Исследователи также обнаружили, что к длинным и коротким формам пользовательского текста следует относиться по-разному. Интересный результат показывает, что краткие обзоры иногда более полезны, чем развернутые [77] , потому что в кратком тексте легче отфильтровать шум. Для длинного текста растущая длина текста не всегда приводит к пропорциональному увеличению количества особенностей или настроений в тексте.
Ламба и Мадхусудхан [78] представляют новый способ удовлетворения информационных потребностей современных пользователей библиотек путем переупаковки результатов анализа настроений социальных сетей, таких как Twitter, и предоставления их в виде консолидированного сервиса, основанного на времени, в различных форматах. Кроме того, они предлагают новый способ проведения маркетинга в библиотеках с использованием анализа социальных сетей и настроений.
{{cite book}}
: |journal=
игнорируется ( помощь ){{cite book}}
: CS1 maint: дата и год ( ссылка )