stringtranslate.com

Встраивание слов

В обработке естественного языка (NLP) встраивание слова — это представление слова. Встраивание используется при анализе текста. Обычно представление представляет собой вектор с действительным знаком, который кодирует значение слова таким образом, что ожидается, что слова, находящиеся ближе в векторном пространстве, будут схожи по значению. [1] Встраивание слов можно получить с помощью языкового моделирования и методов обучения функциям , при которых слова или фразы из словаря сопоставляются с векторами действительных чисел .

Методы создания этого отображения включают нейронные сети , [2] уменьшение размерности матрицы совпадения слов , [3] [4] [5] вероятностные модели, [6] метод объяснимой базы знаний, [7] и явное представление в терминах. контекста, в котором появляются слова. [8]

Было показано, что встраивание слов и фраз, когда они используются в качестве основного представления входных данных, повышает производительность в задачах НЛП, таких как синтаксический анализ [9] и анализ настроений . [10]

Развитие и история подхода

В дистрибутивной семантике в качестве представления знаний в течение некоторого времени использовался количественный методологический подход к пониманию значения наблюдаемого языка, встраивания слов или моделей семантического пространства признаков . [11] Такие модели направлены на количественную оценку и классификацию семантических сходств между лингвистическими элементами на основе их свойств распределения в больших выборках языковых данных. Основная идея о том, что «слово характеризуется компанией, которую оно содержит», была предложена в статье Джона Руперта Ферта 1957 года [12] , но также имеет корни в современных работах над поисковыми системами [13] и в когнитивной психологии. [14]

Понятие семантического пространства с лексическими элементами (словами или терминами из нескольких слов), представленными в виде векторов или вложений, основано на вычислительных задачах, связанных с фиксацией характеристик распределения и их использованием для практического применения для измерения сходства между словами, фразами или целыми документами. Первым поколением моделей семантического пространства является модель векторного пространства для поиска информации. [15] [16] [17] Такие модели векторного пространства для слов и данных их распределения, реализованные в их простейшей форме, приводят к очень разреженному векторному пространству высокой размерности (см. « Проклятие размерности »). Уменьшение количества измерений с использованием линейных алгебраических методов, таких как разложение по сингулярным значениям, затем привело к введению скрытого семантического анализа в конце 1980-х годов и подхода случайной индексации для сбора контекстов совместного появления слов. [18] [19] [20] [21] В 2000 году Бенджио и др. представленные в серии статей под названием «Нейро-вероятностные языковые модели», чтобы уменьшить высокую размерность представлений слов в контекстах путем «изучения распределенного представления слов». [22] [23] [24]

В исследовании, опубликованном в журнале NeurIPS (NIPS) 2002, было представлено использование встраивания слов и документов с применением метода ядра CCA к двуязычным (и многоязычным) корпусам, что также представляет собой ранний пример самостоятельного изучения встраивания слов [25]

Встраивание слов бывает двух разных стилей: в одном слова выражаются как векторы одновременно встречающихся слов, а в другом слова выражаются как векторы лингвистических контекстов, в которых эти слова встречаются; эти различные стили изучаются в Лавелли и др., 2004. [26] Ровейс и Сол опубликовали в журнале Science , как использовать « локальное линейное встраивание » (LLE) для обнаружения представлений многомерных структур данных. [27] Большинство новых методов встраивания слов, появившихся примерно после 2005 года, основаны на архитектуре нейронных сетей, а не на более вероятностных и алгебраических моделях, после фундаментальной работы, проделанной Йошуа Бенджио и его коллегами. [28] [29]

Этот подход был принят многими исследовательскими группами после того, как в 2010 году были достигнуты теоретические достижения в отношении качества векторов и скорости обучения модели, а также после того, как достижения в оборудовании позволили с пользой изучить более широкое пространство параметров. В 2013 году команда Google под руководством Томаса Миколова создала word2vec — набор инструментов для встраивания слов, который может обучать модели векторного пространства быстрее, чем предыдущие подходы. Подход word2vec широко использовался в экспериментах и ​​сыграл важную роль в повышении интереса к встраиванию слов как технологии, выведя направление исследований из специализированных исследований в более широкое экспериментирование и, в конечном итоге, проложив путь для практического применения. [30]

Полисемия и омонимия

Исторически сложилось так, что одним из основных ограничений статических вложений слов или моделей векторного пространства слов является то, что слова с несколькими значениями объединяются в одно представление (один вектор в семантическом пространстве). Другими словами, полисемия и омонимия не обрабатываются должным образом. Например, в предложении «Клуб, который я пробовал вчера, был великолепен!» Неясно, связан ли термин « клуб» со значением слова « клубный сэндвич », «клуб », «клюшка для гольфа » или с любым другим значением, которое может иметь клуб . Необходимость размещения нескольких значений одного слова в разных векторах (многосмысловые вложения) является мотивацией для нескольких вкладов в НЛП, направленных на разделение односмысловых вложений на многосмысловые. [31] [32]

Большинство подходов, которые создают многосмысловые встраивания, можно разделить на две основные категории по смысловому представлению слов: неконтролируемые и основанные на знаниях. [33] На основе пропуска-граммы word2vec Multi-Sense Skip-Gram (MSSG) [34] одновременно выполняет распознавание смысла слова и встраивание, сокращая время обучения, предполагая при этом определенное количество смыслов для каждого слова. В непараметрической многозначной пропускной грамме (NP-MSSG) это число может варьироваться в зависимости от каждого слова. Сочетая предварительные знания лексических баз данных (например, WordNet , ConceptNet , BabelNet ), встраивания слов и устранения неоднозначности смысла слов , наиболее подходящая смысловая аннотация (MSSA) [35] маркирует значения слов с помощью неконтролируемого и основанного на знаниях подхода, принимая во внимание смысл слова. контекст в заранее определенном скользящем окне. Как только слова устранены, их можно использовать в стандартной технике встраивания слов, таким образом создаются многозначные встраивания. Архитектура MSSA позволяет периодически выполнять процесс устранения неоднозначности и аннотирования в режиме самоусовершенствования. [36]

Известно, что использование многозначных вложений повышает производительность при решении некоторых задач НЛП, таких как маркировка частей речи , идентификация семантических отношений, семантическая связанность , распознавание именованных объектов и анализ настроений. [37] [38]

По состоянию на конец 2010-х годов были разработаны контекстуально значимые встраивания, такие как ELMo и BERT . [39] В отличие от статических вложений слов, эти вложения выполняются на уровне токена, поскольку каждое вхождение слова имеет свое собственное встраивание. Эти вложения лучше отражают многозначную природу слов, поскольку вхождения слова в схожих контекстах расположены в аналогичных областях пространства встраивания BERT. [40] [41]

Для биологических последовательностей: BioVectors

Вложения слов для n- грамм в биологические последовательности (например, ДНК, РНК и белки) для приложений биоинформатики были предложены Асгари и Мофрадом. [42] Названные биовекторами (BioVec) для обозначения биологических последовательностей в целом, белковыми векторами (ProtVec) для белков (аминокислотные последовательности) и генными векторами (GeneVec) для генных последовательностей, это представление может широко использоваться в применение глубокого обучения в протеомике и геномике . Результаты, представленные Асгари и Мофрадом [42], предполагают, что BioVectors могут характеризовать биологические последовательности с точки зрения биохимических и биофизических интерпретаций лежащих в их основе закономерностей.

Игровой дизайн

Встраивание слов в приложения в игровом дизайне было предложено Рабии и Куком [43] как способ обнаружения возникающего игрового процесса с использованием журналов данных игрового процесса. Этот процесс требует расшифровки действий, происходящих во время игры, на формальном языке , а затем использования полученного текста для создания вложений слов. Результаты, представленные Рабии и Куком [43], предполагают, что полученные векторы могут отражать экспертные знания о таких играх, как шахматы , которые явно не указаны в правилах игры.

Вложения предложений

Идея была расширена до встраивания целых предложений или даже документов, например, в форме концепции векторов мысли . В 2015 году некоторые исследователи предложили «пропустить векторы мысли» как средство повышения качества машинного перевода . [44] Более свежий и популярный подход для представления предложений — это Sentence-BERT или SentenceTransformers, который модифицирует предварительно обученный BERT с использованием сиамских и триплетных сетевых структур. [45]

Программное обеспечение

Программное обеспечение для обучения и использования векторных представлений слов включает Word2vec Томаша Миколова , GloVe Стэнфордского университета , [46] GN-GloVe, [47] Flair embeddings, [37] ELMo AllenNLP , [48] BERT , [49] fastText , Gensim , [ 50] Индра, [51] и Deeplearning4j . Анализ главных компонентов (PCA) и T-распределенное стохастическое встраивание соседей (t-SNE) используются для уменьшения размерности пространств векторов слов и визуализации вложений слов и кластеров . [52]

Примеры применения

Например, fastText также используется для расчета встраивания слов в корпуса текстов в Sketch Engine , которые доступны в Интернете. [53]

Этические последствия

Встраивание слов может содержать предубеждения и стереотипы, содержащиеся в обученном наборе данных, как утверждают Bolukbasi et al. отмечает в статье 2016 года «Мужчина для программиста, как женщина для домохозяйки?» Debiasing Word Embeddings», которое общедоступное (и популярное) встраивание word2vec, обученное на текстах Новостей Google (обычно используемый корпус данных), который состоит из текста, написанного профессиональными журналистами, по-прежнему показывает непропорциональные словесные ассоциации, отражающие гендерные и расовые предубеждения при извлечении словесных аналогий. . [54] Например, одна из аналогий, полученных с использованием вышеупомянутого встраивания слов, звучит так: «мужчина для программиста, как женщина для домохозяйки». [55] [56]

Исследование, проведенное Jieyu Zhou et al. показывает, что применение этих обученных вложений слов без тщательного контроля, вероятно, увековечивает существующую предвзятость в обществе, которая привносится через неизмененные данные обучения. Более того, встраивание слов может даже усилить эти предубеждения. [57] [58]

Смотрите также

Рекомендации

  1. ^ Юрафски, Дэниел; Х. Джеймс, Мартин (2000). Обработка речи и языка: введение в обработку естественного языка, компьютерную лингвистику и распознавание речи. Река Аппер-Седл, Нью-Джерси: Прентис-Холл. ISBN 978-0-13-095069-7.
  2. ^ Миколов, Томас; Суцкевер, Илья; Чен, Кай; Коррадо, Грег; Дин, Джеффри (2013). «Распределенные представления слов и фраз и их композиционность». arXiv : 1310.4546 [cs.CL].
  3. ^ Лебре, Реми; Коллоберт, Ронан (2013). «Word Emdeddings через Hellinger PCA». Конференция Европейского отделения Ассоциации компьютерной лингвистики (EACL) . Том. 2014. arXiv : 1312.5542 .
  4. ^ Леви, Омер; Гольдберг, Йоав (2014). Встраивание нейронных слов как неявная матричная факторизация (PDF) . НИПС.
  5. ^ Ли, Итан; Сюй, Линьли (2015). Еще раз о встраивании слов: новое обучение представлениям и перспектива явной матричной факторизации (PDF) . Международная J. Конф. по искусственному интеллекту (IJCAI).
  6. ^ Глоберсон, Амир (2007). «Евклидово встраивание данных о совместном возникновении» (PDF) . Журнал исследований машинного обучения .
  7. ^ Куреши, М. Атиф; Грин, Дерек (4 июня 2018 г.). «ЕВА: объяснимая техника векторного встраивания с использованием Википедии». Журнал интеллектуальных информационных систем . 53 : 137–165. arXiv : 1702.06891 . doi : 10.1007/s10844-018-0511-x. ISSN  0925-9902. S2CID  10656055.
  8. ^ Леви, Омер; Гольдберг, Йоав (2014). Лингвистические закономерности в редких и явных представлениях слов (PDF) . КонНЛЛ. стр. 171–180.
  9. ^ Сочер, Ричард; Бауэр, Джон; Мэннинг, Кристофер; Нг, Эндрю (2013). Анализ с помощью композиционных векторных грамматик (PDF) . Учеб. Конференция ACL. Архивировано из оригинала (PDF) 11 августа 2016 г. Проверено 14 августа 2014 г.
  10. ^ Сочер, Ричард; Перелыгин, Алексей; Ву, Джин; Чуанг, Джейсон; Мэннинг, Крис; Нг, Эндрю; Поттс, Крис (2013). Рекурсивные глубокие модели семантической композиционности в древовидном банке настроений (PDF) . ЭМНЛП.
  11. ^ Салгрен, Магнус. «Краткая история вложений слов».
  12. ^ Ферт, младший (1957). «Краткий обзор лингвистической теории 1930–1955». Исследования по лингвистическому анализу : 1–32.Перепечатано в FR Palmer, изд. (1968). Избранные статьи Дж. Р. Ферта 1952–1959 гг . Лондон: Лонгман.
  13. ^ Лун, HP (1953). «Новый метод записи и поиска информации». Американская документация . 4 : 14–16. дои : 10.1002/asi.5090040104.
  14. ^ Осгуд, CE; Сучи, Дж.Дж.; Танненбаум, PH (1957). Измерение смысла . Издательство Университета Иллинойса.
  15. ^ Солтон, Джерард (1962). «Некоторые эксперименты по созданию ассоциаций слов и документов». Материалы осенней совместной компьютерной конференции AFIPS '62, состоявшейся 4–6 декабря 1962 г. (осень) . стр. 234–250. дои : 10.1145/1461518.1461544 . ISBN 9781450378796. S2CID  9937095.
  16. ^ Солтон, Джерард; Вонг, А; Ян, CS (1975). «Векторная пространственная модель для автоматического индексирования». Коммуникации АКМ . 18 (11): 613–620. дои : 10.1145/361219.361220. hdl : 1813/6057 . S2CID  6473756.
  17. ^ Дубин, Дэвид (2004). «Самая влиятельная статья, которую Джерард Солтон никогда не писал». Архивировано из оригинала 18 октября 2020 года . Проверено 18 октября 2020 г.
  18. ^ Канерва, Пентти, Кристоферсон, Ян и Холст, Андерс (2000): Случайное индексирование образцов текста для скрытого семантического анализа, Труды 22-й ежегодной конференции Общества когнитивных наук, стр. 1036. Махва, Нью-Джерси: Эрлбаум, 2000.
  19. ^ Карлгрен, Юсси; Салгрен, Магнус (2001). Уэсака, Ёсинори; Канерва, Пентти; Асо, Хидеки (ред.). «От слов к пониманию». Основы реального интеллекта . Публикации CSLI: 294–308.
  20. ^ Салгрен, Магнус (2005) Введение в случайное индексирование, Материалы семинара по методам и применениям семантического индексирования на 7-й Международной конференции по терминологии и инженерии знаний, TKE 2005, 16 августа, Копенгаген, Дания
  21. ^ Салгрен, Магнус, Холст, Андерс и Пентти Канерва (2008) Перестановки как средство кодирования порядка в пространстве слов, в материалах 30-й ежегодной конференции Общества когнитивных наук: 1300–1305.
  22. ^ Бенджио, Йошуа; Режан, Дюшарм; Паскаль, Винсент (2000). «Нейронно-вероятностная языковая модель» (PDF) . НейриПС .
  23. ^ Бенджио, Йошуа ; Дюшарм, Режан; Винсент, Паскаль; Жовен, Кристиан (2003). «Нейронно-вероятностная языковая модель» (PDF) . Журнал исследований машинного обучения . 3 : 1137–1155.
  24. ^ Бенджио, Йошуа; Швенк, Хольгер; Сенекаль, Жан-Себастьен; Морен, Фредерик; Говен, Жан-Люк (2006). «Нейронно-вероятностная языковая модель». Исследования нечеткости и мягких вычислений . Том. 194. Спрингер. стр. 137–186. дои : 10.1007/3-540-33486-6_6. ISBN 978-3-540-30609-2.
  25. ^ Винкуров, Алексей; Кристианини, Нелло; Шоу-Тейлор, Джон (2002). Определение семантического представления текста с помощью межъязыкового корреляционного анализа (PDF) . Достижения в области нейронных систем обработки информации. Том. 15.
  26. ^ Лавелли, Альберто; Себастьяни, Фабрицио; Заноли, Роберто (2004). Представления терминов распределения: экспериментальное сравнение . 13-я Международная конференция ACM по управлению информацией и знаниями. стр. 615–624. дои : 10.1145/1031171.1031284.
  27. ^ Роуэйс, Сэм Т.; Сол, Лоуренс К. (2000). «Нелинейное уменьшение размерности путем локально линейного встраивания». Наука . 290 (5500): 2323–6. Бибкод : 2000Sci...290.2323R. CiteSeerX 10.1.1.111.3313 . дои : 10.1126/science.290.5500.2323. PMID  11125150. S2CID  5987139. 
  28. ^ Морен, Фредрик; Бенджио, Йошуа (2005). «Иерархическая вероятностная языковая модель нейронной сети» (PDF) . В Коуэлле, Роберт Г.; Гахрамани, Зубин (ред.). Материалы Десятого международного семинара по искусственному интеллекту и статистике . Труды исследований машинного обучения. Том. Р5. стр. 246–252.
  29. ^ Мних, Андрей; Хинтон, Джеффри (2009). «Масштабируемая иерархическая распределенная языковая модель». Достижения в области нейронных систем обработки информации . Curran Associates, Inc. 21 (NIPS 2008): 1081–1088.
  30. ^ "word2vec". Архив кода Google . Проверено 23 июля 2021 г.
  31. ^ Райзингер, Джозеф; Муни, Рэймонд Дж. (2010). Мультипрототипные векторно-пространственные модели значения слова. Том. Технологии человеческого языка: Ежегодная конференция Североамериканского отделения Ассоциации компьютерной лингвистики 2010 г. Лос-Анджелес, Калифорния: Ассоциация компьютерной лингвистики. стр. 109–117. ISBN 978-1-932432-65-7. Проверено 25 октября 2019 г.
  32. ^ Хуанг, Эрик. (2012). Улучшение представления слов с помощью глобального контекста и нескольких прототипов слов . ОСЛК  857900050.
  33. ^ Камачо-Колладос, Хосе; Пилевар, Мохаммад Тахер (2018). «От слов к смысловым вложениям: обзор векторных представлений значения». arXiv : 1805.04032 [cs.CL].
  34. ^ Нилакантан, Арвинд; Шанкар, Дживан; Пассос, Александр; МакКаллум, Эндрю (2014). «Эффективная непараметрическая оценка нескольких вложений одного слова в векторном пространстве». Материалы конференции 2014 года по эмпирическим методам обработки естественного языка (EMNLP) . Страудсбург, Пенсильвания, США: Ассоциация компьютерной лингвистики. стр. 1059–1069. arXiv : 1504.06654 . дои : 10.3115/v1/d14-1113. S2CID  15251438.
  35. ^ Руас, Терри; Гроски, Уильям; Айзава, Акико (01 декабря 2019 г.). «Многозначное встраивание посредством процесса устранения неоднозначности смысла слова». Экспертные системы с приложениями . 136 : 288–303. arXiv : 2101.08700 . дои : 10.1016/j.eswa.2019.06.026. hdl : 2027.42/145475 . ISSN  0957-4174. S2CID  52225306.
  36. ^ Агре, Геннадий; Петров, Даниил; Кескинова, Симона (01 марта 2019 г.). «Word Sense Disambiguation Studio: гибкая система для извлечения функций WSD». Информация . 10 (3): 97. дои : 10.3390/info10030097 . ISSN  2078-2489.
  37. ^ аб Акбик, Алан; Блайт, Дункан; Воллграф, Роланд (2018). «Контекстные встраивания строк для маркировки последовательностей». Материалы 27-й Международной конференции по компьютерной лингвистике . Санта-Фе, Нью-Мексико, США: Ассоциация компьютерной лингвистики: 1638–1649.
  38. ^ Ли, Дживэй; Юрафски, Дэн (2015). «Улучшают ли многозначные встраивания понимание естественного языка?». Материалы конференции 2015 года по эмпирическим методам обработки естественного языка . Страудсбург, Пенсильвания, США: Ассоциация компьютерной лингвистики. стр. 1722–1732. arXiv : 1506.01070 . дои : 10.18653/v1/d15-1200. S2CID  6222768.
  39. ^ Девлин, Джейкоб; Чанг, Мин-Вэй; Ли, Кентон; Тутанова, Кристина (июнь 2019 г.). «Материалы конференции Севера 2019». Материалы конференции Североамериканского отделения Ассоциации компьютерной лингвистики 2019 года: технологии человеческого языка, том 1 (длинные и короткие статьи) . Ассоциация компьютерной лингвистики: 4171–4186. дои : 10.18653/v1/N19-1423. S2CID  52967399.
  40. ^ Люси, Ли и Дэвид Бэмман. «Охарактеризация вариаций английского языка в социальных сетях с помощью BERT». Труды Ассоциации компьютерной лингвистики 9 (2021): 538-556.
  41. ^ Рейф, Эмили, Энн Юань, Мартин Ваттенберг, Фернанда Б. Вьегас, Энди Коэнен, Адам Пирс и Бин Ким. «Визуализация и измерение геометрии BERT». Достижения в области нейронных систем обработки информации 32 (2019).
  42. ^ аб Асгари, Эхсанеддин; Мофрад, Мохаммад РК (2015). «Непрерывное распределенное представление биологических последовательностей для глубокой протеомики и геномики». ПЛОС ОДИН . 10 (11): e0141287. arXiv : 1503.05140 . Бибкод : 2015PLoSO..1041287A. дои : 10.1371/journal.pone.0141287 . ПМК 4640716 . ПМИД  26555596. 
  43. ^ аб Рабии, Юнес; Кук, Майкл (04 октября 2021 г.). «Выявление динамики игры с помощью встраивания данных игрового процесса в слова». Материалы конференции AAAI по искусственному интеллекту и интерактивным цифровым развлечениям . 17 (1): 187–194. дои : 10.1609/aiide.v17i1.18907 . ISSN  2334-0924. S2CID  248175634.
  44. ^ Кирос, Райан; Чжу, Юкунь; Салахутдинов Руслан; Земель, Ричард С.; Торральба, Антонио; Уртасун, Ракель; Фидлер, Саня (2015). «векторы пропуска мысли». arXiv : 1506.06726 [cs.CL].
  45. ^ Реймерс, Нильс и Ирина Гуревич. «Предложение-BERT: встраивание предложений с использованием сиамских сетей BERT». В материалах конференции 2019 года по эмпирическим методам обработки естественного языка и 9-й Международной совместной конференции по обработке естественного языка (EMNLP-IJCNLP), стр. 3982-3992. 2019.
  46. ^ "Перчатка".
  47. ^ Чжао, Цзеюй; и другие. (2018) (2018). «Изучение гендерно-нейтральных вложений слов». arXiv : 1809.01496 [cs.CL].
  48. ^ "Элмо".
  49. ^ Пирес, Тельмо; Шлингер, Ева; Гарретт, Дэн (04 июня 2019 г.). «Насколько многоязычен многоязычный BERT?». arXiv : 1906.01502 [cs.CL].
  50. ^ "Генсим".
  51. ^ «Индра». Гитхаб . 25 октября 2018 г.
  52. ^ Гассеми, Мохаммед; Марк, Роджер; Немати, Шамим (2015). «Визуализация развития клинических настроений с использованием векторного представления клинических записей» (PDF) . 2015 Конференция «Компьютерные технологии в кардиологии» (CinC) . Том. 2015. С. 629–632. дои : 10.1109/CIC.2015.7410989. ISBN 978-1-5090-0685-4. ПМК  5070922 . ПМИД  27774487. {{cite book}}: |journal=игнорируется ( помощь )
  53. ^ «Встроенное средство просмотра». Встроенная программа просмотра . Лексические вычисления. Архивировано из оригинала 8 февраля 2018 года . Проверено 7 февраля 2018 г.
  54. ^ Болукбаши, Толга; Чанг, Кай-Вэй; Цзоу, Джеймс; Салиграма, Венкатеш; Калай, Адам (2016). «Мужчина для программиста, как женщина для домохозяйки? Устранение предвзятости встраивания слов». arXiv : 1607.06520 [cs.CL].
  55. ^ Болукбаши, Толга; Чанг, Кай-Вэй; Цзоу, Джеймс; Салиграма, Венкатеш; Калаи, Адам (21 июля 2016 г.). «Мужчина для программиста, как женщина для домохозяйки? Устранение предвзятости встраивания слов». arXiv : 1607.06520 [cs.CL].
  56. ^ Диенг, Аджи Б.; Руис, Франсиско-младший; Блей, Дэвид М. (2020). «Тематическое моделирование в пространствах внедрения». Труды Ассоциации компьютерной лингвистики . 8 : 439–453. arXiv : 1907.04907 . дои : 10.1162/tacl_a_00325.
  57. ^ Чжао, Цзеюй; Ван, Тяньлу; Яцкар, Марк; Ордонес, Висенте; Чанг, Кай-Вэй (2017). «Мужчинам тоже нравится ходить по магазинам: уменьшение усиления гендерных предубеждений с помощью ограничений на уровне корпуса». Материалы конференции 2017 года по эмпирическим методам обработки естественного языка . стр. 2979–2989. дои : 10.18653/v1/D17-1323.
  58. ^ Петрески, Давор; Хашим, Ибрагим К. (26 мая 2022 г.). «Вложения слов предвзяты. Но чью предвзятость они отражают?». ИИ и общество . 38 (2): 975–982. дои : 10.1007/s00146-022-01443-w . ISSN  1435-5655. S2CID  249112516.