Word2vec

Модели, используемые для создания векторных представлений слов

Word2vec — это метод обработки естественного языка (NLP) для получения векторных представлений слов. Эти векторы собирают информацию о значении слова на основе окружающих слов. Алгоритм word2vec оценивает эти представления, моделируя текст в большом корпусе . После обучения такая модель может обнаруживать синонимичные слова или предлагать дополнительные слова для частичного предложения. Word2vec был разработан Томашем Миколовым и его коллегами в Google и опубликован в 2013 году.

Word2vec представляет слово как вектор чисел высокой размерности, который фиксирует отношения между словами. В частности, слова, которые появляются в схожих контекстах, сопоставляются с векторами, которые находятся поблизости, как измеряется косинусным сходством . Это указывает на уровень семантического сходства между словами, так, например, векторы для walk и ran находятся поблизости, как и для "but" и "however", а также "Berlin" и "Germany".

Подход

Word2vec — это группа связанных моделей, которые используются для создания векторных представлений слов . Эти модели представляют собой неглубокие двухслойные нейронные сети , обученные восстанавливать лингвистические контексты слов. Word2vec принимает в качестве входных данных большой корпус текста и создает векторное пространство , обычно из нескольких сотен измерений , причем каждому уникальному слову в корпусе назначается соответствующий вектор в этом пространстве.

Word2vec может использовать любую из двух архитектур моделей для создания этих распределенных представлений слов: непрерывный мешок слов (CBOW) или непрерывно скользящий skip-gram. В обеих архитектурах word2vec рассматривает как отдельные слова, так и скользящее контекстное окно, когда он итерируется по корпусу.

CBOW можно рассматривать как задачу «заполнить пробел», где вложение слов представляет собой способ, которым слово влияет на относительные вероятности других слов в окне контекста. Слова, которые семантически похожи, должны влиять на эти вероятности аналогичным образом, поскольку семантически похожие слова должны использоваться в схожих контекстах. Порядок контекстных слов не влияет на прогноз (предположение о мешке слов).

В непрерывной архитектуре skip-gram модель использует текущее слово для прогнозирования окружающего окна контекстных слов. ^{[1] [2]} Архитектура skip-gram придает близлежащим контекстным словам больший вес, чем более отдаленным контекстным словам. Согласно примечанию авторов, ^[3] CBOW быстрее, в то время как skip-gram лучше справляется с нечастыми словами.

После обучения модели изученные вложения слов размещаются в векторном пространстве таким образом, что слова, имеющие общие контексты в корпусе — то есть слова, которые семантически и синтаксически схожи — располагаются близко друг к другу в пространстве. ^[1] Более непохожие слова располагаются дальше друг от друга в пространстве. ^[1]

Математические подробности

Этот раздел основан на описаниях. ^{[4] [5]}

Корпус — это последовательность слов. И CBOW, и skip-gram — это методы изучения одного вектора на слово, встречающееся в корпусе.

Пусть («словарь») будет набором всех слов, встречающихся в корпусе . Наша цель — выучить один вектор для каждого слова . ${\displaystyle V}$ ${\displaystyle C}$ ${\displaystyle v_{w}\in \mathbb {R} ^{n}}$ ${\displaystyle w\in V}$

Идея skip-gram заключается в том, что вектор слова должен быть близок к вектору каждого из его соседей. Идея CBOW заключается в том, что векторная сумма соседей слова должна быть близка к вектору слова.

В оригинальной публикации «близость» измеряется с помощью softmax , но фреймворк допускает и другие способы измерения близости.

Непрерывный мешок слов (CBOW)

Модель непрерывного мешка слов (CBOW).

Предположим, мы хотим, чтобы каждое слово в корпусе было предсказано каждым другим словом в небольшом промежутке из 4 слов. Мы записываем набор соседей . ${\displaystyle N=\{-4,-3,-2,-1,+1,+2,+3,+4\}}$

Тогда целью обучения является максимизация следующей величины: То есть мы хотим максимизировать общую вероятность для корпуса, как это видно из вероятностной модели, которая использует соседей слов для прогнозирования слов. $${\displaystyle \prod _{i\in C}\Pr(w_{i}|w_{j}:j\in N+i)}$$

Произведения численно нестабильны, поэтому мы преобразуем их, взяв логарифм: То есть, мы максимизируем логарифмическую вероятность корпуса. $${\displaystyle \sum _{i\in C}\ln \Pr(w_{i}|w_{j}:j\in N+i)}$$

Наша вероятностная модель выглядит следующим образом: для данных слов берется их векторная сумма , затем берется скалярное произведение-softmax с каждой другой векторной суммой (этот шаг похож на механизм внимания в Transformers), чтобы получить вероятность: Максимизируемая величина после упрощений равна: Величина слева вычисляется быстро, но величина справа вычисляется медленно, так как она включает суммирование по всему набору словаря для каждого слова в корпусе. Кроме того, чтобы использовать градиентный подъем для максимизации логарифмической вероятности, требуется вычислить градиент величины справа, что является неразрешимой задачей. Это побудило авторов использовать приемы численной аппроксимации. ${\displaystyle \{w_{j}:j\in N+i\}}$ ${\displaystyle v:=\sum _{j\in N+i}v_{w_{j}}}$ $${\displaystyle \Pr(w|w_{j}:j\in N+i):={\frac {e^{v_{w}\cdot v}}{\sum _{w\in V}e^{v_{w}\cdot v}}}}$$ $${\displaystyle \sum _{i\in C,j\in N+i}\left(v_{w_{i}}\cdot v_{w_{j}}-\ln \sum _{w\in V}e^{v_{w}\cdot v_{w_{j}}}\right)}$$

Пропустить-грамм

Пропустить-грамм

Для skip-gram цель обучения — То есть, мы хотим максимизировать общую вероятность для корпуса, как видно из вероятностной модели, которая использует слова для предсказания своих соседей по слову. Мы предсказываем каждое соседнее слово независимо, таким образом . $${\displaystyle \prod _{i\in C}\Pr(w_{j}:j\in N+i|w_{i})}$$ ${\displaystyle \Pr(w_{j}:j\in N+i|w_{i})=\prod _{j\in N+i}\Pr(w_{j}|w_{i})}$

Продукты численно нестабильны, поэтому мы преобразуем их, взяв логарифм: Модель вероятности по-прежнему является моделью dot-product-softmax, поэтому расчет продолжается, как и прежде. Есть только одно отличие от уравнения CBOW, выделенное красным. $${\displaystyle \sum _{i\in C,j\in N+i}\ln \Pr(w_{j}|w_{i})}$$ $${\displaystyle \sum _{i\in C,j\in N+i}\left(v_{w_{i}}\cdot v_{w_{j}}-\ln \sum _{w\in V}e^{v_{w}\cdot v_{w_{\color {red}i}}}\right)}$$

История

В 2010 году Томаш Миколов (тогда работавший в Брненском технологическом университете ) с соавторами применил простую рекуррентную нейронную сеть с одним скрытым слоем для моделирования языка. ^[6]

Word2vec был создан, запатентован ^[7] и опубликован в 2013 году группой исследователей под руководством Миколова из Google в двух статьях. ^{[1] [2]} Оригинальная статья была отклонена рецензентами на конференции ICLR 2013. Также потребовались месяцы, чтобы код был одобрен для открытого исходного кода. ^[8] Другие исследователи помогли проанализировать и объяснить алгоритм. ^[4]

Векторы встраивания, созданные с помощью алгоритма Word2vec, имеют некоторые преимущества по сравнению с более ранними алгоритмами ^[1], такими как те, которые используют n-граммы и латентный семантический анализ . GloVe был разработан командой Стэнфорда специально как конкурент, и в оригинальной статье отмечались множественные улучшения GloVe по сравнению с word2vec. ^[9] Миколов утверждал, что сравнение было несправедливым, поскольку GloVe был обучен на большем количестве данных, и что проект fastText показал, что word2vec превосходит его при обучении на тех же данных. ^{[10] [8]}

По состоянию на 2022 год ^[update]прямой подход Word2vec был описан как «устаревший». Модели на основе Transformer , такие как ELMo и BERT , которые добавляют несколько слоев внимания нейронной сети поверх модели встраивания слов, аналогичной Word2vec, стали считаться последним словом в области обработки естественного языка. ^[11]

Параметризация

Результаты обучения word2vec могут быть чувствительны к параметризации . Ниже приведены некоторые важные параметры обучения word2vec.

Алгоритм обучения

Модель Word2vec может быть обучена с помощью иерархического softmax и/или отрицательной выборки. Чтобы приблизить условное логарифмическое правдоподобие, которое модель стремится максимизировать, иерархический метод softmax использует дерево Хаффмана для сокращения вычислений. Метод отрицательной выборки, с другой стороны, подходит к проблеме максимизации, минимизируя логарифмическое правдоподобие выбранных отрицательных экземпляров. По словам авторов, иерархический softmax лучше работает для редких слов, в то время как отрицательная выборка лучше работает для частых слов и лучше с векторами низкой размерности. ^[3] По мере увеличения эпох обучения иерархический softmax перестает быть полезным. ^[12]

Подвыборка

Часто встречающиеся и нечастые слова часто дают мало информации. Слова с частотой выше определенного порога или ниже определенного порога могут быть подвыборочно или удалены для ускорения обучения. ^[13]

Размерность

Качество встраивания слов увеличивается с ростом размерности. Но после достижения некоторой точки предельный прирост уменьшается. ^[1] Обычно размерность векторов устанавливается в диапазоне от 100 до 1000.

Контекстное окно

Размер контекстного окна определяет, сколько слов до и после данного слова включены в качестве контекстных слов данного слова. Согласно примечанию авторов, рекомендуемое значение составляет 10 для skip-gram и 5 для CBOW. ^[3]

Расширения

Существует множество расширений word2vec.

doc2vec

doc2vec генерирует распределенные представления фрагментов текста переменной длины , таких как предложения, абзацы или целые документы. ^{[14] [15]} doc2vec был реализован в инструментах C , Python и Java / Scala (см. ниже), причем версии Java и Python также поддерживают вывод внедрений документов в новые, невидимые документы.

doc2vec оценивает распределенные представления документов во многом так же, как word2vec оценивает представления слов: doc2vec использует одну из двух архитектур моделей, обе из которых являются аллегориями архитектур, используемых в word2vec. Первая, Distributed Memory Model of Paragraph Vectors (PV-DM), идентична CBOW, за исключением того, что она также предоставляет уникальный идентификатор документа как часть дополнительного контекста. Вторая архитектура, Distributed Bag of Words версия Paragraph Vector (PV-DBOW), идентична модели skip-gram, за исключением того, что она пытается предсказать окно окружающих контекстных слов из идентификатора абзаца вместо текущего слова. ^[14]

doc2vec также имеет возможность захватывать семантические «значения» для дополнительных частей «контекста» вокруг слов; doc2vec может оценивать семантические вложения для говорящих или атрибутов говорящих, групп и периодов времени. Например, doc2vec использовался для оценки политических позиций политических партий в различных Конгрессах и Парламентах в США и Великобритании, ^[16] соответственно, и различных правительственных учреждениях. ^[17]

топ2век

Другим расширением word2vec является top2vec, который использует как вложения документов, так и слов для оценки распределенных представлений тем. ^{[18] [19]} top2vec берет вложения документов, полученные из модели doc2vec, и сводит их к более низкому измерению (обычно с помощью UMAP ). Затем пространство документов сканируется с помощью HDBSCAN, ^[20] и находятся кластеры похожих документов. Затем центроид документов, идентифицированных в кластере, считается тематическим вектором этого кластера. Наконец, top2vec ищет в семантическом пространстве вложения слов, расположенные близко к тематическому вектору, чтобы установить «значение» темы. ^[18] Слово с вложениями, наиболее похожими на тематический вектор, может быть назначено в качестве заголовка темы, тогда как далеко расположенные вложения слов могут считаться несвязанными.

В отличие от других тематических моделей, таких как LDA , top2vec предоставляет канонические метрики «расстояния» между двумя темами или между темой и другими вложениями (слово, документ или иное). Вместе с результатами HDBSCAN пользователи могут создавать иерархии тем или группы связанных тем и подтем.

Кроме того, пользователь может использовать результаты top2vec для вывода тем документов, не входящих в выборку. После вывода вложения для нового документа необходимо только выполнить поиск в пространстве тем для ближайшего вектора тем.

Биовекторы

Расширение векторов слов для n-грамм в биологических последовательностях (например, ДНК , РНК и белки ) для приложений биоинформатики было предложено Асгари и Мофрадом. ^[21] Названные био-векторами (BioVec) для обозначения биологических последовательностей в целом с белковыми векторами (ProtVec) для белков (аминокислотных последовательностей) и генными векторами (GeneVec) для генных последовательностей, это представление может широко использоваться в приложениях машинного обучения в протеомике и геномике. Результаты показывают, что BioVectors могут характеризовать биологические последовательности с точки зрения биохимических и биофизических интерпретаций базовых шаблонов. ^[21] Похожий вариант, dna2vec, показал, что существует корреляция между оценкой сходства Нидлмана-Вунша и косинусным сходством векторов слов dna2vec. ^[22]

Радиология и интеллектуальные встраивания слов (IWE)

Расширение векторов слов для создания плотного векторного представления неструктурированных отчетов по радиологии было предложено Банерджи и др. ^[23] Одной из самых больших проблем с Word2vec является то, как обрабатывать неизвестные или не имеющие словарного запаса (OOV) слова и морфологически похожие слова. Если модель Word2vec ранее не сталкивалась с определенным словом, она будет вынуждена использовать случайный вектор, что, как правило, далеко от ее идеального представления. Это может быть особенно проблемой в таких областях, как медицина, где синонимы и связанные слова могут использоваться в зависимости от предпочитаемого стиля рентгенолога, а слова могли использоваться нечасто в большом корпусе.

IWE объединяет Word2vec с техникой семантического словарного картирования для решения основных проблем извлечения информации из клинических текстов, которые включают неоднозначность стиля повествования свободного текста, лексические вариации, использование неграмматических и телеграфных фаз, произвольный порядок слов и частое появление сокращений и аббревиатур. Особый интерес представляет то, что модель IWE (обученная на одном институциональном наборе данных) успешно транслировалась на другой институциональный набор данных, что демонстрирует хорошую обобщаемость подхода между учреждениями.

Анализ

Причины успешного обучения встраиванию слов в фреймворке word2vec плохо изучены. Голдберг и Леви указывают, что целевая функция word2vec приводит к тому, что слова, которые встречаются в схожих контекстах, имеют схожие встраивания (измеряемые косинусным сходством ), и отмечают, что это соответствует распределительной гипотезе Дж. Р. Фирта . Однако они отмечают, что это объяснение «очень нечеткое», и утверждают, что более формальное объяснение было бы предпочтительнее. ^[4]

Леви и др. (2015) ^[24] показывают, что большая часть превосходной производительности word2vec или подобных вложений в задачах ниже по потоку является результатом не самих моделей, а выбора конкретных гиперпараметров. Перенос этих гиперпараметров в более «традиционные» подходы дает схожие результаты в задачах ниже по потоку. Арора и др. (2016) ^[25] объясняют word2vec и связанные с ним алгоритмы как выполнение вывода для простой генеративной модели для текста, которая включает процесс генерации случайного блуждания на основе логлинейной тематической модели. Они используют это для объяснения некоторых свойств вложений слов, включая их использование для решения аналогий.

Сохранение семантических и синтаксических связей

Визуальная иллюстрация вложений слов

Подход встраивания слов способен улавливать несколько различных степеней сходства между словами. Миколов и др. (2013) ^[26] обнаружили, что семантические и синтаксические шаблоны можно воспроизводить с помощью векторной арифметики. Такие шаблоны, как «Мужчина относится к женщине так же, как брат относится к сестре», можно генерировать с помощью алгебраических операций над векторными представлениями этих слов, так что векторное представление «Брат» - «Мужчина» + «Женщина» дает результат, который наиболее близок к векторному представлению «Сестра» в модели. Такие отношения можно генерировать для ряда семантических отношений (например, Страна–Столица), а также синтаксических отношений (например, настоящее время–прошедшее время).

Этот аспект word2vec использовался в различных других контекстах. Например, word2vec использовался для отображения векторного пространства слов на одном языке в векторное пространство, созданное на основе другого языка. Отношения между переведенными словами в обоих пространствах могут использоваться для помощи в машинном переводе новых слов. ^[27]

Оценка качества модели

Миколов и др. (2013) ^[1] разработали подход к оценке качества модели word2vec, которая опирается на семантические и синтаксические шаблоны, обсуждавшиеся выше. Они разработали набор из 8869 семантических отношений и 10675 синтаксических отношений, которые они используют в качестве эталона для проверки точности модели. При оценке качества векторной модели пользователь может опираться на этот тест точности, который реализован в word2vec, ^[28] или разработать свой собственный тестовый набор, который будет значимым для корпусов, составляющих модель. Этот подход предлагает более сложный тест, чем просто утверждение, что слова, наиболее похожие на данное тестовое слово, интуитивно правдоподобны. ^[1]

Параметры и качество модели

Использование различных параметров модели и различных размеров корпуса может значительно повлиять на качество модели word2vec. Точность может быть улучшена несколькими способами, включая выбор архитектуры модели (CBOW или Skip-Gram), увеличение набора обучающих данных, увеличение количества векторных измерений и увеличение размера окна слов, рассматриваемых алгоритмом. Каждое из этих улучшений имеет цену в виде увеличения вычислительной сложности и, следовательно, увеличения времени генерации модели. ^[1]

В моделях, использующих большие корпуса и большое количество измерений, модель skip-gram дает самую высокую общую точность и последовательно дает самую высокую точность семантических отношений, а также самую высокую синтаксическую точность в большинстве случаев. Однако CBOW менее затратен в вычислительном отношении и дает похожие результаты точности. ^[1]

В целом точность увеличивается с количеством используемых слов и количеством измерений. Миколов и др. ^[1] сообщают, что удвоение объема обучающих данных приводит к увеличению вычислительной сложности, эквивалентному удвоению количества векторных измерений.

Altszyler и соавторы (2017) изучали производительность Word2vec в двух семантических тестах для корпусов разного размера. ^[29] Они обнаружили, что Word2vec имеет крутую кривую обучения , превосходя другую технику встраивания слов, латентный семантический анализ (LSA), когда он обучается на корпусах среднего и большого размера (более 10 миллионов слов). Однако на небольшом обучающем корпусе LSA показал лучшую производительность. Кроме того, они показывают, что наилучшая настройка параметров зависит от задачи и обучающего корпуса. Тем не менее, для моделей skip-gram, обученных на корпусах среднего размера с 50 измерениями, размер окна 15 и 10 отрицательных образцов, по-видимому, является хорошей настройкой параметров.

Смотрите также

• Семантл
• Автоэнкодер
• Матрица «документ-термин»
• Извлечение признаков
• Особенности обучения
• Модели языка нейронных сетей
• Модель векторного пространства
• Вектор мысли
• быстрыйТекст
• Перчатка
• ELMo
• BERT (языковая модель)
• Нормализованное расстояние сжатия

Ссылки

1. Миколов, Томас; Чен, Кай; Коррадо, Грег; Дин, Джеффри (16 января 2013 г.). «Эффективная оценка представлений слов в векторном пространстве». arXiv : 1301.3781 [cs.CL].{{cite arXiv}}: CS1 maint: date and year (link)
2. Миколов, Томас; Суцкевер, Илья; Чен, Кай; Коррадо, Грег С.; Дин, Джефф (2013). Распределенные представления слов и фраз и их композиционность . Достижения в области нейронных систем обработки информации . arXiv : 1310.4546 . Bibcode : 2013arXiv1310.4546M.
3. "Архив Google Code - Долгосрочное хранилище для хостинга проектов Google Code". code.google.com . Получено 13 июня 2016 г. .
4. Goldberg, Yoav; Levy, Omer (2014). "word2vec Explained: Deriving Mikolov et al.'s Negative-Sampling Word-Embedding Method". arXiv : 1402.3722 [cs.CL].
5. Ронг, Синь (5 июня 2016 г.), Объяснение параметров обучения word2vec , arXiv : 1411.2738
6. Миколов, Томаш; Карафиат, Мартин; Бургет, Лукаш; Черноцкий, Ян; Худанпур, Санджив (26 сентября 2010 г.). «Языковая модель на основе рекуррентной нейронной сети». Интерспич 2010 . ИСКА: ИСКА. стр. 1045–1048. doi : 10.21437/interspeech.2010-343.
7. US 9037464, Миколов, Томас; Чен, Кай и Коррадо, Грегори С. и др., «Вычисление числовых представлений слов в многомерном пространстве», опубликовано 19 мая 2015 г., передано Google Inc. 
8. Mikolov, Tomáš (13 декабря 2023 г.). «Вчера мы получили премию Test of Time Award в NeurIPS за статью word2vec десятилетней давности». Facebook . Архивировано из оригинала 24 декабря 2023 г.
9. GloVe: Глобальные векторы для представления слов (pdf) Архивировано 03.09.2020 в Wayback Machine «Мы используем наши идеи для построения новой модели представления слов, которую мы называем GloVe, Global Vectors, поскольку глобальная статистика корпуса фиксируется непосредственно моделью».
10. Жулен, Арман; Граве, Эдуард; Бояновски, Петр; Миколов, Томас (9 августа 2016 г.). «Набор трюков для эффективной классификации текста». arXiv : 1607.01759 [cs.CL].
11. Фон дер Мозель, Джулиан; Траутш, Александр; Гербольд, Штеффен (2022). «О валидности предварительно обученных преобразователей для обработки естественного языка в области программной инженерии». IEEE Transactions on Software Engineering . 49 (4): 1487–1507. arXiv : 2109.04738 . doi : 10.1109/TSE.2022.3178469. ISSN  1939-3520. S2CID  237485425.
12. "Параметр (hs & negative)". Группы Google . Получено 13 июня 2016 г.
13. "Визуализация данных с использованием t-SNE" (PDF) . Журнал исследований машинного обучения, 2008. Том 9, стр. 2595. Получено 18 марта 2017 г.
14. Le, Quoc; Mikolov, Tomas (май 2014 г.). «Распределенные представления предложений и документов». Труды 31-й Международной конференции по машинному обучению . arXiv : 1405.4053 .
15. Рехурек, Радим. «Генсим».
16. Реолт, Людовик; Кокрейн, Кристофер (3 июля 2019 г.). «Внедрение слов для анализа идеологического размещения в парламентских корпусах». Политический анализ . 28 (1).
17. Най, Джон (21 декабря 2017 г.). «Gov2Vec: изучение распределенных представлений учреждений и их юридического текста». SSRN . arXiv : 1609.06616 . SSRN  3087278.
18. Angelov, Dimo ​​(август 2020 г.). «Top2Vec: Распределенные представления тем». arXiv : 2008.09470 [cs.CL].
19. Ангелов, Димо (11 ноября 2022 г.). «Топ2Век». Гитхаб .
20. Кампелло, Рикардо; Мулави, Давуд; Сандер, Йорг (2013). «Кластеризация на основе плотности на основе иерархических оценок плотности». Достижения в области обнаружения знаний и интеллектуального анализа данных . Конспект лекций по информатике. Том 7819. С. 160–172. doi :10.1007/978-3-642-37456-2_14. ISBN 978-3-642-37455-5.
21. Asgari, Ehsaneddin; Mofrad, Mohammad RK (2015). "Непрерывное распределенное представление биологических последовательностей для глубокой протеомики и геномики". PLOS ONE . 10 (11): e0141287. arXiv : 1503.05140 . Bibcode : 2015PLoSO..1041287A. doi : 10.1371/journal.pone.0141287 . PMC 4640716. PMID  26555596 . 
22. Нг, Патрик (2017). "dna2vec: Согласованные векторные представления k-меров переменной длины". arXiv : 1701.06279 [q-bio.QM].
23. Баннерджи, Имон; Чен, Мэтью К.; Лунгрен, Мэтью П.; Рубин, Дэниел Л. (2018). «Аннотация радиологического отчета с использованием интеллектуальных вложений слов: Применительно к группе пациентов, прошедших КТ грудной клетки в нескольких учреждениях». Журнал биомедицинской информатики . 77 : 11–20. doi : 10.1016/j.jbi.2017.11.012. PMC 5771955. PMID  29175548. 
24. Леви, Омер; Голдберг, Йоав; Даган, Идо (2015). «Улучшение распределительного сходства с помощью уроков, извлеченных из вложений слов». Труды Ассоциации компьютерной лингвистики . 3. Труды Ассоциации компьютерной лингвистики: 211–225. doi : 10.1162/tacl_a_00134 .
25. Arora, S; et al. (Лето 2016). «Подход к внедрению слов на основе PMI с использованием модели скрытых переменных». Труды Ассоциации компьютерной лингвистики . 4 : 385–399. arXiv : 1502.03520 . doi : 10.1162/tacl_a_00106 – через ACLWEB.
26. Миколов, Томас; Йи, Вен-тау; Цвейг, Джеффри (2013). «Лингвистические закономерности в представлениях слов в непрерывном пространстве». HLT-Naacl : 746–751.
27. Янсен, Стефан (9 мая 2017 г.). «Перевод слов и фраз с помощью word2vec». arXiv : 1705.03127 . {{cite journal}}: Цитировать журнал требует |journal=( помощь )
28. "Gensim - Глубокое обучение с word2vec" . Получено 10 июня 2016 г.
29. Альтсзилер, Э.; Рибейро, С.; Сигман, М.; Фернандес Слезак, Д. (2017). «Толкование смысла сновидения: разрешение неоднозначности с помощью латентно-семантического анализа в небольшом корпусе текста». Сознание и познание . 56 : 178–187. arXiv : 1610.01520 . doi : 10.1016/j.concog.2017.09.004. PMID  28943127. S2CID  195347873.

Внешние ссылки

• Wikipedia2Vec[1] (введение)

Реализации

• С
• С#
• Питон (Spark)
• Python (TensorFlow)
• Питон (Gensim)
• Java/Scala
• Р