Трансформер (архитектура глубокого обучения)

Архитектура глубокого обучения для моделирования последовательных данных

Стандартная архитектура Transformer, слева показан кодер, справа — декодер. Примечание: используется pre-LN convention, которое отличается от post-LN convention, используемого в оригинальном Transformer 2017 года.

Трансформатор — это архитектура глубокого обучения, разработанная исследователями из Google и основанная на механизме многоголового внимания , предложенном в статье 2017 года « Внимание — это все, что вам нужно ». ^[1] Текст преобразуется в числовые представления, называемые токенами , и каждый токен преобразуется в вектор с помощью поиска в таблице встраивания слов . ^[1] На каждом уровне каждый токен затем контекстуализируется в рамках контекстного окна с другими (незамаскированными) токенами с помощью параллельного механизма многоголового внимания, что позволяет усилить сигнал для ключевых токенов и ослабить менее важные токены.

Преимущество трансформаторов в том, что они не имеют повторяющихся единиц, поэтому требуют меньше времени на обучение, чем более ранние рекуррентные нейронные архитектуры (RNN), такие как долговременная краткосрочная память (LSTM). ^[2] Более поздние вариации были широко приняты для обучения больших языковых моделей (LLM) на больших (языковых) наборах данных, таких как корпус Википедии и Common Crawl . ^[3]

Трансформаторы были впервые разработаны как улучшение предыдущих архитектур для машинного перевода , ^{[4] [5],} но с тех пор нашли множество применений. Они используются в крупномасштабной обработке естественного языка , компьютерном зрении ( трансформаторы зрения ), обучении с подкреплением , ^{[6] [7]} аудио , ^[8] мультимодальном обучении , робототехнике , ^[9] и даже в игре в шахматы . ^[10] Это также привело к разработке предварительно обученных систем , таких как генеративные предварительно обученные трансформаторы (GPT) ^[11] и BERT ^[12] (представления двунаправленного кодировщика из трансформаторов).

История

Предшественники

В течение многих лет моделирование и генерация последовательностей выполнялись с использованием простых рекуррентных нейронных сетей (RNN). Хорошо цитируемым ранним примером была сеть Элмана (1990). Теоретически информация из одного токена может распространяться сколь угодно далеко вниз по последовательности, но на практике проблема исчезающего градиента оставляет состояние модели в конце длинного предложения без точной, извлекаемой информации о предыдущих токенах.

Ключевым прорывом стала LSTM (1995), ^{[примечание 1]} RNN, которая использовала различные инновации для преодоления проблемы исчезающего градиента, что позволило эффективно обучаться моделированию длинных последовательностей. Одним из ключевых инноваций было использование механизма внимания , который использовал нейроны, умножающие выходы других нейронов, так называемые мультипликативные единицы . ^[13] Нейронные сети, использующие мультипликативные единицы, позже были названы сетями сигма-пи ^[14] или сетями более высокого порядка . ^[15] LSTM стала стандартной архитектурой для моделирования длинных последовательностей до публикации Transformers в 2017 году. Однако LSTM по-прежнему использовала последовательную обработку, как и большинство других RNN. ^{[примечание 2]} В частности, RNN обрабатывают один токен за раз от первого до последнего; они не могут работать параллельно по всем токенам в последовательности.

Современные Transformers преодолевают эту проблему, но в отличие от RNN, они требуют времени вычисления, квадратичного по размеру контекстного окна. Линейно масштабируемый быстрый контроллер веса (1992) учится вычислять матрицу веса для дальнейшей обработки в зависимости от входных данных. ^[16] Одна из его двух сетей имеет «быстрые веса» или «динамические связи» (1981). ^{[17] [18] [19]} Медленная нейронная сеть учится с помощью градиентного спуска генерировать ключи и значения для вычисления изменений веса быстрой нейронной сети, которая вычисляет ответы на запросы. ^[16] Позже было показано, что это эквивалентно ненормализованному линейному Transformer. ^{[20] [21]}

Внимание с seq2seq

Идея трансдукции последовательности кодер-декодер была разработана в начале 2010-х годов (см. ^{[22] [23]} для предыдущих статей). Статьи, которые чаще всего цитируются как первоисточники, создавшие seq2seq, — это две одновременно опубликованные статьи 2014 года. ^{[22] [23]}

(Sutskever et al, 2014) ^[23] была 380M-параметрической моделью для машинного перевода с использованием двух долгосрочных краткосрочных запоминающих устройств (LSTM). Архитектура состоит из двух частей. Кодер — это LSTM, который принимает последовательность токенов и превращает ее в вектор. Декодер — это еще одна LSTM, которая преобразует вектор в последовательность токенов. Аналогично, (Cho et al, 2014) ^[22] была 130M-параметрической моделью, которая использовала управляемые рекуррентные единицы (GRU) вместо LSTM. Более поздние исследования показали, что GRU не лучше и не хуже LSTM для seq2seq. ^{[24] [25]}

Эти ранние модели seq2seq не имели механизма внимания, а вектор состояния был доступен только после обработки последнего слова исходного текста. Хотя в теории такой вектор сохраняет информацию обо всем исходном предложении, на практике информация сохраняется плохо, поскольку входные данные обрабатываются последовательно одной рекуррентной сетью в выходной вектор фиксированного размера, который затем обрабатывался другой рекуррентной сетью в выходной сигнал. Если входные данные длинные, то выходной вектор не сможет содержать всю необходимую информацию, и качество выходных данных ухудшается. Как доказательство, обратный ход входного предложения улучшил перевод seq2seq. ^[26]

(Bahdanau et al, 2014) ^[4] ввели механизм внимания в seq2seq для машинного перевода, чтобы решить проблему узкого места ( выходного вектора фиксированного размера ), что позволило модели легче обрабатывать зависимости на больших расстояниях. Они назвали свою модель RNNsearch , поскольку она «эмулирует поиск по исходному предложению во время декодирования перевода».

(Луонг и др., 2015) ^[27] сравнили относительную производительность архитектур моделей глобального (Бахданау и др., 2014)) и локального (скользящее окно) внимания для машинного перевода и обнаружили, что архитектура смешанного внимания имела более высокое качество, чем глобальное внимание, в то время как использование архитектуры локального внимания сокращало время перевода.

В 2016 году Google Translate был переделан в Google Neural Machine Translation , который заменил предыдущую модель, основанную на статистическом машинном переводе . Новая модель представляла собой модель seq2seq, где кодер и декодер представляли собой 8 слоев двунаправленной LSTM. ^[28] На ее разработку ушло девять месяцев, и она достигла более высокого уровня производительности, чем статистический подход, на разработку которого ушло десять лет. ^[29]

Параллелизм внимания

Модели Seq2seq с вниманием (включая самовнимание) все еще страдали от той же проблемы с рекуррентными сетями, которая заключается в том, что их трудно распараллелить , что не позволяло ускорить их на графических процессорах. В 2016 году разложимое внимание применило механизм самовнимания к сетям прямого распространения , которые легко распараллелить, и достигло результата SOTA в текстовом выводе с на порядок меньшим количеством параметров, чем LSTM. ^[30] Один из его авторов, Якоб Ушкорейт, подозревал, что внимание без повторения достаточно для языкового перевода, отсюда и название «внимание — это все , что вам нужно». ^[31] Эта гипотеза противоречила общепринятому мнению того времени, и даже его отец, известный вычислительный лингвист, был настроен скептически. ^[31] В том же году самовнимание (называемое внутривниманием или внутрипредложным вниманием ) было предложено для LSTM. ^[32]

В 2017 году оригинальная (размером 100 М) модель преобразователя кодера-декодера была предложена в статье « Внимание — это все, что вам нужно ». В то время основное внимание уделялось улучшению seq2seq для машинного перевода путем устранения его повторения для параллельной обработки всех токенов, но сохранения его механизма внимания скалярного произведения для поддержания производительности обработки текста. ^[1] Его параллелизуемость была важным фактором для его широкого использования в больших нейронных сетях. ^[33]

Эпоха бума ИИ

Еще весной 2017 года, еще до публикации препринта «Внимание — все, что вам нужно», один из соавторов применил вариант архитектуры «только декодер» для генерации вымышленных статей Википедии. ^[34] Архитектура Transformer в настоящее время используется во многих генеративных моделях , которые способствуют продолжающемуся буму ИИ .

В языковом моделировании ELMo (2018) был двунаправленным LSTM, который производит контекстуализированные вложения слов , улучшая линию исследований от bag of words и word2vec . За ним последовал BERT (2018), модель Transformer, работающая только с кодировщиком. ^[35] В октябре 2019 года Google начал использовать BERT для обработки поисковых запросов. ^[36] В 2020 году Google Translate заменил предыдущую модель RNN-кодировщик–RNN-декодер на модель Transformer-кодировщик–RNN-декодер. ^[37]

Начиная с 2018 года серия OpenAI GPT декодерных трансформеров стала передовым достижением в области генерации естественного языка . В 2022 году чат-бот на основе GPT-3, ChatGPT , стал неожиданно популярным, ^[38] вызвав бум вокруг больших языковых моделей . ^{[39] [40]}

С 2020 года Transformers стали применяться в модальностях, выходящих за рамки текста, включая Vision transformer , ^[41] распознавание речи, ^[42] робототехнику ^[6] и мультимодальные . ^[43] Vision transformer, в свою очередь, стимулировал новые разработки в области сверточных нейронных сетей . ^[44] Генераторы изображений и видео, такие как DALL-E (2021), Stable Diffusion 3 (2024), ^[45] и Sora (2024), основаны на архитектуре Transformer.

Обучение

Методы стабилизирующей тренировки

Архитектура простого трансформатора имела трудности со схождением. В оригинальной статье ^[1] авторы рекомендовали использовать разминку скорости обучения. То есть скорость обучения должна линейно увеличиваться от 0 до максимального значения для первой части обучения (обычно рекомендуется, чтобы она составляла 2% от общего числа шагов обучения), прежде чем снова затухать.

В статье 2020 года было обнаружено, что использование нормализации слоев до (а не после) многоголового внимания и слоев прямой связи стабилизирует обучение, не требуя разогрева скорости обучения. ^[46]

Pretrain-точная настройка

Трансформеры обычно сначала предварительно обучаются с помощью самоконтролируемого обучения на большом общем наборе данных, а затем с помощью контролируемой тонкой настройки на небольшом наборе данных для конкретной задачи. Набор данных предварительной подготовки обычно представляет собой немаркированный большой корпус, такой как The Pile . Задачи для предварительной подготовки и тонкой настройки обычно включают:

• моделирование языка ^[12]
• предсказание следующего предложения ^[12]
• вопрос ответ ^[3]
• понимание прочитанного
• анализ настроений ^[1]
• перефразирование ^[1]

Отчет трансформатора T5 ^[47] документирует большое количество задач по предварительной подготовке естественного языка . Вот некоторые примеры:

• восстановление или исправление неполного или поврежденного текста. Например, ввод "Спасибо ~~ мне на вашу вечеринку ~~ неделю" может сгенерировать вывод "Спасибо за приглашение на вашу вечеринку на прошлой неделе".
• перевод между естественными языками ( машинный перевод )
• оценивая прагматическую приемлемость естественного языка. Например, следующее предложение может быть оценено как «неприемлемое», ^[48], потому что, хотя оно синтаксически правильно сформировано, оно маловероятно в обычном человеческом употреблении: Курс прыгает хорошо.

Обратите внимание, что хотя каждая из этих задач является тривиальной или очевидной для людей, являющихся носителями языка (или языков), они, как правило, оказывались сложными для предыдущих поколений архитектуры машинного обучения.

Задачи

В целом, существует 3 класса задач моделирования языка: «замаскированные», ^[49] «авторегрессивные», ^[50] и «префиксные LM». ^[51] Эти классы не зависят от конкретной архитектуры моделирования, такой как Transformer, но они часто обсуждаются в контексте Transformer.

В замаскированной задаче ^[49] один или несколько токенов замаскированы, и модель будет производить распределение вероятностей, предсказывающее, что представляют собой замаскированные токены, на основе контекста. Функция потерь для задачи обычно представляет собой сумму логарифмов-перплексий для замаскированных токенов: и модель обучается минимизировать эту функцию потерь. Серия моделей BERT обучается для прогнозирования замаскированных токенов и другой задачи. $${\displaystyle {\text{Loss}}=-\sum _{t\in {\text{masked tokens}}}\ln({\text{probability of }}t{\text{ conditional on its context}})}$$

В задаче авторегрессии ^[50] вся последовательность сначала маскируется, и модель выдает распределение вероятностей для первого токена. Затем первый токен раскрывается, и модель предсказывает второй токен и т. д. Функция потерь для задачи обычно остается прежней. Серия моделей GPT обучается с помощью задач авторегрессии.

В задаче prefixLM ^[51] последовательность делится на две части. Первая часть представлена ​​как контекст, а модель предсказывает первый токен второй части. Затем это будет раскрыто, и модель предскажет второй токен и так далее. Функция потерь для задачи обычно остается той же. Серия моделей T5 обучается с помощью задач prefixLM.

Обратите внимание, что «замаскированный» в значении «моделирование замаскированного языка» не является «замаскированным» в значении «замаскированное внимание», а «префиксLM» (моделирование префиксного языка) не является «префиксLM» (модель префиксного языка).

Архитектура

Все трансформаторы имеют одинаковые первичные компоненты:

• Токенизаторы, которые преобразуют текст в токены.
• Слой внедрения, который преобразует токены и позиции токенов в векторные представления.
• Слои преобразователя, которые выполняют повторяющиеся преобразования векторных представлений, извлекая все больше и больше лингвистической информации. Они состоят из чередующихся слоев внимания и прямой связи. Существует два основных типа слоев преобразователя: слои кодера и слои декодера, с дополнительными вариантами.
• Слой деинсталляции, который преобразует окончательные векторные представления обратно в распределение вероятностей по токенам.

Следующее описание точно следует Трансформатору, как описано в оригинальной статье. Существуют варианты, описанные в следующем разделе.

По соглашению мы записываем все векторы как векторы-строки. Это, например, означает, что проталкивание вектора через линейный слой означает его умножение на матрицу весов справа, как . ${\displaystyle xW}$

Токенизация

Поскольку архитектура Transformer изначально обрабатывает числовые данные, а не текст, между текстом и токенами должен быть перевод. Токен — это целое число, представляющее символ или короткий сегмент символов. На стороне ввода входной текст разбирается на последовательность токенов. Аналогично на стороне вывода выходные токены разбираются обратно на текст. Модуль, выполняющий преобразование между последовательностями токенов и текстами, называется токенизатором .

Набор всех токенов — это словарь токенизатора, а его размер — это размер словаря . При столкновении с токенами за пределами словаря обычно используется специальный токен, записываемый как «[UNK]» для «неизвестно». ${\displaystyle n_{\text{vocabulary}}}$

Некоторые часто используемые токенизаторы — это кодирование пар байтов , WordPiece и SentencePiece.

Встраивание

Каждый токен преобразуется в вектор встраивания с помощью таблицы поиска . Эквивалентно выраженный, он умножает однократное представление токена на матрицу встраивания . Например, если входной токен , то однократное представление , а его вектор встраивания Векторы встраивания токена добавляются к соответствующим им позиционным векторам кодирования (см. ниже), создавая последовательность входных векторов. ${\displaystyle M}$ ${\displaystyle 3}$ ${\displaystyle [0,0,0,1,0,0,\dots ]}$ $${\displaystyle \mathrm {Embed} (3)=[0,0,0,1,0,0,\dots ]M}$$

Число измерений во вложенном векторе называется скрытым размером или размером вложения и записывается как ^[35] ${\displaystyle d_{\text{emb}}}$

Отсоединение

Слой извлечения — это почти противоположность слою внедрения. В то время как слой внедрения преобразует токен в вектор, слой извлечения преобразует вектор в распределение вероятностей по токенам.

Слой невнедрения — это линейный слой softmax : Матрица имеет форму . Иногда требуется, чтобы матрица вложения и матрица невложения были транспонированы друг друга, практика, называемая связыванием веса. ^[52] $${\displaystyle \mathrm {UnEmbed} (x)=\mathrm {softmax} (xW+b)}$$ ${\displaystyle (d_{\text{emb}},n_{\text{vocabulary}})}$ ${\displaystyle M}$ ${\displaystyle W}$

Позиционное кодирование

Схема синусоидального позиционного кодирования с параметрами ${\displaystyle N=10000,d=100}$

Позиционное кодирование — это векторное представление фиксированного размера относительных позиций токенов в последовательности: оно предоставляет модели преобразователя информацию о том, где находятся слова во входной последовательности. Без позиционного кодирования модель не смогла бы обрабатывать входную последовательность как нечто большее, чем мешок слов , например, и « человек кусает собаку », и «собака кусает человека» были бы обработаны совершенно одинаково.

Позиционное кодирование определяется как функция типа , где — положительное четное целое число . Полное позиционное кодирование, определенное в оригинальной статье ^[1], имеет вид: где . ${\displaystyle f:\mathbb {R} \to \mathbb {R} ^{d};d\in \mathbb {Z} ,d>0}$ ${\displaystyle d}$ $${\displaystyle (f(t)_{2k},f(t)_{2k+1})=(\sin(\theta ),\cos(\theta ))\quad \forall k\in \{0,1,\ldots ,d/2-1\}}$$ ${\displaystyle \theta ={\frac {t}{r^{k}}},r=N^{2/d}}$

Здесь, является свободным параметром, который должен быть значительно больше, чем самый большой , который будет введен в функцию позиционного кодирования. В оригинальной статье используется . ${\displaystyle N}$ ${\displaystyle k}$ ${\displaystyle N=10000}$

Функция имеет более простую форму, если записать ее как сложную функцию типа , где . ${\displaystyle f:\mathbb {R} \to \mathbb {C} ^{d/2}}$ $${\displaystyle f(t)=\left(e^{it/r^{k}}\right)_{k=0,1,\ldots ,{\frac {d}{2}}-1}}$$ ${\displaystyle r=N^{2/d}}$

Основная причина использования этой функции позиционного кодирования заключается в том, что при ее использовании сдвиги являются линейными преобразованиями: где — расстояние, на которое требуется сместиться. Это позволяет преобразователю брать любую закодированную позицию и находить кодировку позиции на n шагов вперед или на n шагов назад с помощью умножения матриц. $${\displaystyle f(t+\Delta t)=\mathrm {diag} (f(\Delta t))f(t)}$$ ${\displaystyle \Delta t\in \mathbb {R} }$

Взяв линейную сумму, любую свертку можно реализовать как линейные преобразования: для любых констант . Это позволяет преобразователю брать любую закодированную позицию и находить линейную сумму закодированных положений ее соседей. Эта сумма закодированных позиций, будучи введена в механизм внимания, создаст веса внимания для ее соседей, во многом подобно тому, что происходит в языковой модели сверточной нейронной сети . По словам автора, «мы предположили, что это позволит модели легко научиться уделять внимание относительному положению». $${\displaystyle \sum _{j}c_{j}f(t+\Delta t_{j})=\left(\sum _{j}c_{j}\,\mathrm {diag} (f(\Delta t_{j}))\right)f(t)}$$ ${\displaystyle c_{j}}$

В типичных реализациях все операции выполняются над действительными числами, а не над комплексными, но поскольку комплексное умножение можно реализовать как действительное умножение матриц 2 на 2 , это всего лишь различие в обозначениях.

Кодер-декодер (обзор)

Один блок кодера-декодера.

Трансформатор состоит из сложенных слоев кодировщика и декодировщика.

Как и более ранние модели seq2seq , исходная модель трансформатора использовала архитектуру кодер-декодер . Кодер состоит из слоев кодирования, которые обрабатывают все входные токены вместе один слой за другим, в то время как декодер состоит из слоев декодирования, которые итеративно обрабатывают выходные токены кодера и декодера до сих пор.

Целью каждого слоя кодировщика является создание контекстуализированных представлений токенов, где каждое представление соответствует токену, который «смешивает» информацию из других входных токенов через механизм собственного внимания. Каждый слой декодера содержит два подуровня внимания: (1) перекрестное внимание для включения выходных данных кодировщика (контекстуализированные представления входных токенов) и (2) собственное внимание для «смешивания» информации среди входных токенов для декодера (т. е. токенов, сгенерированных до сих пор во время вывода). ^{[53] [54]}

Оба слоя кодировщика и декодера имеют нейронную сеть прямой связи для дополнительной обработки своих выходов и содержат остаточные соединения и шаги нормализации слоя. ^[54] Эти слои прямой связи содержат большинство параметров в модели Transformer.

Сеть прямой связи

Модуль сети прямого распространения. Это двухслойная сеть, которая отображает -мерные векторы в -мерные векторы. ${\displaystyle d_{\text{emb}}}$ ${\displaystyle d_{\text{emb}}}$

Модули сети прямой связи (FFN) в Трансформере представляют собой 2-слойные многослойные персептроны : где — его функция активации. Оригинальный Трансформер использовал активацию ReLU . $${\displaystyle \mathrm {FFN} (x)=\phi (xW^{(1)}+b^{(1)})W^{(2)}+b^{(2)}}$$ ${\displaystyle \phi }$

Число нейронов в среднем слое называется промежуточным размером (GPT), ^[55] размером фильтра (BERT), ^[35] или размером прямой связи (BERT). ^[35] Обычно он больше размера внедрения. Например, как в серии GPT-2, так и в серии BERT промежуточный размер модели в 4 раза больше ее размера внедрения: . ${\displaystyle d_{\text{ffn}}=4d_{\text{emb}}}$

Масштабированное внимание к скалярному произведению

Внимание, голова

Масштабированное внимание к скалярному произведению, блок-схема.

Точные размеры учитываются в модуле головки внимания.

Механизм внимания, используемый в архитектуре Transformer, представляет собой масштабированные скалярные единицы внимания . Для каждой единицы модель transformer изучает три матрицы весов: веса запросов , веса ключей и веса значений . ${\displaystyle W^{Q}}$ ${\displaystyle W^{K}}$ ${\displaystyle W^{V}}$

Модуль принимает три последовательности: последовательность запроса, последовательность ключа и последовательность значения. Последовательность запроса — это последовательность длины , а каждая запись — это вектор размерности . Аналогично для последовательностей ключа и значения. ${\displaystyle \ell _{\text{seq, query}}}$ ${\displaystyle d_{\text{emb, query}}}$

Для каждого вектора в последовательности запроса он умножается на матрицу для получения вектора запроса . Матрица всех векторов запроса — это матрица запроса: Аналогично мы строим матрицу ключей и матрицу значений . ${\displaystyle x_{i,{\text{query}}}}$ ${\displaystyle W^{Q}}$ ${\displaystyle q_{i}=x_{i,{\text{query}}}W^{Q}}$ $${\displaystyle Q=X_{\text{query}}W^{Q}}$$ ${\displaystyle K=X_{\text{key}}W^{K}}$ ${\displaystyle V=X_{\text{value}}W^{V}}$

Обычно все матрицы являются квадратными, т.е. и т.д. ${\displaystyle W^{Q},W^{K},W^{V}}$ ${\displaystyle d_{\text{emb, query}}=d_{\text{query}}}$

Веса внимания рассчитываются с использованием векторов запроса и ключа: вес внимания от токена к токену является скалярным произведением между и . Веса внимания делятся на квадратный корень размерности векторов ключа, , что стабилизирует градиенты во время обучения, и проходят через softmax , который нормализует веса. Тот факт, что и являются разными матрицами, позволяет вниманию быть несимметричным: если токен уделяет внимание токену (т. е . большой), это не обязательно означает, что токен уделит внимание токену (т. е. может быть маленьким). Выход блока внимания для токена является взвешенной суммой векторов значений всех токенов, взвешенных по , вниманию от токена к каждому токену. ${\displaystyle a_{ij}}$ ${\displaystyle i}$ ${\displaystyle j}$ ${\displaystyle q_{i}}$ ${\displaystyle k_{j}}$ ${\displaystyle {\sqrt {d_{k}}}}$ ${\displaystyle W^{Q}}$ ${\displaystyle W^{K}}$ ${\displaystyle i}$ ${\displaystyle j}$ ${\displaystyle q_{i}\cdot k_{j}}$ ${\displaystyle j}$ ${\displaystyle i}$ ${\displaystyle q_{j}\cdot k_{i}}$ ${\displaystyle i}$ ${\displaystyle a_{ij}}$ ${\displaystyle i}$

Расчет внимания для всех токенов может быть выражен как один большой матричный расчет с использованием функции softmax , что полезно для обучения из-за оптимизаций вычислительных матричных операций, которые быстро вычисляют матричные операции. Матрицы , и определяются как матрицы, где строки th являются векторами , , и соответственно. Тогда мы можем представить внимание как ${\displaystyle Q}$ ${\displaystyle K}$ ${\displaystyle V}$ ${\displaystyle i}$ ${\displaystyle q_{i}}$ ${\displaystyle k_{i}}$ ${\displaystyle v_{i}}$ $${\displaystyle {\begin{aligned}{\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}\right)V\end{aligned}}}$$

где softmax применяется к каждой строке матрицы.

Число измерений в векторе запроса — это размер запроса и аналогично для размера ключа и размера значения . Выходное измерение заголовка внимания — это его размерность головы . Механизм внимания требует соблюдения следующих трех равенств: но в остальном не ограничен. ${\displaystyle d_{\text{query}}}$ ${\displaystyle d_{\text{key}}}$ ${\displaystyle d_{\text{value}}}$ ${\displaystyle d_{\text{head}}}$ $${\displaystyle \ell _{\text{seq, key}}=\ell _{\text{seq, value}},\;d_{\text{query}}=d_{\text{key}},\;d_{\text{value}}=d_{\text{head}}}$$

Если головка внимания используется в режиме собственного внимания, то . Если головка внимания используется в режиме перекрестного внимания, то обычно . Теоретически возможно, чтобы все три были разными, но на практике это случается редко. ${\displaystyle X_{\text{query}}=X_{\text{key}}=X_{\text{value}}}$ ${\displaystyle X_{\text{query}}\neq X_{\text{key}}=X_{\text{value}}}$

Многонаправленное внимание

Многоголовое внимание, блок-схема.

Точные измерения учитываются в многоголовом модуле внимания.

Один набор матриц называется головкой внимания , и каждый слой в модели трансформатора имеет несколько головок внимания. В то время как каждая головка внимания уделяет токенам, которые имеют отношение к каждому токену, несколько головок внимания позволяют модели делать это для разных определений «релевантности». В частности, матрицы проекции запросов и ключей и , которые участвуют в вычислении оценки внимания, определяют «релевантность». Между тем, матрица проекции значений в сочетании с частью матрицы проекции выходных данных определяет, как посещаемые токены влияют на то, какая информация передается последующим слоям и, в конечном счете, выходным логитам. Кроме того, область внимания или диапазон отношений токенов, захваченных каждой головкой внимания, может расширяться по мере прохождения токенов через последовательные слои. Это позволяет модели захватывать более сложные и долгосрочные зависимости в более глубоких слоях. Многие головки внимания трансформатора кодируют отношения релевантности, которые имеют смысл для людей. Например, некоторые головки внимания могут уделять в основном следующему слову, в то время как другие в основном обращаются от глаголов к их прямым объектам. ^[56] Вычисления для каждой головки внимания могут выполняться параллельно , что обеспечивает быструю обработку. Выходные данные для слоя внимания объединяются для передачи в слои нейронной сети прямого распространения . ${\displaystyle \left(W^{Q},W^{K},W^{V}\right)}$ ${\displaystyle W^{Q}}$ ${\displaystyle W^{K}}$ ${\displaystyle W^{V}}$ ${\displaystyle W^{O}}$

Конкретно, пусть несколько головок внимания индексируются с помощью , тогда мы имеем , где матрица является конкатенацией вложений слов, а матрицы являются «матрицами проекций», принадлежащими отдельной головке внимания , и является окончательной матрицей проекций, принадлежащей всей многоголовой головке внимания. ${\displaystyle i}$ $${\displaystyle {\text{MultiheadedAttention}}(Q,K,V)={\text{Concat}}_{i\in [n_{\text{heads}}]}({\text{Attention}}(XW_{i}^{Q},XW_{i}^{K},XW_{i}^{V}))W^{O}}$$ ${\displaystyle X}$ ${\displaystyle W_{i}^{Q},W_{i}^{K},W_{i}^{V}}$ ${\displaystyle i}$ ${\displaystyle W^{O}}$

Теоретически возможно, чтобы каждая голова внимания имела разное измерение головы , но на практике это случается редко. ${\displaystyle d_{\text{head}}}$

Например, в самой маленькой модели GPT-2 есть только механизмы самовнимания. Она имеет следующие размеры: Поскольку , ее выходная проекционная матрица является квадратной матрицей. $${\displaystyle d_{\text{emb}}=768,n_{\text{head}}=12,d_{\text{head}}=64}$$ ${\displaystyle 12\times 64=768}$ ${\displaystyle W^{O}\in \mathbb {R} ^{(12\times 64)\times 768}}$

Скрытое внимание

Может потребоваться вырезать связи внимания между некоторыми парами слов. Например, декодер при декодировании для токена position не должен иметь доступа к токену в position . Это может быть достигнуто до этапа softmax путем добавления матрицы маски , которая находится в записях, где связь внимания должна быть вырезана, и в других местах: Немаскированный модуль внимания можно рассматривать как маскированный модуль внимания, где маска имеет все записи, равные нулю. ${\displaystyle t}$ ${\displaystyle t+1}$ ${\displaystyle M}$ ${\displaystyle -\infty }$ ${\displaystyle 0}$ $${\displaystyle {\begin{aligned}{\text{MaskedAttention}}(Q,K,V)={\text{softmax}}\left(M+{\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}\right)V\end{aligned}}}$$

Например, следующая матрица обычно используется в модулях самовнимания декодера, называемых «причинной маскировкой»: На словах это означает, что каждый токен может обращать внимание на себя и на каждый токен до него, но не на любой после него. В качестве примера необычного использования матрицы маски XLNet рассматривает все маски вида , где — случайная матрица перестановки . ^[57] $${\displaystyle M_{\text{causal}}={\begin{bmatrix}0&-\infty &-\infty &\dots &-\infty \\0&0&-\infty &\dots &-\infty \\0&0&0&\dots &-\infty \\\vdots &\vdots &\vdots &\ddots &\vdots \\0&0&0&\dots &0\end{bmatrix}}}$$ ${\displaystyle PM_{\text{causal}}P^{-1}}$ ${\displaystyle P}$

Кодировщик

Один слой кодировщика.

Кодер состоит из слоя внедрения, за которым следуют несколько слоев кодера.

Каждый слой кодировщика состоит из двух основных компонентов: механизма самовнимания и слоя прямой связи. Он принимает входные данные в виде последовательности входных векторов, применяет механизм самовнимания для создания промежуточной последовательности векторов, затем применяет слой прямой связи для каждого вектора по отдельности. Схематически мы имеем: ${\displaystyle {\begin{aligned}{\text{given input vectors }}&h_{0},h_{1},\dots \\{\text{combine them into a matrix }}H&={\begin{bmatrix}h_{0}\\h_{1}\\\vdots \end{bmatrix}}\\{\text{EncoderLayer}}(H)&={\begin{bmatrix}{\text{FFN}}({\text{MultiheadedAttention}}(H,H,H)_{0})\\{\text{FFN}}({\text{MultiheadedAttention}}(H,H,H)_{1})\\\vdots \end{bmatrix}}\\\end{aligned}}}$

где означает «сеть прямой связи». Мы можем более кратко записать это как с неявным соглашением, что применяется к каждой строке матрицы по отдельности. ${\displaystyle {\text{FFN}}}$ $${\displaystyle {\text{EncoderLayer}}(H)={\text{FFN}}({\text{MultiheadedAttention}}(H,H,H))}$$ ${\displaystyle {\text{FFN}}}$

Слои кодировщика сложены. Первый слой кодировщика берет последовательность входных векторов из слоя внедрения, создавая последовательность векторов. Эта последовательность векторов обрабатывается вторым кодировщиком и так далее. Выходные данные из последнего слоя кодировщика затем используются декодером.

Поскольку кодер обрабатывает все входные данные одновременно, каждый токен может уделять внимание каждому другому токену (всеобщее внимание), поэтому нет необходимости в причинной маскировке.

Декодер

Один слой декодера.

Декодер состоит из слоя внедрения, за которым следуют несколько слоев декодера, а затем слой извлечения.

Каждый декодер состоит из трех основных компонентов: механизма каузально замаскированного собственного внимания, механизма перекрестного внимания и нейронной сети прямой связи. Декодер функционирует аналогично кодеру, но в него вставлен дополнительный механизм внимания, который вместо этого извлекает соответствующую информацию из кодировок, сгенерированных кодерами. Этот механизм также можно назвать вниманием кодера-декодера . ^{[1] [54]}

Как и первый кодер, первый декодер принимает позиционную информацию и вложения выходной последовательности в качестве входных данных, а не кодировки. Трансформатор не должен использовать текущий или будущий выход для прогнозирования выхода, поэтому выходная последовательность должна быть частично замаскирована, чтобы предотвратить этот обратный поток информации. ^[1] Это позволяет генерировать авторегрессивный текст. Для декодирования всеобщее внимание не подходит, потому что токен не может уделять внимание еще не сгенерированным токенам. Таким образом, модуль собственного внимания в декодере каузально замаскирован.

Напротив, механизм перекрестного внимания обращается на выходные векторы кодера, которые вычисляются до того, как декодер начинает декодирование. Следовательно, в механизме перекрестного внимания нет необходимости в маскировке.

Схематически имеем: где — матрица, строки которой являются выходными векторами кодера. $${\displaystyle {\begin{aligned}H'&={\text{MaskedMultiheadedAttention}}(H,H,H)\\{\text{DecoderLayer}}(H)&={\text{FFN}}({\text{MultiheadedAttention}}(H',H^{E},H^{E}))\end{aligned}}}$$ ${\displaystyle H^{E}}$

За последним декодером следует последний слой дезинтеграции. для получения выходных вероятностей по словарю. Затем один из токенов выбирается в соответствии с вероятностью, и декодер может быть запущен снова для получения следующего токена и т. д., авторегрессивно генерируя выходной текст.

Полная архитектура трансформатора

Подслои

(a) Один слой кодировщика и один слой декодера. (b) Два слоя кодировщика и два слоя декодера. Подслои также помечены.

Каждый слой кодировщика содержит 2 подуровня: собственное внимание и сеть прямой связи. Каждый слой декодера содержит 3 подуровня: причинно-замаскированное собственное внимание, перекрестное внимание и сеть прямой связи.

Трансформаторный энкодер с нормой-первым и нормой-последним.

Декодер-трансформатор с нормой-первым и нормой-последним.

Блок-схема полной архитектуры Transformer.

Схематическая иерархия объектов для полной архитектуры Transformer в стиле объектно-ориентированного программирования .

Последние детали — это остаточные соединения и нормализация слоев (LayerNorm или LN), которые, хотя и не являются концептуально необходимыми, необходимы для численной устойчивости и сходимости. Подобно тому, как модули прямой связи применяются индивидуально к каждому вектору, LayerNorm также применяется индивидуально к каждому вектору.

Используются два общих соглашения: соглашение после LN и соглашение до LN . В соглашении после LN выход каждого подслоя — это , где — функция, реализованная самим подслоем. $${\displaystyle \mathrm {LayerNorm} (x+\mathrm {Sublayer} (x))}$$ ${\displaystyle \mathrm {Sublayer} (x)}$

В конвенции до LN выход каждого подслоя равен Оригинальный Transformer 2017 года использовал конвенцию после LN. Его было трудно обучать, и он требовал тщательной настройки гиперпараметров и «разминки» скорости обучения, когда она начиналась с малого и постепенно увеличивалась. Конвенция до LN, предложенная несколько раз в 2018 году, ^[58] оказалась более простой в обучении, не требующей разминки, что приводило к более быстрой сходимости. ^[46] $${\displaystyle x+\mathrm {Sublayer} (\mathrm {LayerNorm} (x))}$$

Псевдокод

Ниже приведен псевдокод для стандартного пре-LN кодера-декодера Transformer, адаптированный из ^[59]

вход: Вход кодера t_e Вход декодера t_dвыход: Массив распределений вероятностей с формой (размер словаря декодера x длина (выходная последовательность декодера))/* кодировщик */z_e ← кодировщик.токенизатор(t_e)для  каждого t в 1:length(z_e) сделать z_e[t] ← кодер.встраивание(z_e[t]) + кодер.позиционное_встраивание(t)для  каждого l в 1:length(encoder.layers) сделать слой ← кодировщик.слои[l] /* первый подуровень */ z_e_copy ← копировать(z_e) для каждого t в 1:length(z_e) сделать z_e[t] ← слой.норма_слоя(z_e[t]) z_e ← Layer.multiheaded_attention(z_e, z_e, z_e) для каждого t в 1:length(z_e) сделать z_e[t] ← z_e[t] + z_e_copy[t] /* второй подуровень */ z_e_copy ← копировать(z_e) для каждого t в 1:length(z_e) сделать z_e[t] ← слой.норма_слоя(z_e[t]) z_e ← слой.прямая связь(z_e) для каждого t в 1:length(z_e) сделать z_e[t] ← z_e[t] + z_e_copy[t]для каждого t в 1:length(z_e) сделать z_e[t] ← кодер.final_layer_norm(z_e[t])/* декодер */z_d ← декодер.токенизатор(t_d)для  каждого t в 1:length(z_d) сделать z_d[t] ← декодер.внедрение(z_d[t]) + декодер.позиционное_внедрение(t)для  каждого l в 1:length(decoder.layers) сделать слой ← декодер.слои[l] /* первый подуровень */ z_d_copy ← копировать(z_d) для каждого t в 1:length(z_d) сделать z_d[t] ← слой.норма_слоя(z_d[t]) z_d ← слой.маскированное_многоголовое_внимание(z_d, z_d, z_d) для каждого t в 1:length(z_d) сделать z_d[t] ← z_d[t] + z_d_copy[t] /* второй подуровень */ z_d_copy ← копировать(z_d) для каждого t в 1:length(z_d) сделать z_d[t] ← слой.норма_слоя(z_d[t]) z_d ← слой.многоголовое_внимание(z_d, z_e, z_e) для каждого i в 1:length(z_d) сделать z_d[t] ← z_d[t] + z_d_copy[t] /* третий подуровень */ z_d_copy ← копировать(z_d) для каждого t в 1:length(z_d) сделать z_d[t] ← слой.норма_слоя(z_d[t]) z_d ← слой.прямая связь(z_d) для каждого t в 1:length(z_d) сделать z_d[t] ← z_d[t] + z_d_copy[t]z_d ← декодер.final_layer_norm(z_d)output_distributions ← []для каждого t в 1:length(z_d) сделать output_distributions.append(декодер.unembed(z_d[t]))возврат выходных_распределений

Терминология

Архитектура Transformer, будучи модульной, допускает вариации. Несколько распространенных вариаций описаны здесь. ^[60]

Трансформатор «только для кодировщика» применяет кодировщик для отображения входного текста в последовательность векторов, которые представляют входной текст. Обычно это используется для встраивания текста и обучения представлению для последующих приложений. BERT — только для кодировщика. В настоящее время они используются реже, поскольку было обнаружено, что они не намного лучше, чем обучение кодировщика-декодировщика Трансформера, а затем только кодировщика. ^[51]

Трансформер «только декодер» не является буквально только декодером, поскольку без кодера механизму перекрестного внимания не за чем следить. Таким образом, слои декодера в Трансформере только декодера состоят всего из двух подслоев: причинно-замаскированного собственного внимания и сети прямой связи. Обычно это используется для генерации текста и следования инструкциям . Модели в сериях GPT и Chinchilla являются только декодерами.

Трансформатор «кодер-декодер» в целом такой же, как и оригинальный Трансформатор, с 2 подуровнями на слой кодера и 3 подуровнями на слой декодера и т. д. Они могут иметь незначительные архитектурные улучшения, такие как альтернативные функции активации, изменение местоположения нормализации и т. д. Это также обычно используется для генерации текста и выполнения инструкций . Модели серии T5 являются кодер-декодерами. ^[60]

«PrefixLM» (модель языка префиксов) — это архитектура только для декодера, но с маскировкой префиксов, которая отличается от каузальной маскировки. В частности, она имеет маску вида ^{[60] : Рисунок 3} , где первые столбцы соответствуют «префиксу», а последующие столбцы соответствуют авторегрессионно сгенерированному тексту на основе префикса. Они напоминают модели кодировщика-декодера, но имеют меньшую «разреженность». Такие модели используются редко, хотя они упоминаются как теоретические возможности и сравнительные тесты. ^[51] $${\displaystyle M_{\text{prefixLM}}={\begin{bmatrix}\mathbf {0} &-\infty \\\mathbf {0} &M_{\text{causal}}\end{bmatrix}}}$$

Существуют также смешанные модели seq2seq. Например, в 2020 году Google Translate заменил предыдущую модель RNN-encoder–RNN-decoder на модель Transformer-encoder–RNN-decoder, аргументируя это тем, что RNN-decoder работает намного быстрее, чем Transformer-decoder, когда работает авторегрессивно. ^[61]

Последующие работы

Альтернативные функции активации

Оригинальный трансформатор использует функцию активации ReLU . Были разработаны другие функции активации. Серия Llama использовала SwiGLU; ^[62] как GPT-1, так и BERT ^[35] использовали GELU. ^[63]

Альтернативные функции активации часто используются в сочетании с линейными блоками управления в модуле прямой связи. ^[64]

Альтернативные нормализации

Нормализация, используемая в Transformer, может отличаться от LayerNorm. Одним из примеров является RMSNorm ^[65] , который используется в серии Llama . Другие примеры включают ScaleNorm, ^[66] или FixNorm. ^[66]

Альтернативные позиционные кодировки

Трансформаторы могут использовать другие методы позиционного кодирования, нежели синусоидальные. ^[67]

В оригинальной статье Transformer сообщалось об использовании обученного позиционного кодирования ^[68], но при этом было обнаружено, что оно не превосходит синусоидальное. ^[1] Позже ^[69] было обнаружено, что причинная маскировка сама по себе обеспечивает достаточно сигнала для декодера Transformer, чтобы он мог научиться неявно выполнять абсолютное позиционное кодирование без модуля позиционного кодирования.

Веревка

RoPE (вращательное позиционное вложение), ^[70] лучше всего объяснить, рассмотрев список 2-мерных векторов . Теперь выберите некоторый угол . Тогда кодирование RoPE будет Эквивалентно, если мы запишем 2-мерные векторы как комплексные числа , то кодирование RoPE будет просто умножением на угол: Для списка -мерных векторов кодер RoPE определяется последовательностью углов . Затем кодирование RoPE применяется к каждой паре координат. ${\displaystyle [(x_{1}^{(1)},x_{1}^{(2)}),(x_{2}^{(1)},x_{2}^{(2)}),(x_{3}^{(1)},x_{3}^{(2)}),...]}$ ${\displaystyle \theta }$ $${\displaystyle {\text{RoPE}}{\big (}x_{m}^{(1)},x_{m}^{(2)},m{\big )}={\begin{pmatrix}\cos m\theta &-\sin m\theta \\\sin m\theta &\cos m\theta \end{pmatrix}}{\begin{pmatrix}x_{m}^{(1)}\\x_{m}^{(2)}\\\end{pmatrix}}={\begin{pmatrix}x_{m}^{(1)}\cos m\theta -x_{m}^{(2)}\sin m\theta \\x_{m}^{(2)}\cos m\theta +x_{m}^{(1)}\sin m\theta \\\end{pmatrix}}}$$ ${\displaystyle z_{m}:=x_{m}^{(1)}+ix_{m}^{(2)}}$ $${\displaystyle {\text{RoPE}}{\big (}z_{m},m{\big )}=e^{im\theta }z_{m}}$$ ${\displaystyle 2n}$ ${\displaystyle \theta ^{(1)},...,\theta ^{(n)}}$

Преимущество RoPE заключается в том, что скалярное произведение двух векторов зависит только от их относительного расположения: для любого целого числа . $${\displaystyle {\text{RoPE}}{\big (}x,m{\big )}^{T}{\text{RoPE}}{\big (}y,n{\big )}={\text{RoPE}}{\big (}x,m+k{\big )}^{T}{\text{RoPE}}{\big (}y,n+k{\big )}}$$ ${\displaystyle k}$

Алиби

ALiBi (внимание с линейными смещениями) ^[71] не является заменой позиционного энкодера на исходном трансформаторе. Вместо этого это дополнительный позиционный энкодер, который напрямую подключается к механизму внимания. В частности, механизм внимания ALiBi здесь — это действительное число («скаляр»), и — это матрица линейного смещения, определяемая другими словами, . Идея заключается в том, что матрица линейного смещения — это смягченная маска. Так же, как представляет собой полное внимание, а представляет собой отсутствие внимания, матрица линейного смещения увеличивает внимание, уделяемое в одном направлении, и уменьшает внимание, уделяемое в другом направлении. $${\displaystyle {\begin{aligned}{\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}+sB\right)V\end{aligned}}}$$ ${\displaystyle s}$ ${\displaystyle B}$ $${\displaystyle B={\begin{pmatrix}0&1&2&3&\cdots \\-1&0&1&2&\cdots \\-2&-1&0&1&\cdots \\-3&-2&-1&0&\cdots \\\vdots &\vdots &\vdots &\vdots &\ddots \\\end{pmatrix}}}$$ ${\displaystyle B_{i,j}=j-i}$ ${\displaystyle 0}$ ${\displaystyle -\infty }$

ALiBi позволяет проводить предварительную подготовку на коротких контекстных окнах, а затем тонкую настройку на более длинных контекстных окнах. Поскольку он напрямую подключен к механизму внимания, его можно комбинировать с любым позиционным кодером, который подключен к «низу» всей сети (где находятся синусоидальный кодер на исходном трансформаторе, а также RoPE и многие другие).

Кодировки относительного положения

Кодировки относительного положения ^[72] похожи на ALiBi, но более общие: где — матрица Теплица , то есть, всякий раз , когда . Это контрастирует с исходным синусоидальным позиционным кодированием, которое является «абсолютным позиционным кодированием». ^[73] $${\displaystyle {\begin{aligned}{\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}+B\right)V\end{aligned}}}$$ ${\displaystyle B}$ ${\displaystyle B_{i,j}=B_{i',j'}}$ ${\displaystyle i-j=i'-j'}$

Эффективная реализация

Модель трансформера была реализована в стандартных фреймворках глубокого обучения, таких как TensorFlow и PyTorch . Transformers — это библиотека, созданная Hugging Face , которая предоставляет архитектуры на основе трансформера и предварительно обученные модели. ^[11]

FlashAttention

FlashAttention ^[74] — это алгоритм, который эффективно реализует механизм внимания преобразователя на GPU. Он выполняет умножение матриц в блоках , так что каждый блок помещается в кэш GPU, и путем тщательного управления блоками он минимизирует копирование данных между кэшами GPU (поскольку перемещение данных происходит медленно).

Улучшенная версия FlashAttention-2, ^{[75] [76] [77]} была разработана для удовлетворения растущего спроса на языковые модели, способные обрабатывать более длинные контексты. Она предлагает улучшения в разбиении работы и параллелизме, позволяя ей достигать до 230 TFLOPs/s на графических процессорах A100 ( FP16 / BF16 ), что в 2 раза больше скорости по сравнению с исходным FlashAttention.

Ключевые усовершенствования FlashAttention-2 включают сокращение нематмулирующих FLOP, улучшенный параллелизм по размеру длины последовательности, лучшее разделение работы между варпами GPU и добавленную поддержку размеров заголовка до 256 и внимания с несколькими запросами (MQA) и внимания с групповыми запросами (GQA). ^[78]

Тесты показали, что FlashAttention-2 до 2 раз быстрее FlashAttention и до 9 раз быстрее стандартной реализации внимания в PyTorch. Будущие разработки включают оптимизацию для нового оборудования, например, графических процессоров H100 , и новых типов данных, например, FP8.

Внимание к многозапросным запросам

Внимание с несколькими запросами изменяет механизм многонаправленного внимания. ^[79] В то время как обычно,

$${\displaystyle {\text{MultiheadedAttention}}(Q,K,V)={\text{Concat}}_{i\in [n_{\text{heads}}]}\left({\text{Attention}}(XW_{i}^{Q},XW_{i}^{K},XW_{i}^{V})\right)W^{O}}$$при использовании Multi-Query Attention есть только один , таким образом: ${\displaystyle W^{K},W^{V}}$

$${\displaystyle {\text{MultiQueryAttention}}(Q,K,V)={\text{Concat}}_{i\in [n_{\text{heads}}]}\left({\text{Attention}}(XW_{i}^{Q},XW^{K},XW^{V})\right)W^{O}}$$

Это не оказывает никакого влияния на качество модели и скорость обучения, но увеличивает скорость вывода.

В более общем смысле, внимание с групповыми запросами (GQA) разделяет внимание на группы, каждая из которых разделяет пару ключ-значение. MQA — это GQA с одной группой, тогда как стандартное внимание с несколькими заголовками — это GQA с максимальным количеством групп. ^[80]

Кэширование

Когда авторегрессионный трансформатор используется для вывода, например, для генерации текста, вектор запроса отличается на каждом шаге, но уже вычисленные векторы ключей и значений всегда одинаковы. Метод кэширования KV сохраняет вычисленные векторы ключей и значений в каждом блоке внимания, так что они не пересчитываются на каждом новом токене. PagedAttention применяет страничное разбиение памяти к кэшированию KV. ^{[81] [82] [83]}

Если трансформатор используется с встроенным запросом, например ["Вы агент службы поддержки клиентов..."], то векторы ключей и значений могут быть вычислены для запроса и сохранены на диске. Экономия вычислений значительна, когда модель используется для множества коротких взаимодействий, например, в онлайн-чатботах.

Спекулятивное декодирование

Трансформаторы используются в больших языковых моделях для генерации авторегрессионной последовательности: генерации потока текста, по одному токену за раз. Однако в большинстве настроек декодирование из языковых моделей ограничено памятью, что означает, что у нас есть свободная вычислительная мощность. Спекулятивное декодирование ^{[84] [85]} использует эту свободную вычислительную мощность, вычисляя несколько токенов параллельно. Подобно спекулятивному выполнению в ЦП, будущие токены вычисляются одновременно, путем спекуляции на значении предыдущих токенов, и позже отбрасываются, если оказывается, что спекуляция была неверной.

В частности, рассмотрим модель преобразователя, такую ​​как GPT-3 с размером контекстного окна 512. Чтобы сгенерировать целое контекстное окно авторегрессивно с жадным декодированием, его нужно запустить 512 раз, каждый раз генерируя токен . Однако, если бы у нас были некоторые обоснованные предположения относительно значений этих токенов, мы могли бы проверить их все параллельно, за один запуск модели, проверив, что каждый из них действительно является токеном с наибольшим логарифмическим правдоподобием в -ом выходе. ${\displaystyle x_{1},x_{2},...,x_{512}}$ ${\displaystyle x_{t}}$ ${\displaystyle t}$

В спекулятивном декодировании меньшая модель или некоторая другая простая эвристика используется для генерации нескольких спекулятивных токенов, которые впоследствии проверяются большей моделью. Например, предположим, что маленькая модель сгенерировала четыре спекулятивных токена: . Эти токены прогоняются через большую модель, и только и принимаются. Тот же прогон большой модели уже сгенерировал новый токен для замены , и полностью отбрасывается. Затем процесс повторяется (начиная с 4-го токена), пока не будут сгенерированы все токены. ${\displaystyle {\tilde {x}}_{1},{\tilde {x}}_{2},{\tilde {x}}_{3},{\tilde {x}}_{4}}$ ${\displaystyle {\tilde {x}}_{1}}$ ${\displaystyle {\tilde {x}}_{2}}$ ${\displaystyle x_{3}}$ ${\displaystyle {\tilde {x}}_{3}}$ ${\displaystyle {\tilde {x}}_{4}}$

Для нежадного декодирования применяются похожие идеи, за исключением того, что спекулятивные токены принимаются или отклоняются стохастически, таким образом, что гарантируется, что окончательное распределение выходных данных будет таким же, как если бы спекулятивное декодирование не использовалось. ^{[84] [86]}

Субквадратичные трансформаторы

Обучение архитектур на основе трансформаторов может быть дорогим, особенно для длинных входов. ^[87] Было разработано много методов для решения этой проблемы. Long Range Arena (2020) ^[88] — это стандартный эталон для сравнения поведения архитектур трансформаторов при длинных входах.

Альтернативные графики внимания

Стандартный график внимания — это либо график «все ко всем», либо график причинно-следственной связи, оба из которых масштабируются следующим образом: где — количество токенов в последовательности. ${\displaystyle O(N^{2})}$ ${\displaystyle N}$

Reformer (2020) ^{[87] [89]} снижает вычислительную нагрузку с до с помощью локально чувствительного хеширования и обратимых слоев. ^[90] ${\displaystyle O(N^{2})}$ ${\displaystyle O(N\ln N)}$

Разреженное внимание ^[91] использует графы внимания, которые растут медленнее, чем . Например, BigBird (2020) ^[92] использует случайные сети малого мира , которые растут как . ${\displaystyle O(N^{2})}$ ${\displaystyle O(N)}$

Обычные трансформаторы требуют размер памяти, квадратичный по размеру контекстного окна. Трансформаторы без внимания ^[93] сводят это к линейной зависимости, сохраняя при этом преимущества трансформатора, связывая ключ со значением.

Случайная особенность Внимание

Random Feature Attention (2021) ^[94] использует случайные признаки Фурье : где — независимые выборки из нормального распределения . Этот выбор параметров удовлетворяет , или Следовательно, однонаправленное внимание с одним запросом можно записать как , где . Аналогично для нескольких запросов и для многонаправленного внимания. $${\displaystyle \varphi (x)={\frac {1}{\sqrt {D}}}[\cos \langle w_{1},x\rangle ,\sin \langle w_{1},x\rangle ,\cdots \cos \langle w_{D},x\rangle ,\sin \langle w_{D},x\rangle ]^{T}}$$ ${\displaystyle w_{1},...,w_{D}}$ ${\displaystyle N(0,\sigma ^{2}I)}$ ${\displaystyle \mathbb {E} [\langle \varphi (x),\varphi (y)\rangle ]=e^{-{\frac {\|x-y\|^{2}}{2\sigma ^{2}}}}}$ $${\displaystyle e^{\langle x,y\rangle /\sigma ^{2}}=\mathbb {E} [\langle e^{\|x\|^{2}/2\sigma ^{2}}\varphi (x),e^{\|y\|^{2}/2\sigma ^{2}}\varphi (y)\rangle ]\approx \langle e^{\|x\|^{2}/2\sigma ^{2}}\varphi (x),e^{\|y\|^{2}/2\sigma ^{2}}\varphi (y)\rangle }$$ $${\displaystyle {\text{Attention}}(q,K,V)={\text{softmax}}\left({\frac {qK^{\mathrm {T} }}{\sqrt {d_{k}}}}\right)V\approx {\frac {\varphi (q)^{T}\sum _{i}e^{\|k_{i}\|^{2}/2\sigma ^{2}}\varphi (k_{i})v_{i}^{T}}{\varphi (q)^{T}\sum _{i}e^{\|k_{i}\|^{2}/2\sigma ^{2}}\varphi (k_{i})}}}$$ ${\displaystyle \sigma =d_{K}^{1/4}}$

Это приближение может быть вычислено за линейное время, поскольку мы можем сначала вычислить матрицу , а затем умножить ее на запрос. По сути, нам удалось получить более точную версию Performer (2022) ^[95] , которая использует то же внимание к случайным признакам, но сначала независимо выбирается из нормального распределения , а затем обрабатывается по методу Грама-Шмидта . ${\displaystyle \varphi (k_{i})v_{i}^{T}}$ $${\displaystyle {\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}\right)V\approx Q(K^{T}V/{\sqrt {d_{k}}})}$$ ${\displaystyle w_{1},...,w_{D}}$ ${\displaystyle N(0,\sigma ^{2}I)}$

Мультимодальность

Трансформаторы также могут использоваться/адаптироваться для модальностей (ввода или вывода), выходящих за рамки простого текста, обычно путем нахождения способа «токенизации» модальности.

Мультимодальные модели можно обучать с нуля или с помощью тонкой настройки. Исследование 2022 года показало, что Transformers, предварительно обученные только на естественном языке, могут быть тонко настроены только на 0,03% параметров и стать конкурентоспособными с LSTM в различных логических и визуальных задачах, демонстрируя трансферное обучение . ^[96] LLaVA была моделью зрительно-языковой связи, состоящей из языковой модели (Vicuna-13B) ^[97] и зрительной модели ( ViT -L/14), соединенных линейным слоем. Тонкой настройке подвергается только линейный слой. ^[98]

Трансформаторы зрения ^[41] адаптируют трансформатор к компьютерному зрению, разбивая входные изображения на ряд фрагментов, превращая их в векторы и обрабатывая их как токены в стандартном трансформаторе.

Conformer ^[42] и более поздний Whisper ^[99] следуют той же схеме распознавания речи , сначала превращая речевой сигнал в спектрограмму , которая затем обрабатывается как изображение, т. е. разбивается на ряд фрагментов, преобразуется в векторы и обрабатывается как токены в стандартном трансформаторе.

Восприниматели ^{[100] [101]} — это разновидность Трансформеров, предназначенная для мультимодальности.

Для генерации изображений примечательными архитектурами являются DALL-E 1 (2021), Parti (2022), ^[102] Phenaki (2023), ^[103] и Muse (2023). ^[104] В отличие от более поздних моделей, DALL-E не является диффузионной моделью. Вместо этого она использует Transformer, работающий только с декодером, который авторегрессивно генерирует текст, за которым следует представление токена изображения, которое затем преобразуется вариационным автокодировщиком в изображение. ^[105] Parti — это Transformer, работающий только с кодером-декодером, где кодировщик обрабатывает текстовую подсказку, а декодер генерирует представление токена изображения. ^[106] Muse — это Transformer, работающий только с кодировщиком, который обучен предсказывать токены замаскированных изображений из токенов незамаскированных изображений. Во время генерации все входные токены маскируются, и предсказания с наивысшей степенью достоверности включаются в следующую итерацию, пока все токены не будут предсказаны. ^[104] Phenaki — это модель преобразования текста в видео. Это двунаправленный маскированный преобразователь, обусловленный предварительно вычисленными текстовыми токенами. Затем сгенерированные токены декодируются в видео. ^[103]

Приложения

Трансформер имел большой успех в обработке естественного языка (NLP). Многие крупные языковые модели, такие как GPT-2 , GPT-3 , GPT-4 , AlbertAGPT, Claude , BERT , XLNet , RoBERTa и ChatGPT, демонстрируют способность трансформаторов выполнять широкий спектр подзадач, связанных с NLP, и их соответствующие реальные или практические приложения, включая:

• машинный перевод
• прогнозирование временных рядов
• резюмирование документа
• генерация документа
• распознавание именованных сущностей (NER) ^[107]
• написание компьютерного кода на основе требований, выраженных на естественном языке.
• речь-в-текст

Помимо традиционного NLP, архитектура трансформатора успешно применяется и в других приложениях, таких как:

• анализ биологической последовательности
• понимание видео
• сворачивание белков (например, AlphaFold )
• оценка позиций на шахматной доске. Используя только статическую оценку (то есть без поиска Minimax ), transformer достиг Эло 2895, что ставит его на уровень гроссмейстера . ^[10]

Смотрите также

• seq2seq  – Семейство подходов машинного обучения
• Восприниматель  – вариант Трансформера, предназначенный для мультимодальных данных.
• Трансформатор зрения  – вариант Трансформера, предназначенный для обработки зрительных образов.
• Большая языковая модель  – Тип искусственной нейронной сети
• BERT (языковая модель)  – Серия языковых моделей, разработанных Google AI
• Генеративный предобученный трансформатор  – Тип большой языковой модели
• T5 (языковая модель)  – Серия больших языковых моделей, разработанных Google AI

Примечания

1. Рекуррентные блоки с гейтами (2014) еще больше снизили сложность.
2. Некоторые архитектуры, такие как RWKV или модели пространства состояний, позволяют избежать этой проблемы.

Ссылки

1. Васвани, Ашиш ; Шазир, Ноам; Пармар, Ники; Ушкорейт, Якоб; Джонс, Лион; Гомес, Эйдан Н ; Кайзер, Лукаш; Полосухин, Илья (2017). «Внимание — это все, что вам нужно» (PDF) . Достижения в области нейронных систем обработки информации . 30 . Карран Ассошиэйтс, Инк.
2. Хохрейтер, Зепп ; Шмидхубер, Юрген (1 ноября 1997 г.). «Долгая кратковременная память». Нейронные вычисления . 9 (8): 1735–1780. дои : 10.1162/neco.1997.9.8.1735. ISSN  0899-7667. PMID  9377276. S2CID  1915014.
3. "Лучшие языковые модели и их последствия". OpenAI . 2019-02-14. Архивировано из оригинала 2020-12-19 . Получено 2019-08-25 .
4. Bahdanau; Cho, Kyunghyun; Bengio, Yoshua (1 сентября 2014 г.). «Нейронный машинный перевод путем совместного обучения выравниванию и переводу». arXiv : 1409.0473 [cs.CL].
5. Луонг, Минь-Тханг; Фам, Хьеу; Мэннинг, Кристофер Д. (17 августа 2015 г.). «Эффективные подходы к нейронному машинному переводу на основе внимания». arXiv : 1508.04025 [cs.CL].
6. Чен, Лили; Лу, Кевин; Раджесваран, Аравинд; Ли, Кимин; Гровер, Адитья; Ласкин, Майкл; Аббель, Питер; Шринивас, Аравинд; Мордач, Игорь (2021-06-24), Трансформатор решений: обучение с подкреплением с помощью моделирования последовательностей , arXiv : 2106.01345
7. Парисотто, Эмилио; Сонг, Фрэнсис; Рэй, Джек; Паскану, Разван; Гульчехре, Чаглар; Джаякумар, Сиддхант; Ядерберг, Макс; Кауфман, Рафаэль Лопес; Кларк, Эйдан; Нури, Себ; Ботвиник, Мэтью; Хесс, Николас; Хадселл, Райя (21.11.2020). «Стабилизирующие трансформаторы для обучения с подкреплением». Труды 37-й Международной конференции по машинному обучению . PMLR: 7487–7498.
8. Рэдфорд, Алек; Чон Ук Ким; Сюй, Тао; Брокман, Грег; Макливи, Кристин; Суцкевер, Илья (2022). «Надежное распознавание речи с помощью слабого контроля в больших масштабах». arXiv : 2212.04356 [eess.AS].
9. Монастырский, Максим; Азулай, Ошер; Синтов, Авишай (февраль 2023 г.). «Учимся бросать с помощью нескольких образцов, используя преобразователи решений». IEEE Robotics and Automation Letters . 8 (2): 576–583. doi :10.1109/LRA.2022.3229266. ISSN  2377-3766.
10. Руосс, Аниан; Делетанг, Грегуар; Медапати, Сурабх; Грау-Мойя, Хорди; Вэньлян, Ли; Кэтт, Эллиот; Рид, Джон; Дженевейн, Тим (2024-02-07). «Шахматы уровня гроссмейстера без поиска». arXiv : 2402.04494v1 [cs.LG].
11. Wolf, Thomas; Debut, Lysandre; Sanh, Victor; Chaumond, Julien; Delangue, Clement; Moi, Anthony; Cistac, Pierric; Rault, Tim; Louf, Remi; Funtowicz, Morgan; Davison, Joe; Shleifer, Sam; von Platen, Patrick; Ma, Clara; Jernite, Yacine; Plu, Julien; Xu, Canwen; Le Scao, Teven; Gugger, Sylvain; Drame, Mariama; Lhoest, Quentin; Rush, Alexander (2020). «Трансформеры: современные методы обработки естественного языка». Труды конференции 2020 года по эмпирическим методам обработки естественного языка: системные демонстрации . стр. 38–45. doi :10.18653/v1/2020.emnlp-demos.6. S2CID  208117506.
12. "Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing". Блог Google AI . 2 ноября 2018 г. Архивировано из оригинала 2021-01-13 . Получено 2019-08-25 .
13. Фельдман, JA; Баллард, DH (1982-07-01). «Модели коннекционизма и их свойства». Cognitive Science . 6 (3): 205–254. doi :10.1016/S0364-0213(82)80001-3. ISSN  0364-0213.
14. Rumelhart, David E.; McClelland, James L.; Hinton, Geoffrey E. (1987-07-29). Параллельная распределенная обработка, том 1: Исследования микроструктуры познания: основы, глава 2 (PDF) . Кембридж, Массачусетс: Bradford Books. ISBN 978-0-262-68053-0.
15. Джайлс, К. Ли; Максвелл, Том (1987-12-01). «Обучение, инвариантность и обобщение в нейронных сетях высокого порядка». Прикладная оптика . 26 (23): 4972–4978. doi :10.1364/AO.26.004972. ISSN  0003-6935. PMID  20523475.
16. Schmidhuber, Jürgen (1992). «Обучение управлению быстрой памятью с весом: альтернатива рекуррентным сетям» (PDF) . Neural Computation . 4 (1): 131–139. doi :10.1162/neco.1992.4.1.131. S2CID  16683347.
17. Кристоф фон дер Мальсбург: Теория корреляции функций мозга. Внутренний отчет 81-2, MPI Biophysical Chemistry, 1981. http://cogprints.org/1380/1/vdM_correlation.pdf См. перепечатку в Models of Neural Networks II, глава 2, страницы 95-119. Springer, Берлин, 1994.
18. Джером А. Фельдман, «Динамические связи в нейронных сетях», Биологическая кибернетика, т. 46, № 1, стр. 27-39, декабрь 1982 г.
19. Хинтон, Джеффри Э.; Плаут, Дэвид К. (1987). «Использование быстрых весов для устранения размытости старых воспоминаний». Труды ежегодного собрания Общества когнитивной науки . 9 .
20. Катаропулос, Ангелос; Вьяс, Апурв; Паппас, Николаос; Флёре, Франсуа (2020). «Трансформаторы — это RNN: быстрые авторегрессионные трансформаторы с линейным вниманием». ICML 2020. PMLR. стр. 5156–5165.
21. Шлаг, Иманол; Ириэ, Кадзуки; Шмидхубер, Юрген (2021). «Линейные трансформаторы — тайно быстрые программисты веса». ICML 2021 . Спрингер. стр. 9355–9366.
22. Cho, Kyunghyun; van Merriënboer, Bart; Gulcehre, Caglar; Bahdanau, Dzmitry; Bougares, Fethi; Schwenk, Holger; Bengio, Yoshua (октябрь 2014 г.). «Изучение представлений фраз с использованием RNN-кодера–декодера для статистического машинного перевода». В Moschitti, Alessandro; Pang, Bo; Daelemans, Walter (ред.). Труды конференции 2014 года по эмпирическим методам обработки естественного языка (EMNLP) . Доха, Катар: Ассоциация компьютерной лингвистики. стр. 1724–1734. arXiv : 1406.1078 . doi :10.3115/v1/D14-1179.
23. Sutskever, Ilya; Vinyals, Oriol; Le, Quoc Viet (14 декабря 2014 г.). «Последовательность в последовательность обучения с помощью нейронных сетей». arXiv : 1409.3215 [cs.CL].[первая версия опубликована в arXiv 10 сентября 2014 г.]
24. Чунг, Джуньён; Гульчехре, Чаглар; Чо, Кёнхён; Бенджио, Йошуа (2014). «Эмпирическая оценка рекуррентных нейронных сетей с управляемым входом при моделировании последовательностей». arXiv : 1412.3555 [cs.NE].
25. Грубер, Н.; Йокиш, А. (2020), «Являются ли клетки GRU более специфичными, а клетки LSTM более чувствительными в классификации мотивов текста?», Frontiers in Artificial Intelligence , 3 : 40, doi : 10.3389/frai.2020.00040 , PMC 7861254 , PMID  33733157, S2CID  220252321 
26. Sutskever, Ilya; Vinyals, Oriol; Le, Quoc V (2014). "Последовательное обучение с помощью нейронных сетей". Достижения в области нейронных систем обработки информации . 27. Curran Associates, Inc. arXiv : 1409.3215 .
27. Луонг, Минь-Тханг; Фам, Хьеу; Мэннинг, Кристофер Д. (2015). «Эффективные подходы к нейронному машинному переводу на основе внимания». arXiv : 1508.04025 [cs.CL].
28. Ву, Йонгхуэй и др. (01.09.2016). «Нейронная система машинного перевода Google: преодоление разрыва между человеческим и машинным переводом». arXiv : 1609.08144 [cs.CL].
29. Льюис-Краус, Гидеон (14.12.2016). «Великое пробуждение ИИ». The New York Times . ISSN  0362-4331. Архивировано из оригинала 24 мая 2023 года . Получено 22.06.2023 .
30. Парих, Анкур П.; Тэкстрём, Оскар; Дас, Дипанджан; Ушкорейт, Якоб (2016-09-25). «Разложимая модель внимания для вывода на естественном языке». arXiv : 1606.01933 [cs.CL].
31. Леви, Стивен. «8 сотрудников Google изобрели современный ИИ. Вот внутренняя история». Wired . ISSN  1059-1028. Архивировано из оригинала 20 марта 2024 г. Получено 06.08.2024 .
32. Чэн, Цзяньпэн; Донг, Ли; Лапата, Мирелла (ноябрь 2016 г.). «Сети длительной краткосрочной памяти для машинного чтения». В Su, Jian; Duh, Kevin; Carreras, Xavier (ред.). Труды конференции 2016 года по эмпирическим методам обработки естественного языка . Остин, Техас: Ассоциация компьютерной лингвистики. стр. 551–561. doi :10.18653/v1/D16-1053.
33. Пэн, Бо; Алькайд, Эрик; Энтони, Квентин; Альбалак, Алон; Аркадиньо, Сэмюэл; Бидерман, Стелла; Цао, Хуанци; Чэн, Синь; Чунг, Майкл (10.12.2023), RWKV: Переосмысление RNN для эпохи Transformer , arXiv : 2305.13048
34. Марче, Стивен (23.08.2024). «Был ли лингвистический ИИ создан случайно?». The New Yorker . ISSN  0028-792X . Получено 27.08.2024 .
35. Девлин, Джейкоб; Чанг, Мин-Вэй; Ли, Кентон; Тутанова, Кристина (11 октября 2018 г.). «BERT: Предварительное обучение глубоких двунаправленных преобразователей для понимания языка». arXiv : 1810.04805v2 [cs.CL].
36. "Google: BERT теперь используется почти для каждого английского запроса". Search Engine Land . 2020-10-15 . Получено 2020-11-24 .
37. "Последние достижения Google Translate". research.google . Получено 2024-05-08 .
38. «Внутренняя история создания ChatGPT от людей, которые его создали». MIT Technology Review . Получено 2024-08-06 .
39. "Улучшение понимания языка с помощью неконтролируемого обучения". openai.com . 11 июня 2018 г. Архивировано из оригинала 2023-03-18 . Получено 2023-03-18 .
40. Finetune-transformer-lm, OpenAI, 11 июня 2018 г. , получено 1 мая 2023 г.
41. Досовицкий, Алексей; Бейер, Лукас; Колесников, Александр; Вайссенборн, Дирк; Чжай, Сяохуа; Унтертинер, Томас; Дегани, Мостафа; Миндерер, Матиас; Хейгольд, Георг; Гелли, Сильвен; Ушкорейт, Якоб (3 июня 2021 г.). «Изображение стоит 16x16 слов: преобразователи для распознавания изображений в масштабе». arXiv : 2010.11929 [cs.CV].
42. Гулати, Анмол; Цинь, Джеймс; Чиу, Чун-Ченг; Пармар, Ники; Чжан, Ю; Ю, Цзяхуэй; Хан, Вэй; Ван, Шибо; Чжан, Чжэндун; Ву, Юнхуэй; Панг, Руоминг (2020). «Конформер: преобразователь с расширенной сверткой для распознавания речи». arXiv : 2005.08100 [eess.AS].
43. Хороманский, Кшиштоф; Лихошерстов Валерий; Дохан, Дэвид; Сун, Синю; Гейн, Андреа; Сарлос, Тамас; Хокинс, Питер; Дэвис, Джаред; Мохиуддин, Афроз (19 ноября 2022 г.), Переосмысление внимания с исполнителями , arXiv : 2009.14794
44. Лю, Чжуан; Мао, Ханьцзы; У, Чао-Юань; Файхтенхофер, Кристоф; Даррелл, Тревор; Се, Сайнинг (2022). ConvNet для 2020-х годов. Конференция по компьютерному зрению и распознаванию образов. стр. 11976–11986.
45. Эссер, Патрик; Кулал, Сумит; Блаттманн, Андреас; Энтезари, Рахим; Мюллер, Йонас; Сайни, Гарри; Леви, Ям; Лоренц, Доминик; Зауэр, Аксель (2024-03-05), Масштабирование выпрямленных потоковых трансформаторов для синтеза изображений с высоким разрешением , arXiv : 2403.03206
46. Сюн, Руйбин; Ян, Юньчан; Он, Ди; Чжэн, Кай; Чжэн, Шусинь; Син, Чен; Чжан, Хуэйшуай; Лан, Яньян; Ван, Ливэй; Лю, Те-Янь (29 июня 2020 г.). «О нормализации слоев в архитектуре трансформатора». arXiv : 2002.04745 [cs.LG].
47. Раффель, Колин; Шазир, Ноам; Робертс, Адам; Ли, Кэтрин; Наранг, Шаран; Матена, Майкл; Чжоу, Яньци; Ли, Вэй; Лю, Питер Дж. (2020-01-01). «Изучение пределов трансферного обучения с помощью унифицированного преобразователя текста в текст». Журнал исследований машинного обучения . 21 (1): 140:5485–140:5551. arXiv : 1910.10683 . ISSN  1532-4435.
48. Раффель, Колин; Шазир, Ноам; Робертс, Адам; Ли, Кэтрин; Наранг, Шаран; Матена, Майкл; Чжоу, Яньци; Ли, Вэй; Лю, Питер Дж. (2019). «Изучение пределов трансферного обучения с помощью унифицированного преобразователя текста в текст». arXiv : 1910.10683 [cs.LG].
49. "Моделирование замаскированного языка". huggingface.co . Получено 2023-10-05 .
50. "Моделирование причинного языка". huggingface.co . Получено 2023-10-05 .
51. Тай, Йи; Дехгани, Мостафа; Тран, Винь К.; Гарсия, Ксавье; Вэй, Джейсон; Ван, Сюэчжи; Чунг, Хён Вон; Шакери, Сиамак; Бахри, Дара (2023-02-28), UL2: Объединение парадигм изучения языка , arXiv : 2205.05131
52. Пресс, Офир; Вольф, Лиор (2017-02-21), Использование встраивания выходных данных для улучшения языковых моделей, arXiv : 1608.05859 , получено 2024-10-21
53. "Моделирование последовательностей с помощью нейронных сетей (часть 2): модели внимания". Indico . 2016-04-18. Архивировано из оригинала 2020-10-21 . Получено 2019-10-15 .
54. Alammar, Jay. "The Illustrated Transformer". jalammar.github.io . Архивировано из оригинала 2020-10-18 . Получено 2019-10-15 .
55. Команда Керас. «Документация Keras: модель GPT2Backbone». keras.io . Проверено 8 августа 2024 г.
56. Кларк, Кевин; Ханделвал, Урваши; Леви, Омер; Мэннинг, Кристофер Д. (август 2019 г.). «На что смотрит BERT? Анализ внимания BERT». Труды семинара ACL 2019 г. BlackboxNLP: анализ и интерпретация нейронных сетей для обработки естественного языка . Флоренция, Италия: Ассоциация компьютерной лингвистики: 276–286. arXiv : 1906.04341 . doi : 10.18653/v1/W19-4828 . Архивировано из оригинала 21.10.2020 . Получено 20.05.2020 .
57. Ян, Жилин; Дай, Цзихан; Ян, Имин; Карбонелл, Хайме; Салахутдинов, Расс Р.; Ле, Куок V (2019). «XLNet: Обобщенная авторегрессионная предварительная тренировка для понимания языка». Достижения в области нейронных систем обработки информации . 32 . Curran Associates, Inc. arXiv : 1906.08237 .
58. Ван, Цян; Ли, Бэй; Сяо, Тонг; Чжу, Цзинбо; Ли, Чанлян; Вонг, Дерек Ф.; Чао, Лидия С. (04.06.2019), Изучение моделей глубокого преобразователя для машинного перевода , arXiv : 1906.01787
59. Фуонг, Мэри; Хаттер, Маркус (2022-07-19), Формальные алгоритмы для трансформаторов , arXiv : 2207.09238
60. Раффель, Колин; Шазир, Ноам; Робертс, Адам; Ли, Кэтрин; Наранг, Шаран; Матена, Майкл; Чжоу, Яньци; Ли, Вэй; Лю, Питер Дж. (2020). «Изучение пределов трансферного обучения с помощью унифицированного преобразователя текста в текст». Журнал исследований машинного обучения . 21 (140): 1–67. arXiv : 1910.10683 . ISSN  1533-7928.
61. "Последние достижения Google Translate". Google Research . 8 июня 2020 г. Архивировано из оригинала 4 июля 2024 г. Получено 2024-08-07 .
62. Шазир, Ноам (01.02.2020). «Варианты GLU улучшают Transformer». arXiv : 2002.05202 [cs.LG].
63. Хендрикс, Дэн; Гимпель, Кевин (2016-06-27). "Линейные единицы гауссовской погрешности (GELU)". arXiv : 1606.08415v5 [cs.LG].
64. Шазир, Ноам (14 февраля 2020 г.). «Варианты GLU улучшают Transformer». arXiv : 2002.05202 [cs.LG].
65. Чжан, Бяо; Сеннрих, Рико (2019). «Нормализация среднеквадратичного слоя». Достижения в области нейронных систем обработки информации . 32. Curran Associates, Inc. arXiv : 1910.07467 .
66. Nguyen, Toan Q.; Salazar, Julian (2019-11-02). Niehues, Jan; Cattoni, Rolando; Stüker, Sebastian; Negri, Matteo; Turchi, Marco; Ha, Thanh-Le; Salesky, Elizabeth; Sanabria, Ramon; Barrault, Loic (ред.). «Трансформеры без слез: улучшение нормализации собственного внимания». Труды 16-й Международной конференции по устному переводу . Гонконг: Ассоциация компьютерной лингвистики. arXiv : 1910.05895 . doi :10.5281/zenodo.3525484.
67. Дафтер, Филипп; Шмитт, Мартин; Шютце, Хинрих (6 июня 2022 г.). «Информация о положении в трансформаторах: обзор». Компьютерная лингвистика . 48 (3): 733–763. arXiv : 2102.11090 . дои : 10.1162/coli_a_00445 . ISSN  0891-2017. S2CID  231986066.
68. Геринг, Йонас; Аули, Майкл; Гранжье, Дэвид; Яратс, Денис; Дофин, Ян Н. (2017-07-17). «Сверточная последовательность для обучения последовательностям». Труды 34-й Международной конференции по машинному обучению . PMLR: 1243–1252.
69. Хавив, Ади; Рам, Ори; Пресс, Офир; Ицсак, Питер; Леви, Омер (2022-12-05), Модели языка Transformer без позиционных кодировок все еще изучают позиционную информацию , arXiv : 2203.16634
70. Су, Цзяньлинь; Лу, Ю; Пан, Шэнфэн; Муртадха, Ахмед; Вэнь, Бо; Лю, Юньфэн (01 апреля 2021 г.). «RoFormer: улучшенный трансформатор с встраиванием поворотного положения». arXiv : 2104.09864 [cs.CL].
71. Пресс, Офир; Смит, Ноа А.; Льюис, Майк (01.08.2021). «Обучение на коротких интервалах, тестирование на длинных интервалах: внимание с линейными смещениями позволяет экстраполировать длину входных данных». arXiv : 2108.12409 [cs.CL].
72. Шоу, Питер; Ушкорейт, Якоб; Васвани, Ашиш (2018). «Внимание к себе с представлениями относительного положения». arXiv : 1803.02155 [cs.CL].
73. Кэ, Гуолинь; Он, Ди; Лю, Те-Янь (15 марта 2021 г.), Переосмысление позиционного кодирования при предварительной языковой подготовке , arXiv : 2006.15595
74. Дао, Три; Фу, Дэн; Эрмон, Стефано; Рудра, Атри; Ре, Кристофер (2022-12-06). «FlashAttention: быстрое и эффективное для памяти точное внимание с IO-Awareness». Достижения в области нейронных систем обработки информации . 35 : 16344–16359. arXiv : 2205.14135 .
75. "Stanford CRFM". crfm.stanford.edu . Получено 2023-07-18 .
76. "FlashAttention-2: Более быстрое внимание с лучшим параллелизмом и разделением работы". Princeton NLP . 2023-06-17 . Получено 2023-07-18 .
77. "Представляем главного ученого Together AI Три Дао, который выпускает FlashAttention-2 для ускорения обучения моделей и вывода". TOGETHER . Получено 2023-07-18 .
78. Эйнсли, Джошуа; Ли-Торп, Джеймс; де Йонг, Михиль; Землянский, Юрий; Леброн, Федерико; Сангхай, Сумит (2023-12-23). ​​"GQA: Обучение обобщенных моделей Multi-Query Transformer из контрольных точек Multi-Head". arXiv : 2305.13245 [cs.CL].
79. Чоудхери, Ааканкша; Наранг, Шаран; Девлин, Джейкоб; Босма, Маартен; Мишра, Гаурав; Робертс, Адам; Бархам, Пол; Чунг, Хён Вон; Саттон, Чарльз; Германн, Себастьян; Шух, Паркер; Ши, Кенсен; Цвященко, Саша; Майнес, Джошуа; Рао, Абишек (2022-04-01). "PaLM: Масштабирование моделирования языка с помощью путей". arXiv : 2204.02311 [cs.CL].
80. Эйнсли, Джошуа; Ли-Торп, Джеймс; де Йонг, Михиль; Землянский, Юрий; Леброн, Федерико; Сангхай, Сумит (2023-12-23), GQA: Обучение обобщенных моделей Multi-Query Transformer из контрольных точек Multi-Head , arXiv : 2305.13245
81. Квон, Усук; Ли, Чжохань; Чжуан, Сыюань; Шэн, Ин; Чжэн, Ляньминь; Ю, Коди Хао; Гонсалес, Джозеф; Чжан, Хао; Стойка, Ион (2023-10-23). ​​«Эффективное управление памятью для обслуживания большой языковой модели с помощью PagedAttention». Труды 29-го симпозиума по принципам операционных систем . SOSP '23. Нью-Йорк, штат Нью-Йорк, США: Ассоциация вычислительной техники. стр. 611–626. arXiv : 2309.06180 . doi :10.1145/3600006.3613165. ISBN 979-8-4007-0229-7.
82. vllm-project/vllm, vLLM, 2024-06-20 , получено 2024-06-20
83. Вклад), Усук Квон*, Чжохань Ли*, Сыюань Чжуан, Ин Шэн, Ляньминь Чжэн, Коди Ю, Джоуи Гонсалес, Хао Чжан и Ион Стойка (* Equal (2023-06-20). "vLLM: простое, быстрое и дешевое обслуживание LLM с помощью PagedAttention". Блог vLLM . Получено 2024-06-20 .{{cite web}}: CS1 maint: multiple names: authors list (link)
84. Leviathan, Yaniv; Kalman, Matan; Matias, Yossi (2023-05-18), Быстрый вывод из трансформаторов с помощью спекулятивного декодирования , arXiv : 2211.17192
85. Фу, Яо (13.12.2023). «На пути к 100-кратному ускорению: оптимизация вывода Full Stack Transformer».
86. Чен, Чарли; Борго, Себастьян; Ирвинг, Джеффри; Леспио, Жан-Батист; Сифре, Лоран; Джампер, Джон (2023-02-02), Ускорение декодирования больших языковых моделей с помощью спекулятивной выборки , arXiv : 2302.01318
87. Китаев, Никита; Кайзер, Лукаш; Левская, Ансельм (2020). «Реформатор: Эффективный преобразователь». arXiv : 2001.04451 [cs.LG].
88. Тай, Йи; Дехгани, Мостафа; Абнар, Самира; Шен, Икан; Бахри, Дара; Фам, Филип; Рао, Цзиньфэн; Ян, Лю; Рудер, Себастьян; Мецлер, Дональд (08.11.2020). «Арена дальнего действия: эталон эффективных трансформаторов». arXiv : 2011.04006 [cs.LG].
89. "Reformer: The Efficient Transformer". Блог Google AI . 16 января 2020 г. Архивировано из оригинала 22.10.2020 . Получено 22.10.2020 .
90. Гомес, Эйдан Н.; Рен, Менге; Уртасун, Ракель; Гросс, Роджер Б. (2017). «Обратимая остаточная сеть: обратное распространение без сохранения активаций». Достижения в области нейронных систем обработки информации . 30. Curran Associates, Inc. arXiv : 1707.04585 .
91. Чайлд, Ревон; Грей, Скотт; Рэдфорд, Алек; Сутскевер, Илья (2019-04-23), Генерация длинных последовательностей с помощью разреженных трансформаторов , arXiv : 1904.10509
92. "Constructing Transformers For Longer Sequences with Sparse Attention Methods". Блог Google AI . 25 марта 2021 г. Архивировано из оригинала 2021-09-18 . Получено 2021-05-28 .
93. Чжай, Шуанфэй; Тэлботт, Уолтер; Шривастава, Нитиш; Хуан, Чэнь; Го, Ханлинь; Чжан, Жуйсян; Сасскинд, Джош (2021-09-21). «Трансформатор, не требующий внимания». arXiv : 2105.14103 [cs.LG].
94. Пэн, Хао; Паппас, Николаос; Йогатама, Дэни; Шварц, Рой; Смит, Ной А.; Конг, Линпэн (19 марта 2021 г.). «Случайное внимание к функциям». arXiv : 2103.02143 [cs.CL].
95. Хороманский, Кшиштоф; Лихошерстов, Валерий; Дохан, Дэвид; Сонг, Синъю; Гейн, Андреа; Сарлос, Тамас; Хокинс, Питер; Дэвис, Джаред; Беланжер, Дэвид; Колвелл, Люси; Веллер, Адриан (30.09.2020). «Моделирование маскированного языка для белков с помощью линейно масштабируемых длинноконтекстных преобразователей». arXiv : 2006.03555 [cs.LG].
96. Лу, Кевин; Гровер, Адитья; Аббель, Питер; Мордач, Игорь (28.06.2022). «Замороженные предварительно обученные трансформаторы как универсальные вычислительные машины». Труды конференции AAAI по искусственному интеллекту . 36 (7): 7628–7636. doi : 10.1609/aaai.v36i7.20729 . ISSN  2374-3468.
97. "Vicuna: чат-бот с открытым исходным кодом, впечатляющий GPT-4 с 90%* качеством ChatGPT | LMSYS Org". lmsys.org . Получено 2024-08-11 .
98. Лю, Хаотянь; Ли, Чуньюань; У, Цинъян; Ли, Ён Джэ (15 декабря 2023 г.). «Настройка визуальных инструкций». Достижения в области нейронных систем обработки информации . 36 : 34892–34916.
99. Рэдфорд, Алек; Ким, Чон Ук; Сюй, Тао; Брокман, Грег; Макливи, Кристин; Суцкевер, Илья (2022). «Надежное распознавание речи с помощью слабого контроля в больших масштабах». arXiv : 2212.04356 [eess.AS].
100. Jaegle, Andrew; Gimeno, Felix; Brock, Andrew; Zisserman, Andrew; Vinyals, Oriol; Carreira, Joao (2021-06-22). «Воспринимающий: общее восприятие с итеративным вниманием». arXiv : 2103.03206 [cs.CV].
101. Джегл, Эндрю; Боржо, Себастьян; Алайрак, Жан-Батист; Дорш, Карл; Ионеску, Каталин; Дин, Дэвид; Коппула, Сканда; Зоран, Дэниел; Брок, Эндрю; Шелхамер, Эван; Энафф, Оливье (2 августа 2021 г.). «Perceiver IO: общая архитектура структурированных входов и выходов». arXiv : 2107.14795 [cs.LG].
102. "Parti: Pathways Авторегрессионная модель преобразования текста в изображение". sites.research.google . Получено 2024-08-09 .
103. Вильегас, Рубен; Бабаизаде, Мохаммед; Киндерманс, Питер-Ян; Моральдо, Эрнан; Чжан, Хан; Саффар, Мохаммад Таги; Кастро, Сантьяго; Кунце, Юлиус; Эрхан, Дмитрий (29 сентября 2022 г.). «Фенаки: создание видео переменной длины на основе текстовых описаний открытого домена». {{cite journal}}: Цитировать журнал требует |journal=( помощь )
104. Чанг, Хуэйвэнь; Чжан, Хань; Барбер, Джарред; Масчинот, А. Дж.; Лезама, Хосе; Цзян, Лу; Ян, Мин-Сюань; Мерфи, Кевин; Фримен, Уильям Т. (2023-01-02). "Muse: генерация текста в изображение с помощью маскированных генеративных преобразователей". arXiv : 2301.00704 [cs.CV].
105. Рамеш, Адитья; Павлов, Михаил; Гох, Габриэль; Грей, Скотт; Восс, Челси; Рэдфорд, Алек; Чен, Марк; Суцкевер, Илья (2021-02-26), Генерация текста в изображение с нуля , arXiv : 2102.12092
106. Ю, Цзяхуэй; Сюй, Юаньчжун; Ко, Цзин Юй; Луонг, Тханг; Байд, Гунджан; Ван, Зируи; Васудеван, Виджай; Ку, Александр; Ян, Иньфэй (21 июня 2022 г.), Масштабирование авторегрессионных моделей для создания содержательного преобразования текста в изображение , arXiv : 2206.10789
107. Кариампужа, Уильям; Алиея, Джоконда; Ку, Сью; Санджак, Джалеал; Мате, Эви; Сид, Эрик; Шатлен, Хейли; Ядав, Арджун; Сюй, Яньцзи; Чжу, Цянь (2023). «Точное извлечение информации для эпидемиологии редких заболеваний в масштабе». Журнал трансляционной медицины . 21 (1): 157. doi : 10.1186/s12967-023-04011-y . PMC 9972634. PMID  36855134 . 

Дальнейшее чтение

• Александр Раш, Аннотированный трансформатор. Архивировано 22 сентября 2021 г. в Wayback Machine , Гарвардская группа НЛП, 3 апреля 2018 г.
• Фуонг, Мэри; Хаттер, Маркус (2022). «Формальные алгоритмы для трансформаторов». arXiv : 2207.09238 [cs.LG].
• Феррандо, Хавьер; Сарти, Габриэле; Бисацца, Арианна; Коста-Жусса, Марта Р. (1 мая 2024 г.). «Букварь по внутренней работе языковых моделей на основе преобразователей». arXiv : 2405.00208 [cs.CL].