stringtranslate.com

Генеративный предварительно обученный трансформатор

Оригинальная модель GPT

Генеративные предварительно обученные преобразователи ( GPT ) — это тип большой языковой модели (LLM) [1] [2] [3] и известная структура для генеративного искусственного интеллекта . [4] [5] Это искусственные нейронные сети , которые используются в задачах обработки естественного языка . [6] GPT основаны на архитектуре преобразователя , предварительно обучены на больших наборах данных неразмеченного текста и способны генерировать новый контент, похожий на человеческий. [2] [3] По состоянию на 2023 год большинство LLM обладают этими характеристиками [7] и иногда их широко называют GPT. [8]

Первый GPT был представлен в 2018 году компанией OpenAI . [9] OpenAI выпустила очень влиятельные базовые модели GPT, которые были пронумерованы последовательно, чтобы составить серию «GPT- n ». [10] Каждый из них был значительно более эффективным, чем предыдущий, из-за увеличенного размера (количества обучаемых параметров) и обучения. Самый последний из них, GPT-4 , был выпущен в марте 2023 года. [11] Такие модели легли в основу их систем GPT, более ориентированных на конкретные задачи, включая модели, точно настроенные для следования инструкциям , что, в свою очередь, приводит в действие чат-бот ChatGPT . услуга. [1]

Термин «GPT» также используется в названиях и описаниях таких моделей, разработанных другими. Например, другие базовые модели GPT включают серию моделей, созданных EleutherAI , [12] и семь моделей, созданных Cerebras в 2023 году . [13] Кроме того, компании в разных отраслях разработали GPT для конкретных задач в своих соответствующих областях, таких как «EinsteinGPT» от Salesforce (для CRM ) [14] и «BloombergGPT» от Bloomberg (для финансов). [15]

История

Начальные разработки

Генеративное предварительное обучение (GP) было давно устоявшейся концепцией в приложениях машинного обучения. [16] [17] [18] Первоначально он использовался как форма полуконтролируемого обучения , поскольку модель сначала обучается на немаркированном наборе данных ( этап предварительного обучения ) путем обучения генерированию точек данных в наборе данных, а затем она обучается. для классификации помеченного набора данных. [19]

Хотя ненормализованный линейный трансформатор появился в 1992 году, [20] [21] [22] современная архитектура трансформатора не была доступна до 2017 года, когда она была опубликована исследователями из Google в статье « Внимание — это все, что вам нужно ». [23] Это развитие привело к появлению больших языковых моделей, таких как BERT в 2018 году [24] , который представлял собой предварительно обученный преобразователь (PT), но не предназначенный для генерации (BERT был моделью «только для кодировщика»). [25] Примерно в то же время, в 2018 году, OpenAI опубликовала статью под названием «Улучшение понимания языка посредством генеративного предварительного обучения», в которой представила первую систему генеративного предварительно обученного преобразователя (GPT) (« GPT-1 »). [26]

До появления архитектур на основе преобразователей наиболее эффективные нейронные модели НЛП ( обработки естественного языка ) обычно использовали контролируемое обучение на больших объемах данных, помеченных вручную. Использование контролируемого обучения ограничивало их использование на наборах данных, которые не были хорошо аннотированы, а также делало обучение чрезвычайно больших языковых моделей непомерно дорогим и трудоемким. [26]

Полуконтролируемый подход, использованный OpenAI для создания крупномасштабной генеративной системы (и впервые он применялся к модели преобразователя), включал два этапа: этап неконтролируемого генеративного « предварительного обучения» для установки начальных параметров с использованием цели языкового моделирования и контролируемый этап «предварительного обучения». этап дискриминационной « тонкой настройки » для адаптации этих параметров к целевой задаче. [26]

Более поздние события

Что касается более поздних базовых моделей GPT, OpenAI опубликовала свои первые версии GPT-3 в июле 2020 года. Было три модели с параметрами 1B, 6.7B, 175B, названные соответственно Бэббиджем, Кюри и Давинчи (с инициалами B, C и Д). [ нужна цитата ]

В июле 2021 года OpenAI опубликовала Codex — модель GPT для конкретных задач, предназначенную для приложений программирования. Он был разработан путем тонкой настройки версии GPT-3 с 12B параметрами (отличной от предыдущих моделей GPT-3) с использованием кода с GitHub . [27]

В марте 2022 года OpenAI опубликовала две версии GPT-3, которые были доработаны для следования инструкциям (instruction-tuned), названные davinci-instruct-beta (175B) и text-davinci-001 , [28] , а затем запустила бета-версию. код тестирования -davinci-002 . [29] text-davinci-002 был настроен с помощью инструкций code-davinci-002 . И text-davinci-003, и ChatGPT были выпущены в ноябре 2022 года, причем оба основаны на text-davinci-002 посредством обучения с подкреплением на основе отзывов людей (RLHF). text-davinci-003 обучен следовать инструкциям (как и его предшественники), тогда как ChatGPT дополнительно обучен разговорному взаимодействию с пользователем-человеком. [30] [31]

Самая последняя базовая модель GPT OpenAI, GPT-4 , была выпущена 14 марта 2023 года. Пользователи могут получить к ней непосредственный доступ через премиум-версию ChatGPT, а разработчикам она доступна для включения в другие продукты и услуги через API OpenAI . Среди других производителей базовых моделей GPT — EleutherAI ( серия моделей начнется в марте 2021 г.) [12] и Cerebras (семь моделей будут выпущены в марте 2023 г.). [13]

Фундаментальные модели

Базовая модель — это модель ИИ, обученная на обширных данных в таком масштабе, что ее можно адаптировать к широкому кругу последующих задач. [32]

На данный момент наиболее заметными базовыми моделями GPT были серии GPT-n от OpenAI . Самым последним из них является GPT-4 , для которого OpenAI отказалась публиковать размеры или подробности обучения (ссылаясь на «конкурентную среду и влияние крупномасштабных моделей на безопасность»). [33]

Другие подобные модели включают PaLM от Google , широкую базовую модель, которую сравнивают с GPT-3 и которая недавно стала доступна разработчикам через API , [40] [41] и GPT-JT от Together , о которой сообщается как наиболее эффективная альтернатива GPT-3 с открытым исходным кодом (и является производной от более ранних GPT с открытым исходным кодом ). [42] Meta AI (ранее Facebook ) также имеет базовую модель большого языка на основе генеративного преобразователя, известную как LLaMA . [43]

Базовые GPT также могут использовать для ввода и/или вывода иные модальности , помимо текста. GPT-4 — это мультимодальный LLM, способный обрабатывать ввод текста и изображений (хотя его вывод ограничен текстом). [44] Что касается мультимодального вывода , некоторые модели на основе генеративных преобразователей используются для технологий преобразования текста в изображение, таких как диффузия [45] и параллельное декодирование. [46] Такие модели могут служить визуальными базовыми моделями (VFM) для разработки последующих систем, которые могут работать с изображениями. [47]

Модели для конкретных задач

Базовая модель GPT может быть дополнительно адаптирована для создания более целевых систем, ориентированных на конкретные задачи и/или предметные области. Методы такой адаптации могут включать дополнительную тонкую настройку (помимо той, что делается для базовой модели), а также определенные формы оперативного проектирования . [48]

Важным примером этого является точная настройка моделей для следования инструкциям , что, конечно, является довольно широкой задачей, но более целенаправленной, чем базовая модель. В январе 2022 года OpenAI представила «InstructGPT» — серию моделей, которые были настроены для следования инструкциям с использованием комбинации контролируемого обучения и обучения с подкреплением на основе обратной связи с человеком (RLHF) на базовых языковых моделях GPT-3. [49] [50] Преимущества этой модели по сравнению с простыми базовыми моделями включали более высокую точность, меньше негативных/токсичных настроений и, как правило, лучшее соответствие потребностям пользователей. Следовательно, OpenAI начала использовать это в качестве основы для своих предложений услуг API . [51] Другие модели, настроенные по инструкциям, были выпущены другими производителями, включая полностью открытую версию. [52] [53]

Другой (родственный) тип моделей, ориентированных на конкретные задачи, — это чат-боты , которые участвуют в общении, подобном человеческому. В ноябре 2022 года OpenAI запустила ChatGPT — интерфейс онлайн-чата, основанный на настроенной на инструкции языковой модели, обученной аналогично InstructGPT. [54] Они обучили эту модель с помощью RLHF, где тренеры ИИ-людей обеспечивали диалоги, в которых они играли как пользователя, так и ИИ, и смешали этот новый набор данных диалога с набором данных InstructGPT для получения диалогового формата, подходящего для чат-бота. Другие крупные чат-боты в настоящее время включают Bing Chat от Microsoft , который использует GPT-4 OpenAI (в рамках более широкого тесного сотрудничества между OpenAI и Microsoft), [55] и конкурирующий чат-бот Google Bard (первоначально основанный на их семействе чат-ботов LaMDA) . -обученные языковые модели, с планами по переходу на PaLM ). [56]

Еще один вид задач, для которых можно использовать GPT, — это метазадача генерации собственных инструкций , например, разработка серии подсказок для «себя», чтобы иметь возможность достичь более общей цели, поставленной пользователем-человеком. [57] Это известно как агент ИИ , а точнее, рекурсивный, поскольку он использует результаты своих предыдущих самоинструкций, чтобы помочь ему сформировать свои последующие подсказки; Первым крупным примером этого был Auto-GPT (который использует модели GPT OpenAI), с тех пор были разработаны и другие. [58]

Мультимодальность

Системы на основе генеративных преобразователей также могут быть ориентированы на задачи, включающие в себя не только текстовые модальности .

Например, Visual ChatGPT от Microsoft сочетает ChatGPT с моделями визуальной основы (VFM), что позволяет вводить или выводить изображения, а также текст. [59] Кроме того, достижения в области технологии преобразования текста в речь предлагают мощные инструменты для создания аудиоконтента при использовании в сочетании с базовыми языковыми моделями GPT. [60]

Специфика предметной области

Системы GPT могут быть ориентированы на определенные области или домены. Ниже приведены некоторые примеры таких моделей и приложений:

Иногда специфичность предметной области достигается с помощью программных плагинов или надстроек . Например, несколько разных компаний разработали специальные плагины, которые напрямую взаимодействуют с интерфейсом OpenAI ChatGPT , [67] [68] , а у Google Workspace есть доступные надстройки, такие как «GPT для таблиц и документов», которые, как сообщается, помогают использовать электронные таблицы . функциональность в Google Таблицах . [69] [70]

В ноябре 2023 года OpenAI объявила, что позволяет подписчикам ChatGPT Plus создавать собственные версии ChatGPT (называемые GPT ). [71] Их можно адаптировать для конкретных областей посредством оперативного проектирования, тщательно подобранных наборов данных и/или целевого взаимодействия с внешними инструментами. Пользователи, которые регистрируются как проверенные разработчики, могут публиковать свои собственные GPT для других пользователей с возможностью монетизации. (Это заметно отличается от службы API OpenAI, поскольку она базируется внутри платформы OpenAI.)

Проблемы с брендом

OpenAI , создавшая первый генеративный предварительно обученный преобразователь (GPT) в 2018 году, недавно заявила, что «GPT» следует рассматривать как бренд OpenAI . [72] В апреле 2023 года OpenAI пересмотрела правила использования бренда в своих условиях обслуживания , указав, что другие компании, использующие ее API для запуска своих служб искусственного интеллекта (ИИ), больше не смогут включать «GPT» в такие названия или брендинг. [73] В мае 2023 года OpenAI задействовала службу управления брендом, чтобы уведомить своих клиентов API об этой политике, хотя эти уведомления не содержали явных юридических претензий (таких как обвинения в нарушении прав на товарный знак или требования о прекращении и воздержании ). [72] По состоянию на ноябрь 2023 года OpenAI по-прежнему запрещает своим лицензиатам API называть свои продукты с помощью «GPT», [74] но начала разрешать своим подписчикам ChatGPT Plus создавать «пользовательские версии ChatGPT», которые называются GPT на сайт ОпенАИ. [75] В условиях обслуживания OpenAI говорится, что ее подписчики могут использовать «GPT» в их названиях, хотя это «не рекомендуется». [74]

Кроме того, OpenAI подала заявку в Ведомство США по патентам и товарным знакам (USPTO) с просьбой зарегистрировать внутри страны товарный знак для термина «GPT» в области ИИ. [72] OpenAI стремилась ускорить обработку своей заявки, но ВПТЗ США отклонило этот запрос в апреле 2023 года. [76] В мае 2023 года ВПТЗ США ответило на заявку, определив, что «GPT» носит как описательный, так и общий характер. [77] По состоянию на ноябрь 2023 года OpenAI продолжает аргументировать свои аргументы с помощью доступных процессов. Тем не менее, невозможность получить зарегистрированный товарный знак в США не исключает определенного уровня прав на товарные знаки в США [78] и/или прав на товарные знаки в других странах. [79]

Для любого конкретного типа или объема защиты товарных знаков в США OpenAI необходимо будет установить, что этот термин на самом деле « отличителен » для их конкретных предложений, а также является более широким техническим термином для типа технологии. В некоторых сообщениях СМИ высказывалось предположение, что OpenAI может получить регистрацию товарного знака, косвенно основываясь на известности своего продукта чат-бота на основе GPT, ChatGPT , [76] [80] , для которого OpenAI отдельно запросила защиту (и которого она стремилась обеспечить более сильно). [81] В других отчетах указывается, что регистрация простого термина «GPT» вряд ли будет предоставлена, [72] [82] поскольку он часто используется как общий термин для обозначения просто систем искусственного интеллекта, в которых используются генеративные предварительно обученные преобразователи. . [3] [83] [84] [85] В любом случае, в какой бы степени исключительные права на этот термин ни распространялись в США, другим лицам следует избегать использования его для аналогичных продуктов или услуг способами, которые могут вызвать путаницу. [82] [86] Если такие права когда-либо станут достаточно широкими, чтобы включать в себя другие устоявшиеся виды использования в этой области, доктрина описательного добросовестного использования товарных знаков все равно может сохранить некоторое пространство для продолжения использования, не связанного с брендом. [87]

Избранная библиография

В этом разделе перечислены основные официальные публикации OpenAI и Microsoft об их моделях GPT.

Смотрите также

Рекомендации

  1. ^ Аб Хаддад, Мохаммед. «Как работает GPT-4 и как начать использовать его в ChatGPT?». www.aljazeera.com .
  2. ^ ab «Генераторный ИИ: общество должно быть готово к изменению правил игры». Всемирный Экономический Форум . 9 января 2023 г.
  3. ^ abc «Искусственный интеллект от А до Я». Время . 13 апреля 2023 г.
  4. ↑ Ху, Лухуэй (15 ноября 2022 г.). «Генераторный ИИ и будущее». Середина .
  5. ^ "CSDL | Компьютерное общество IEEE" . www.computer.org .
  6. ^ «LibGuides: Использование языковых моделей искусственного интеллекта: ChatGPT» .
  7. ^ Тэйвс, Роб. «Следующее поколение больших языковых моделей». Форбс .
  8. ↑ Маккендрик, Джо (13 марта 2023 г.). «Как показывают исследования OpenAI и Пенсильванского университета, большинство рабочих мест вскоре будут «под влиянием» искусственного интеллекта». Форбс .
  9. ^ abcd «Улучшение понимания языка с помощью обучения без учителя». openai.com . 11 июня 2018 г. Архивировано из оригинала 18 марта 2023 г. Проверено 18 марта 2023 г.
  10. ^ «От GPT-1 до GPT-4: объяснение и сравнение каждой из моделей OpenAI GPT» . МУО . 11 апреля 2023 г.
  11. ^ "ГПТ-4". openai.com . Проверено 8 декабря 2023 г.
  12. ^ аб Алфорд, Энтони (13 июля 2021 г.). «EleutherAI с открытым исходным кодом, шесть миллиардов параметров, клон GPT-3 GPT-J». ИнфоQ .
  13. ^ аб «Новости» (Пресс-релиз).
  14. ↑ Моррисон, Райан (7 марта 2023 г.). «Salesforce запускает EinsteinGPT, созданный с использованием технологии OpenAI». Технический монитор .
  15. ^ «ChatGPT финансов уже здесь, Bloomberg объединяет искусственный интеллект и финансовые технологии» . Форбс .
  16. ^ Шмидхубер, Юрген (1992). «Изучение сложных, расширенных последовательностей с использованием принципа сжатия истории» (PDF) . Нейронные вычисления . 4 (2): 234–242. дои : 10.1162/neco.1992.4.2.234. S2CID  18271205.
  17. ↑ Хинтон (и др.), Джеффри (15 октября 2012 г.). «Глубокие нейронные сети для акустического моделирования при распознавании речи» (PDF) . Журнал обработки сигналов IEEE . Цифровой идентификатор объекта 10.1109/MSP.2012.2205597. дои : 10.1109/MSP.2012.2205597. S2CID  206485943.
  18. ^ Дэн, Ли (22 января 2014 г.). «Обучающий обзор архитектур, алгоритмов и приложений для глубокого обучения | Транзакции APSIPA по обработке сигналов и информации | Cambridge Core». Апсипа Транзакции по обработке сигналов и информации . Кембридж.орг. 3 : е2. дои : 10.1017/ацип.2013.9 . S2CID  9928823.
  19. ^ Эрхан, Дмитрий; Курвиль, Аарон; Бенджио, Йошуа; Винсент, Паскаль (31 марта 2010 г.). «Почему предварительное обучение без присмотра помогает глубокому обучению?». Материалы тринадцатой международной конференции по искусственному интеллекту и статистике . Материалы семинара и конференции JMLR: 201–208.
  20. ^ Шмидхубер, Юрген (1992). «Научимся контролировать быстрые воспоминания: альтернатива повторяющимся сетям». Нейронные вычисления . 4 (1): 131–139. дои : 10.1162/neco.1992.4.1.131. S2CID  16683347.
  21. ^ Шлаг, Иманол ; Ириэ, Кадзуки; Шмидхубер, Юрген (2021). «Линейные трансформаторы — тайно быстрые программисты веса». ICML 2021 . Спрингер. стр. 9355–9366.
  22. ^ Катаропулос, Ангелос; Вьяс, Апурв; Паппас, Николаос; Флере, Франсуа (2020). «Трансформеры - это RNN: быстрые авторегрессионные трансформаторы с линейным вниманием». ИКМЛ 2020 . ПМЛР. стр. 5156–5165.
  23. ^ Васвани, Ашиш ; Шазир, Ноам; Пармар, Ники; Ушкорейт, Якоб; Джонс, Лион; Гомес, Эйдан Н ; Кайзер, Лукаш; Полосухин, Илья (2017). «Внимание — это все, что вам нужно» (PDF) . Достижения в области нейронных систем обработки информации . Карран Ассошиэйтс, Инк. 30 .
  24. ^ Девлин, Джейкоб; Чанг, Мин-Вэй; Ли, Кентон; Тутанова Кристина (24 мая 2019 г.). «BERT: Предварительная подготовка глубоких двунаправленных преобразователей для понимания языка». Ассоциация компьютерной лингвистики . arXiv : 1810.04805v2 .
  25. ^ Наик, Амит Раджа (23 сентября 2021 г.). «Google представляет новую архитектуру для снижения стоимости трансформаторов» . Журнал Analytics India .
  26. ^ abc Рэдфорд, Алек; Нарасимхан, Картик; Салиманс, Тим; Суцкевер, Илья (11 июня 2018 г.). «Улучшение понимания языка посредством генеративной предварительной подготовки» (PDF) . ОпенАИ . п. 12. Архивировано (PDF) из оригинала 26 января 2021 года . Проверено 23 января 2021 г.
  27. ^ Чен, Марк; Творек, Джерри; Джун, Хиву; Юань, Цимин; Понде де Оливейра Пинту, Энрике; Каплан, Джаред; Эдвардс, Харри; Бурда, Юрий; Джозеф, Николас; Брокман, Грег; Рэй, Алекс; Пури, Рауль; Крюгер, Гретхен; Петров, Михаил; Хлааф, Хайди (01 июля 2021 г.). «Оценка больших языковых моделей, обученных на коде». Ассоциация компьютерной лингвистики . arXiv : 2107.03374 .
  28. ^ Оуян, Лонг; Ву, Джеффри; Цзян, Сюй; Алмейда, Диого; Уэйнрайт, Кэрролл; Мишкин, Памела; Чжан, Чонг; Агарвал, Сандхини; Слама, Катарина; Рэй, Алекс; Шульман, Джон; Хилтон, Джейкоб; Келтон, Фрейзер; Миллер, Люк; Сименс, Мэдди (6 декабря 2022 г.). «Обучение языковых моделей следованию инструкциям с обратной связью от человека». Достижения в области нейронных систем обработки информации . 35 : 27730–27744. arXiv : 2203.02155 .
  29. ^ «Новые возможности GPT-3: редактирование и вставка» . openai.com . Проверено 24 июня 2023 г.
  30. ^ Фу, Яо; Пэн, Хао; Хот, Тушар (2022). «Как GPT приобретает свои способности? Отслеживание новых способностей языковых моделей до их источников». Идея Яо Фу .
  31. ^ «Модельный индекс для исследователей» . API OpenAI . Архивировано из оригинала 23 июня 2023 года . Проверено 23 июня 2023 г.
  32. ^ «Представляем Центр исследований моделей фундамента (CRFM)» . Стэнфорд ХАЙ . 18 августа 2021 г.
  33. ^ ab OpenAI (2023). «Технический отчет GPT-4» (PDF) . Архивировано (PDF) из оригинала 14 марта 2023 г. Проверено 16 марта 2023 г.
  34. ^ Чжу, Юкун; Кирос, Райан; Земель, Рич; Салахутдинов Руслан; Уртасун, Ракель; Торральба, Антонио; Фидлер, Саня (2015). Согласование книг и фильмов: к сюжетным визуальным объяснениям путем просмотра фильмов и чтения книг. Международная конференция IEEE по компьютерному зрению (ICCV), 2015. стр. 19–27. arXiv : 1506.06724 . Архивировано из оригинала 5 февраля 2023 г. Проверено 7 февраля 2023 г.
  35. ↑ Винсент, Джеймс (7 ноября 2019 г.). «OpenAI опубликовала ИИ, генерирующий текст, который, по ее словам, слишком опасен для распространения». Грань .
  36. ^ abcd Браун, Том Б.; Манн, Бенджамин; Райдер, Ник; Суббия, Мелани; Каплан, Джаред; Дхаривал, Прафулла; Нилакантан, Арвинд; Шьям, Пранав; Састри, Гириш; Аскелл, Аманда; Агарвал, Сандхини; Герберт-Восс, Ариэль; Крюгер, Гретхен; Хениган, Том; Дитя, Ревон; Рамеш, Адитья; Зиглер, Дэниел М.; Ву, Джеффри; Зима, Клеменс; Гессен, Кристофер; Чен, Марк; Сиглер, Эрик; Литвин, Матеуш; Грей, Скотт; Шахматы, Бенджамин; Кларк, Джек; Бернер, Кристофер; МакКэндлиш, Сэм; Рэдфорд, Алек; Суцкевер, Илья; Амодей, Дарио (28 мая 2020 г.). «Языковые модели изучаются немногими». НейриПС . arXiv : 2005.14165v4 .
  37. ^ abc «Визуализация тенденций ввода ML». Эпоха . Проверено 2 мая 2023 г.
  38. ^ аб Вер Меер, Дэйв (1 июня 2023 г.). «Статистика ChatGPT». ИмяPepper . Проверено 9 июня 2023 г.
  39. ^ "GPT-4 имеет более триллиона параметров - Отчет" . 25 марта 2023 г.
  40. ↑ Винсент, Джеймс (14 марта 2023 г.). «Google открывает свою языковую модель искусственного интеллекта PaLM, чтобы бросить вызов OpenAI и GPT-3». Грань .
  41. ^ «Google открывает доступ к языковой модели PaLM» .
  42. ↑ Айер, Апарна (30 ноября 2022 г.). «Познакомьтесь с GPT-JT, ближайшей альтернативой GPT-3 с открытым исходным кодом». Журнал Analytics India .
  43. ^ «Мета дебютирует языковую модель искусственного интеллекта, но она предназначена только для исследователей» . ПКМАГ .
  44. ↑ Ислам, Архам (27 марта 2023 г.). «Мультимодальные языковые модели: будущее искусственного интеллекта (ИИ)».
  45. ↑ Ислам, Архам (14 ноября 2022 г.). «Как работают DALL·E 2, стабильная диффузия и Midjourney?».
  46. ↑ Саха, Шритама (4 января 2023 г.). «Google запускает Muse, новую модель преобразователя текста в изображение». Журнал Analytics India .
  47. ↑ Ву (и др.), Чэньфэй (8 марта 2023 г.). «Визуальный чатGPT». arXiv : 2303.04671 [cs.CV].
  48. ↑ Боммасани (и др.), Риши (12 июля 2022 г.). «О возможностях и рисках моделей фундамента». arXiv : 2108.07258 [cs.LG].
  49. ^ ab «Приведение языковых моделей в соответствие с инструкциями». openai.com . Архивировано из оригинала 23 марта 2023 года . Проверено 23 марта 2023 г.
  50. ^ аб Оуян, Лонг; Ву, Джефф; Цзян, Сюй; и другие. (4 ноября 2022 г.). «Обучение языковых моделей следованию инструкциям с обратной связью от человека». НейриПС . arXiv : 2203.02155 .
  51. ↑ Рамнани, Мита (28 января 2022 г.). «OpenAI отказывается от собственного GPT-3 ради чего-то под названием InstructGPT, и по уважительной причине». Журнал Analytics India .
  52. ^ "Стэнфордский CRFM". crfm.stanford.edu .
  53. ^ «Free Dolly: представляем первый в мире по-настоящему открытый LLM с настраиваемыми инструкциями» . Блоки данных . 12 апреля 2023 г.
  54. ^ ab «Представляем ChatGPT». openai.com . Архивировано из оригинала 16 марта 2023 г. Проверено 16 марта 2023 г.
  55. ↑ Виггерс, Кайл (4 мая 2023 г.). «Microsoft удваивает возможности искусственного интеллекта с новыми функциями Bing».
  56. ^ «ChatGPT против Bing против Google Bard: какой искусственный интеллект наиболее полезен?» CNET .
  57. ^ «Auto-GPT, BabyAGI и AgentGPT: как использовать агенты ИИ». Машаемый . 19 апреля 2023 г.
  58. ^ Марр, Бернард. «Auto-GPT может быть мощным инструментом искусственного интеллекта, превосходящим ChatGPT». Форбс .
  59. ^ «Мультимодальный чат-бот Microsoft с открытым исходным кодом Visual ChatGPT» . ИнфоQ .
  60. ↑ Эдвардс, Бендж (9 января 2023 г.). «Новый искусственный интеллект Microsoft может имитировать чей-либо голос с помощью 3-секундного звука». Арс Техника .
  61. ↑ Моррисон, Райан (7 марта 2023 г.). «Salesforce запускает EinsteinGPT, созданный с использованием технологии OpenAI».
  62. ↑ Лесвинг, Киф (13 апреля 2023 г.). «Bloomberg планирует интегрировать ИИ в стиле GPT в свой терминал». CNBC .
  63. ^ «Обучающаяся некоммерческая организация Хан Академия тестирует версию GPT под названием Ханмиго» . Компания Фаст . 4 мая 2023 г. . Проверено 22 мая 2023 г.
  64. ^ "Инструмент Ханмиго с приводом от GPT-4 для пилотов Академии Хана для учителей -" . Журнал .
  65. ↑ Хачман, Марк (4 мая 2023 г.). «Slack GPT привнесет в ваши разговоры чат-ботов с искусственным интеллектом». ПКМир .
  66. ^ Луо (и др.), Ренцянь (3 апреля 2023 г.). «BioGPT: Генеративный предварительно обученный преобразователь для генерации и анализа биомедицинского текста». Брифинги по биоинформатике . 23 (6). arXiv : 2210.10341 . дои : 10.1093/нагрудник/bbac409. ПМИД  36156661.
  67. ^ «Узнайте о 13 лучших плагинах ChatGPT, предназначенных для улучшения вашего пользовательского опыта - Последние тенденции цифровой трансформации | Облачные новости | Wire19» . 5 мая 2023 г.
  68. ^ «Плагины ChatGPT». openai.com .
  69. ^ «Как использовать ChatGPT в таблицах Google с GPT для таблиц и документов» . МУО . 12 марта 2023 г.
  70. ↑ Асай, Мэтт (27 февраля 2023 г.). «Используйте и расширяйте Excel для подготовки данных ИИ». Инфомир .
  71. ^ https://www.techopedia.com/definition/openai-gpts
  72. ^ abcd Хикс, Уильям (10 мая 2023 г.). «Создатель ChatGPT, компания OpenAI, просит стартапы удалить «GPT» из своих названий». Деловой журнал . Проверено 21 мая 2023 г.
  73. ^ OpenAI (24 апреля 2023 г.). «Руководство по бренду» . Проверено 21 мая 2023 г.
  74. ^ ab «Руководство по бренду».
  75. ^ «Представляем GPTS».
  76. ↑ Аб Хеа, Алекса (26 апреля 2023 г.). «OpenAI не удалось ускорить попытку зарегистрировать торговую марку GPT» . Дизайн ТАКСИ . Проверено 21 мая 2023 г.
  77. ^ "НЕОКОНЧАТЕЛЬНОЕ ОФИСНОЕ ДЕЙСТВИЕ" . ВПТЗ США . 25 мая 2023 г.
  78. ^ «Закон США о товарных знаках». Декабрь 2015.
  79. ^ «Международные права на товарные знаки».
  80. ↑ 25 апреля 2023 г., 08:04 (25 апреля 2023 г.). «OpenAI хочет зарегистрировать торговую марку GPT на фоне роста количества чат-ботов с искусственным интеллектом» . Тех Таймс . Проверено 21 мая 2023 г.{{cite web}}: CS1 maint: numeric names: authors list (link)
  81. ↑ Луиза, Ники (3 апреля 2023 г.). «OpenAI подает иск в соответствии с UDRP против нынешнего владельца ChatGPT.com» . Проверено 21 мая 2023 г.
  82. ^ аб Демчак, Траматм-Игорь (26 апреля 2023 г.). «Битва OpenAI за защиту бренда: может ли GPT стать товарным знаком?». Лексология . Архивировано из оригинала 5 мая 2023 года . Проверено 22 мая 2023 г.
  83. ↑ Лоутон, Джордж (20 апреля 2023 г.). «ChatGPT против GPT: чем они отличаются? | TechTarget». Корпоративный ИИ . Архивировано из оригинала 9 мая 2023 года . Проверено 21 мая 2023 г.
  84. ^ Робб, Дрю (12 апреля 2023 г.). «GPT-4 против ChatGPT: сравнение чат-ботов с искусственным интеллектом». еНЕДЕЛЯ . Проверено 21 мая 2023 г.
  85. ↑ Руссо, Филип (22 августа 2023 г.). «Генезис генеративного искусственного интеллекта для всего и везде одновременно в CRE». Коммерческий обозреватель . Архивировано из оригинала 24 августа 2023 года.
  86. ^ «Нарушение прав на товарный знак».
  87. ^ Райнтген, Husch Blackwell LLP - Кэтлин А. (16 августа 2013 г.). «Брендинг 101: добросовестное использование описания товарных знаков». Лексология . Проверено 21 мая 2023 г.
  88. ^ Finetune-transformer-lm, OpenAI, 11 июня 2018 г. , получено 1 мая 2023 г.
  89. ^ «GPT-2: выпуск 1.5B» . openai.com . Проверено 1 мая 2023 г.
  90. ^ Сулейман, Ирен; Брандейдж, Майлз; Кларк, Джек; Аскелл, Аманда; Герберт-Восс, Ариэль; Ву, Джефф; Рэдфорд, Алек; Крюгер, Гретхен; Ким, Чон Ук; Крепс, Сара; Маккейн, Майлз; Ньюхаус, Алекс; Блазакис, Джейсон; Макгаффи, Крис; Ван, Жасмин (12 ноября 2019 г.). «Стратегии выпуска и социальное воздействие языковых моделей». arXiv : 1908.09203 [cs.CL].
  91. ^ gpt-2, OpenAI, 01 мая 2023 г. , получено 1 мая 2023 г.
  92. ^ «WebGPT: повышение фактической точности языковых моделей посредством просмотра веб-страниц». openai.com . Архивировано из оригинала 21 июня 2023 года . Проверено 2 июля 2023 г.
  93. ^ Накано, Рейитиро; Хилтон, Джейкоб; Баладжи, Сучир; Ву, Джефф; Оуян, Лонг; Ким, Кристина; Гессен, Кристофер; Джайн, Шантану; Косараджу, Винет; Сондерс, Уильям; Цзян, Сюй; Коббе, Карл; Элунду, Тайна; Крюгер, Гретхен; Баттон, Кевин (01 декабря 2021 г.). «WebGPT: ответы на вопросы с помощью браузера и обратная связь с людьми». КОРР . arXiv : 2112.09332 .
  94. ^ "ГПТ-4". openai.com . Проверено 1 мая 2023 г.
  95. ^ OpenAI (27 марта 2023 г.). «Технический отчет GPT-4». arXiv : 2303.08774 [cs.CL].
  96. ^ Бубек, Себастьян; Чандрасекаран, Варун; Эльдан, Ронен; Герке, Йоханнес; Хорвиц, Эрик; Камар, Эдже; Ли, Питер; Ли, Инь Тат; Ли, Юаньчжи; Лундберг, Скотт; Нори, Харша; Паланги, Хамид; Рибейро, Марко Тулио; Чжан, И (13 апреля 2023 г.). «Искры общего искусственного интеллекта: ранние эксперименты с GPT-4». arXiv : 2303.12712 [cs.CL].
  97. ^ Системная карта GPT-4, OpenAI, 23 марта 2023 г. (по состоянию на 22 мая 2023 г.).