stringtranslate.com

ГПТ-3

Generative Pre-trained Transformer 3 ( GPT-3 ) — это большая языковая модель, выпущенная OpenAI в 2020 году.

Как и его предшественник, GPT-2 , это модель преобразователя только декодера [2] глубокой нейронной сети, которая заменяет архитектуры, основанные на рекуррентности и свертке, с помощью техники, известной как « внимание ». [3] Этот механизм внимания позволяет модели выборочно фокусироваться на сегментах входного текста, которые она прогнозирует как наиболее релевантные. [4] GPT-3 имеет 175 миллиардов параметров , каждый с 16-битной точностью, требуя 350 ГБ памяти, поскольку каждый параметр занимает 2 байта. Он имеет размер контекстного окна 2048 токенов и продемонстрировал сильные способности к « нулевому выстрелу » и « нескольким выстрелам » обучения на многих задачах. [2]

22 сентября 2020 года Microsoft объявила, что лицензировала GPT-3 исключительно. Другие по-прежнему могут получать вывод из ее публичного API, но только Microsoft имеет доступ к базовой модели. [5]

Фон

По данным The Economist , улучшенные алгоритмы, более мощные компьютеры и недавнее увеличение количества оцифрованного материала стали причиной революции в машинном обучении . Новые методы в 2010-х годах привели к «быстрому улучшению задач», включая манипулирование языком. [6]

Программные модели обучаются обучаться, используя тысячи или миллионы примеров в «структуре  ... в общих чертах основанной на нейронной архитектуре мозга». [6] Одна из архитектур, используемых в обработке естественного языка (NLP), — это нейронная сеть , основанная на модели глубокого обучения , которая была представлена ​​в 2017 году — архитектура transformer . [7] Существует ряд систем NLP, способных обрабатывать, извлекать, организовывать, связывать и сопоставлять текстовый ввод, а также правильно отвечать на вопросы. [8]

11 июня 2018 года исследователи и инженеры OpenAI опубликовали статью, в которой представлен первый генеративный предварительно обученный трансформатор (GPT) — тип генеративной большой языковой модели , которая предварительно обучается с помощью огромного и разнообразного текстового корпуса в наборах данных , а затем подвергается дискриминационной тонкой настройке для фокусировки на конкретной задаче. Модели GPT представляют собой архитектуры нейронных сетей глубокого обучения на основе трансформаторов. Ранее наиболее эффективные нейронные модели NLP обычно использовали контролируемое обучение на больших объемах вручную размеченных данных, что делало обучение чрезвычайно больших языковых моделей непомерно дорогим и трудоемким. [2] Первая модель GPT была известна как «GPT-1», а в феврале 2019 года за ней последовала «GPT-2». Созданная как прямое масштабирование своей предшественницы, GPT-2 имела как количество параметров, так и размер набора данных, увеличенные в 10 раз. Она имела 1,5 миллиарда параметров и была обучена на наборе данных из 8 миллионов веб-страниц. [9]

В феврале 2020 года Microsoft представила свою модель Turing Natural Language Generation (T-NLG), которая, по их словам, является «крупнейшей языковой моделью, когда-либо опубликованной, с 17 миллиардами параметров». [10] Она показала лучшие результаты, чем любая другая языковая модель, при выполнении различных задач, включая реферирование текстов и ответы на вопросы .

Обучение и возможности

Образец студенческого эссе о педагогике, написанного GPT-3

Понятие «стили обучения» проблематично, поскольку оно не учитывает процессы, посредством которых формируются стили обучения. Некоторые студенты могут выработать определенный стиль обучения, поскольку у них был определенный опыт. Другие могут выработать определенный стиль обучения, пытаясь приспособиться к учебной среде, которая не очень хорошо подходит для их учебных потребностей. В конечном счете, нам нужно понять взаимодействие между стилями обучения и факторами окружающей среды и личностными факторами, и как они формируют то, как мы учимся, и виды обучения, которые мы переживаем.

– Текст сгенерирован Майком Шарплсом [11]

28 мая 2020 года в препринте arXiv группы из 31 инженера и исследователя OpenAI было описано достижение и разработка GPT-3, «современной языковой модели» третьего поколения. [1] [12] Команда увеличила емкость GPT-3 более чем на два порядка по сравнению с ее предшественником GPT-2, [13] сделав GPT-3 крупнейшей неразреженной языковой моделью на сегодняшний день. [1] :  14  [14] Поскольку GPT-3 структурно похожа на своих предшественников, [1] ее большая точность объясняется ее увеличенной емкостью и большим количеством параметров. [15] Емкость GPT-3 в десять раз больше, чем у Microsoft Turing NLG, следующей по величине модели NLP, известной на тот момент. [12]

Lambdalabs оценила гипотетическую стоимость обучения GPT-3 на одном графическом процессоре в 2020 году примерно в 4,6 млн долларов США и в 355 лет [16] , при этом фактическое время обучения сократилось бы за счет параллельного использования большего количества графических процессоров.

Шестьдесят процентов взвешенного набора данных предварительного обучения для GPT-3 поступает из отфильтрованной версии Common Crawl , состоящей из 410 миллиардов токенов, закодированных парами байтов . Нечеткая дедупликация использовала MinHash LSH Apache Spark . [ 1] : 9  Другие источники: 19 миллиардов токенов из WebText2, что составляет 22% от общего взвешенного количества, 12 миллиардов токенов из Books1, что составляет 8%, 55 миллиардов токенов из Books2, что составляет 8%, и 3 миллиарда токенов из Wikipedia, что составляет 3%. [1] : 9  GPT-3 обучался на сотнях миллиардов слов и также способен кодировать на CSS , JSX и Python , среди прочих. [ требуется ссылка ]

Поскольку данные обучения GPT-3 были всеобъемлющими, они не требуют дальнейшего обучения для отдельных языковых задач. [ необходима ссылка ] Данные обучения содержат случайный токсичный язык, и GPT-3 иногда генерирует токсичный язык в результате имитации своих данных обучения. Исследование, проведенное в Университете Вашингтона, показало, что GPT-3 производил токсичный язык на уровне токсичности, сопоставимом с аналогичными моделями обработки естественного языка GPT-2 и CTRL. OpenAI реализовала несколько стратегий для ограничения количества токсичного языка, генерируемого GPT-3. В результате GPT-3 производил менее токсичный язык по сравнению с предшествующей моделью GPT-1, хотя она производила как больше поколений, так и более высокую токсичность токсичного языка по сравнению с CTRL Wiki, языковой моделью, обученной полностью на данных Википедии. [17]

11 июня 2020 года OpenAI объявила, что пользователи могут запросить доступ к ее удобному API GPT-3 — «набору инструментов машинного обучения» — чтобы помочь OpenAI «исследовать сильные стороны и ограничения» этой новой технологии. [18] [19] В приглашении описывалось, что этот API имел универсальный интерфейс «ввод текста, вывод текста», который может выполнить практически «любую задачу на английском языке», вместо обычного единственного варианта использования. [18] По словам одного пользователя, у которого был доступ к закрытой ранней версии API OpenAI GPT-3, GPT-3 был «жутко хорош» в написании «удивительно связного текста» всего с несколькими простыми подсказками. [20] В первоначальном эксперименте 80 испытуемым из США было предложено оценить, были ли короткие статьи длиной около 200 слов написаны людьми или GPT-3. Участники дали правильные оценки в 52% случаев, что лишь немного лучше случайного угадывания. [1]

18 ноября 2021 года OpenAI объявила, что было реализовано достаточно мер безопасности, чтобы доступ к ее API был неограниченным. [21] OpenAI предоставила разработчикам инструмент модерации контента, который помогает им соблюдать политику OpenAI в отношении контента. [22] 27 января 2022 года OpenAI объявила, что ее новейшие языковые модели GPT-3 (совместно именуемые InstructGPT) теперь являются языковой моделью по умолчанию, используемой в их API . По данным OpenAI, InstructGPT создавала контент, который лучше соответствовал намерениям пользователя, лучше следуя инструкциям, генерируя меньше выдуманных фактов и создавая несколько менее токсичный контент. [23]

Поскольку GPT-3 может «генерировать новостные статьи, которые оценщикам-людям трудно отличить от статей, написанных людьми», [12] GPT-3 имеет «потенциал для продвижения как полезных, так и вредных приложений языковых моделей». [1] : 34  В своей статье от 28 мая 2020 года исследователи подробно описали потенциальные «вредные эффекты GPT-3» [12], которые включают «дезинформацию, спам , фишинг , злоупотребление юридическими и государственными процессами , мошенническое написание академических эссе и предлоги социальной инженерии ». [1] Авторы привлекают внимание к этим опасностям, чтобы призвать к исследованиям по снижению рисков . [1] : 34 

GPT-3 способен выполнять обучение с нулевым и малым количеством попыток (включая однократное). [1]

В июне 2022 года Альмира Османович Тунстрём написала, что GPT-3 была основным автором статьи о себе, что они представили ее для публикации [24] и что она была предварительно опубликована в ожидании завершения ее рецензирования. [25]

Модели ГПТ-3

В семействе GPT-3 есть много моделей, некоторые из которых служат разным целям, чем другие. В первоначальной исследовательской работе, опубликованной OpenAI, они упомянули 8 различных размеров основной модели GPT-3:

Половина моделей доступна через API, а именно GPT-3-medium, GPT-3-xl, GPT-3-6.7B и GPT-3-175b, которые называются ada, babbage, curie и davinci соответственно. Хотя размер моделей API изначально не был раскрыт OpenAI, EleutherAI объявила о сопоставлении размеров моделей и имен API в мае 2021 года. [26] Эти размеры моделей были позже подтверждены OpenAI, [27] но размеры последующих моделей не были раскрыты.

ГПТ-3.5

Generative Pre-trained Transformer 3.5 ( GPT-3.5 ) — это подкласс моделей GPT-3, созданный OpenAI в 2022 году.

15 марта 2022 года OpenAI предоставила новые версии GPT-3 и Codex в своем API с возможностями редактирования и вставки под названиями «text-davinci-002» и «code-davinci-002». [28] Эти модели были описаны как более способные, чем предыдущие версии, и обучались на данных до июня 2021 года. [29] 28 ноября 2022 года OpenAI представила text-davinci-003. [30] 30 ноября 2022 года OpenAI начала называть эти модели принадлежащими к серии «GPT-3.5» [29] и выпустила ChatGPT , которая была доработана на основе модели из серии GPT-3.5. [31] OpenAI не включает GPT-3.5 в GPT-3. [32]

Модели

Существует три модели: [33]

GPT-3.5 с просмотром

10 апреля 2023 года OpenAI представила новый вариант своей модели серии GPT-3.5, известный как GPT-3.5 с просмотром (ALPHA). [34] Эта обновленная модель была описана как основанная на возможностях ее предшественников «text-davinci-002» и «code-davinci-002». [35] Модель GPT-3.5 с просмотром (ALPHA) включала возможность доступа и просмотра онлайн-информации. Это привело к более точным и актуальным ответам на запросы пользователей. [34]

Модель GPT-3.5 с просмотром (ALPHA) обучалась на данных по состоянию на сентябрь 2021 года, что дало ей больше информации по сравнению с предыдущими моделями GPT-3.5, которые обучались на данных по состоянию на июнь 2021 года. Модель пыталась предоставить разработчикам и пользователям передовой инструмент обработки естественного языка, который может эффективно извлекать и синтезировать онлайн-информацию. [34]

Для включения возможностей просмотра OpenAI реализовала новый API , который позволяет модели GPT-3.5 с просмотром (ALPHA) получать доступ к выбранным онлайн-ресурсам во время работы. [36] Эта функция позволяет пользователям задавать вопросы или запрашивать информацию, ожидая, что модель предоставит обновленные, точные и релевантные ответы на основе последних доступных ей онлайн-источников.

27 апреля 2023 года OpenAI сделала модель GPT-3.5 с просмотром (ALPHA) общедоступной для пользователей GPT Plus. Это позволило большему количеству людей получить доступ к ее новым функциям. [36]

ИнструктироватьGPT

InstructGPT — это усовершенствованная версия GPT-3.5, обученная на наборе данных инструкций, написанных человеком. [37]

Прием

Приложения

Обзоры

Критика

Разработчик GPT-3, OpenAI , изначально был основан как некоммерческая организация в 2015 году. [62] В 2019 году OpenAI отошел от своих обычных стандартов открытого исходного кода, не выпустив публично предшественницу модели GPT-3, сославшись на опасения, что модель может способствовать распространению фейковых новостей. В конечном итоге OpenAI выпустила версию GPT-2 , которая составляла 8% от размера оригинальной модели. [63] В том же году OpenAI реструктурировалась, став коммерческой компанией. [64] В 2020 году Microsoft объявила, что у компании есть эксклюзивная лицензия GPT-3 для продуктов и услуг Microsoft после многомиллиардных инвестиций в OpenAI. Соглашение позволяет OpenAI предлагать общедоступный API, так что пользователи могут отправлять текст в GPT-3, чтобы получать выходные данные модели, но только Microsoft будет иметь доступ к исходному коду GPT-3. [5]

Крупные языковые модели, такие как GPT-3, подверглись критике со стороны нескольких исследователей этики искусственного интеллекта из Google за воздействие обучения и хранения моделей на окружающую среду, подробно описанное в статье, написанной в соавторстве с Тимнитом Гебру и Эмили М. Бендер в 2021 году. [65]

Растущее [ когда? ] использование автоматизированных технологий письма на основе GPT-3 и других языковых генераторов вызвало обеспокоенность относительно академической честности [66] и повысило ставки относительно того, как университеты и школы будут оценивать, что представляет собой академическое нарушение, такое как плагиат. [67]

Серия GPT OpenAI была создана с использованием данных из набора данных Common Crawl [68], конгломерата статей, защищенных авторским правом, интернет-постов, веб-страниц и книг, извлеченных из 60 миллионов доменов за период 12 лет. TechCrunch сообщает, что эти данные обучения включают защищенные авторским правом материалы из BBC, The New York Times , Reddit , полные тексты онлайн-книг и многое другое. [69] В своем ответе на запрос 2019 года о комментариях по защите интеллектуальной собственности для инноваций в области искусственного интеллекта от Бюро по патентам и товарным знакам США (USPTO) OpenAI утверждала, что «согласно действующему законодательству, системы обучения ИИ [такие как его модели GPT] представляют собой добросовестное использование », но что «учитывая отсутствие прецедентного права по данному вопросу, OpenAI и другие разработчики ИИ, такие как мы, сталкиваются со значительной правовой неопределенностью и издержками соблюдения требований». [70]

Смотрите также

Ссылки

  1. ^ abcdefghijklm Браун, Том Б.; Манн, Бенджамин; Райдер, Ник; Суббиа, Мелани; Каплан, Джаред; Дхаривал, Прафулла; Нилакантан, Арвинд; Шьям, Пранав; Шастри, Гириш; Аскелл, Аманда; Агарвал, Сандхини; Герберт-Фосс, Ариэль; Крюгер, Гретхен; Хенигхан, Том; Чайлд, Ревон; Рамеш, Адитья; Циглер, Дэниел М.; Ву, Джеффри; Винтер, Клеменс; Гессе, Кристофер; Чен, Марк; Сиглер, Эрик; Литвин, Матеуш; Грей, Скотт; Чесс, Бенджамин; Кларк, Джек; Бернер, Кристофер; МакКэндлиш, Сэм; Рэдфорд, Алек; Суцкевер, Илья; Амодеи, Дарио (28 мая 2020 г.). «Языковые модели — это ученики с небольшим количеством попыток». arXiv : 2005.14165 [cs.CL].
  2. ^ abc Radford, Alec; Narasimhan, Karthik; Salimans, Tim; Sutskever, Ilya (11 июня 2018 г.). «Улучшение понимания языка с помощью генеративного предварительного обучения» (PDF) . стр. 12. Архивировано (PDF) из оригинала 26 января 2021 г. Получено 31 июля 2020 г.
  3. ^ Васвани, Ашиш ; Шазир, Ноам; Пармар, Ники; Ушкорейт, Якоб; Джонс, Лион; Гомес, Эйдан Н ; Кайзер, Лукаш; Полосухин, Илья (2017). «Внимание — это все, что вам нужно» (PDF) . Достижения в области нейронных систем обработки информации . 30 . Карран Ассошиэйтс, Инк.
  4. ^ Богданау, Дмитрий; Чо, Кёнхён; Бенгио, Йошуа (1 сентября 2014 г.). «Нейронный машинный перевод путем совместного обучения выравниванию и переводу». arXiv : 1409.0473 [cs.CL].
  5. ^ ab Hao, Karen (23 сентября 2020 г.). «OpenAI предоставляет Microsoft эксклюзивный доступ к своей языковой модели GPT-3». MIT Technology Review . Архивировано из оригинала 5 февраля 2021 г. Получено 25 сентября 2020 г. Компании заявляют, что OpenAI продолжит предлагать свой общедоступный API , который позволяет выбранным пользователям отправлять текст в GPT-3 или другие модели OpenAI и получать его вывод. Однако только Microsoft будет иметь доступ к базовому коду GPT-3, что позволит ей встраивать, повторно использовать и изменять модель по своему усмотрению.
  6. ^ ab «Понимание ограничений ИИ начинает осознаваться». The Economist . 11 июня 2020 г. ISSN  0013-0613. Архивировано из оригинала 31 июля 2020 г. Получено 31 июля 2020 г.
  7. ^ Полосухин, Илья; Кайзер, Лукаш; Гомес, Эйдан Н.; Джонс, Лион; Ушкорейт, Якоб; Пармар, Ники; Шазир, Ноам; Васвани, Ашиш (12 июня 2017 г.). « Внимание – это все, что вам нужно ». arXiv : 1706.03762 [cs.CL].
  8. ^ "Обработка естественного языка". Архивировано из оригинала 22 августа 2020 г. Получено 31 июля 2020 г.
  9. ^ "Архивная копия" (PDF) . Архивировано (PDF) из оригинала 6 февраля 2021 г. . Получено 28 апреля 2023 г. .{{cite web}}: CS1 maint: archived copy as title (link)
  10. ^ Стерлинг, Брюс (13 февраля 2020 г.). «Web Semantics: Microsoft Project Turing представляет Turing Natural Language Generation (T-NLG)». Wired . ISSN  1059-1028. Архивировано из оригинала 4 ноября 2020 г. Получено 31 июля 2020 г.
  11. ^ Marche, Stephen (6 декабря 2022 г.). «The College Essay Is Dead». The Atlantic . Архивировано из оригинала 24 января 2023 г. Получено 8 декабря 2022 г.
  12. ^ abcd Sagar, Ram (3 июня 2020 г.). «OpenAI выпускает GPT-3, самую большую модель на сегодняшний день». Analytics India Magazine . Архивировано из оригинала 4 августа 2020 г. Получено 31 июля 2020 г.
  13. ^ "Language Models are Unsupervised Multitask Learners" (PDF) . openai.com . Архивировано (PDF) из оригинала 12 декабря 2019 г. . Получено 4 декабря 2019 г. . GPT-2, это 1,5B параметрический преобразователь
  14. ^ Шеад, Сэм (23 июля 2020 г.). «Почему все говорят о текстовом генераторе на основе искусственного интеллекта, выпущенном лабораторией, поддерживаемой Илоном Маском». CNBC . Архивировано из оригинала 30 июля 2020 г. Получено 31 июля 2020 г.В период с 28 мая по 22 июля 2020 года было выпущено четыре препринта.
  15. ^ Рэй, Тирнан (1 июня 2020 г.). «Гигантский GPT-3 OpenAI намекает на ограничения языковых моделей для ИИ». ZDNet . Архивировано из оригинала 1 июня 2020 г. . Получено 31 июля 2020 г. .
  16. ↑ Ли, Чуань (3 июня 2020 г.), Языковая модель GPT-3 OpenAI: технический обзор, архивировано из оригинала 27 марта 2023 г. , извлечено 27 марта 2023 г.
  17. ^ Геман, Сэмюэл; Гуруранган, Сучин; Сап, Маартен; Чой, Йеджин; Смит, Ноа А. (16–20 ноября 2020 г.), REALTOXICITYPROMPTS: Оценка нейронной токсической дегенерации в языковых моделях , Ассоциация компьютерной лингвистики, стр. 3356–3369, arXiv : 2009.11462
  18. ^ ab "OpenAI API". OpenAI . 11 июня 2020 г. Архивировано из оригинала 11 июня 2020 г. Получено 31 июля 2020 г.
  19. ^ Coldewey, Devin (11 июня 2020 г.). «OpenAI создает универсальный API для своих возможностей текстового ИИ». TechCrunch . Архивировано из оригинала 27 октября 2021 г. Получено 31 июля 2020 г. Если вы когда-либо хотели опробовать хваленый набор инструментов машинного обучения OpenAI, это стало намного проще. Компания выпустила API, который позволяет разработчикам вызывать ее инструменты ИИ для «практически любой задачи на английском языке».
  20. ^ Arram (9 июля 2020 г.). «GPT-3: ИИ, который устрашающе хорош в написании почти всего». Arram Sabeti . Архивировано из оригинала 20 июля 2020 г. Получено 31 июля 2020 г.
  21. ^ «API OpenAI теперь доступен без листа ожидания». OpenAI . 18 ноября 2021 г. Архивировано из оригинала 5 ноября 2022 г. Получено 5 ноября 2022 г.
  22. ^ "OpenAI API". beta.openai.com . Архивировано из оригинала 23 декабря 2022 г. Получено 5 ноября 2022 г.
  23. ^ «Выравнивание языковых моделей для выполнения инструкций». OpenAI . 27 января 2022 г. Архивировано из оригинала 5 ноября 2022 г. Получено 5 ноября 2022 г.
  24. ^ Thunström, Almira Osmanovic (30 июня 2022 г.). «Мы попросили GPT-3 написать академическую статью о себе – затем попытались ее опубликовать». Scientific American . Архивировано из оригинала 30 июня 2022 г. . Получено 30 июня 2022 г. .
  25. ^ Transformer, Gpt Generative Pretrained; Thunström, Almira Osmanovic; Steingrimsson, Steinn (21 июня 2022 г.). «Может ли GPT-3 написать академическую работу о себе с минимальным участием человека?». Архив открыт HAL (на французском языке). Архивировано из оригинала 30 июня 2022 г. . Получено 30 июня 2022 г. .
  26. ^ Гао, Лео (24 мая 2021 г.). «О размерах моделей API OpenAI». Блог EleutherAI . EleutherAI . Получено 23 ноября 2023 г. .
  27. ^ "Модельный индекс для исследователей". OpenAI . Получено 23 ноября 2023 г. .
  28. ^ "Новые возможности GPT-3: редактирование и вставка". OpenAI . 15 марта 2022 г. Архивировано из оригинала 13 января 2023 г. Получено 13 января 2023 г.
  29. ^ ab "OpenAI API". platform.openai.com . Архивировано из оригинала 20 марта 2023 г. Получено 15 марта 2023 г.
  30. ^ "Ознакомьтесь с новым text-davinci-003 от OpenAI! Та же базовая модель, что и text-davinci-002, но более согласованная. Хотелось бы услышать отзывы о ней! / Twitter". Архивировано из оригинала 15 марта 2023 г. Получено 6 мая 2023 г.
  31. ^ "ChatGPT: Оптимизация языковых моделей для диалога". OpenAI . 30 ноября 2022 г. Архивировано из оригинала 30 ноября 2022 г. Получено 13 января 2023 г.
  32. ^ "OpenAI API". Архивировано из оригинала 17 марта 2023 г. Получено 6 мая 2023 г.
  33. ^ "OpenAI API". Архивировано из оригинала 6 мая 2023 г. Получено 6 мая 2023 г.
  34. ^ abc tingetici (10 апреля 2023 г.). "По умолчанию (GPT-3.5) с просмотром ALPHA -- НОВАЯ модель только что появилась". r/OpenAI . Архивировано из оригинала 27 апреля 2023 г. Получено 27 апреля 2023 г.
  35. ^ "Введение в серию GPT-3.5: модели text-davinci-002 и code-davinci-002". OPEN AI . 15 марта 2022 г. Архивировано из оригинала 20 марта 2023 г. Получено 27 апреля 2023 г.
  36. ^ ab "GPT-3.5 с просмотром (ALPHA) теперь доступен для пользователей GPT Plus". OPEN AI . 27 апреля 2023 г. Архивировано из оригинала 20 марта 2023 г. Получено 27 апреля 2023 г.
  37. ^ Gilson A, Safranek CW, Huang T, Socrates V, Chi L, Taylor RA, Chartash D (февраль 2023 г.). «Как ChatGPT справляется с экзаменом на получение медицинской лицензии в США (USMLE)? Значение больших языковых моделей для медицинского образования и оценки знаний». JMIR Med Educ . 9 : e45312. doi : 10.2196/45312 . PMC 9947764. PMID  36753318 . 
  38. ^ "OpenAI Codex". OpenAI . 10 августа 2021 г. Архивировано из оригинала 3 февраля 2023 г. Получено 23 декабря 2022 г.
  39. ^ Томпсон, Клайв (15 марта 2022 г.). «Как искусственный интеллект стал моим гением в написании кода». Wired . Архивировано из оригинала 23 декабря 2022 г. Получено 23 декабря 2022 г.
  40. ^ "Microsoft анонсировала свои первые функции клиентского продукта на базе GPT-3 и @Azure". The AI ​​Blog . 25 мая 2021 г. Архивировано из оригинала 26 мая 2021 г. Получено 26 мая 2021 г.
  41. ^ Винсент, Джеймс (25 мая 2021 г.). «Microsoft создала автозаполнение на базе ИИ для кода с использованием GPT-3». The Verge . Архивировано из оригинала 23 декабря 2022 г. . Получено 23 декабря 2022 г. .
  42. ^ "CodexDB - SQL Processing Powered by GPT-3". CodexDB - SQL Processing Powered by GPT-3 . Архивировано из оригинала 7 декабря 2022 г. . Получено 7 декабря 2022 г. .
  43. ^ Фэгоне, Джейсон (23 июля 2021 г.). «Симуляция Джессики: любовь и потеря в эпоху ИИ» San Francisco Chronicle . Архивировано из оригинала 28 июля 2021 г. Получено 29 июля 2021 г.
  44. ^ GPT-3 (8 сентября 2020 г.). «Всю эту статью написал робот. Ты уже боишься, человек? | GPT-3». The Guardian . ISSN  0261-3077. Архивировано из оригинала 8 сентября 2020 г. Получено 15 сентября 2020 г.{{cite news}}: CS1 maint: numeric names: authors list (link)
  45. ^ "Обновление: языковые модели и дракон". Блог Latitude . 8 декабря 2021 г. Архивировано из оригинала 25 апреля 2022 г. Получено 22 марта 2022 г.
  46. ^ «Эта мистическая книга была написана в соавторстве с пугающе реалистичным ИИ». www.vice.com . 2022. Архивировано из оригинала 23 декабря 2022 г. Получено 23 декабря 2022 г.
  47. ^ GPT-3 (24 февраля 2023 г.). "38 примеров подсказок в 10 различных категориях | GPT-3". Чат GiPiTi . Архивировано из оригинала 8 апреля 2023 г. Получено 24 февраля 2023 г.{{cite news}}: CS1 maint: numeric names: authors list (link)
  48. ^ «Может ли чат-бот ChatGPT AI обнаружить ранние стадии болезни Альцгеймера? — исследование». The Jerusalem Post . 2022. Архивировано из оригинала 10 февраля 2023 г. Получено 10 февраля 2023 г.
  49. ^ Агбавор, Феликс; Лян, Хуалоу (22 декабря 2022 г.). «Прогнозирование деменции по спонтанной речи с использованием больших языковых моделей». PLOS Digital Health . 1 (12): e0000168. doi : 10.1371/journal.pdig.0000168 . PMC 9931366. PMID  36812634. S2CID  255029590. 
  50. ^ Manjoo, Farhad (29 июля 2020 г.). «Откуда вы знаете, что это написал человек?». The New York Times . ISSN  0362-4331. Архивировано из оригинала 29 октября 2020 г. Получено 4 августа 2020 г.
  51. ^ Weinberg, Justin, ed. (30 июля 2020 г.). «Философы о GPT-3 (обновлено с ответами GPT-3)». Daily Nous . Архивировано из оригинала 30 октября 2020 г. . Получено 31 июля 2020 г. .
  52. ^ Чалмерс, Дэвид (30 июля 2020 г.). Вайнберг, Джастин (ред.). «GPT-3 и общий интеллект». Daily Nous . Философы о GPT-3 (обновлено ответами GPT-3). Архивировано из оригинала 4 августа 2020 г. . Получено 4 августа 2020 г. .
  53. ^ Simonite, Tom (22 июля 2020 г.). «Этот заголовок написал человек или машина?». Wired . ISSN  1059-1028. Архивировано из оригинала 1 ноября 2020 г. Получено 31 июля 2020 г.
  54. ^ Клейпул, Теодор (30 июля 2020 г.). «Новый инструмент искусственного интеллекта GPT-3 поднимается на новые вершины, но доказывает, как далеко нам еще предстоит пройти». The National Law Review . Архивировано из оригинала 30 октября 2020 г. Получено 4 августа 2020 г.
  55. ^ Маркус, Гэри (1 декабря 2018 г.). «Самая глубокая проблема с глубоким обучением». Medium . Архивировано из оригинала 1 августа 2019 г. . Получено 29 сентября 2020 г. .
  56. ^ Маркус, Гэри; Дэвис, Эрнест (22 августа 2020 г.). «GPT-3, Bloviator: генератор языка OpenAI понятия не имеет, о чем говорит». MIT Technology Review . Архивировано из оригинала 23 августа 2020 г. Получено 23 августа 2020 г.
  57. ^ Метц, Кейд (24 ноября 2020 г.). «Встречайте GPT-3. Он научился кодировать (и вести блог и спорить)». The New York Times . ISSN  0362-4331. Архивировано из оригинала 6 декабря 2020 г. Получено 24 ноября 2020 г.
  58. ^ «Медицинский чат-бот, использующий OpenAI GPT-3, сказал фальшивому пациенту убить себя». AI News . 28 октября 2020 г. Архивировано из оригинала 10 января 2021 г. Получено 8 января 2021 г.
  59. ^ Хомский о Теренсе Маккенне, Сэме Харрисе, GPT3, криптовалютах, Кьеркегоре, Neuralink и Хофштадтере. 24 марта 2021 г. Событие произошло в 1:11:44. Архивировано из оригинала 29 апреля 2021 г. Получено 29 апреля 2021 г.
  60. ^ Флориди, Лучано; Чириатти, Массимо (1 ноября 2020 г.). «GPT‑3: Его природа, область применения, пределы и последствия». Minds and Machines . 30 (4): 681–694. doi : 10.1007/s11023-020-09548-1 . S2CID  228954221.
  61. ^ Винсент, Джеймс (30 июля 2020 г.). «Последний прорыв OpenAI поразительно мощный, но все еще борется со своими недостатками». The Verge . Архивировано из оригинала 30 июля 2020 г. . Получено 9 ноября 2022 г. .
  62. ^ Оланофф, Дрю (11 декабря 2015 г.). «Artificial Intelligence Nonprofit OpenAI Launches With Backing From Elon Musk And Sam Altman». Tech Crunch. Архивировано из оригинала 20 октября 2022 г. Получено 31 мая 2021 г.
  63. ^ Хао, Карен (29 августа 2019 г.). «OpenAI выпустила самую большую версию своего ИИ, изрыгающего фейковые новости». MIT Technology Review. Архивировано из оригинала 9 мая 2021 г. . Получено 31 мая 2021 г. .
  64. ^ Колдьюи, Девин (11 марта 2019 г.). «OpenAI переходит от некоммерческой к «капкодируемой прибыли» для привлечения капитала». Tech Crunch. Архивировано из оригинала 4 января 2023 г. Получено 31 мая 2021 г.
  65. ^ Бендер, Эмили М.; Гебру, Тимнит; Макмиллан-Мейджор, Анджелина; Шмитчелл, Шмаргарет (3 марта 2021 г.). Об опасностях стохастических попугаев: могут ли языковые модели быть слишком большими? . FAccT '21: Труды конференции ACM 2021 года по справедливости, подотчетности и прозрачности. стр. 610–623. doi : 10.1145/3442188.3445922 .
  66. ^ Миндзак, Майкл; Итон, Сара Элейн. «Искусственный интеллект становится лучше в письме, и университетам следует беспокоиться о плагиате». The Conversation . Архивировано из оригинала 7 ноября 2021 г. . Получено 6 ноября 2021 г. .
  67. ^ Роджерсон, Энн М.; Маккарти, Грейс (декабрь 2017 г.). «Использование интернет-инструментов перефразирования: оригинальная работа, патчрайтинг или спровоцированный плагиат?». Международный журнал образовательной целостности . 13 (1): 1–15. doi : 10.1007/s40979-016-0013-y . ISSN  1833-2595. S2CID  9473217.
  68. ^ Вер Мир, Дэйв. "Статистика ChatGPT". NamePepper . Архивировано из оригинала 5 июня 2023 г. Получено 21 июня 2023 г.
  69. ^ Вот несколько способов, которыми GPT-3 может пойти не так. TechCrunch . Архивировано из оригинала 26 ноября 2021 г. Получено 26 ноября 2021 г.
  70. ^ Комментарий относительно запроса комментариев по защите интеллектуальной собственности для инноваций в области искусственного интеллекта (PDF) . USPTO. Архивировано (PDF) из оригинала 16 октября 2021 г. Получено 30 ноября 2021 г.