ГПТ-3

Текстовая языковая модель 2020 года

Генеративный предварительно обученный трансформатор 3 ( GPT-3 ) — это большая языковая модель, выпущенная OpenAI в 2020 году. Как и ее предшественник, GPT-2 , это модель преобразователя глубокой нейронной сети, предназначенная только для декодера, которая заменяет рекуррентные методы и методы свертки. архитектуры с помощью техники, известной как « внимание ». ^[2] Этот механизм внимания позволяет модели выборочно фокусироваться на сегментах входного текста, которые, по ее прогнозам, будут наиболее релевантными. ^[3] Он использует контекст длиной 2048 токенов ^{[ жаргон ]} , точность float16 (16-бит) и беспрецедентные до сих пор 175 миллиардов параметров , требуя 350 ГБ дискового пространства, поскольку каждый параметр занимает 2 байта пространства, и продемонстрировал сильные способности к обучению при выполнении многих задач. ^[4]

22 сентября 2020 года Microsoft объявила, что лицензировала исключительно GPT-3. Другие по-прежнему могут получать выходные данные из общедоступного API, но только Microsoft имеет доступ к базовой модели. ^[5]

Фон

По данным The Economist , улучшенные алгоритмы, более мощные компьютеры и недавнее увеличение количества оцифрованных материалов способствовали революции в машинном обучении . Новые методы 2010-х годов привели к «быстрому улучшению задач», включая манипулирование языком. ^[6]

Модели программного обеспечения обучаются обучению с использованием тысяч или миллионов примеров в «структуре  … в значительной степени основанной на нейронной архитектуре мозга». ^[6] Одной из архитектур, используемых в обработке естественного языка (НЛП), является нейронная сеть, основанная на модели глубокого обучения , представленной в 2017 году, — архитектура преобразователя . ^[7] Существует ряд систем НЛП, способных обрабатывать, извлекать, организовывать, связывать и сопоставлять текстовый ввод, а также правильно отвечать на вопросы. ^[8]

11 июня 2018 года исследователи и инженеры OpenAI опубликовали документ, в котором представлен первый генеративный предварительно обученный преобразователь (GPT) — тип генеративной модели большого языка , которая предварительно обучается с помощью огромного и разнообразного текстового корпуса в наборах данных , а затем дискриминационного тонкая настройка для фокусировки на конкретной задаче. Модели GPT представляют собой архитектуры нейронных сетей глубокого обучения на основе трансформаторов. Раньше наиболее эффективные нейронные модели НЛП обычно использовали контролируемое обучение на больших объемах размеченных вручную данных, что делало обучение чрезвычайно больших языковых моделей непомерно дорогим и трудоемким. ^[4] Первая модель GPT была известна как «GPT-1», а в феврале 2019 года за ней последовала «GPT-2». Созданная как прямое расширение своей предшественницы, GPT-2 имела как количество параметров, так и размер набора данных увеличился в 10 раз. Он содержал 1,5 миллиарда параметров и был обучен на наборе данных из 8 миллионов веб-страниц. ^[9]

В феврале 2020 года Microsoft представила свою генерацию естественного языка Тьюринга (T-NLG), которая, по их утверждению, была «крупнейшей языковой моделью, когда-либо опубликованной, с 17 миллиардами параметров». ^[10] Он лучше, чем любая другая языковая модель, справлялся с различными задачами, включая обобщение текстов и ответы на вопросы .

Обучение и возможности

Образец студенческого эссе по педагогике , написанный GPT-3

Концепция «стилей обучения» проблематична, поскольку она не учитывает процессы, посредством которых формируются стили обучения. Некоторые учащиеся могут выработать определенный стиль обучения, потому что у них есть особый опыт. Другие могут разработать особый стиль обучения, пытаясь приспособиться к учебной среде, которая не совсем соответствует их потребностям в обучении. В конечном счете, нам необходимо понять взаимодействие между стилями обучения, факторами окружающей среды и личными факторами, а также то, как они влияют на то, как мы учимся и какие виды обучения мы получаем.

– Текст создан Майком Шарплесом ^[11]

28 мая 2020 года в препринте arXiv , подготовленном группой из 31 инженера и исследователя OpenAI, описаны достижения и разработка GPT-3, «современной языковой модели третьего поколения». ^{[1] [12]} Команда увеличила емкость GPT-3 более чем на два порядка по сравнению с ее предшественником, GPT-2, ^[13] сделав GPT-3 крупнейшей неразреженной языковой моделью на сегодняшний день. ^{[1] :  14  [14]} Поскольку GPT-3 структурно похож на своих предшественников, ^[1] его более высокая точность объясняется его увеличенной емкостью и большим количеством параметров. ^[15] Производительность GPT-3 в десять раз превышает мощность Turing NLG от Microsoft, следующей по величине модели НЛП, известной в то время. ^[12]

По оценкам Lambdalabs, гипотетическая стоимость обучения GPT-3 на одном графическом процессоре в 2020 году составит около 4,6 миллионов долларов США и 355 лет, ^[16] с меньшим фактическим временем обучения за счет параллельного использования большего количества графических процессоров.

Шестьдесят процентов взвешенного набора данных предварительного обучения для GPT-3 поступает из отфильтрованной версии Common Crawl, состоящей из 410 миллиардов токенов , закодированных парами байтов. ^{[1] : 9} Другими источниками являются 19 миллиардов токенов из WebText2, что составляет 22% от взвешенной суммы, 12 миллиардов токенов из Books1, представляющих 8%, ​​55 миллиардов токенов из Books2, представляющих 8%, ​​и 3 миллиарда токенов из Википедии, представляющих 3%. ^{[1] : 9} GPT-3 был обучен на сотнях миллиардов слов, а также способен кодировать, среди прочего, на CSS , JSX и Python . ^[17]

Поскольку данные обучения GPT-3 являются всеобъемлющими, он не требует дальнейшего обучения для выполнения отдельных языковых задач. ^[17] Данные обучения иногда содержат токсичный язык, а GPT-3 иногда генерирует токсичный язык в результате имитации своих обучающих данных. Исследование Вашингтонского университета показало, что GPT-3 производит токсичную речь на уровне токсичности, сравнимом с аналогичными моделями обработки естественного языка GPT-2 и CTRL. OpenAI реализовала несколько стратегий по ограничению количества токсичного языка, генерируемого GPT-3. В результате GPT-3 создал менее токсичный язык по сравнению с его предшественником, GPT-1, хотя он произвел как больше поколений, так и более высокую токсичность токсичного языка по сравнению с CTRL Wiki, языковой моделью, полностью обученной на данных Википедии. ^[18]

11 июня 2020 года OpenAI объявила, что пользователи могут запросить доступ к ее удобному API GPT-3 — «набору инструментов машинного обучения» — чтобы помочь OpenAI «изучить сильные и слабые стороны» этой новой технологии. ^{[19] [20]} В приглашении описывалось, что этот API имеет универсальный интерфейс «ввод и вывод текста», который может выполнить практически «любую задачу на английском языке» вместо обычного единственного варианта использования. ^[19] По словам одного пользователя, имевшего доступ к частной ранней версии API OpenAI GPT-3, GPT-3 был «удивительно хорош» в написании «удивительно связного текста» всего с несколькими простыми подсказками. ^[21] В первоначальном эксперименте 80 испытуемых из США попросили оценить, написаны ли короткие статьи размером примерно в 200 слов людьми или GPT-3. Участники правильно судили в 52% случаев, что лишь немногим лучше, чем случайное угадывание. ^[1]

18 ноября 2021 года OpenAI объявила, что было реализовано достаточно мер безопасности, чтобы доступ к ее API был неограниченным. ^[22] OpenAI предоставила разработчикам инструмент модерации контента, который помогает им соблюдать политику OpenAI в отношении контента. ^[23] 27 января 2022 года OpenAI объявила, что ее новейшие языковые модели GPT-3 (совместно называемые InstructGPT) теперь являются языковой моделью по умолчанию, используемой в их API . По данным OpenAI, InstructGPT создавал контент, который лучше соответствовал намерениям пользователя, лучше следуя инструкциям, генерируя меньше выдуманных фактов и создавая несколько менее токсичный контент. ^[24]

Поскольку GPT-3 может «создавать новостные статьи, которые людям-оценщикам трудно отличить от статей, написанных людьми», ^[12] GPT-3 обладает «потенциалом для продвижения как полезных, так и вредных применений языковых моделей». ^{[1] : 34} В своей статье от 28 мая 2020 года исследователи подробно описали потенциальные «вредные последствия GPT-3» ^[12] , которые включают «дезинформацию, спам , фишинг , злоупотребление юридическими и государственными процессами , мошенническое академическое эссе». письмо и социальная инженерия, претекстинг ». ^[1] Авторы обращают внимание на эти опасности и призывают к проведению исследований по снижению рисков . ^{[1] : 34}

GPT-3 способен выполнять обучение с нулевым и малым количеством шагов (включая однократное). ^[1]

В июне 2022 года Альмира Османович Тунстрем написала, что GPT-3 была основным автором статьи о себе, что они представили ее для публикации ^[25] и что она была предварительно опубликована в ожидании завершения ее рецензирования. ^[26]

Модели ГПТ-3

В семействе GPT-3 имеется множество моделей, некоторые из которых служат разным целям, другие — другие. В первоначальной исследовательской статье, опубликованной OpenAI, они упомянули 8 различных размеров основной модели GPT-3:

Половина моделей доступна через API, а именно GPT-3-medium, GPT-3-xl, GPT-3-6.7B и GPT-3-175b, которые называются ada, babbage, curie и davinci соответственно. Хотя размер моделей API изначально не был раскрыт OpenAI, EleutherAI объявила о сопоставлении размеров моделей и названий API в мае 2021 года. ^[27] Эти размеры моделей были позже подтверждены OpenAI, ^[28] но размеры последующих моделей были изменены. не раскрыто.

ГПТ-3,5

Генеративный предварительно обученный трансформатор 3.5 ( GPT-3.5 ) — это подкласс моделей GPT-3, созданный OpenAI в 2022 году.

15 марта 2022 года OpenAI предоставила в своем API новые версии GPT-3 и Кодекса с возможностями редактирования и вставки под именами «text-davinci-002» и «code-davinci-002». ^[29] Эти модели были описаны как более функциональные, чем предыдущие версии, и были обучены на данных до июня 2021 года. ^[30] 28 ноября 2022 года OpenAI представила text-davinci-003. ^[31] 30 ноября 2022 года OpenAI начала относить эти модели к серии «GPT-3.5» ^[30] и выпустила ChatGPT , который был доработан на основе модели серии GPT-3.5. ^[32] OpenAI не включает GPT-3.5 в GPT-3. ^[33]

Модели

Существует четыре модели: ^[34]

• Чат
  • gpt-3.5-турбо
• Завершение текста
  • текст-давинчи-003
  • текст-давинчи-002

GPT-3.5 с просмотром

10 апреля 2023 года OpenAI представила новый вариант своей модели серии GPT-3.5, известный как GPT-3.5 с просмотром (ALPHA). ^[35] Эта обновленная модель была описана как основанная на возможностях своих предшественников «text-davinci-002» и «code-davinci-002». ^[36] Модель GPT-3.5 с просмотром (АЛЬФА) включала возможность доступа и просмотра онлайн-информации. Это привело к более точным и актуальным ответам на запросы пользователей. ^[35]

Модель GPT-3.5 с просмотром (ALPHA) была обучена на данных до сентября 2021 года, что дает ей больше информации по сравнению с предыдущими моделями GPT-3.5, которые обучались на данных до июня 2021 года. Модель была предпринята попытка предоставить разработчикам и пользователям с передовым инструментом обработки естественного языка, который может эффективно извлекать и синтезировать онлайн-информацию. ^[35]

Чтобы включить возможности просмотра, OpenAI реализовала новый API , который позволяет модели GPT-3.5 с просмотром (ALPHA) получать доступ к выбранным онлайн-ресурсам во время работы. ^[37] Эта функция позволяет пользователям задавать вопросы или запрашивать информацию, ожидая, что модель предоставит обновленные, точные и актуальные ответы на основе последних доступных ей онлайн-источников.

27 апреля 2023 года OpenAI сделала модель GPT-3.5 с просмотром (ALPHA) общедоступной для пользователей GPT Plus. Это позволило большему количеству людей получить доступ к его новым функциям. ^[37]

ИнструктироватьGPT

InstructGPT — это доработанная версия GPT-3.5, обученная на наборе данных инструкций, написанных человеком. ^[38]

Прием

Приложения

• GPT-3, в частности модель Codex , является основой GitHub Copilot — программного обеспечения для завершения и генерации кода, которое можно использовать в различных редакторах кода и IDE. ^{[39] [40]}
• GPT-3 используется в некоторых продуктах Microsoft для перевода обычного языка в формальный компьютерный код. ^{[41] [42]}
• GPT-3 использовался в CodexDB ^[43] для генерации кода, специфичного для запроса, для обработки SQL .
• GPT-3 использовался Джейсоном Рорером в проекте чат-бота в стиле ретро под названием «Проект Декабрь», который доступен в Интернете и позволяет пользователям общаться с несколькими искусственными интеллектами, используя технологию GPT-3. ^[44]
• GPT-3 использовался The Guardian для написания статьи о безвредности ИИ для людей. Ему было предложено несколько идей, и они подготовили восемь разных эссе, которые в конечном итоге были объединены в одну статью. ^[45]
• GPT-3 использовался в AI Dungeon , генерирующем текстовые приключенческие игры. Позже она была заменена конкурирующей моделью после того, как OpenAI изменила свою политику в отношении генерируемого контента. ^{[46] [47]}
• GPT-3 используется для помощи в написании копий и других маркетинговых материалов. ^[48]
• Исследование, проведенное в 2022 году в Университете Дрекселя, показало, что системы на основе GPT-3 можно использовать для выявления ранних признаков болезни Альцгеймера . ^{[49] [50]}

Отзывы

• В обзоре The New York Times за июль 2020 года Фархад Манджу сказал , что способность GPT-3 генерировать компьютерный код, поэзию и прозу не просто «удивительна», «пугающа» и «унизительна», но и «более чем немного страшно». ^[51]
• Daily Nous представила серию статей девяти философов о GPT-3. ^[52] Австралийский философ Дэвид Чалмерс описал GPT-3 как «одну из самых интересных и важных систем искусственного интеллекта, когда-либо созданных». ^[53]
• В обзоре Wired говорится, что GPT-3 «вызывает дрожь в Кремниевой долине ». ^[54]
• В National Law Review говорится, что GPT-3 является «впечатляющим шагом в более широком процессе», поскольку OpenAI и другие находят «полезное применение всей этой мощи», продолжая при этом «работать над более общим интеллектом ». ^[55]
• В статье в журнале MIT Technology Review , написанной в соавторстве с критиком глубокого обучения Гэри Маркусом , ^[56] говорится, что GPT-3 «понимание мира часто серьезно нарушено, а это означает, что вы никогда не сможете по-настоящему доверять тому, что он говорит». ^[57] По мнению авторов, GPT-3 моделирует отношения между словами, не понимая смысла каждого слова.
• Джером Песенти, глава лаборатории искусственного интеллекта Facebook, заявил, что GPT-3 «небезопасен», указав на сексистские , расистские и другие предвзятые и негативные высказывания, генерируемые системой, когда ее просили обсуждать евреев, женщин, чернокожих и Холокост . ^[58]
• Nabla, французский стартап, специализирующийся на медицинских технологиях, протестировал GPT-3 в качестве медицинского чат-бота , хотя сама OpenAI предостерегает от такого использования. Как и ожидалось, GPT-3 продемонстрировал несколько ограничений. Например, при тестировании ответов GPT-3 о проблемах психического здоровья ИИ посоветовал моделируемому пациенту покончить жизнь самоубийством. ^[59]
• Ноам Хомский выразил скептицизм по поводу научной ценности GPT-3: «Это не языковая модель. Она работает так же хорошо для невозможных языков, как и для реальных языков. Поэтому она опровергается, если она задумана как языковая модель, обычными научными критериями. [ ...] Возможно, это полезно для какой-то цели, но, похоже, ничего не говорит нам о языке или познании в целом». ^[60]
• Лучано Флориди и Массимо Кириатти подчеркнули риск «дешевого производства хороших смысловых артефактов». ^[61]
• Сам Сэм Альтман из OpenAI раскритиковал то, что он назвал «хайпом о GPT-3», признав, что GPT-3 «имеет серьезную слабость и иногда допускает очень глупые ошибки… ИИ собирается изменить мир, но GPT-3 — это всего лишь очень ранний проблеск». ." ^[62]

Критика

Разработчик GPT-3, OpenAI , изначально был основан как некоммерческая организация в 2015 году. ^[63] В 2019 году OpenAI отошла от своих обычных стандартов с открытым исходным кодом, не выпустив публично предшественницу GPT-3, сославшись на опасения, что эта модель может распространение фейковых новостей. В конечном итоге OpenAI выпустила версию GPT-2 , размер которой составлял 8% от размера исходной модели. ^[64] В том же году OpenAI была реструктурирована и стала коммерческой компанией. ^[65] В 2020 году Microsoft объявила, что получила эксклюзивную лицензию на GPT-3 для продуктов и услуг Microsoft после многомиллиардных инвестиций в OpenAI. Соглашение позволяет OpenAI предлагать общедоступный API, позволяющий пользователям отправлять текст в GPT-3 для получения результатов модели, но только Microsoft будет иметь доступ к исходному коду GPT-3. ^[5]

Большие языковые модели, такие как GPT-3, подверглись критике со стороны некоторых исследователей этики ИИ из Google за воздействие обучения и хранения моделей на окружающую среду, подробно описанное в статье, написанной в соавторстве с Тимнитом Гебру и Эмили М. Бендер в 2021 году. ^[66 ]

Растущее ^{[ когда? ]} использование технологий автоматического письма, основанных на GPT-3 и других языковых генераторах, вызвало обеспокоенность по поводу академической честности ^[67] и подняло ставки в отношении того, как университеты и школы будут оценивать, что представляет собой академическое правонарушение, такое как плагиат. ^[68]

Серия GPT OpenAI была построена на основе данных из набора данных Common Crawl , ^[69] конгломерата статей, защищенных авторским правом, интернет-сообщений, веб-страниц и книг, собранных с 60 миллионов доменов в течение 12 лет. TechCrunch сообщает, что эти обучающие данные включают защищенные авторским правом материалы BBC, The New York Times , Reddit , полные тексты онлайн-книг и многое другое. ^[70] В своем ответе на запрос комментариев по защите интеллектуальной собственности для инноваций в области искусственного интеллекта от Ведомства США по патентам и товарным знакам (USPTO) в 2019 году OpenAI заявила, что «в соответствии с действующим законодательством обучение систем искусственного интеллекта [таких как модели GPT] представляет собой добросовестное использование », но «учитывая отсутствие прецедентного права , OpenAI и другие разработчики ИИ, такие как мы, сталкиваются со значительной юридической неопределенностью и расходами на соблюдение требований». ^[71]

Смотрите также

• БЕРТ (языковая модель)
• Галлюцинация (искусственный интеллект)
• ЛаМДА
• Близнецы (языковая модель)
• У Дао
• ГПТ-4
• GPTZero

Рекомендации

1. Браун, Том Б.; Манн, Бенджамин; Райдер, Ник; Суббия, Мелани; Каплан, Джаред; Дхаривал, Прафулла; Нилакантан, Арвинд; Шьям, Пранав; Састри, Гириш; Аскелл, Аманда; Агарвал, Сандхини; Герберт-Восс, Ариэль; Крюгер, Гретхен; Хениган, Том; Дитя, Ревон; Рамеш, Адитья; Зиглер, Дэниел М.; Ву, Джеффри; Зима, Клеменс; Гессен, Кристофер; Чен, Марк; Сиглер, Эрик; Литвин, Матеуш; Грей, Скотт; Шахматы, Бенджамин; Кларк, Джек; Бернер, Кристофер; МакКэндлиш, Сэм; Рэдфорд, Алек; Суцкевер, Илья; Амодей, Дарио (28 мая 2020 г.). «Языковые модели изучаются немногими». arXiv : 2005.14165 [cs.CL].
2. Васвани, Ашиш ; Шазир, Ноам; Пармар, Ники; Ушкорейт, Якоб; Джонс, Лион; Гомес, Эйдан Н ; Кайзер, Лукаш; Полосухин, Илья (2017). «Внимание — это все, что вам нужно» (PDF) . Достижения в области нейронных систем обработки информации . Карран Ассошиэйтс, Инк. 30 .
3. Богданов, Дмитрий; Чо, Кёнхён; Бенджио, Йошуа (1 сентября 2014 г.). «Нейронный машинный перевод путем совместного обучения выравниванию и переводу». arXiv : 1409.0473 [cs.CL].
4. Рэдфорд, Алек; Нарасимхан, Картик; Салиманс, Тим; Суцкевер, Илья (11 июня 2018 г.). «Улучшение понимания языка посредством генеративной предварительной подготовки» (PDF) . п. 12. Архивировано (PDF) из оригинала 26 января 2021 г. Проверено 31 июля 2020 г.
5. Хао, Карен (23 сентября 2020 г.). «OpenAI предоставляет Microsoft эксклюзивный доступ к своей языковой модели GPT-3». Обзор технологий Массачусетского технологического института . Архивировано из оригинала 5 февраля 2021 года . Проверено 25 сентября 2020 г. Компании заявляют, что OpenAI продолжит предлагать свой общедоступный API , который позволяет выбранным пользователям отправлять текст в GPT-3 или другие модели OpenAI и получать его выходные данные. Однако только Microsoft будет иметь доступ к базовому коду GPT-3, что позволит ей встраивать, перепрофилировать и изменять модель по своему усмотрению.
6. «Понимание ограничений ИИ начинает проникать». Экономист . 11 июня 2020 г. ISSN  0013-0613. Архивировано из оригинала 31 июля 2020 года . Проверено 31 июля 2020 г.
7. Полосухин, Илья; Кайзер, Лукаш; Гомес, Эйдан Н.; Джонс, Лион; Ушкорейт, Якоб; Пармар, Ники; Шазир, Ноам; Васвани, Ашиш (12 июня 2017 г.). « Внимание — это все, что вам нужно ». arXiv : 1706.03762 [cs.CL].
8. «Обработка естественного языка». Архивировано из оригинала 22 августа 2020 года . Проверено 31 июля 2020 г.
9. «Архивная копия» (PDF) . Архивировано (PDF) из оригинала 6 февраля 2021 г. Проверено 28 апреля 2023 г.{{cite web}}: CS1 maint: archived copy as title (link)
10. Стерлинг, Брюс (13 февраля 2020 г.). «Веб-семантика: Microsoft Project Turing представляет генерацию естественного языка Тьюринга (T-NLG)». Проводной . ISSN  1059-1028. Архивировано из оригинала 4 ноября 2020 года . Проверено 31 июля 2020 г.
11. Марке, Стивен (6 декабря 2022 г.). «Эссе для колледжа мертво». Атлантический океан . Архивировано из оригинала 24 января 2023 года . Проверено 8 декабря 2022 г.
12. Сагар, Рам (3 июня 2020 г.). «OpenAI выпускает GPT-3, самую большую модель на данный момент» . Журнал Analytics India . Архивировано из оригинала 4 августа 2020 года . Проверено 31 июля 2020 г.
13. «Языковые модели предназначены для многозадачного обучения без присмотра» (PDF) . openai.com . Архивировано (PDF) из оригинала 12 декабря 2019 г. Проверено 4 декабря 2019 г. GPT-2 — трансформатор с параметром 1,5 В.
14. Шид, Сэм (23 июля 2020 г.). «Почему все говорят о текстовом генераторе искусственного интеллекта, выпущенном лабораторией, поддерживаемой Илоном Маском». CNBC . Архивировано из оригинала 30 июля 2020 года . Проверено 31 июля 2020 г.С 28 мая по 22 июля 2020 года было выпущено четыре препринта.
15. Рэй, Тирнан (1 июня 2020 г.). «Гигантский GPT-3 OpenAI намекает на пределы языковых моделей для ИИ». ЗДНет . Архивировано из оригинала 1 июня 2020 года . Проверено 31 июля 2020 г.
16. Ли, Чуан (3 июня 2020 г.), Языковая модель OpenAI GPT-3: технический обзор, заархивировано из оригинала 27 марта 2023 г. , получено 27 марта 2023 г.
17. Бусслер, Фредерик (21 июля 2020 г.). «Убьет ли GPT-3 кодирование?». На пути к науке о данных . Архивировано из оригинала 19 августа 2020 года . Проверено 1 августа 2020 г.
18. Геман, Самуэль; Гуруранган, Сучин; Сап, Мартен; Чой, Еджин; Смит, Ной А. (16–20 ноября 2020 г.), REALTOXICITYPROMPTS: Оценка нейронной токсической дегенерации в языковых моделях , Ассоциация компьютерной лингвистики, стр. 3356–3369, arXiv : 2009.11462
19. «API OpenAI». ОпенАИ . 11 июня 2020 года. Архивировано из оригинала 11 июня 2020 года . Проверено 31 июля 2020 г.
20. Колдьюи, Девин (11 июня 2020 г.). «OpenAI создает универсальный API для своих возможностей текстового ИИ». ТехКранч . Архивировано из оригинала 27 октября 2021 года . Проверено 31 июля 2020 г. Если вы когда-нибудь хотели опробовать хваленый набор инструментов машинного обучения OpenAI, это стало намного проще. Компания выпустила API, который позволяет разработчикам вызывать инструменты искусственного интеллекта «практически для любой задачи на английском языке».
21. Аррам (9 июля 2020 г.). «GPT-3: ИИ, который удивительно хорошо пишет практически все». Аррам Сабети . Архивировано из оригинала 20 июля 2020 года . Проверено 31 июля 2020 г.
22. «API OpenAI теперь доступен без списка ожидания» . ОпенАИ . 18 ноября 2021 года. Архивировано из оригинала 5 ноября 2022 года . Проверено 5 ноября 2022 г.
23. «API OpenAI». beta.openai.com . Архивировано из оригинала 23 декабря 2022 года . Проверено 5 ноября 2022 г.
24. «Приведение языковых моделей в соответствие с инструкциями». ОпенАИ . 27 января 2022 года. Архивировано из оригинала 5 ноября 2022 года . Проверено 5 ноября 2022 г.
25. Тунстрем, Альмира Османович (30 июня 2022 г.). «Мы попросили GPT-3 написать о себе научную статью, а затем попытались ее опубликовать». Научный американец . Архивировано из оригинала 30 июня 2022 года . Проверено 30 июня 2022 г.
26. Трансформатор, предварительно обученный генеративный Gpt; Тунстрем, Альмира Османович; Штейнгримссон, Штайн (21 июня 2022 г.). «Может ли GPT-3 написать о себе научную статью с минимальным участием человека?». Архив открытого HAL (на французском языке). Архивировано из оригинала 30 июня 2022 года . Проверено 30 июня 2022 г.
27. Гао, Лео (24 мая 2021 г.). «О размерах моделей OpenAI API». Блог EleutherAI . ЭлеутерAI . Проверено 23 ноября 2023 г.
28. «Модельный индекс для исследователей» . ОпенАИ . Проверено 23 ноября 2023 г.
29. «Новые возможности GPT-3: редактирование и вставка» . ОпенАИ . 15 марта 2022 года. Архивировано из оригинала 13 января 2023 года . Проверено 13 января 2023 г.
30. «API OpenAI». платформа.openai.com . Архивировано из оригинала 20 марта 2023 года . Проверено 15 марта 2023 г.
31. «Оцените новый text-davinci-003 от OpenAI! Та же базовая модель, что и text-davinci-002, но более согласованная. Хотелось бы услышать отзывы об этом! / Twitter» . Архивировано из оригинала 15 марта 2023 года . Проверено 6 мая 2023 г.
32. «ChatGPT: оптимизация языковых моделей для диалога» . ОпенАИ . 30 ноября 2022 года. Архивировано из оригинала 30 ноября 2022 года . Проверено 13 января 2023 г.
33. «API OpenAI». Архивировано из оригинала 17 марта 2023 года . Проверено 6 мая 2023 г.
34. «API OpenAI». Архивировано из оригинала 6 мая 2023 года . Проверено 6 мая 2023 г.
35. tingetici (10 апреля 2023 г.). «По умолчанию (GPT-3.5) с просмотром АЛЬФА — только что появилась НОВАЯ модель». р/ОпенАИ . Архивировано из оригинала 27 апреля 2023 года . Проверено 27 апреля 2023 г.
36. «Представляем серию GPT-3.5: модели text-davinci-002 и code-davinci-002» . ОТКРЫТЫЙ ИИ . 15 марта 2022 года. Архивировано из оригинала 20 марта 2023 года . Проверено 27 апреля 2023 г.
37. «GPT-3.5 с просмотром (ALPHA) теперь доступен для пользователей GPT Plus» . ОТКРЫТЫЙ ИИ . 27 апреля 2023 года. Архивировано из оригинала 20 марта 2023 года . Проверено 27 апреля 2023 г.
38. Гилсон А., Сафранек К.В., Хуанг Т., Сократ В., Чи Л., Тейлор Р.А., Чарташ Д. Как ChatGPT работает на экзамене на медицинскую лицензию в США? Значение больших языковых моделей для медицинского образования и оценки знаний. JMIR Med Educ. 8 февраля 2023 г.;9:e45312. дои: 10.2196/45312. PMID: 36753318; PMCID: PMC9947764.
39. «Кодекс OpenAI». ОпенАИ . 10 августа 2021 года. Архивировано из оригинала 3 февраля 2023 года . Проверено 23 декабря 2022 г.
40. Томпсон, Клайв (15 марта 2022 г.). «Как ИИ стал моим джинном, пишущим код». Проводной . Архивировано из оригинала 23 декабря 2022 года . Проверено 23 декабря 2022 г.
41. «Microsoft объявила о своих первых функциях продукта для клиентов на базе GPT-3 и @Azure» . Блог AI . 25 мая 2021 года. Архивировано из оригинала 26 мая 2021 года . Проверено 26 мая 2021 г.
42. Винсент, Джеймс (25 мая 2021 г.). «Microsoft создала систему автозаполнения кода на базе искусственного интеллекта с использованием GPT-3». Грань . Архивировано из оригинала 23 декабря 2022 года . Проверено 23 декабря 2022 г.
43. «CodexDB — обработка SQL на базе GPT-3» . CodexDB — обработка SQL на базе GPT-3 . Архивировано из оригинала 7 декабря 2022 года . Проверено 7 декабря 2022 г.
44. Фагон, Джейсон (23 июля 2021 г.). «Моделирование Джессики: любовь и потеря в эпоху искусственного интеллекта» San Francisco Chronicle . Архивировано из оригинала 28 июля 2021 года . Проверено 29 июля 2021 г.
45. GPT-3 (8 сентября 2020 г.). «Всю эту статью написал робот. Ты уже напуган, человек? | GPT-3». Хранитель . ISSN  0261-3077. Архивировано из оригинала 8 сентября 2020 года . Проверено 15 сентября 2020 г.{{cite news}}: CS1 maint: numeric names: authors list (link)
46. «Обновление: языковые модели и дракон». Блог Локатьюра . 8 декабря 2021 года. Архивировано из оригинала 25 апреля 2022 года . Проверено 22 марта 2022 г.
47. «Эта мистическая книга была написана в соавторстве с пугающе реалистичным ИИ» . www.vice.com . 2022. Архивировано из оригинала 23 декабря 2022 года . Проверено 23 декабря 2022 г.
48. GPT-3 (24 февраля 2023 г.). «38 подсказок в 10 различных категориях | GPT-3». ГиПиТи Чат . Архивировано из оригинала 8 апреля 2023 года . Проверено 24 февраля 2023 г.{{cite news}}: CS1 maint: numeric names: authors list (link)
49. «Может ли чат-бот ChatGPT AI обнаружить ранние стадии болезни Альцгеймера? - исследование» . «Джерузалем Пост» . 2022. Архивировано из оригинала 10 февраля 2023 года . Проверено 10 февраля 2023 г.
50. Агбавор, Феликс; Лян, Хуалоу (22 декабря 2022 г.). «Прогнозирование деменции по спонтанной речи с использованием больших языковых моделей». PLOS Цифровое здоровье . 1 (12): e0000168. doi : 10.1371/journal.pdig.0000168 . ПМЦ 9931366 . PMID  36812634. S2CID  255029590. 
51. Манджу, Фархад (29 июля 2020 г.). «Откуда вы знаете, что это написал человек?». Нью-Йорк Таймс . ISSN  0362-4331. Архивировано из оригинала 29 октября 2020 года . Проверено 4 августа 2020 г.
52. Вайнберг, Джастин, изд. (30 июля 2020 г.). «Философы о GPT-3 (обновлено ответами GPT-3)». Ежедневный Ноус . Архивировано из оригинала 30 октября 2020 года . Проверено 31 июля 2020 г.
53. Чалмерс, Дэвид (30 июля 2020 г.). Вайнберг, Джастин (ред.). «ГПТ-3 и общая разведка». Ежедневный Ноус . Философы о GPT-3 (обновлено ответами GPT-3). Архивировано из оригинала 4 августа 2020 года . Проверено 4 августа 2020 г.
54. Симонит, Том (22 июля 2020 г.). «Этот заголовок написал человек или машина?». Проводной . ISSN  1059-1028. Архивировано из оригинала 1 ноября 2020 года . Проверено 31 июля 2020 г.
55. Клейпул, Теодор (30 июля 2020 г.). «Новый инструмент искусственного интеллекта GPT-3 достигает новых вершин, но доказывает, как далеко нам еще нужно пройти». Обзор национального законодательства . Архивировано из оригинала 30 октября 2020 года . Проверено 4 августа 2020 г.
56. Маркус, Гэри (1 декабря 2018 г.). «Самая глубокая проблема глубокого обучения». Середина . Архивировано из оригинала 1 августа 2019 года . Проверено 29 сентября 2020 г.
57. Маркус, Гэри; Дэвис, Эрнест (22 августа 2020 г.). «GPT-3, Bloviator: генератор языка OpenAI понятия не имеет, о чем говорит». Обзор технологий Массачусетского технологического института . Архивировано из оригинала 23 августа 2020 года . Проверено 23 августа 2020 г.
58. Мец, Кейд (24 ноября 2020 г.). «Познакомьтесь с GPT-3. Он научился кодировать (а также вести блог и спорить)». Нью-Йорк Таймс . ISSN  0362-4331. Архивировано из оригинала 6 декабря 2020 года . Проверено 24 ноября 2020 г.
59. «Медицинский чат-бот, использующий GPT-3 OpenAI, приказал фальшивому пациенту покончить с собой» . Новости ИИ . 28 октября 2020 года. Архивировано из оригинала 10 января 2021 года . Проверено 8 января 2021 г.
60. Хомский о Теренсе Маккенне, Сэме Харрисе, GPT3, криптовалютах, Кьеркегоре, Neuralink и Hofstadter. 24 марта 2021 г. Событие происходит в 1:11:44. Архивировано из оригинала 29 апреля 2021 года . Проверено 29 апреля 2021 г.
61. Флориди, Лучано; Чириатти, Массимо (1 ноября 2020 г.). «GPT-3: его природа, сфера применения, ограничения и последствия». Разум и машины . 30 (4): 681–694. дои : 10.1007/s11023-020-09548-1 . S2CID  228954221.
62. Винсент, Джеймс (30 июля 2020 г.). «Последний прорыв OpenAI поразительно силен, но все еще борется со своими недостатками». Грань . Архивировано из оригинала 30 июля 2020 года . Проверено 9 ноября 2022 г.
63. Оланофф, Дрю (11 декабря 2015 г.). «Некоммерческая организация искусственного интеллекта OpenAI запускается при поддержке Илона Маска и Сэма Альтмана» . Технический кризис. Архивировано из оригинала 20 октября 2022 года . Проверено 31 мая 2021 г.
64. Хао, Карен (29 августа 2019 г.). «OpenAI выпустила самую крупную версию своего искусственного интеллекта, распространяющего фейковые новости». Обзор технологий MIT. Архивировано из оригинала 9 мая 2021 года . Проверено 31 мая 2021 г.
65. Колдьюи, Девин (11 марта 2019 г.). «OpenAI переходит от некоммерческой деятельности к «ограниченной прибыли» для привлечения капитала». Технический кризис. Архивировано из оригинала 4 января 2023 года . Проверено 31 мая 2021 г.
66. Бендер, Эмили М.; Гебру, Тимнит; Макмиллан-Мейджор, Анджелина; Шмитчелл, Шмаргарет (3 марта 2021 г.). Об опасностях стохастических попугаев: могут ли языковые модели быть слишком большими? . FAccT '21: Материалы конференции ACM 2021 года по вопросам справедливости, подотчетности и прозрачности. стр. 610–623. дои : 10.1145/3442188.3445922 .
67. Миндзак, Майкл; Итон, Сара Элейн. «Искусственный интеллект становится лучше писать, и университетам следует опасаться плагиата». Разговор . Архивировано из оригинала 7 ноября 2021 года . Проверено 6 ноября 2021 г.
68. Роджерсон, Энн М.; Маккарти, Грейс (декабрь 2017 г.). «Использование интернет-инструментов перефразирования: оригинальная работа, написание патчей или облегченный плагиат?». Международный журнал честности в образовании . 13 (1): 1–15. дои : 10.1007/s40979-016-0013-y . ISSN  1833-2595. S2CID  9473217.
69. Вер Меер, Дэйв. «Статистика ChatGPT». ИмяPepper . Архивировано из оригинала 5 июня 2023 года . Проверено 21 июня 2023 г.
70. Вот несколько причин, по которым GPT-3 может пойти не так. ТехКранч . Архивировано из оригинала 26 ноября 2021 года . Проверено 26 ноября 2021 г.
71. Комментарий относительно запроса на комментарии по защите интеллектуальной собственности для инноваций в области искусственного интеллекта (PDF) . ВПТЗ США. Архивировано (PDF) из оригинала 16 октября 2021 г. Проверено 30 ноября 2021 г.