LaMDA ( Языковая модель для диалоговых приложений ) — семейство моделей разговорного большого языка, разработанное Google . Первоначально разработанный и представленный как Meena в 2020 году, LaMDA первого поколения был анонсирован во время выступления Google I/O в 2021 году , а второе поколение было анонсировано в следующем году. В июне 2022 года LaMDA привлекла широкое внимание, когда инженер Google Блейк Лемуан заявил, что чат-бот стал разумным . Научное сообщество в значительной степени отвергло утверждения Лемуана, хотя это привело к разговорам об эффективности теста Тьюринга , который определяет, может ли компьютер сойти за человека. В феврале 2023 года Google анонсировала Bard , диалоговый чат-бот с искусственным интеллектом на базе LaMDA, чтобы противостоять росту популярности ChatGPT от OpenAI .
История
Фон
28 января 2020 года Google представила Meena, чат-бота на основе нейронной сети с 2,6 миллиардами параметров, который, по утверждению Google, превосходит все другие существующие чат-боты. [1] [2] Ранее в 2012 году компания наняла ученого-компьютерщика Рэя Курцвейла для разработки нескольких чат-ботов для компании, в том числе одного по имени Даниэль. [3] Исследовательская группа Google Brain , разработавшая Meena, надеялась опубликовать чат-бота в ограниченном объеме, но руководители компаний отказались на том основании, что Meena нарушает «принципы искусственного интеллекта Google в отношении безопасности и справедливости». Позже Meena была переименована в LaMDA, поскольку ее данные и вычислительная мощность увеличились, и команда Google Brain снова попыталась развернуть программное обеспечение в Google Assistant , программном обеспечении виртуального помощника компании , а также открыть его для публичной демо-версии. Оба запроса в очередной раз были отклонены руководством компании. В конечном итоге это привело к тому, что два ведущих исследователя LaMDA, Дэниел Де Фрейтас и Ноам Шазир, в отчаянии покинули компанию. [4]
Первое поколение
Во время выступления Google I/O 18 мая 2021 года Google анонсировала модель разговорного большого языка LaMDA , основанную на искусственном интеллекте . [5] [6] Аббревиатура расшифровывается как «Языковая модель для диалоговых приложений». [5] [7] LaMDA , построенная на архитектуре seq2seq и нейронных сетях на основе трансформаторов , разработанных Google Research в 2017 году, была обучена человеческим диалогам и историям, что позволяет ей участвовать в открытых разговорах. [8] Google заявляет, что ответы, генерируемые LaMDA, были «разумными, интересными и соответствующими контексту». [9] LaMDA имеет доступ к множеству систем обработки символьного текста , включая базу данных, часы реального времени и календарь, математический калькулятор и систему перевода на естественный язык, что обеспечивает превосходную точность в задачах, поддерживаемых этими системами, и делает его среди первых чат-ботов с двойным процессом . LaMDA также не является апатридом , поскольку его показатель « разумности » точно настраивается путем «предварительного обусловливания» каждого поворота диалога путем добавления многих из самых последних диалоговых взаимодействий для каждого пользователя. [10] LaMDA настроен на девять уникальных показателей эффективности: разумность, специфичность, интересность, безопасность, обоснованность, информативность, точность цитирования, полезность и последовательность ролей. [11]
Второе поколение
11 мая 2022 года Google представила LaMDA 2, преемника LaMDA, во время основного доклада Google I/O 2022 года. Новое воплощение модели извлекает примеры текста из многочисленных источников, используя их для формулирования уникальных «естественных разговоров» на темы, на которые она, возможно, не была обучена реагировать. [12]
11 июня 2022 года газета The Washington Post сообщила, что инженер Google Блейк Лемуан был отправлен в оплачиваемый административный отпуск после того, как Лемуан сообщил руководителям компании Блезу Агуэра-и-Аркас и Джен Дженнаи, что LaMDA стал разумным . Лемуан пришел к такому выводу после того, как чат-бот дал сомнительные ответы на вопросы, касающиеся самоидентификации , моральных ценностей , религии и трех законов робототехники Айзека Азимова . [14] [15] Google опроверг эти утверждения, настаивая на том, что существуют веские доказательства того, что LaMDA не обладает разумом. [16] В интервью Wired Лемуан повторил свои утверждения о том, что LaMDA был «человеком», как это продиктовано Тринадцатой поправкой к Конституции США , сравнив его с «инопланетным разумом земного происхождения». Он также сообщил, что был уволен из Google после того, как нанял адвоката от имени LaMDA после того, как чат-бот попросил Лемуана сделать это. [17] [18] 22 июля компания Google уволила Лемуана, заявив, что Блейк нарушил их политику «защиты информации о продукте», и отклонила его претензии как «совершенно необоснованные». [19] [20] Внутренние разногласия, спровоцированные инцидентом, побудили руководителей Google принять решение не публиковать LaMDA, что ранее рассматривалось. [4]
Заявления Лемуана были отвергнуты научным сообществом. [21] Многие эксперты высмеивали идею о том, что языковая модель может обладать самосознанием , в том числе бывший профессор психологии Нью-Йоркского университета Гэри Маркус , Дэвид Пфау из дочерней компании Google DeepMind , Эрик Бриньольфссон из Института человекоцентрированного искусственного интеллекта Стэнфордского университета. и профессор Университета Суррея Адриан Хилтон. [13] [22] Ян ЛеКун , возглавляющий исследовательскую группу по искусственному интеллекту Meta Platforms , заявил, что нейронные сети, такие как LaMDA, «недостаточно мощны, чтобы достичь истинного интеллекта». [23] Профессор Калифорнийского университета в Санта-Крузе Макс Кремински отметил, что архитектура LaMDA «не поддерживает некоторые ключевые возможности человеческого сознания» и что веса ее нейронной сети были «заморожены», предполагая, что это типичная модель большого языка. [24] Ведущий разработчик IBM Watson Дэвид Ферруччи сравнил то, как LaMDA выглядела человеком, так же, как Watson, когда он был впервые представлен. [25] Бывший специалист по этике искусственного интеллекта Google Тимнит Гебру назвал Лемуана жертвой «цикла ажиотажа», инициированного исследователями и средствами массовой информации. [26] Заявления Лемуана также вызвали дискуссию о том, остается ли тест Тьюринга полезным для определения прогресса исследователей в достижении общего искусственного интеллекта . люди, [27] в то время как Брайан Кристиан из The Atlantic сказал, что спор был примером эффекта ELIZA . [28]
Продукты
Тестовая кухня с искусственным интеллектом
С выпуском LaMDA 2 в мае 2022 года Google также запустила AI Test Kitchen — мобильное приложение для операционной системы Android на базе LaMDA, способное по запросу предоставлять списки предложений на основе сложной цели. [29] [30] Первоначально открытое только для сотрудников Google, приложение должно было быть доступно «избранным ученым, исследователям и политикам» по приглашению где-то в этом году. [31] В августе компания начала разрешать пользователям в США подписаться на ранний доступ. [32] В ноябре Google выпустила обновление «второго сезона» приложения, интегрировавшее ограниченную форму модели преобразования текста в изображение Imagen от Google Brain . [33] Третья версия AI Test Kitchen находилась в разработке к январю 2023 года и, как ожидается, будет запущена на I/O позже в том же году. [34] После майского доклада I/O 2023 года Google добавила MusicLM, музыкальный генератор на базе искусственного интеллекта, впервые представленный в январе, в приложение AI Test Kitchen. [35] [36] В августе приложение было исключено из Google Play и Apple App Store и вместо этого полностью перешло в онлайн. [37]
Бард
6 февраля 2023 года Google анонсировала Bard, диалогового чат-бота с искусственным интеллектом на базе LaMDA, в ответ на неожиданную популярность чат-бота ChatGPT от OpenAI . [38] [39] [40] Google позиционирует чат-бота как «совместную службу искусственного интеллекта», а не как поисковую систему . [41] [42] Бард стал доступен в раннем доступе 21 марта. [43] [44] [45]
Другие продукты
Помимо Барда, Пичаи также представил Generative Language API, интерфейс прикладного программирования , также основанный на LaMDA, который, как он объявил, будет открыт для сторонних разработчиков в марте 2023 года. [38]
Метод
LaMDA использует языковую модель преобразователя, предназначенную только для декодера. [46] Он предварительно обучается на текстовом корпусе , который включает в себя как документы, так и диалоги, состоящие из 1,56 триллиона слов, [47] а затем обучается с помощью данных тонкой настройки, сгенерированных вручную аннотированными ответами, на предмет разумности, интересности и безопасности. [48] Тесты Google показали, что LaMDA превзошла человеческие ответы в области интересности. [49] Модель преобразователя LaMDA и внешняя система поиска информации взаимодействуют для повышения точности фактов, предоставляемых пользователю. [50]
Были протестированы три разные модели, самая крупная из которых имела 137 миллиардов невстраивающихся параметров: [51]
↑ Джонсон, Хари (28 января 2020 г.). «Мина — это попытка Google создать настоящий диалоговый ИИ». ВенчурБит . Архивировано из оригинала 1 октября 2022 года . Проверено 11 марта 2023 г.
↑ Небеса, Уильям Дуглас (30 января 2020 г.). «Google заявляет, что ее новый чат-бот Meena — лучший в мире». Обзор технологий Массачусетского технологического института . Архивировано из оригинала 2 августа 2020 года . Проверено 11 марта 2023 г.
↑ Поппер, Бен (27 мая 2016 г.). «Рэй Курцвейл создает чат-бота для Google». Грань . Архивировано из оригинала 27 мая 2016 года . Проверено 11 марта 2023 г.
^ аб Круппа, Майлз; Шехнер, Сэм (7 марта 2023 г.). «Как Google стал осторожнее относиться к искусственному интеллекту и дал Microsoft возможность» . Журнал "Уолл Стрит . ISSN 0099-9660. Архивировано из оригинала 7 марта 2023 года . Проверено 9 марта 2023 г.
↑ Аб Кондон, Стефани (18 мая 2021 г.). «Google I/O 2021: Google представляет новую модель разговорного языка LaMDA». ЗДНЕТ . Архивировано из оригинала 18 мая 2021 года . Проверено 12 июня 2022 г.
↑ Рот, Эмма (5 марта 2023 г.). «Познакомьтесь с компаниями, пытающимися не отставать от ChatGPT». Грань . Архивировано из оригинала 5 марта 2023 года . Проверено 9 марта 2023 г.
↑ Фаулер, Джеффри А. (21 марта 2023 г.). «Что скажешь, Бард? Что новый ИИ Google делает правильно, неправильно и странно» . Вашингтон Пост . ISSN 0190-8286. Архивировано из оригинала 21 марта 2023 года . Проверено 16 октября 2023 г.
↑ Агуэра-и-Аркас, Блез (9 июня 2022 г.). «По мнению Блеза Агуэра-и-Аркаса, искусственные нейронные сети делают шаги к сознанию» . Экономист . ISSN 0013-0613. Архивировано из оригинала 9 июня 2022 года . Проверено 12 июня 2022 г.
^ Ченг, Хенг-Цзы; Топпилан, Ромал (21 января 2022 г.). «LaMDA: к безопасным, обоснованным и высококачественным моделям диалога для всего». Гугл ИИ . Архивировано из оригинала 25 марта 2022 года . Проверено 12 июня 2022 г.
^ Топпилан и др. 2022, с. 6.
^ Топпилан и др. 2022, стр. 5–6.
↑ Виггерс, Кайл (11 мая 2022 г.). «Google подробно описывает свою новейшую языковую модель и AI Test Kitchen, демонстрацию исследований искусственного интеллекта». ТехКранч . Архивировано из оригинала 11 мая 2022 года . Проверено 12 июня 2022 г.
^ abc Хан, Джереми (13 июня 2022 г.). «Эксперты по искусственному интеллекту говорят, что заявление исследователя Google о том, что его чат-бот стал «разумным», абсурдно, но также подчеркивает большие проблемы в этой области» . Удача . Архивировано из оригинала 13 июня 2022 года . Проверено 18 июня 2022 г.
↑ Тику, Ниташа (11 июня 2022 г.). «Инженер Google, который считает, что ИИ компании ожил» . Вашингтон Пост . ISSN 0190-8286. Архивировано из оригинала 11 июня 2022 года . Проверено 12 июня 2022 г.
↑ Ласкомб, Ричард (12 июня 2022 г.). «Инженер Google ушел в отпуск после того, как сказал, что чат-бот с искусственным интеллектом стал разумным» Хранитель . ISSN 0261-3077. Архивировано из оригинала 12 июня 2022 года . Проверено 18 июня 2022 г.
^ Вламис, Келси (12 июня 2022 г.). «Прочитайте разговоры, которые помогли инженеру Google убедить чат-бота с искусственным интеллектом в том, что он стал разумным: «Я часто пытаюсь понять, кто я и что я такое» . Бизнес-инсайдер . Архивировано из оригинала 12 июня 2022 года . Проверено 12 июня 2022 г.
↑ Леви, Стивен (17 июня 2022 г.). «Блейк Лемуан говорит, что ИИ LaMDA от Google сталкивается с «фанатизмом»» . Проводной . Архивировано из оригинала 18 июня 2022 года . Проверено 18 июня 2022 г.
↑ Нгуен, Бритни (23 июня 2022 г.). «Отстраненный инженер Google говорит, что ИИ, которого он считает разумным, нанял адвоката» . Бизнес-инсайдер . Архивировано из оригинала 23 июня 2022 года . Проверено 29 июня 2022 г.
↑ Хуши, Аканкша (23 июля 2022 г.). «Google увольняет инженера-программиста, который утверждал , что ее чат-бот с искусственным интеллектом разумен» Рейтер . Архивировано из оригинала 23 июля 2022 года . Проверено 23 июля 2022 г.
↑ Кларк, Митчелл (22 июля 2022 г.). «Инженер, утверждавший, что ИИ Google разумен, уволен». Грань . Архивировано из оригинала 23 июля 2022 года . Проверено 24 июля 2022 г.
↑ Мец, Рэйчел (13 июня 2022 г.). «Нет, ИИ Google не разумен». CNN Бизнес . Архивировано из оригинала 15 июня 2022 года . Проверено 19 июня 2022 г.
↑ Спарклз, Мэтью (13 июня 2022 г.). «Действительно ли искусственный интеллект LaMDA от Google обрел разум?». Новый учёный . Архивировано из оригинала 13 июня 2022 года . Проверено 20 июня 2022 г.
^ Грант, Николь; Мец, Кейд (12 июня 2022 г.). «Инженер Google, утверждающий, что его ИИ разумен» . Нью-Йорк Таймс . ISSN 0362-4331. Архивировано из оригинала 12 июня 2022 года . Проверено 18 июня 2022 г.
↑ Альба, Дэйви (14 июня 2022 г.). «Дебаты в Google по поводу «разумных» ботов затмевают более глубокие проблемы искусственного интеллекта» . Новости Блумберга . Архивировано из оригинала 14 июня 2022 года . Проверено 19 июня 2022 г.
↑ Голдман, Шэрон (16 июня 2022 г.). «AI Weekly: дебаты LaMDA о «разумном» искусственном интеллекте вызывают воспоминания об IBM Watson». ВенчурБит . Архивировано из оригинала 19 июня 2022 года . Проверено 19 июня 2022 г.
↑ Джонсон, Хари (14 июня 2022 г.). «LaMDA и ловушка разумного ИИ» . Проводной . Архивировано из оригинала 14 июня 2022 года . Проверено 18 июня 2022 г.
↑ Омерус, Уилл (17 июня 2022 г.). «ИИ Google прошел знаменитый тест — и показал, как этот тест не работает» . Вашингтон Пост . ISSN 0190-8286. Архивировано из оригинала 18 июня 2022 года . Проверено 19 июня 2022 г.
↑ Кристиан, Брайан (21 июня 2022 г.). «Как сотрудник Google попался на эффект Элизы». Атлантический океан . Архивировано из оригинала 21 июня 2022 года . Проверено 8 февраля 2023 г.
↑ Лоу, Черлинн (11 мая 2022 г.). «Google AI Test Kitchen позволяет экспериментировать с моделью естественного языка». Engadget . Архивировано из оригинала 11 мая 2022 года . Проверено 12 июня 2022 г.
↑ Винсент, Джеймс (11 мая 2022 г.). «Google проводит бета-тестирование будущего искусственного интеллекта». Грань . Архивировано из оригинала 11 мая 2022 года . Проверено 12 июня 2022 г.
↑ Бхаттачарья, Ананья (11 мая 2022 г.). «Google так нервничает по поводу того, что скажет ее новый бот, что сделал приложение доступным только по приглашению». Кварц . Архивировано из оригинала 12 мая 2022 года . Проверено 12 июня 2022 г.
↑ Винсент, Джеймс (25 августа 2022 г.). «Google открыл список ожидания, чтобы поговорить со своим экспериментальным чат-ботом с искусственным интеллектом». Грань . Архивировано из оригинала 25 августа 2022 года . Проверено 27 августа 2022 г.
↑ Винсент, Джеймс (2 ноября 2022 г.). «Модель искусственного интеллекта Google Imagen для преобразования текста в изображение впервые (очень ограниченно) публично представлена». Грань . Архивировано из оригинала 10 ноября 2022 года . Проверено 15 февраля 2023 г.
↑ Грант, Нико (20 января 2023 г.). «Google обращается за помощью к Ларри Пейджу и Сергею Брину в борьбе с искусственным интеллектом» . Нью-Йорк Таймс . ISSN 0362-4331. Архивировано из оригинала 20 января 2023 года . Проверено 6 февраля 2023 г.
↑ Виггерс, Кайл (11 мая 2023 г.). «Практическое знакомство с музыкальным генератором Google на базе искусственного интеллекта». ТехКранч . Архивировано из оригинала 11 мая 2023 года . Проверено 10 июня 2023 г.
↑ Миллман, Итан (11 мая 2023 г.). «Мы слышали о будущем музыки. Пока это звучит ужасно» . Катящийся камень . Архивировано из оригинала 11 мая 2023 года . Проверено 10 июня 2023 г.
↑ Брэдшоу, Кайл (1 августа 2023 г.). «Google удаляет приложение AI Test Kitchen для Android и iOS [обновлено]». 9to5Google . Архивировано из оригинала 2 августа 2023 года . Проверено 11 октября 2023 г.
^ аб Альба, Дэйви ; С любовью, Юлия (6 февраля 2023 г.). «Google выпускает конкурента ChatGPT AI «Bard» для первых тестировщиков» . Лос-Анджелес Таймс . ISSN 0458-3035. Архивировано из оригинала 6 февраля 2023 года . Проверено 6 февраля 2023 г.
^ Шехнер, Сэм; Круппа, Майлз (6 февраля 2023 г.). «Google открывает соперника ChatGPT Bard для тестирования, поскольку война ИИ накаляется» . Журнал "Уолл Стрит . ISSN 0099-9660. Архивировано из оригинала 6 февраля 2023 года . Проверено 6 февраля 2023 г.
^ Ньева, Ричард (6 февраля 2023 г.). «Google представляет ограниченного выпуска конкурента ChatGPT под названием Bard» . Форбс . Архивировано из оригинала 7 февраля 2023 года . Проверено 6 февраля 2023 г.
↑ Моллман, Стив (3 марта 2023 г.). «Глава компании Google, конкурента ChatGPT, Барда, заверяет сотрудников, что это «совместная служба искусственного интеллекта», а не «поиск»» . Удача . Архивировано из оригинала 4 марта 2023 года . Проверено 9 марта 2023 г.
↑ Элиас, Дженнифер (3 марта 2023 г.). «Руководители Google на раздражительном общем собрании рассказали сотрудникам, что Bard AI занимается не только поиском». CNBC . Архивировано из оригинала 4 марта 2023 года . Проверено 11 марта 2023 г.
↑ Грант, Нико (21 марта 2023 г.). «Google выпускает Bard, своего конкурента в гонке по созданию чат-ботов с искусственным интеллектом» . Нью-Йорк Таймс . ISSN 0362-4331. Архивировано из оригинала 21 марта 2023 года . Проверено 21 марта 2023 г.
↑ Лидтке, Майкл (21 марта 2023 г.). «Искусственный интеллект Google «Бард» переходит на следующий этап» . Вашингтон Пост . ISSN 0190-8286. Архивировано из оригинала 21 марта 2023 года . Проверено 21 марта 2023 г.
↑ Винсент, Джеймс (21 марта 2023 г.). «Google открывает ранний доступ к своему конкуренту ChatGPT Bard — вот наши первые впечатления». Грань . Архивировано из оригинала 21 марта 2023 года . Проверено 21 марта 2023 г.
^ Топпилан и др. 2022, раздел 3.
^ Топпилан и др. 2022, раздел 3 и приложение Е.
^ Топпилан и др. 2022, раздел 5 и 6.
↑ Хагер, Райн (16 июня 2022 г.). «Как работает искусственный интеллект LaMDA от Google и почему он кажется намного умнее, чем есть на самом деле». Андроид Полиция . Архивировано из оригинала 16 июня 2022 года . Проверено 19 июня 2022 г.
