Google Brain была исследовательской группой по глубокому обучению искусственного интеллекта , которая была единственным филиалом Google по искусственному интеллекту, прежде чем была включена в более новый зонтик Google AI , исследовательского подразделения Google, посвященного искусственному интеллекту. Созданная в 2011 году, она объединила открытые исследования машинного обучения с информационными системами и крупномасштабными вычислительными ресурсами. [1] Она создала такие инструменты, как TensorFlow , которые позволяют использовать нейронные сети для общественности, и несколько внутренних исследовательских проектов по искусственному интеллекту, [2] и была направлена на создание исследовательских возможностей в области машинного обучения и обработки естественного языка . [2] Она была объединена с бывшей дочерней компанией Google DeepMind, чтобы сформировать Google DeepMind в апреле 2023 года.
Проект Google Brain начался в 2011 году как совместная исследовательская работа между сотрудником Google Джеффом Дином и исследователем Google Грегом Коррадо. [3] Google Brain начинался как проект Google X и стал настолько успешным, что был переведен обратно в Google: Астро Теллер заявил, что Google Brain оплатил всю стоимость Google X. [ 4]
В июне 2012 года газета New York Times сообщила, что кластер из 16 000 процессоров в 1000 компьютерах, предназначенный для имитации некоторых аспектов деятельности человеческого мозга , успешно обучился распознавать кошку на основе 10 миллионов цифровых изображений, взятых из видеороликов YouTube . [3] Эту историю также освещало Национальное общественное радио . [5]
В марте 2013 года Google наняла Джеффри Хинтона , ведущего исследователя в области глубокого обучения , и приобрела компанию DNNResearch Inc., возглавляемую Хинтоном. Хинтон сказал, что он будет делить свое будущее время между университетскими исследованиями и работой в Google. [6]
В апреле 2023 года Google Brain объединилась с дочерней компанией Google DeepMind, образовав Google DeepMind , в рамках постоянных усилий компании по ускорению работы над ИИ. [7]
Google Brain изначально был создан сотрудником Google Джеффом Дином и приглашенным профессором Стэнфорда Эндрю Нгом . В 2014 году в команду вошли Джефф Дин , Куок Ле , Илья Суцкевер , Алекс Крижевский , Сэми Бенджио и Винсент Ванхуке. В 2017 году в команду вошли Анелия Ангелова, Сэми Бенджио , Грег Коррадо, Джордж Даль, Майкл Айсард, Анджули Каннан, Хьюго Ларошель, Крис Олах, Салих Эднер, Бенуа Штайнер, Винсент Ванхуке, Виджай Васудеван и Фернанда Виегас . [8] Крис Латтнер , создавший язык программирования Swift для Apple , а затем в течение шести месяцев руководивший командой по автономности Tesla , присоединился к команде Google Brain в августе 2017 года. [9] Латтнер покинул команду в январе 2020 года и присоединился к SiFive . [10]
По состоянию на 2021 год [обновлять]Google Brain возглавляли Джефф Дин , Джеффри Хинтон и Зубин Гахрамани . Среди других участников - Кэтрин Хеллер, Пи-Чуан Чанг, Ян Саймон, Жан-Филипп Верт, Невена Лазич, Анелия Ангелова, Лукаш Кайзер, Кэрри Джун Кай, Эрик Брек, Руоминг Панг, Карлос Рикельме, Уго Ларошель и Дэвид Ха. [8] Сами Бенджио покинул команду в апреле 2021 года, [11] и его обязанности взял на себя Зубин Гахрамани .
Google Research включает Google Brain и базируется в Маунтин-Вью, Калифорния . Он также имеет группы-сателлиты в Аккре , Амстердаме , Атланте , Пекине , Берлине , Кембридже (Массачусетс) , Израиле , Лос-Анджелесе , Лондоне , Монреале , Мюнхене , Нью-Йорке , Париже , Питтсбурге , Принстоне , Сан-Франциско , Сиэтле , Токио , Торонто и Цюрихе . [12]
В октябре 2016 года Google Brain разработал эксперимент, чтобы определить, способны ли нейронные сети обучаться безопасному симметричному шифрованию . [13] В этом эксперименте были созданы три нейронные сети : Алиса, Боб и Ева. [14] Придерживаясь идеи генеративно-состязательной сети (GAN), целью эксперимента было то, чтобы Алиса отправила Бобу зашифрованное сообщение, которое Боб мог расшифровать, а противник, Ева, — нет. [14] Алиса и Боб имели преимущество перед Евой, поскольку они делились ключом, используемым для шифрования и дешифрования . [13] При этом Google Brain продемонстрировал способность нейронных сетей обучаться безопасному шифрованию . [13]
В феврале 2017 года Google Brain определил вероятностный метод преобразования изображений с разрешением 8x8 в разрешение 32x32. [15] [16] Метод основан на уже существующей вероятностной модели под названием pixelCNN для генерации пиксельных переводов. [17] [18]
Предлагаемое программное обеспечение использует две нейронные сети для создания аппроксимаций для пиксельного состава переведенных изображений. [16] [19] Первая сеть, известная как «обусловливающая сеть», уменьшает изображения с высоким разрешением до 8x8 и пытается создать сопоставления из исходного изображения 8x8 в эти изображения с более высоким разрешением. [16] Другая сеть, известная как «предыдущая сеть», использует сопоставления из предыдущей сети, чтобы добавить больше деталей к исходному изображению. [16] Полученное переведенное изображение не является тем же изображением в более высоком разрешении, а скорее оценкой разрешения 32x32, основанной на других существующих изображениях с высоким разрешением. [16] Результаты Google Brain указывают на возможность нейронных сетей улучшать изображения. [20]
Команда Google Brain внесла свой вклад в проект Google Translate , применив новую систему глубокого обучения, которая объединяет искусственные нейронные сети с обширными базами данных многоязычных текстов. [21] В сентябре 2016 года был запущен Google Neural Machine Translation (GNMT), сквозная обучающая среда, способная обучаться на большом количестве примеров. [21] Ранее подход Google Translate Phrase-Based Machine Translation (PBMT) статистически анализировал слово за словом и пытался сопоставить соответствующие слова на других языках, не принимая во внимание окружающие фразы в предложении. [22] Но вместо того, чтобы выбирать замену для каждого отдельного слова на нужном языке, GNMT оценивает сегменты слов в контексте остальной части предложения, чтобы выбрать более точные замены. [2] По сравнению со старыми моделями PBMT, модель GNMT показала улучшение сходства с человеческим переводом на 24%, а также снижение количества ошибок на 60%. [2] [21] GNMT также продемонстрировал значительное улучшение в случае с общеизвестно сложными переводами, например с китайского на английский . [21]
Хотя внедрение GNMT повысило качество переводов Google Translate для пилотных языков, было очень сложно создать такие улучшения для всех 103 языков. Решая эту проблему, команда Google Brain Team смогла разработать многоязычную систему GNMT , которая расширила предыдущую, включив переводы между несколькими языками. Кроме того, она позволяет выполнять переводы Zero-Shot Translations, которые представляют собой переводы между двумя языками, которые система никогда ранее явно не видела. [23] Google объявила, что Google Translate теперь также может переводить без транскрибирования, используя нейронные сети. Это означает, что можно переводить речь на одном языке напрямую в текст на другом языке, без предварительной транскрибации в текст.
По словам исследователей из Google Brain, этого промежуточного шага можно избежать с помощью нейронных сетей. Для того чтобы система научилась этому, они подвергли ее многочасовому испанскому аудио вместе с соответствующим английским текстом. Различные слои нейронных сетей, копирующие человеческий мозг, смогли связать соответствующие части и впоследствии манипулировать звуковой волной, пока она не была преобразована в английский текст. [24] Еще одним недостатком модели GNMT является то, что она приводит к тому, что время перевода увеличивается экспоненциально с количеством слов в предложении. [2] Это заставило команду Google Brain добавить еще 2000 процессоров, чтобы гарантировать, что новый процесс перевода по-прежнему будет быстрым и надежным. [22]
Стремясь улучшить традиционные алгоритмы управления робототехникой, где новые навыки робота должны быть запрограммированы вручную , исследователи робототехники в Google Brain разрабатывают методы машинного обучения , которые позволят роботам самостоятельно изучать новые навыки. [25] Они также пытаются разработать способы обмена информацией между роботами, чтобы роботы могли учиться друг у друга в процессе обучения, также известные как облачная робототехника . [26] В результате Google запустила платформу Google Cloud Robotics для разработчиков в 2019 году, попытку объединить робототехнику , ИИ и облако для обеспечения эффективной роботизированной автоматизации с помощью подключенных к облаку коллаборативных роботов. [26]
Исследования робототехники в Google Brain были сосредоточены в основном на улучшении и применении алгоритмов глубокого обучения, чтобы позволить роботам выполнять задачи, обучаясь на опыте, моделировании, человеческих демонстрациях и/или визуальных представлениях. [27] [28] [29] [30] Например, исследователи Google Brain показали, что роботы могут научиться подбирать и бросать твердые предметы в выбранные коробки, экспериментируя в среде без предварительного программирования для этого. [27] В другом исследовании исследователи обучали роботов таким действиям, как наливание жидкости из чашки; роботы обучались на видео человеческих демонстраций, записанных с разных точек зрения. [29]
Исследователи Google Brain сотрудничали с другими компаниями и академическими учреждениями в области исследований робототехники. В 2016 году команда Google Brain Team сотрудничала с исследователями из X в исследовании по обучению координации рук и глаз для роботизированного захвата. [31] Их метод позволил управлять роботом в реальном времени для захвата новых объектов с самокоррекцией. [31] В 2020 году исследователи из Google Brain, Intel AI Lab и Калифорнийского университета в Беркли создали модель ИИ для роботов, чтобы они могли изучать задачи, связанные с хирургией, такие как наложение швов, на основе обучения с помощью видеоматериалов об операциях. [30]
В 2020 году команда Google Brain Team и Университет Лилля представили модель автоматического распознавания говорящего, которую они назвали интерактивным распознаванием говорящего. Модуль ISR распознает говорящего из заданного списка говорящих, запрашивая только несколько определенных пользователем слов. [32] Модель может быть изменена для выбора речевых сегментов в контексте обучения преобразованию текста в речь . [32] Она также может предотвратить доступ вредоносных генераторов голоса к данным. [32]
TensorFlow — это библиотека программного обеспечения с открытым исходным кодом, работающая на базе Google Brain, которая позволяет любому человеку использовать машинное обучение, предоставляя инструменты для обучения собственной нейронной сети. [2] Инструмент использовался для разработки программного обеспечения с использованием моделей глубокого обучения, которые фермеры используют для сокращения объема ручного труда, необходимого для сортировки урожая, путем обучения его с помощью набора данных изображений, отсортированных человеком. [2]
Magenta — это проект, который использует Google Brain для создания новой информации в форме искусства и музыки, а не для классификации и сортировки существующих данных. [2] TensorFlow был обновлен набором инструментов, позволяющих пользователям направлять нейронную сеть для создания изображений и музыки. [2] Однако команда из Университета штата Валдоста обнаружила, что ИИ с трудом пытается идеально воспроизвести человеческое намерение в искусстве , что похоже на проблемы, возникающие при переводе . [2]
Возможности сортировки изображений Google Brain использовались для выявления определенных медицинских состояний путем поиска закономерностей, которые врачи-люди могут не заметить, чтобы обеспечить более раннюю диагностику. [2] Во время скрининга рака груди было обнаружено, что этот метод дает на четверть меньше ложноположительных результатов, чем патологи-люди, которым требуется больше времени для просмотра каждой фотографии, и они не могут полностью сосредоточиться на этой одной задаче. [2] Из-за очень специфической подготовки нейронной сети для одной задачи она не может идентифицировать другие заболевания, присутствующие на фотографии, которые человек мог бы легко заметить. [2]
Архитектура глубокого обучения Transformer была изобретена исследователями Google Brain в 2017 году и описана в научной статье Attention Is All You Need . [33] Google владеет патентом на эту широко используемую архитектуру, но не применяет его. [34] [35]
В 2022 году Google Brain объявила о создании двух различных типов моделей преобразования текста в изображение под названием Imagen и Parti, которые конкурируют с DALL-E от OpenAI . [36] [37]
Позже в 2022 году проект был расширен до преобразования текста в видео. [38]
Технология проектов Google Brain в настоящее время используется в различных других продуктах Google, таких как система распознавания речи операционной системы Android , поиск фотографий в Google Photos , интеллектуальный ответ в Gmail и рекомендации видео на YouTube . [39] [40] [41]
Google Brain получил освещение в Wired , [42] [43] [44] NPR , [5] и Big Think . [45] Эти статьи содержали интервью с ключевыми членами команды Рэем Курцвейлом и Эндрю Нг и фокусировались на объяснении целей и приложений проекта. [42] [5] [45]
В декабре 2020 года специалист по этике ИИ Тимнит Гебру покинула Google. [46] Хотя точная причина ее ухода или увольнения оспаривается, причиной ухода стал ее отказ отозвать статью под названием « Об опасностях стохастических попугаев: могут ли языковые модели быть слишком большими? » и связанный с этим ультиматум, который она выдвинула, установив условия, которые необходимо выполнить, в противном случае она уйдет. [46] В этой статье рассматриваются потенциальные риски развития ИИ, такого как Google Brain, включая воздействие на окружающую среду, предвзятость обучающих данных и способность обманывать общественность. [46] [47] Запрос на отзыв статьи был подан Меган Качолией, вице-президентом Google Brain. [48] По состоянию на апрель 2021 года около 7000 нынешних или бывших сотрудников Google и сторонников отрасли подписали открытое письмо, обвиняющее Google в «цензуре исследований» и осуждающее обращение с Гебру в компании. [49]
В феврале 2021 года Google уволила одного из руководителей команды по этике ИИ, Маргарет Митчелл . [48] В заявлении компании утверждалось, что Митчелл нарушил политику компании, используя автоматизированные инструменты для поиска поддержки для Гебру. [48] В том же месяце инженеры, не входящие в команду по этике, начали увольняться, ссылаясь на увольнение Гебру в качестве причины ухода. [50] В апреле 2021 года соучредитель Google Brain Сами Бенджио объявил о своем уходе из компании. [11] Несмотря на то, что Бенджио был менеджером Гебру, он не был уведомлен об этом до ее увольнения, и он опубликовал в сети сообщение в поддержку как ее, так и Митчелл. [11] Хотя заявление Бенджио было сосредоточено на личностном росте как на причине его ухода, анонимные источники сообщили Reuters, что беспорядки в команде по этике ИИ сыграли свою роль в его решениях. [11]
В марте 2022 года Google уволил исследователя ИИ Сатраджита Чаттерджи после того, как он поставил под сомнение выводы статьи, опубликованной в Nature членами команды Google по ИИ Анной Голди и Азалией Мирхосейни. [51] [52] В этой статье сообщалось о хороших результатах использования методов ИИ (в частности, обучения с подкреплением) для проблемы размещения интегральных схем . [53] Однако этот результат довольно спорный, [54] [55] [56], поскольку статья не содержит прямых сравнений с существующими плацдармами и ее трудно воспроизвести из-за запатентованного контента. По крайней мере один изначально благоприятный комментарий был отозван при дальнейшем рассмотрении, [57] и статья находится на рассмотрении Nature. [58]
{{cite news}}
: CS1 maint: несколько имен: список авторов ( ссылка ){{cite web}}
: |first=
имеет общее название ( помощь ){{cite news}}
: CS1 maint: несколько имен: список авторов ( ссылка ){{cite journal}}
: CS1 maint: несколько имен: список авторов ( ссылка ){{cite book}}
: CS1 maint: несколько имен: список авторов ( ссылка )