Cerebras Systems Inc. — американская компания, занимающаяся искусственным интеллектом (ИИ), имеющая офисы в Саннивейле , Сан-Диего , Торонто и Бангалоре, Индия . [3] [4] Cerebras создает компьютерные системы для сложных приложений глубокого обучения ИИ. [5]
Cerebras была основана в 2015 году Эндрю Фельдманом, Гэри Лаутербахом, Майклом Джеймсом, Шоном Ли и Жаном-Филиппом Фрикером. [6] Эти пять основателей работали вместе в SeaMicro , которая была основана в 2007 году Фельдманом и Лаутербахом и позже была продана AMD в 2012 году за 334 миллиона долларов. [7] [8]
В мае 2016 года Cerebras получила 27 миллионов долларов в рамках серии финансирования A от Benchmark , Foundation Capital и Eclipse Ventures. [9] [6]
В декабре 2016 года финансирование серии B возглавила Coatue Management , а в январе 2017 года последовало финансирование серии C под руководством VY Capital. [6]
В ноябре 2018 года Cerebras закрыла раунд серии D с $88 млн, сделав компанию единорогом . Инвесторами в этом раунде были Altimeter , VY Capital, Coatue, Foundation Capital, Benchmark и Eclipse. [10] [11]
19 августа 2019 года Cerebras анонсировала свой Wafer-Scale Engine (WSE). [12] [13] [14] '
В ноябре 2019 года Cerebras завершила раунд серии E, получив более 270 миллионов долларов при оценке в 2,4 миллиарда долларов. [15]
В 2020 году компания объявила об открытии офиса в Японии и партнерстве с Tokyo Electron Devices . [16]
В апреле 2021 года Cerebras анонсировала CS-2 на базе Wafer Scale Engine Two (WSE-2) компании, которая имеет 850 000 ядер. [17] В августе 2021 года компания анонсировала свою технологию масштабирования мозга, которая может управлять нейронной сетью с более чем 120 триллионами соединений. [18]
В ноябре 2021 года Cerebras объявила, что привлекла дополнительно 250 миллионов долларов в рамках финансирования серии F, оценив компанию в более чем 4 миллиарда долларов. Раунд финансирования серии F возглавили Alpha Wave Ventures и Abu Dhabi Growth Fund (ADG). [19] На сегодняшний день компания привлекла 720 миллионов долларов финансирования. [19] [20]
В августе 2022 года Cerebras был удостоен чести от Музея компьютерной истории в Маунтин-Вью, Калифорния . Музей пополнил свою постоянную коллекцию и представил новую экспозицию с WSE-2 — самым большим компьютерным чипом, созданным до сих пор, — отметив «эпохальное» достижение в истории изготовления транзисторов как интегрированной детали. [21] [22]
В августе 2022 года Cerebras объявила об открытии нового офиса в Бангалоре, Индия. [3] [4]
Cerebras подала проспект для первичного публичного размещения акций (IPO) в сентябре 2024 года с намерением разместить акции на бирже Nasdaq под тикером «CBRS». В проспекте указывалось, что большая часть ее доходов в то время поступала от эмиратской холдинговой компании AI G42 . [23] Через неделю после подачи заявки стало известно, что Комитет по иностранным инвестициям в Соединенных Штатах рассматривает инвестиции G42 в компанию, что может привести к задержке ее IPO. [24]
Cerebras Wafer Scale Engine (WSE) — это единый интегрированный процессор в масштабе пластины, включающий вычислительную часть, память и соединительную матрицу . WSE-1 обеспечивает работу Cerebras CS-1, являющегося компьютером искусственного интеллекта первого поколения Cerebras. [25] Это 19-дюймовое монтируемое в стойку устройство, предназначенное для обучения искусственного интеллекта и выполнения рабочих нагрузок в центре обработки данных. [13] CS-1 включает в себя один основной процессор WSE с 400 000 вычислительных ядер, а также двенадцать 100-гигабитных соединений Ethernet для перемещения данных в и из них. [26] [13] WSE-1 имеет 1,2 триллиона транзисторов, 400 000 вычислительных ядер и 18 гигабайт памяти. [12] [13] [14]
В апреле 2021 года Cerebras анонсировала систему искусственного интеллекта CS-2 на базе Wafer Scale Engine 2-го поколения (WSE-2), изготовленную по 7-нм техпроцессу TSMC . [ 17] Она имеет высоту 26 дюймов и помещается в одну треть стандартной стойки центра обработки данных. [27] [17] Cerebras WSE-2 имеет 850 000 ядер и 2,6 триллиона транзисторов. [27] [28] WSE-2 расширила встроенную SRAM до 40 гигабайт, пропускную способность памяти до 20 петабайт в секунду и общую пропускную способность структуры до 220 петабит в секунду. [29] [30]
В августе 2021 года компания анонсировала систему, которая объединяет несколько интегральных схем (обычно называемых «чипами») в нейронную сеть со множеством соединений. [18] Она позволяет одной системе поддерживать модели ИИ с более чем 120 триллионами параметров. [31]
В июне 2022 года Cerebras установила рекорд по самым большим моделям ИИ, когда-либо обученным на одном устройстве. [32] Cerebras заявила, что впервые в истории одна система CS-2 с одной пластиной Cerebras может обучать модели с 20 миллиардами параметров. [33] Система Cerebras CS-2 может обучать многомиллиардные модели обработки естественного языка (NLP), включая модели GPT-3XL на 1,3 миллиарда, а также GPT-J 6B, GPT-3 13B и GPT-NeoX 20B с уменьшенной сложностью программного обеспечения и инфраструктуры. [33] [32]
В августе 2022 года компания Cerebras объявила, что теперь ее клиенты могут обучать модели искусственного интеллекта естественного языка в стиле Transformer с помощью последовательностей, которые в 20 раз длиннее, чем это возможно с использованием традиционного компьютерного оборудования. Ожидается, что это приведет к прорыву в обработке естественного языка (NLP), особенно в фармацевтике и науках о жизни. [34]
В сентябре 2022 года Cerebras объявила, что может объединить свои чипы вместе, чтобы создать крупнейший вычислительный кластер для вычислений ИИ. [35] Кластер Wafer-Scale может объединить до 192 систем ИИ CS-2 в кластер, в то время как кластер из 16 систем ИИ CS-2 может создать вычислительную систему с 13,6 миллионами ядер для обработки естественного языка. [35] Ключом к новому кластеру Cerebras Wafer-Scale является исключительное использование параллелизма данных для обучения, что является предпочтительным подходом для всех работ ИИ. [36]
В ноябре 2022 года Cerebras представила свой новейший суперкомпьютер Andromeda, который объединяет 16 чипов WSE-2 в один кластер с 13,5 миллионами оптимизированных для ИИ ядер, обеспечивая до 1 экзафлопа вычислительной мощности ИИ или не менее одного квинтиллиона (10 в степени 18) операций в секунду. [37] [38] Вся система потребляет 500 кВт, что значительно меньше, чем сопоставимые суперкомпьютеры с ускорением на GPU. [37]
В ноябре 2022 года Cerebras объявила о своем партнерстве с Cirrascale Cloud Services для предоставления фиксированной ставки «платы за модель» вычислительного времени для своей Cerebras AI Model Studio . Цены варьируются от 2500 долларов за обучение «модели GPT-3 с 1,3 миллиардами параметров за 10 часов» до 2,5 миллионов долларов за обучение «версии с 70 миллиардами параметров за 85 дней». Говорят, что эта услуга снижает стоимость — по сравнению с аналогичными облачными сервисами на рынке — вдвое, одновременно увеличивая скорость до восьми раз. [39]
В 2024 году компания представила WSE-3, чип на основе 5 нм, содержащий 4 триллиона транзисторов и 900 000 оптимизированных для ИИ ядер, основу компьютера CS-3, разработанного в сотрудничестве с Dell Technologies . [40]
Сообщается, что клиенты используют технологии Cerebras в фармацевтическом, медико-биологическом и энергетическом секторах. [41] [42]
В 2020 году GlaxoSmithKline (GSK) начала использовать систему искусственного интеллекта Cerebras CS-1 в своем лондонском центре искусственного интеллекта для моделей нейронных сетей с целью ускорения генетических и геномных исследований и сокращения времени, необходимого для открытия лекарств . [43] Исследовательская группа GSK смогла повысить сложность моделей кодировщиков, которые они могли генерировать, сократив при этом время обучения. [44] Среди других клиентов фармацевтической промышленности — AstraZeneca , которая смогла сократить время обучения с двух недель на кластере графических процессоров до двух дней с помощью системы Cerebras CS-1. [45] Недавно в декабре 2021 года GSK и Cerebras совместно опубликовали исследование по моделям эпигеномного языка.
Аргоннская национальная лаборатория использует CS-1 с 2020 года в исследованиях COVID-19 и раковых опухолей на основе крупнейшей в мире базы данных по лечению рака. [46] Серия моделей, запущенных на CS-1 для прогнозирования реакции опухолей на противораковые препараты, достигла ускорения в сотни раз на CS-1 по сравнению с их базовыми показателями на GPU. [41]
Cerebras и Национальная лаборатория энергетических технологий (NETL) продемонстрировали рекордную производительность системы CS-1 от Cerebras при выполнении научной вычислительной нагрузки в ноябре 2020 года. CS-1 оказался в 200 раз быстрее суперкомпьютера Joule при выполнении ключевой рабочей нагрузки вычислительной гидродинамики. [47]
Суперкомпьютер Lassen Национальной лаборатории Лоуренса в Ливерморе включил CS-1 как в секретных, так и в несекретных областях для моделирования физики. [48] Питтсбургский суперкомпьютерный центр (PSC) также включил CS-1 в свой суперкомпьютер Neocortex для двойной нагрузки HPC и ИИ. [49] EPCC , суперкомпьютерный центр Эдинбургского университета, также развернул систему CS-1 для исследований на основе ИИ. [50]
В августе 2021 года Cerebras объявила о партнерстве с Peptilogics по разработке ИИ для пептидной терапии . [51]
В марте 2022 года Cerebras объявила, что компания развернула свою систему CS-2 на объектах TotalEnergies в Хьюстоне , своего первого публично раскрытого клиента в энергетическом секторе. [42] Cerebras также объявила, что развернула систему CS-2 в nference, стартапе, который использует обработку естественного языка для анализа огромных объемов биомедицинских данных. CS-2 будет использоваться для обучения моделей трансформаторов, которые предназначены для обработки информации из груд неструктурированных медицинских данных, чтобы предоставлять врачам свежие идеи и улучшать выздоровление и лечение пациентов. [52]
В мае 2022 года Cerebras объявила, что Национальный центр суперкомпьютерных приложений (NCSA) развернул систему Cerebras CS-2 в своем суперкомпьютере HOLL-I. [53] Они также объявили, что Центр суперкомпьютеров Лейбница (LRZ) в Германии планирует развернуть новый суперкомпьютер с системой CS-2 вместе с сервером HPE Superdome Flex. [54] Ожидается, что новая суперкомпьютерная система будет доставлена в LRZ этим летом. Это будет первое развертывание системы CS-2 в Европе. [54]
В октябре 2022 года было объявлено, что Национальное управление по ядерной безопасности США будет спонсировать исследование по изучению использования CS-2 компании Cerebras в вычислениях по управлению ядерным арсеналом. [55] [56] Многолетний контракт будет выполняться через Sandia National Laboratories , Lawrence Livermore National Lab и Los Alamos National Laboratory . [55]
В ноябре 2022 года Cerebras и Национальная лаборатория энергетических технологий (NETL) увидели рекордную производительность в научной вычислительной рабочей нагрузке по формированию и решению уравнений поля. Cerebras продемонстрировала, что ее система CS-2 была в 470 раз быстрее, чем суперкомпьютер Joule от NETL в моделировании уравнений поля. [57]
Лауреат специальной премии Гордона Белла 2022 года за исследования COVID-19 на основе HPC, которая присуждается за выдающиеся достижения в области исследований, направленных на понимание пандемии COVID-19 с помощью высокопроизводительных вычислений, использовал систему CS-2 Cerebras для проведения этого отмеченного наградой исследования по преобразованию больших языковых моделей для анализа вариантов COVID-19. Статья была написана командой из 34 человек из Аргоннской национальной лаборатории, Калифорнийского технологического института, Гарвардского университета, Университета Северного Иллинойса, Технического университета Мюнхена, Чикагского университета, Иллинойсского университета в Чикаго, Nvidia и Cerebras. ANL отметила, что с помощью кластера CS-2 Wafer-Scale Engine команда смогла добиться сходимости при обучении на полных геномах SARS-CoV-2 менее чем за день. [58] [59]
Cerebras заключила партнерство с эмиратской технологической группой G42 для развертывания своих суперкомпьютеров ИИ для создания чат-ботов и анализа геномных и профилактических данных. В июле 2023 года G42 согласилась заплатить около 100 миллионов долларов за покупку первого из потенциально девяти суперкомпьютеров у Cerebras, каждый из которых способен выполнять 4 экзафлопса вычислений. [60] [61] [62] В августе 2023 года Cerebras, Университет искусственного интеллекта Мохамеда бин Заида и дочерняя компания G42 Inception запустили Jais , большую языковую модель . [63]
Клиника Майо объявила о сотрудничестве с Cerebras на конференции JP Morgan Healthcare 2024 года , предоставив подробную информацию о первой базовой модели, которую она разработает с использованием вычислительных возможностей генеративного ИИ Cerebras. Решение будет объединять геномные данные с деидентифицированными данными из историй болезни пациентов и медицинскими свидетельствами для изучения возможности прогнозирования реакции пациента на лечение для управления заболеванием и первоначально будет применяться к ревматоидному артриту . Модель может служить прототипом для аналогичных решений для поддержки диагностики и лечения других заболеваний.
В марте 2024 года Cerebras представила CS-3, который представляет собой новейшую разработку их технологии. Он в два раза производительнее CS-2 и содержит 900 000 ядер. Кластер CS-3 способен обучить модель ИИ, такую как Llama2-70B, всего за один день. [64]
{{cite web}}: CS1 maint: числовые имена: список авторов ( ссылка )