High Bandwidth Memory ( HBM ) — это интерфейс компьютерной памяти для 3D-стековой синхронной динамической памяти с произвольным доступом (SDRAM) изначально от Samsung , AMD и SK Hynix . Он используется в сочетании с высокопроизводительными графическими ускорителями, сетевыми устройствами, высокопроизводительными микросхемами ASIC для ИИ в центрах обработки данных , в качестве встроенного кэша в ЦП [1] и встроенного ОЗУ в будущих ЦП и ПЛИС и в некоторых суперкомпьютерах (таких как NEC SX-Aurora TSUBASA и Fujitsu A64FX ). [2] Первый чип памяти HBM был произведен SK Hynix в 2013 году [3] , а первыми устройствами, использующими HBM, стали графические процессоры AMD Fiji в 2015 году. [4] [5]
HBM был принят JEDEC в качестве отраслевого стандарта в октябре 2013 года. [6] Второе поколение, HBM2 , было принято JEDEC в январе 2016 года. [7] JEDEC официально объявил о стандарте HBM3 27 января 2022 года. [8]
HBM достигает более высокой пропускной способности , чем DDR4 или GDDR5, при потреблении меньшего количества энергии и в существенно меньшем форм-факторе. [9] Это достигается путем объединения до восьми кристаллов DRAM и дополнительного базового кристалла, который может включать буферную схему и тестовую логику. [10] Стек часто подключается к контроллеру памяти на GPU или CPU через подложку, такую как кремниевый интерпозер . [11] [12] В качестве альтернативы кристалл памяти может быть установлен непосредственно на чипе CPU или GPU. Внутри стека кристаллы вертикально соединены между собой сквозными кремниевыми переходами (TSV) и микровыступами . Технология HBM в принципе похожа, но несовместима с интерфейсом Hybrid Memory Cube (HMC), разработанным Micron Technology . [13]
Шина памяти HBM очень широкая по сравнению с другими типами памяти DRAM, такими как DDR4 или GDDR5. Стек HBM из четырех кристаллов DRAM (4-Hi) имеет два 128-битных канала на кристалл, что в общей сложности дает 8 каналов и ширину 1024 бит. Таким образом, графическая карта/GPU с четырьмя 4-Hi стеками HBM будет иметь шину памяти шириной 4096 бит. Для сравнения, ширина шины памяти GDDR составляет 32 бита, с 16 каналами для графической карты с 512-битным интерфейсом памяти. [14] HBM поддерживает до 4 ГБ на пакет.
Большее количество соединений с памятью, по сравнению с DDR4 или GDDR5, потребовало нового метода соединения памяти HBM с графическим процессором (или другим процессором). [15] AMD и Nvidia использовали специально разработанные кремниевые чипы, называемые интерпозерами , для соединения памяти и графического процессора. Этот интерпозер имеет дополнительное преимущество, требуя, чтобы память и процессор были физически близко, что уменьшает пути памяти. Однако, поскольку изготовление полупроводниковых устройств значительно дороже, чем изготовление печатных плат , это увеличивает стоимость конечного продукта.
HBM DRAM тесно связана с вычислительным кристаллом хоста с помощью распределенного интерфейса. Интерфейс разделен на независимые каналы. Каналы полностью независимы друг от друга и не обязательно синхронизированы друг с другом. HBM DRAM использует архитектуру с широким интерфейсом для достижения высокоскоростной работы с низким энергопотреблением. HBM DRAM использует дифференциальные часы CK_t / CK_c частотой 500 МГц (где суффикс «_t» обозначает «истинный» или «положительный» компонент дифференциальной пары, а «_c» обозначает «дополнительный»). Команды регистрируются на переднем фронте CK_t, CK_c. Каждый интерфейс канала поддерживает 128-битную шину данных, работающую с удвоенной скоростью передачи данных (DDR). HBM поддерживает скорость передачи 1 ГТ/с на контакт (передача 1 бита), что обеспечивает общую пропускную способность пакета 128 ГБ/с. [16]
Второе поколение памяти с высокой пропускной способностью, HBM2, также определяет до восьми кристаллов на стек и удваивает скорость передачи данных до 2 ГТ/с . Сохраняя 1024-битный доступ, HBM2 может достигать пропускной способности памяти 256 ГБ/с на пакет. Спецификация HBM2 допускает до 8 ГБ на пакет. Прогнозируется, что HBM2 будет особенно полезен для потребительских приложений, чувствительных к производительности, таких как виртуальная реальность . [17]
19 января 2016 года Samsung объявила о начале массового производства HBM2 с объемом до 8 ГБ на стек. [18] [19] SK Hynix также объявила о доступности стеков по 4 ГБ в августе 2016 года. [20]
В конце 2018 года JEDEC анонсировала обновление спецификации HBM2, обеспечивающее повышенную пропускную способность и емкость. [21] В официальной спецификации теперь поддерживается до 307 ГБ/с на стек (эффективная скорость передачи данных 2,5 Тбит/с), хотя продукты, работающие на этой скорости, уже были доступны. Кроме того, обновление добавило поддержку стеков 12‑Hi (12 кристаллов), что делает возможными емкости до 24 ГБ на стек.
20 марта 2019 года Samsung анонсировала Flashbolt HBM2E, оснащенный восемью кристаллами на стек, скоростью передачи данных 3,2 ГТ/с , что обеспечивает в общей сложности 16 ГБ и 410 ГБ/с на стек. [22]
12 августа 2019 года компания SK Hynix анонсировала свой HBM2E, включающий восемь кристаллов на стек, скорость передачи данных 3,6 ГТ/с , что обеспечивает в общей сложности 16 ГБ и 460 ГБ/с на стек. [23] [24] 2 июля 2020 года компания SK Hynix объявила о начале массового производства. [25]
В конце 2020 года Micron объявила, что стандарт HBM2E будет обновлен, а вместе с этим представила следующий стандарт, известный как HBMnext (позже переименованный в HBM3). Это должно было стать большим скачком поколений от HBM2 и заменой HBM2E. Эта новая VRAM должна была выйти на рынок в четвертом квартале 2022 года. Вероятно, это представило бы новую архитектуру, как следует из названия.
Хотя архитектура может быть переработана, утечки указывают на то, что производительность будет аналогична обновленному стандарту HBM2E. Эта оперативная память, скорее всего, будет использоваться в основном в графических процессорах центров обработки данных . [26] [27] [28] [29]
В середине 2021 года компания SK Hynix представила некоторые спецификации стандарта HBM3 со скоростью ввода-вывода 5,2 Гбит/с и пропускной способностью 665 ГБ/с на пакет, а также решениями 2,5D и 3D с поддержкой до 16 вычислений в секунду. [30] [31]
20 октября 2021 года, до того как стандарт JEDEC для HBM3 был окончательно утвержден, SK Hynix стала первым поставщиком памяти, объявившим о завершении разработки устройств памяти HBM3. По данным SK Hynix, память будет работать со скоростью 6,4 Гбит/с/контакт, что вдвое превышает скорость передачи данных стандарта JEDEC HBM2E, которая формально достигает 3,2 Гбит/с/контакт, или на 78% быстрее, чем собственный HBM2E SK Hynix со скоростью 3,6 Гбит/с/контакт. Устройства поддерживают скорость передачи данных 6,4 Гбит/с, и поэтому один стек HBM3 может обеспечить пропускную способность до 819 ГБ/с. Базовая ширина шины для HBM3 остается неизменной, при этом один стек памяти имеет ширину 1024 бита. SK Hynix предложит свою память в двух вариантах емкости: 16 ГБ и 24 ГБ, совпадающих со стеками 8-Hi и 12-Hi соответственно. Стеки состоят из 8 или 12 16-гигабитных DRAM, каждый из которых имеет толщину 30 мкм и соединен с помощью сквозных кремниевых отверстий (TSV). [32] [33] [34]
По словам Райана Смита из AnandTech , память HBM3 первого поколения SK Hynix имеет ту же плотность, что и память HBM2E последнего поколения, а это означает, что поставщикам устройств, желающим увеличить общую емкость памяти для своих деталей следующего поколения, потребуется использовать память с 12 кристаллами/слоями, по сравнению с 8-слойными стеками, которые они обычно использовали до этого. [32] По словам Антона Шилова из Tom's Hardware , высокопроизводительные вычислительные графические процессоры или ПЛИС обычно используют четыре или шесть стеков HBM, поэтому с 24-гигабайтными стеками HBM3 от SK Hynix они соответственно получат 3,2 ТБ/с или 4,9 ТБ/с пропускной способности памяти. Он также отметил, что чипы HBM3 от SK Hynix имеют квадратную форму, а не прямоугольную, как чипы HBM2 и HBM2E. [33] По словам Криса Меллора из The Register , поскольку JEDEC еще не разработал свой стандарт HBM3, это может означать, что SK Hynix придется модернизировать свою конструкцию до более современной и более быстрой. [34]
JEDEC официально анонсировала стандарт HBM3 27 января 2022 года. [8] Количество каналов памяти было удвоено с 8 каналов по 128 бит с HBM2e до 16 каналов по 64 бит с HBM3. Таким образом, общее количество контактов данных интерфейса по-прежнему составляет 1024. [35]
В июне 2022 года компания SK Hynix объявила о начале массового производства первой в отрасли памяти HBM3, которая будет использоваться с графическим процессором Nvidia H100, поставки которого, как ожидается, начнутся в третьем квартале 2022 года. Память обеспечит H100 пропускной способностью «до 819 ГБ/с». [36]
В августе 2022 года Nvidia объявила, что ее графический процессор H100 «Hopper» будет поставляться с пятью активными сайтами HBM3 (из шести имеющихся на борту), предлагая 80 ГБ оперативной памяти и пропускную способность памяти 3 ТБ/с (16 ГБ и 600 ГБ/с на сайт). [37]
30 мая 2023 года компания SK Hynix представила свою память HBM3E со скоростью обработки данных 8 Гбит/с на контакт (на 25% быстрее, чем HBM3), которая должна поступить в производство в первой половине 2024 года. [38] При 8 ГТ/с с 1024-битной шиной ее пропускная способность на стек увеличивается с 819,2 ГБ/с, как в HBM3, до 1 ТБ/с.
26 июля 2023 года Micron анонсировала свою память HBM3E со скоростью обработки данных 9,6 Гбит/с/контакт (на 50% быстрее, чем HBM3). [39] Память Micron HBM3E — это высокопроизводительная HBM, которая использует технологию процесса 1β DRAM и усовершенствованную упаковку для достижения самой высокой производительности, емкости и энергоэффективности в отрасли. Она может хранить 24 ГБ на куб высотой 8 и обеспечивает передачу данных со скоростью 1,2 ТБ/с. В 2024 году появится куб высотой 12 и емкостью 36 ГБ.
В августе 2023 года компания Nvidia анонсировала новую версию своего суперчипа GH200 Grace Hopper, который использует 141 ГБ (144 ГиБ физических) HBM3e на 6144-битной шине, обеспечивая на 50% большую пропускную способность памяти и на 75% большую емкость памяти по сравнению с версией HBM3. [40]
В мае 2023 года Samsung анонсировала HBM3P со скоростью до 7,2 Гбит/с, который будет запущен в производство в 2024 году. [41]
20 октября 2023 года Samsung анонсировала HBM3E «Shinebolt» с памятью до 9,8 Гбит/с. [42]
26 февраля 2024 года компания Micron объявила о массовом производстве памяти HBM3E. [43]
18 марта 2024 года компания Nvidia анонсировала серию графических процессоров Blackwell , использующих память HBM3E [44]
19 марта 2024 года компания SK Hynix объявила о массовом производстве памяти HBM3E. [45]
В феврале 2021 года Samsung объявила о разработке HBM с обработкой в памяти (PIM). Эта новая память переносит возможности вычислений ИИ в память, чтобы увеличить масштабную обработку данных. Оптимизированный для DRAM движок ИИ размещается внутри каждого банка памяти, чтобы обеспечить параллельную обработку и минимизировать перемещение данных. Samsung утверждает, что это обеспечит вдвое большую производительность системы и снизит потребление энергии более чем на 70%, при этом не требуя никаких аппаратных или программных изменений в остальной части системы. [46]
Память с наложенными кристаллами изначально была коммерциализирована в индустрии флэш-памяти . Toshiba представила чип флэш-памяти NAND с восемью наложенными кристаллами в апреле 2007 года, [47] а затем Hynix Semiconductor представила чип флэш-памяти NAND с 24 наложенными кристаллами в сентябре 2007 года. [48]
3D-стекированная память с произвольным доступом (RAM) с использованием технологии сквозного кремниевого перехода (TSV) была коммерциализирована компанией Elpida Memory , которая разработала первый чип DRAM емкостью 8 ГБ (соединенный с четырьмя кристаллами DDR3 SDRAM ) в сентябре 2009 года и выпустила его в июне 2011 года. В 2011 году SK Hynix представила 16 ГБ памяти DDR3 ( класс 40 нм ) с использованием технологии TSV, [3] Samsung Electronics представила 3D-стекированную память DDR3 емкостью 32 ГБ ( класс 30 нм ) на основе TSV в сентябре, а затем Samsung и Micron Technology анонсировали технологию гибридного куба памяти (HMC) на основе TSV в октябре. [49]
JEDEC впервые выпустил стандарт JESD229 для памяти Wide IO, [50] предшественника HBM с четырьмя 128-битными каналами с тактированием одной скорости передачи данных, в декабре 2011 года после нескольких лет работы. Первый стандарт HBM JESD235 последовал в октябре 2013 года.
Разработка высокоскоростной памяти началась в AMD в 2008 году для решения проблемы постоянно растущего энергопотребления и форм-фактора компьютерной памяти. В течение следующих нескольких лет AMD разработала процедуры для решения проблем с укладкой кристаллов с командой под руководством старшего научного сотрудника AMD Брайана Блэка. [51] Чтобы помочь AMD реализовать свое видение HBM, они привлекли партнеров из индустрии памяти, в частности корейскую компанию SK Hynix , [51] которая имела предыдущий опыт работы с 3D-укладкой памяти, [3] [48], а также партнеров из индустрии интерпозеров (тайваньская компания UMC ) и упаковочной индустрии ( Amkor Technology и ASE ). [51]
Разработка HBM была завершена в 2013 году, когда SK Hynix создала первый чип памяти HBM. [3] HBM был принят в качестве отраслевого стандарта JESD235 организацией JEDEC в октябре 2013 года по предложению AMD и SK Hynix в 2010 году. [6] Массовое производство началось на заводе Hynix в Ичхоне , Южная Корея, в 2015 году.
Первым графическим процессором, использующим HBM, был AMD Fiji, выпущенный в июне 2015 года и использовавшийся в видеокарте AMD Radeon R9 Fury X. [4] [52] [53]
В январе 2016 года Samsung Electronics начала раннее массовое производство HBM2. [18] [19] В том же месяце HBM2 был принят JEDEC в качестве стандарта JESD235a. [7] Первым графическим процессором, использующим HBM2, стал Nvidia Tesla P100, официально анонсированный в апреле 2016 года. [54] [55]
В июне 2016 года Intel выпустила семейство процессоров Xeon Phi с 8 стеками HCDRAM, версией HBM от Micron. На выставке Hot Chips в августе 2016 года Samsung и Hynix анонсировали новое поколение технологий памяти HBM. [56] [57] Обе компании анонсировали высокопроизводительные продукты, которые, как ожидается, будут иметь повышенную плотность, увеличенную пропускную способность и более низкое энергопотребление. Samsung также анонсировала более дешевую версию HBM, находящуюся в разработке и ориентированную на массовые рынки. Удаление буферного кристалла и уменьшение количества TSV снижает стоимость, хотя и за счет снижения общей пропускной способности (200 ГБ/с).
22 марта 2022 года компания Nvidia анонсировала графический процессор Nvidia Hopper H100 — первый в мире графический процессор, использующий HBM3. [58]
примет вариант стекированной DRAM с высокой пропускной способностью (HBM), разработанный AMD и Hynix