stringtranslate.com

ИнфиниБэнд

InfiniBand ( IB ) — это стандарт компьютерной сетевой связи, используемый в высокопроизводительных вычислениях и обеспечивающий очень высокую пропускную способность и очень низкую задержку . Он используется для передачи данных как между компьютерами, так и внутри них. InfiniBand также используется в качестве прямого или коммутируемого соединения между серверами и системами хранения, а также в качестве соединения между системами хранения. Он спроектирован с возможностью масштабирования и использует топологию коммутируемой коммутируемой сети . В период с 2014 по июнь 2016 года [1] это было наиболее часто используемое соединение в списке TOP500 суперкомпьютеров.

Mellanox (приобретенная Nvidia ) производит адаптеры главной шины InfiniBand и сетевые коммутаторы , которые используются крупными поставщиками компьютерных систем и баз данных в своих линейках продуктов. [2] В качестве межсоединения компьютерного кластера IB конкурирует с Ethernet , Fibre Channel и Intel Omni-Path . Технология продвигается торговой ассоциацией InfiniBand .

История

InfiniBand возникла в 1999 году в результате слияния двух конкурирующих разработок: Future I/O и Next Generation I/O (NGIO). NGIO возглавляла Intel со спецификацией, выпущенной в 1998 году [3] , к ней присоединились Sun Microsystems и Dell . Будущий ввод-вывод был поддержан Compaq , IBM и Hewlett-Packard . [4] Это привело к формированию Торговой ассоциации InfiniBand (IBTA), в которую вошли как поставщики оборудования, так и поставщики программного обеспечения, такие как Microsoft . В то время считалось, что некоторые из более мощных компьютеров приближаются к узкому месту шины PCI , несмотря на такие обновления, как PCI-X . [5] Версия 1.0 Спецификации архитектуры InfiniBand была выпущена в 2000 году. Первоначально концепция IBTA для IB была одновременно заменой PCI в вводе-выводе, Ethernet в машинном помещении , межкластерном соединении и Fibre Channel . IBTA также предусмотрела разложение серверного оборудования на структуру IB .

Компания Mellanox была основана в 1999 году для разработки технологии NGIO, но к 2001 году выпустила линейку продуктов InfiniBand под названием InfiniBridge со скоростью 10 Гбит/с. [6] После того, как лопнул пузырь доткомов, в отрасли возникли колебания относительно инвестирования в столь далеко идущий технологический скачок. [7] К 2002 году Intel объявила, что вместо поставок интегральных схем («чипов») IB она сосредоточится на разработке PCI Express , а Microsoft прекратила разработку IB в пользу расширения Ethernet. Sun Microsystems и Hitachi продолжали поддерживать IB. [8]

В 2003 году суперкомпьютер System X , построенный в Технологическом институте Вирджинии, использовал InfiniBand в том, что на тот момент считалось третьим по величине компьютером в мире. [9] Альянс OpenIB (позже переименованный в OpenFabrics Alliance) был основан в 2004 году для разработки открытого набора программного обеспечения для ядра Linux . К февралю 2005 г. поддержка была включена в ядро ​​Linux 2.6.11. [10] [11] В ноябре 2005 года устройства хранения данных наконец-то были выпущены с использованием InfiniBand от таких поставщиков, как Engenio. [12]

Из 500 лучших суперкомпьютеров в 2009 году Gigabit Ethernet использовался в качестве технологии внутреннего соединения в 259 установках, по сравнению с 181, использующей InfiniBand. [13] В 2010 году лидеры рынка Mellanox и Voltaire объединились, в результате чего остался только один поставщик IB, QLogic , в основном поставщик Fibre Channel . [14] На Международной суперкомпьютерной конференции 2011 года были анонсированы и продемонстрированы на соединительных стендах на выставке каналы связи, работающие со скоростью около 56 гигабит в секунду (известные как FDR, см. ниже). [15] В 2012 году Intel приобрела технологию InfiniBand компании QLogic, оставив только одного независимого поставщика. [16]

К 2014 году InfiniBand стала самой популярной технологией внутреннего соединения суперкомпьютеров, хотя через два года ее начал вытеснять 10-гигабитный Ethernet . [1] В 2016 году сообщалось, что корпорация Oracle (инвестор Mellanox) может разработать собственное оборудование InfiniBand. [2] В 2019 году Nvidia приобрела Mellanox, последнего независимого поставщика продуктов InfiniBand. [17]

Спецификация

Технические характеристики опубликованы торговой ассоциацией InfiniBand.

Производительность

Первоначальные названия скоростей были «одинарная скорость передачи данных» (SDR), «двойная скорость передачи данных» (DDR) и «четверенная скорость передачи данных» (QDR), как указано ниже. [12] Впоследствии были добавлены другие трехбуквенные аббревиатуры для еще более высоких скоростей передачи данных. [18]

Примечания
  1. ^ Использование прямой коррекции ошибок Рида-Соломона

Каждая ссылка является дуплексной. Каналы можно агрегировать: в большинстве систем используется разъем с 4 каналами/полосами (QSFP). HDR часто использует 2x канала (также известный как HDR100, канал 100 Гбит с использованием 2 линий HDR, но при этом используется разъем QSFP). 8x требуется для портов коммутатора NDR, использующих разъемы OSFP (восьмеричный подключаемый модуль малого форм-фактора) «Определения кабелей и разъемов».

InfiniBand обеспечивает возможности удаленного прямого доступа к памяти (RDMA) для снижения нагрузки на процессор.

Топология

InfiniBand использует топологию коммутируемой фабрики , в отличие от раннего Ethernet с разделяемой средой . Все передачи начинаются или заканчиваются на адаптере канала. Каждый процессор содержит адаптер главного канала (HCA), а каждое периферийное устройство имеет адаптер целевого канала (TCA). Эти адаптеры также могут обмениваться информацией о безопасности или качестве обслуживания (QoS).

Сообщения

InfiniBand передает данные пакетами размером до 4 КБ, которые вместе образуют сообщение. Сообщение может быть:

Физическое соединение

Коммутатор InfiniBand с разъемами CX4/SFF-8470

Помимо подключения форм-фактора платы, можно использовать как активный, так и пассивный медный (до 10 метров) и оптоволоконный кабель (до 10 км). [29] Используются разъемы QSFP .

Ассоциация InfiniBand также определила систему разъемов CXP для скоростей до 120 Гбит/с по медным, активным оптическим кабелям и оптическим трансиверам с использованием параллельных многомодовых оптоволоконных кабелей с 24-волоконными разъемами MPO. [ нужна цитата ]

Программные интерфейсы

Поддержка операционных систем Mellanox доступна для Solaris , FreeBSD , [30] [31] Red Hat Enterprise Linux , SUSE Linux Enterprise Server (SLES), Windows , HP-UX , VMware ESX , [32] и AIX . [33]

InfiniBand не имеет специального стандартного интерфейса прикладного программирования (API). Стандарт перечисляет только набор глаголов, таких как ibv_open_deviceили ibv_post_send, которые являются абстрактными представлениями функций или методов, которые должны существовать. Синтаксис этих функций оставлен на усмотрение поставщиков. Иногда для справки это называют API глаголов . Стандартное программное обеспечение де-факто разработано OpenFabrics Alliance и называется Open Fabrics Enterprise Distribution (OFED). Он выпускается под двумя лицензиями GPL2 или BSD для Linux и FreeBSD, а также под названием Mellanox OFED для Windows (названия продуктов: WinOF / WinOF-2; атрибутируется как драйвер хост-контроллера для соответствия конкретным устройствам ConnectX 3–5) [34] под лицензией выбор лицензии BSD для Windows. Он был принят большинством поставщиков InfiniBand для Linux , FreeBSD и Microsoft Windows . IBM ссылается на библиотеку программного обеспечения под названием libibverbs, для своей операционной системы AIX , а также на «глаголы AIX InfiniBand». [35] Поддержка ядра Linux была интегрирована в 2005 году в ядро ​​версии 2.6.11. [36]

Ethernet через InfiniBand

Ethernet over InfiniBand, сокращенно EoIB, представляет собой реализацию Ethernet на основе протокола InfiniBand и технологии разъемов. EoIB обеспечивает несколько полос пропускания Ethernet , различающихся в зависимости от версии InfiniBand (IB). [37] Реализация пакета интернет-протоколов Ethernet , обычно называемого TCP/IP, в некоторых деталях отличается от прямого протокола InfiniBand в IP over IB (IPoIB).

Смотрите также

Рекомендации

  1. ^ ab «Основные события – июнь 2016 г.». Топ500.Орг. Июнь 2016 года . Проверено 26 сентября 2021 г. Технология InfiniBand теперь используется в 205 системах (вместо 235) и является второй наиболее часто используемой технологией внутреннего межсистемного соединения. Количество систем Gigabit Ethernet выросло до 218 со 182 систем, во многом благодаря тому, что 176 систем теперь используют интерфейсы 10G.
  2. ↑ ab Тимоти Прикетт Морган (23 февраля 2016 г.). «Инженеры Oracle разрабатывают собственные межсоединения InfiniBand». Следующая платформа . Проверено 26 сентября 2021 г.
  3. ↑ Скотт Беккер (11 ноября 1998 г.). «Intel представляет ввод-вывод следующего поколения для вычислительных серверов». Торговый партнер Редмонда . Проверено 28 сентября 2021 г.
  4. ↑ Уилл Уэйд (31 августа 1999 г.). «Воюющие группы NGIO и Future I/O объединяются». ЭЭ Таймс . Проверено 26 сентября 2021 г.
  5. ^ Пентакал, Одиссей. «Введение в архитектуру InfiniBand». О'Рейли . Проверено 28 июля 2014 г.
  6. ^ «Хронология». Мелланокс Технологии . Проверено 26 сентября 2021 г.
  7. ^ Ким, Тед. «Краткая история InfiniBand: от хайпа к прагматизму». Оракул. Архивировано из оригинала 8 августа 2014 года . Проверено 28 сентября 2021 г.
  8. ^ Computerwire (2 декабря 2002 г.). «Sun подтверждает приверженность InfiniBand». Регистр . Проверено 26 сентября 2021 г.
  9. ^ «Технологический институт штата Вирджиния построил компьютер мощностью 10 терафлопс» . Мир исследований и разработок . 30 ноября 2003 года . Проверено 28 сентября 2021 г.
  10. ↑ Шон Майкл Кернер (24 февраля 2005 г.). «Ядро Linux 2.6.11 поддерживает InfiniBand». Новости Интернета . Проверено 28 сентября 2021 г.
  11. ^ Альянс OpenIB (21 января 2005 г.). «Альянс OpenIB добился признания Kernel.org» . Пресс-релиз . Проверено 28 сентября 2021 г.
  12. ^ ab Энн Сильверторн (12 января 2006 г.), «Готов ли InfiniBand к возвращению?», Infostor , 10 (2) , получено 28 сентября 2021 г.
  13. ↑ Лоусон, Стивен (16 ноября 2009 г.). «Два конкурирующих суперкомпьютера борются за первое место». Компьютерный мир . Проверено 29 сентября 2021 г.
  14. ^ Раффо, Дэйв. «Крупнейшие поставщики InfiniBand объединяются; рассматривают конвергентные сети». Архивировано из оригинала 1 июля 2017 года . Проверено 29 июля 2014 г.
  15. ↑ Микаэль Рикнес (20 июня 2011 г.). «Демонстрационная версия Mellanox, усовершенствованная версия InfiniBand». ИТ-директор . Архивировано из оригинала 6 апреля 2012 года . Проверено 30 сентября 2021 г.
  16. ↑ Майкл Фельдман (23 января 2012 г.). «Intel приобретает технологию InfiniBand, линейку продуктов от QLogic». HPCwire . Проверено 29 сентября 2021 г.
  17. ^ «Nvidia приобретет Mellanox за 6,9 миллиарда долларов» . Пресс-релиз . 11 марта 2019 года . Проверено 26 сентября 2021 г.
  18. ^ ab «Информационный бюллетень FDR InfiniBand». Торговая ассоциация InfiniBand. 11 ноября 2021 г. . Проверено 30 сентября 2021 г.
  19. ^ Панда, Дхабалешвар К.; Саянтан-Сур (2011). «Ускорение скорости сети с помощью IB и HSE» (PDF) . Проектирование систем облачных и грид-вычислений с использованием InfiniBand и высокоскоростного Ethernet . Ньюпорт-Бич, Калифорния, США: CCGrid 2011. с. 23 . Проверено 13 сентября 2014 г.
  20. ^ «Дорожная карта InfiniBand: IBTA - Торговая ассоциация InfiniBand» . Архивировано из оригинала 29 сентября 2011 г. Проверено 27 октября 2009 г.
  21. ^ http://www.hpcadvisorycouncil.com/events/2014/swiss-workshop/presos/Day_1/1_Mellanox.pdf // Mellanox.
  22. ^ «Типы и скорости InfiniBand» .
  23. ^ «Интерфейсы». Документы NVIDIA . Проверено 12 ноября 2023 г. FDR10 — это нестандартная скорость передачи данных InfiniBand, при которой каждая полоса порта 4X имеет скорость передачи данных 10,3125 Гбит/с с кодировкой 64/66b, что обеспечивает эффективную пропускную способность 40 Гбит/с. FDR10 поддерживает на 20 % большую пропускную способность по сравнению с QDR благодаря лучшей скорости кодирования.
  24. ^ «324-портовое руководство пользователя коммутаторной платформы InfiniBand FDR SwitchX®» (PDF) . нвидиа . 2018-04-29. раздел 1.2 . Проверено 12 ноября 2023 г. Обзор InfiniBand FDR и FDR10 [...] FDR, стандартная скорость передачи данных InfiniBand, при которой каждая линия порта 4X имеет скорость передачи данных 14,0625 Гбит/с с кодировкой 64b/66b, что приводит к эффективной пропускной способности 54,54 Гбит/с. . Физический уровень FDR — это физический уровень, указанный IBTA, использующий различные типы блоков, механизм устранения перекоса и правила кадрирования. Коммутатор SX6518 также поддерживает FDR10, нестандартную скорость передачи данных InfiniBand, при которой каждая полоса порта 4X работает со скоростью передачи данных 10,3125 Гбит/с с кодировкой 64b/66b, что обеспечивает эффективную пропускную способность 40 Гбит/с.
  25. ^ abc «Дорожная карта InfiniBand — развитие InfiniBand». Торговая ассоциация InfiniBand .
  26. ^ «Введение». Документы NVIDIA . Проверено 12 ноября 2023 г.
  27. ^ https://www.mellanox.com/files/doc-2020/pb-connectx-6-vpi-card.pdf [ пустой URL-адрес PDF ]
  28. ^ «Введение». Документы NVIDIA . Проверено 12 ноября 2023 г.
  29. ^ «Часто задаваемые вопросы по спецификациям» . ИТА. Архивировано из оригинала 24 ноября 2016 года . Проверено 30 июля 2014 г.
  30. ^ «Mellanox OFED для FreeBSD» . Мелланокс . Проверено 19 сентября 2018 г.
  31. ^ Mellanox Technologies (3 декабря 2015 г.). «Руководство по интерфейсам ядра FreeBSD, mlx5en». Справочные страницы FreeBSD . FreeBSD . Проверено 19 сентября 2018 г.
  32. ^ «Карты InfiniBand — Обзор» . Мелланокс . Проверено 30 июля 2014 г.
  33. ^ «Внедрение InfiniBand в IBM System p (IBM Redbook SG24-7351-00)» (PDF) .
  34. ^ Mellanox OFED для Windows - WinOF / WinOF-2
  35. ^ «API глаголов». Документация IBM AIX 7.1 . 2020 . Проверено 26 сентября 2021 г.
  36. ↑ Дотан Барак (11 марта 2014 г.). «Учебник по программированию глаголов» (PDF) . ОпенШЕМ, 2014 . Мелланокс . Проверено 26 сентября 2021 г.
  37. ^ «10 преимуществ InfiniBand» . НАДДОД . Проверено 28 января 2023 г.

Внешние ссылки