Уровень хранения в высокопроизводительных вычислениях
В высокопроизводительной вычислительной среде пакетный буфер представляет собой быстрый промежуточный уровень хранения, расположенный между внешними вычислительными процессами и внутренними системами хранения . Он устраняет разрыв в производительности между скоростью обработки вычислительных узлов и пропускной способностью ввода-вывода (I/O) систем хранения. Пакетные буферы часто создаются из массивов высокопроизводительных устройств хранения данных, таких как NVRAM и SSD . Обычно он обеспечивает на один-два порядка большую пропускную способность ввода-вывода, чем серверные системы хранения.
Случаи использования
Пакетные буферы ускоряют передачу научных данных на суперкомпьютерах . Например, жизненные циклы научных приложений обычно чередуются между фазами вычислений и фазами ввода-вывода. [1] А именно, после каждого раунда вычислений (т. е. фазы вычислений) все вычислительные процессы одновременно записывают свои промежуточные данные во внутренние системы хранения (т. е. фазы ввода-вывода), после чего следует еще один раунд вычислений и данных. операции движения. Благодаря развертыванию пакетного буфера процессы могут быстро записывать свои данные в пакетный буфер после одного раунда вычислений вместо записи в медленные системы хранения на основе жесткого диска и немедленно переходить к следующему раунду вычислений, не дожидаясь перемещения данных. к внутренним системам хранения; [2] [3] данные затем асинхронно сбрасываются из пакетного буфера в системы хранения одновременно со следующим раундом вычислений. Таким образом, длительное время ввода-вывода, затрачиваемое на перемещение данных в системы хранения, скрывается за временем вычислений. Кроме того, буферизация данных в пакетном буфере также дает приложениям множество возможностей по перераспределению трафика данных во внутренние системы хранения для эффективного использования полосы пропускания систем хранения. [4] [5] В другом распространенном случае научные приложения могут помещать свои промежуточные данные в пакетный буфер и из него без взаимодействия с более медленными системами хранения. Обход систем хранения позволяет приложениям реализовать большую часть выигрыша в производительности за счет пакетного буфера. [6]
Типичные архитектуры пакетного буфера
В среде высокопроизводительных вычислений существуют две репрезентативные архитектуры пакетного буфера: локальный пакетный буфер узла и удаленный общий пакетный буфер. В архитектуре пакетного буфера, локального для узла, хранилище пакетного буфера расположено на отдельном вычислительном узле, поэтому совокупная пропускная способность пакетного буфера растет линейно с увеличением количества вычислительных узлов. Это преимущество масштабируемости было хорошо описано в недавней литературе. [7] [8] [9] [10] Это также связано с потребностью в масштабируемой стратегии управления метаданными для поддержания глобального пространства имен для данных, распределенных по всем пакетным буферам. [11] [12] В архитектуре удаленного общего пакетного буфера хранилище пакетного буфера находится на меньшем количестве узлов ввода-вывода, расположенных между вычислительными узлами и внутренними системами хранения. Перемещение данных между вычислительными узлами и пакетным буфером должно проходить через сеть. Размещение пакетного буфера на узлах ввода-вывода облегчает независимую разработку, развертывание и обслуживание службы пакетного буфера. Поэтому для управления пакетным буфером этого типа было разработано несколько известных коммерческих программных продуктов, таких как DataWarp и Infinite Memory Engine. Поскольку суперкомпьютеры развертываются с несколькими гетерогенными уровнями пакетного буфера, такими как NVRAM на вычислительных узлах и твердотельными накопителями на выделенных узлах ввода-вывода, существует необходимость прозрачного перемещения данных между несколькими уровнями хранения. [13] [14] [15]
Суперкомпьютеры развернуты с пакетным буфером
Из-за своей важности пакетный буфер широко применяется на суперкомпьютерах высшего уровня. Например, локально-узловой пакетный буфер установлен на суперкомпьютере DASH в Суперкомпьютерном центре Сан-Диего , [16] суперкомпьютерах Tsubame в Токийском технологическом институте , суперкомпьютерах Theta и Aurora в Аргоннской национальной лаборатории , суперкомпьютере Summit в Окриджской национальной лаборатории. и суперкомпьютер Sierra в Ливерморской национальной лаборатории Лоуренса и т. д. Удаленный общий пакетный буфер был принят на вооружение суперкомпьютером Tianhe-2 в Национальном суперкомпьютерном центре в Гуанчжоу , суперкомпьютером Trinity в Национальной лаборатории Лос-Аламоса , суперкомпьютером Cori в Национальной лаборатории Лоуренса Беркли. и суперкомпьютер ARCHER2 в Эдинбургском центре параллельных вычислений .
Рекомендации
- ^ Лю, Чжо; Лофстед, Джей; Ван, Дэн; Ю, Вэйкуань (сентябрь 2013 г.). «Пример общесистемного управления питанием для научных приложений». Международная конференция IEEE по кластерным вычислениям (CLUSTER) , 2013 г. IEEE. стр. 1–8. дои : 10.1109/CLUSTER.2013.6702681. ISBN 978-1-4799-0898-1. S2CID 6156410.
- ^ Ван, Дэн; Орал, Сарп; Ван, Яньдун; Сеттлмайер, Брэд; Этчли, Скотт; Ю, Вэйкуань (октябрь 2014 г.). «BurstMem: высокопроизводительная система пакетного буфера для научных приложений». 2014 Международная конференция IEEE по большим данным (Big Data) . IEEE. стр. 71–79. дои : 10.1109/BigData.2014.7004215. ISBN 978-1-4799-5666-1. S2CID 16764901.
- ^ Лю, Нин; Коуп, Джейсон; Карнс, Филип; Карозерс, Кристофер; Росс, Роберт; Грайдер, Гэри; Крам, Адам; Мальцан, Карлос (апрель 2012 г.). «О роли пакетных буферов в системах хранения лидерского класса». 012 28-й симпозиум IEEE по системам и технологиям хранения данных (MSST) . IEEE. стр. 1–11. дои : 10.1109/MSST.2012.6232369. ISBN 978-1-4673-1747-4. S2CID 9676920.
- ^ Ван, Дэн; Орал, Сарп; Причард, Майкл; Ван, Бин; Ю, Вэйкуань (сентябрь 2015 г.). «TRIO: оркестровка ввода-вывода на основе пакетного буфера». Международная конференция IEEE по кластерным вычислениям , 2015 г. IEEE. стр. 194–203. дои : 10.1109/CLUSTER.2015.38. ISBN 978-1-4673-6598-7. ОСТИ 1265517. S2CID 12482308.
- ^ Кугкас, Энтони; Дорье, Матье; Лэтэм, Роб; Росс, Роб; Сунь, Сиань-Хе (март 2017 г.). «Использование координации пакетного буфера для предотвращения помех ввода-вывода». 2016 IEEE 12-я Международная конференция по электронной науке (E-Science) . IEEE. стр. 371–380. doi : 10.1109/eScience.2016.7870922. ISBN 978-1-5090-4273-9. ОСТИ 1366308. S2CID 14514395.
- ^ Ван, Дэн; Морор, Кэтрин; Муди, Адам; Сато, Кенто; Ю, Вэйкуань (ноябрь 2016 г.). «Файловая система с эфемерным пакетным буфером для научных приложений». SC16: Международная конференция по высокопроизводительным вычислениям, сетям, хранению и анализу . IEEE. стр. 807–818. дои :10.1109/SC.2016.68. ISBN 978-1-4673-8815-3. S2CID 260667.
- ^ «BurstFS: файловая система с распределенным пакетным буфером для научных приложений» (PDF) . Ноябрь 2015.
- ^ Муди, Адам; Броневецкий, Грег; Морор, Кэтрин; Супински, Бронис Р. де (ноябрь 2010 г.). «Проектирование, моделирование и оценка масштабируемой многоуровневой системы контрольных точек». 2010 Международная конференция ACM/IEEE по высокопроизводительным вычислениям, сетям, хранению и анализу . АКМ. стр. 1–11. дои :10.1109/SC.2010.18. ISBN 978-1-4244-7557-5. S2CID 7352923.
- ^ Раджачандрасекар, Рагхунатх; Муди, Адам; Морор, Кэтрин; Панда, Дхабалешвар К. (ДК) (июнь 2013 г.). «Файловая система со скоростью 1 ПБ/с для проверки трех миллионов задач MPI» (PDF) . Материалы 22-го международного симпозиума по высокопроизводительным параллельным и распределенным вычислениям — HPDC '13 . АКМ. п. 143. дои : 10.1145/2493123.2462908. ISBN 9781450319102.
- ^ Чжао, Дунфан; Чжан, Чжао; Чжоу, Сяобин; Ли, Тунлинь; Ван, Кэ; Кимпе, Дрис; Карнс, Филип; Росс, Роберт; Райку, Иоан (октябрь 2014 г.). «FusionFS: на пути к поддержке научных приложений с интенсивным использованием данных в высокопроизводительных вычислительных системах экстремального масштаба». 2014 Международная конференция IEEE по большим данным (Big Data) . IEEE. стр. 61–70. дои : 10.1109/BigData.2014.7004214. ISBN 978-1-4799-5666-1. S2CID 5288472.
- ^ Ван, Дэн; Муди, Адам; Чжу, Юэ; Морор, Кэтрин; Сато, Кенто; Ислам, Танзима; Ю, Вэйкуань (май 2017 г.). «MetaKV: хранилище ключей-значений для управления метаданными распределенных пакетных буферов». Международный симпозиум IEEE по параллельной и распределенной обработке (IPDPS) 2017 . IEEE. стр. 1174–1183. дои : 10.1109/IPDPS.2017.39. ISBN 978-1-5386-3914-6. S2CID 8148699.
- ^ Ли, Тонглин; Чжоу, Сяобин; Брандстаттер, Кевин; Чжао, Дунфан; Ван, Кэ; Раджендран, Анупам; Чжан, Чжао; Райку, Иоан (май 2013 г.). «ZHT: Легкая надежная постоянная динамическая масштабируемая распределенная хеш-таблица с нулевым шагом». 27-й международный симпозиум IEEE по параллельной и распределенной обработке , 2013 г. IEEE. стр. 775–787. CiteSeerX 10.1.1.365.7329 . дои : 10.1109/IPDPS.2013.110. ISBN 978-1-4673-6066-1. S2CID 16614868.
- ^ Ван, Дэн; Бина, Сурен; Донг, Бин; Тан, Ходжун (сентябрь 2018 г.). «UniviStor: интегрированное иерархическое и распределенное хранилище для HPC». Международная конференция IEEE по кластерным вычислениям (CLUSTER) 2018 . IEEE. стр. 134–144. дои : 10.1109/CLUSTER.2018.00025. ISBN 978-1-5386-8319-4. S2CID 53235423.
- ^ «Гермес: многоуровневая распределенная система буферизации ввода-вывода с поддержкой гетерогенности» . АКМ. Июнь 2018 г. doi : 10.1145/3208040.3208059 . S2CID 47019714.
- ^ Тан, Ходжун; Бина, Сурен; Тессье, Франсуа; Ван, Дэн; Донг, Бин; Му, Цзинцин; Козиол, Куинси; Сумань, Жером; Вишванат, Венкатрам; Лю, Цзялин; Уоррен, Ричард (май 2018 г.). «На пути к масштабируемому и асинхронному объектно-ориентированному управлению данными для HPC». 2018 18-й Международный симпозиум IEEE/ACM по кластерным, облачным и грид-вычислениям (CCGRID). IEEE. стр. 113–122. doi :10.1109/CCGRID.2018.00026. ISBN 978-1-5386-5815-4. S2CID 13811397.
- ^ Он, Цзяхуа; Джагатисан, Арун; Гупта, Сандип; Беннетт, Джеффри; Снавли, Аллан (ноябрь 2010 г.). «DASH: рецепт суперкомпьютера на основе флэш-памяти» (PDF) . 2010 Международная конференция ACM/IEEE по высокопроизводительным вычислениям, сетям, хранению и анализу . АКМ. стр. 1–11. дои :10.1109/SC.2010.16. ISBN 978-1-4244-7557-5. S2CID 7349294.
Внешние ссылки
- Cray DataWarp. Архивировано 13 мая 2017 г. в Wayback Machine , системе буферизации производственных пакетов, разработанной Cray.
- Infinite Memory Engine. Архивировано 16 февраля 2017 г. в Wayback Machine , системе буферизации производственных пакетов, разработанной Data Direct Network.
- Суперкомпьютер Theta — суперкомпьютер, расположенный в Аргоннской национальной лаборатории.
- Суперкомпьютер Summit — суперкомпьютер, расположенный в Национальной лаборатории Ок-Ридж.
- Суперкомпьютер Sierra — суперкомпьютер, расположенный в Национальной национальной лаборатории Лоуренса.
- Суперкомпьютер Тринити — суперкомпьютер, расположенный в Национальной лаборатории Лос-Аламоса.
- Суперкомпьютер Cori. Архивировано 26 мая 2017 г. на суперкомпьютере Wayback Machine , расположенном в Национальной лаборатории Лоуренса Беркли.