Иммерсионное охлаждение — это практика охлаждения ИТ-оборудования, при которой серверы полностью погружаются в диэлектрическую, непроводящую электричество жидкость, которая имеет значительно более высокую теплопроводность, чем воздух. Тепло отводится из системы путем прямого контакта охлаждающей жидкости с горячими компонентами и циркуляции нагретой жидкости через теплообменники . Эта практика очень эффективна, поскольку жидкие охлаждающие жидкости могут поглощать больше тепла из системы и легче циркулируют по системе, чем воздух. Иммерсионное охлаждение имеет много преимуществ, включая, помимо прочего: устойчивость, производительность, надежность и стоимость.
В отличие от многих других устройств, компьютеры не могут использовать иммерсионное водяное охлаждение , поскольку обычная вода является электропроводящей и может сломать электронные компоненты. Поэтому жидкости, используемые в иммерсионном охлаждении, являются диэлектрическими жидкостями , чтобы гарантировать их безопасный контакт с находящимися под напряжением электронными компонентами.
В целом, диэлектрические жидкости, используемые для иммерсионного охлаждения, делятся на две категории: углеводороды (т. е. минеральные, синтетические или биологические масла) и фторуглероды (полностью разработанные жидкости). Диэлектрические жидкости делятся на однофазные и двухфазные, которые различаются тем, превращается ли охлаждающая жидкость в газ во время цикла охлаждения.
Закрытое шасси требует бескапельных разъемов для сопряжения с отдельным шасси. Эти шасси обычно основаны на традиционных реализациях в стиле стойки. Бескапельные разъемы обычно требуют небольшой замкнутый контур охлаждения с охлаждающей жидкостью для защиты целостности потока через относительно небольшие трубы и разъемы. Замкнутый контур обеспечивается CDU или блоком распределения охлаждающей жидкости, который обычно может обслуживать несколько стоек одновременно.
Открытая ванна относится к «открытому» интерфейсу жидкость-воздух, и поэтому поверхностное натяжение между жидкостью и воздухом является отличительным элементом. Системы с открытыми ваннами обычно представляют собой резервуары, которые содержат большее количество диэлектрической жидкости, в которую погружена электроника. Несколько электронных узлов используют одну и ту же жидкость. Эта жидкость может быть основана на однофазной или двухфазной технологии. Независимо от термина, системы с открытыми ваннами могут быть полностью герметичными, но всегда открываются сверху для обслуживания ИТ-оборудования. Бак с охлаждающей жидкостью для систем с открытыми ваннами подключается либо к CDU, который обеспечивает циркуляцию диэлектрической жидкости, либо к встроенному теплообменному устройству, которое является частью резервуара. Для интерфейса объекта CDU обычно рассчитаны на 100 кВт или более, тогда как встроенное теплообменное устройство обычно рассчитано на холодопроизводительность 10-100 кВт.
Гибридное охлаждение подразумевает комбинацию закрытых и открытых ванн. [3]
Иммерсионное охлаждение снижает потребление энергии за счет устранения инфраструктуры воздушного охлаждения, включая встроенные вентиляторы серверов, CRAC, компрессоры кондиционеров, вентиляторы циркуляции воздуха, необходимые воздуховоды, воздухообрабатывающие установки и другие активные вспомогательные системы, такие как осушители. Эти системы заменяются жидкостными циркуляционными насосами и теплообменниками и/или системами сухого охлаждения.
Энергопотребление в центрах обработки данных часто измеряется с точки зрения эффективности использования мощности (PUE). Определения PUE для устройств с воздушным охлаждением и устройств с жидкостным охлаждением различаются, что делает такие прямые сравнения неточными. PUE для центров обработки данных с воздушным охлаждением включает мощность, используемую вентиляторами и другими активными компонентами охлаждения, обнаруженными в серверах. PUE для жидкостного охлаждения исключает эти значения из компонента энергии ИТ-оборудования, поскольку эти элементы системы (в частности, встроенные вентиляторы) обычно удаляются из ИТ-оборудования, поскольку они не нужны для циркуляции диэлектрических охладителей. Это расхождение в определении PUE для различных методов охлаждения приводит к тому, что PUE центров обработки данных с воздушным охлаждением, как правило, завышается по сравнению с PUE объекта с жидкостным охлаждением того же энергопотребления. [4]
Серверы и другое ИТ-оборудование, охлаждаемое методом погружения, не требуют вентиляторов для циркуляции диэлектрической жидкости, поэтому они удаляются из системы перед погружением. Термопасты , которые обычно используются на теплораспределителях для ЦП и других чипов, могут потребовать замены на другой состав, чтобы избежать термической деградации в диэлектрической жидкости. [5] В зависимости от типа применения в качестве заменяющих материалов могут использоваться припой, индиевая фольга и теплопроводящие эпоксидные смолы.
Температуры, используемые при иммерсионном охлаждении, определяются самой высокой температурой, при которой погружаемые устройства могут надежно работать. Для серверов этот температурный диапазон обычно составляет от 15 до 65 °C (от 59 до 149 °F); [6] однако в устройствах для майнинга криптовалют на базе ASIC этот диапазон часто расширяется до 75 °C. [7] Это увеличение верхней границы температурного диапазона позволяет операторам центров обработки данных использовать полностью пассивные сухие охладители или гораздо более эффективные испарительные или адиабатические градирни [8] вместо воздушного охлаждения на основе чиллеров или водяных охладителей. Это увеличение температурного диапазона также позволяет операторам, использующим однофазные иммерсионные охладители, более эффективно использовать изменение наружных температур для получения более эффективного охлаждения от своих систем, поскольку однофазные системы не ограничены в своей эффективности точкой кипения охладителя, как в случае с двухфазными охладителями. [9]
Многие известные бренды, такие как Intel и Facebook, уже подтвердили преимущества погружных серверов. [10] [11]
Текущие коммерческие приложения для охлаждения погружением варьируются от решений, ориентированных на центры обработки данных для охлаждения обычных серверов, [12] [13] серверных кластеров, приложений HPCC [14] и майнинга криптовалюты . [15] и основных облачных и веб-хостинговых архитектур. Производители электромобилей и аккумуляторов также используют жидкостное иммерсионное охлаждение в аккумуляторах, трансмиссиях, системах рекуперации кинетической энергии , электродвигателях, контроллерах электродвигателей и других бортовых электронных подсистемах. [ требуется цитата ] Жидкостное иммерсионное охлаждение также используется для терморегулирования светодиодов, лазеров, рентгеновских аппаратов и устройств магнитно-резонансной томографии. [ требуется цитата ]
Иммерсионное охлаждение применяется к электронным компонентам при глубоководных исследованиях, где дистанционно управляемые подводные аппараты с электронным оборудованием заполняются однофазными жидкими диэлектриками для защиты их от коррозии в морской воде, а также в качестве жидкости, компенсирующей давление, для предотвращения разрушения корпуса под действием экстремального давления, оказываемого на ROV во время работы в глубоком море. [ необходима ссылка ] Это применение также включает охлаждение электродвигателей, используемых для подводного движения.
Примерно до 2014 года эта технология обычно использовалась только в специальных очень интенсивных суперкомпьютерных проектах, таких как Cray Computer Applications. [16] Несмотря на то, что ожидаемый рост глобального потребления энергии центрами обработки данных оставался стабильным, [17] все больше внимания уделяется энергоэффективности, что привело к использованию жидкостного иммерсионного охлаждения как в центрах обработки данных, так и в операциях по майнингу криптовалют для переоценки его применения. Появление новых сверхплотных ЦП и ГП для использования в обработке в реальном времени, искусственном интеллекте, машинном обучении и операциях по майнингу данных побуждает пользователей и операторов центров обработки данных оценивать жидкостное иммерсионное охлаждение для возможности охлаждения стоек высокой плотности, а также для сокращения общего механического следа центров обработки данных.
Растущее внедрение чипсетов CPU и GPU с более высоким TDP в центрах обработки данных в последние годы показало масштаб иммерсионного охлаждения как решение для центров обработки данных для устранения технических ограничений платформ с воздушным охлаждением. С такими платформами, как NVIDIA Grace-Blackwell GB200 NVL72, требующими до 140 кВт охлаждения на стойку, [18] крупномасштабное жидкостное охлаждение становится важной технологией для предоставления возможностей хостинга для этих новых платформ. Эта крупномасштабная потребность стимулирует новые форм-факторы, принятие в отрасли и методы развертывания - в 2023 году Firmus Technologies запустила однофазную иммерсионную платформу, которая способна модернизировать целые залы данных с воздушным охлаждением с помощью модулей мощностью 1 МВт, [19] взяв на себя обязательство установить эту технологию в регионах Сингапура, Индии и Австралии.
Основные вехи погружения в XIX и XX веках:
Вехи погружения в XXI веке:
Охлаждение методом погружения в открытую ванну — это метод охлаждения ЦОД, который подразумевает полное погружение ИТ-оборудования в диэлектрическую жидкость. «Открытый» аспект не относится к открытой или герметичной системе, а относится к «открытому» интерфейсу жидкость-воздух, и, таким образом, поверхностное натяжение между жидкостью и воздухом является отличительным элементом. [30]
Эти ванны позволяют охлаждающей жидкости перемещаться через компоненты оборудования или серверы, погруженные в нее. [31]
Двухконтурное однофазное погружение требует циркуляции диэлектрических жидкостей насосами или естественным конвекционным потоком. [32] Эти жидкости всегда остаются в жидком состоянии во время работы. Они никогда не кипят и не замерзают. Диэлектрический хладагент либо прокачивается через внешний теплообменник , где он охлаждается любым хладагентом объекта, либо хладагент объекта прокачивается через погруженный теплообменник, что облегчает передачу тепла внутри диэлектрической жидкости.
В двухфазных системах в качестве теплоносителей используются фторуглероды [33] . Тепло отводится в двухфазной системе, где жидкость кипит при контакте с горячими компонентами из-за ее низкой температуры кипения. [34] Система использует концепцию, известную как « скрытая теплота », которая представляет собой тепло (тепловую энергию), необходимое для изменения фазы жидкости, это происходит, когда двухфазный хладагент контактирует с нагретой электроникой в ванне, которая находится выше точки кипения хладагента. После того, как двухфазный хладагент переходит в газовую фазу, его необходимо охладить или сконденсировать, как правило, с помощью охлаждаемых водой змеевиков, размещенных в верхней части бака. После конденсации двухфазный хладагент капает обратно в первичный охлаждающий бак. Двухфазный хладагент в баке обычно остается при своей «температуре насыщения». Энергия, переданная от серверов в двухфазный хладагент, заставит часть его выкипеть в газ. Газ поднимается над уровнем жидкости, где он контактирует с конденсатором , который холоднее температуры насыщения. Это заставляет газообразный хладагент конденсироваться обратно в жидкость и падать обратно в ванну. [35]
Герметичное охлаждение погружением сервера заключает серверы в герметичные корпуса. Диэлектрический хладагент циркулирует внутри или прокачивается через каждый сервер для сбора тепла от компонентов. Нагретая жидкость циркулирует в теплообменнике в стойке, где она либо циркулирует непосредственно снаружи здания в градирню или в теплообменник, либо охлаждается непосредственно в стойке с помощью инфраструктуры охлаждающей жидкости объекта. [36] Главное преимущество этого подхода заключается в том, что серверы монтируются в автономных сосудах, которые можно заменять в стойке без доступа к жидкости. Недостатком является то, что не все оборудование может быть использовано, поскольку поставщик определяет характеристики оборудования герметичных серверов.
Некоторые охлаждающие жидкости на основе углеводородов представляют опасность возгорания, поскольку имеют температуру возгорания . [37]
За последние несколько лет [ когда? ] иммерсионное охлаждение, в частности, для майнинга биткойнов, стало популярным методом получения полезного тепла. В холодном климате один майнер ASIC может обеспечить сверхвысокоэффективное [ нужна цитата ] преобразование электрического тепла, достаточное для обогрева целого дома. Иммерсионное охлаждение предложило способ бесшумного преобразования отходящего тепла от майнинга для нагрева воды, таяния снега, питания напольного отопления и обогрева джакузи, бассейнов, магазинов, хозяйственных построек, сараев и теплиц. Существует убедительный аргумент в пользу объединения операций по майнингу биткойнов с крытыми вертикальными фермами и традиционными теплицами для компенсации или устранения расходов на отопление объектов. Внутренние и открытые рекреационные сооружения, как государственные, так и частные, также могут извлечь выгоду из «бесплатного» отходящего тепла. Некоторые компании предоставляют вычислительное отопление для жилых и коммерческих помещений. [ нужна цитата ]
Перегрев литий-ионных элементов и аккумуляторных батарей является постоянной технологической проблемой для электрохимического преобразования и хранения энергии, в том числе в электромобилях. Иммерсионное охлаждение является перспективным методом терморегулирования для решения этих проблем. [38] Иммерсионное охлаждение батарей особенно полезно в условиях неправильной эксплуатации, когда необходимо избегать распространения тепла по модулю или пакету батареи. Иммерсионное охлаждение приобретает известность как новое применение в автомобильной промышленности. Благодаря способности теплопередачи в 50–100 раз больше, чем методы непрямого охлаждения, иммерсионное охлаждение выделяется как эффективное и мощное решение. [39] В настоящее время иммерсионное охлаждение в основном используется в автоспорте и моделях автомобилей высокого класса, демонстрируя свою эффективность в передовых автомобильных технологиях. [40]