Жидкостное охлаждение серверов отводит тепло с помощью теплоносителя, который проходит через теплообменники, холодные пластины или ванну с оборудованием. В ЦОД такую систему проектируют вместе со стойками, facility water, CDU, трубопроводами, контролем утечек, резервированием и остаточным воздушным охлаждением.
Главное преимущество жидкости связано с переносом высокой тепловой нагрузки при меньших объемах среды, чем у воздуха. Но liquid cooling не является отдельным аксессуаром к серверу. Его параметры должны совпадать на уровне оборудования и площадки: температура подачи, расход, давление, химический состав, соединения, допустимый перепад и сценарии обслуживания.
Как работает жидкостное охлаждение
Тепло проходит по цепочке:
чип -> cold plate или диэлектрическая жидкость -> технологический контур -> теплообменник CDU -> контур здания -> наружный отвод тепла
В direct-to-chip холодная пластина соприкасается с крышкой CPU, GPU или другого горячего компонента. Теплоноситель забирает тепло и возвращается к CDU. Cooling Distribution Unit передает энергию в контур здания, поддерживает расход и давление, фильтрует среду и собирает телеметрию.
Из чего состоит система жидкостного охлаждения
Компонент | Функция | Что проверять |
|---|---|---|
Cold plate | снимает тепло с CPU, GPU или памяти | материалы, тепловое сопротивление, допустимый расход |
CDU | передает тепло между контурами и циркулирует теплоноситель | мощность, резервирование насосов, контроль, аварийные режимы |
Manifold | распределяет поток по серверам или trays | балансировка, отсечные клапаны, сервис без остановки стойки |
Quick disconnect | позволяет подключать и обслуживать узлы | совместимость, каплеотсечение, ресурс соединений |
Трубопроводы и шланги | переносят жидкость | давление, радиус изгиба, материалы, маркировка |
Фильтры и датчики | защищают и контролируют контур | частицы, температура, давление, расход, проводимость, утечки |
Facility heat rejection | отводит тепло из здания | резервирование, климатический режим, доступная мощность |
Насос жидкостного охлаждения выбирают не только по максимальному расходу. Рабочая точка зависит от сопротивления cold plates, труб, коллекторов и фильтров. Увеличение потока сверх требований производителя может поднять давление, шум, эрозию и энергопотребление без пропорционального выигрыша.
Виды жидкостного охлаждения серверов
Задняя дверь с теплообменником
Rear-door heat exchanger устанавливается на выходе стойки и забирает тепло из горячего воздуха. Пассивная дверь использует вентиляторы серверов, активная добавляет собственные. Серверы могут остаться стандартными, поэтому вариант удобен при модернизации существующего зала.
Direct-to-chip
Жидкость подается к cold plates на наиболее горячих компонентах. Этот подход применяется в HPC и плотных GPU-системах. Он способен снять значительную часть тепла непосредственно с чипов, но память, накопители, NIC, блоки питания и другие элементы могут оставаться на воздухе.
Например, в rack-scale системах NVIDIA Grace Blackwell жидкостью охлаждаются cold plates CPU и GPU, а часть сетевых и storage-компонентов использует воздушный поток. Поэтому заявление «сервер с жидкостным охлаждением» не доказывает, что залу не нужна воздушная холодопроизводительность.
Иммерсионное охлаждение
При immersion оборудование погружается в диэлектрическую жидкость. В однофазной схеме жидкость остается в одном агрегатном состоянии и циркулирует через теплообменник. В двухфазной она кипит на горячих компонентах, затем пар конденсируется.
Погружение меняет форм-фактор, совместимость материалов, правила обслуживания, пожарную стратегию и требования к жидкости. Обычный сервер нельзя считать пригодным для ванны без подтверждения производителя компонентов.
Гибридное воздушно-жидкостное охлаждение
Большинство переходных проектов являются гибридными. Жидкость снимает основную нагрузку с CPU и GPU, воздух охлаждает остальное оборудование. Проектировщик должен отдельно посчитать heat-to-liquid ratio и остаточную мощность в воздух.
Воздушное или жидкостное охлаждение
Критерий | Воздушное | Direct-to-chip | Immersion |
|---|---|---|---|
Совместимость со стандартными серверами | высокая | нужна liquid-ready конфигурация | требуется специальная совместимость |
Плотность стойки | ограничена залом и airflow | подходит для высокой плотности | подходит для высокой плотности |
Остаточное воздушное тепло | все тепло | обычно остается часть | зависит от конструкции ванны и внешних компонентов |
Обслуживание | привычные процедуры | нужны правила для шлангов, QD и CDU | меняются все сервисные операции |
Модернизация существующего ЦОД | часто проще | требует труб и проверки площадки | обычно наиболее глубокое изменение |
Ответ на запрос «какое охлаждение лучше, воздушное или жидкостное» зависит от стойки, оборудования и площадки. При умеренной плотности исправная воздушная система может быть дешевле и проще. Жидкость становится обоснованной, когда требуемую мощность нельзя надежно снять существующим airflow или когда выбранная платформа прямо требует liquid cooling.
Какая жидкость используется
Вода хорошо переносит тепло, но состав теплоносителя определяется производителем системы. В TCS могут применяться подготовленная вода, смесь с glycol и ингибиторами, refrigerant или диэлектрическая жидкость. Нельзя самостоятельно заменять среду по признаку похожей температуры замерзания.
Проверяют pH, проводимость, жесткость, содержание частиц, биологический рост, совместимость металлов и elastomers. Неправильная химия ускоряет коррозию, повреждает seals и забивает узкие каналы cold plate. Смешение меди, алюминия и других материалов требует оценки galvanic compatibility.
Температура подачи тоже не выбирается по универсальной таблице. Она должна удовлетворять спецификации оборудования, расчету CDU и условиям площадки. Если поверхность становится холоднее dew point воздуха, появляется риск конденсации.
Что проверить в ЦОД до закупки
Тепловую мощность каждой стойки и профиль нагрузки во времени.
Долю тепла, передаваемого в жидкость, и остаточную воздушную нагрузку.
Температуры supply и return, расход, давление и допустимые перепады.
Доступную мощность facility loop во всех расчетных режимах.
Место и питание для CDU, трубопроводов, manifolds и датчиков.
Резервирование насосов, теплообменников, питания и автоматики.
Leak detection, дренаж, локализацию участка и аварийное отключение.
Water quality, фильтрацию, дегазацию и план лабораторного контроля.
Возможность заменить server tray или hose без остановки всего ряда.
Ответственность между поставщиком сервера, CDU и инженерных систем.
Плотные rack-scale комплексы могут предъявлять требования не только к воде, но и к электропитанию, нагрузке на перекрытия, высоте, подъездным путям и кабельной инфраструктуре. Пример такой взаимозависимости разобран в обзоре NVIDIA GB300 NVL72 и требований к ЦОД.
Надежность, утечки и резервирование
Риск нельзя свести к фразе «вода рядом с электроникой». У надежной системы есть контролируемые границы давления, качественные соединения, датчики, отсечные клапаны и процедуры. При этом наличие leak detection не заменяет испытания контура.
До запуска проводят pressure и leak tests по требованиям применимых стандартов и изготовителя. Затем проверяют расход на каждой ветви, failover насосов, потерю facility water, отключение питания CDU, рост температуры и действия автоматики. План должен учитывать thermal ride-through: сколько времени оборудование может работать до снижения нагрузки или штатного завершения.
Как купить жидкостное охлаждение без ошибки
Покупают не отдельную СЖО, а согласованный комплекс:
сервер или rack, подтвержденный для выбранного cooling loop;
CDU с требуемой мощностью и резервированием;
manifolds, hoses и quick disconnects одной совместимой спецификации;
facility-side оборудование;
мониторинг, диспетчеризацию и запасные части;
монтаж, flushing, commissioning и обучение эксплуатации.
Сначала запросите у производителя thermal и hydraulic requirements. Затем сопоставьте их с площадкой. Если значения не сходятся, нельзя компенсировать это общей фразой о запасе CDU.
FAQ
Как работает жидкостное охлаждение сервера?
Теплоноситель забирает тепло через cold plates или immersion bath, переносит его к теплообменнику, а затем facility system отводит тепло наружу.
Нужны ли вентиляторы при direct-to-chip?
Часто да. Жидкость может охлаждать CPU и GPU, а память, накопители, NIC и блоки питания продолжают отдавать тепло воздуху.
Что такое CDU?
Cooling Distribution Unit является узлом распределения и управления. Обычно CDU передает тепло между TCS и FWS, циркулирует теплоноситель, контролирует температуру, расход и давление.
Можно ли подключить сервер прямо к воде здания?
Только если это прямо предусмотрено проектом и требованиями производителя. Часто используют CDU, чтобы разделить facility water и чувствительный контур оборудования.
Чем immersion отличается от direct-to-chip?
При direct-to-chip жидкость идет по закрытым cold plates. При immersion компоненты погружаются в диэлектрическую среду.
Есть ли универсальная температура подачи?
Нет. Диапазон задают спецификация оборудования, теплоноситель, режим CDU и условия площадки. Также учитывают dew point.
Когда жидкостное охлаждение не нужно?
Если воздушная система надежно отводит расчетную тепловую нагрузку с приемлемым резервированием и выбранные серверы не требуют жидкости, усложнение может быть неоправданным.
Проектирование начинается до поставки сервера
Start Server может сопоставить требования GPU-системы с возможностями ЦОД, подобрать сервер, CDU и схему подключения, а затем подготовить программу приемки. Для первичного расчета нужны модель оборудования, мощность и число стоек, параметры facility water, допустимая температура, резервирование и план роста.
Передать исходные данные можно через контакты Start Server.
Получить консультацию
Оставьте заявку и наш менеджер свяжется с вами для консультации
