Эволюция охлаждения ЦОД: восемь десятилетий инженерных решений

От первых электронных компьютеров, занимавших целые залы, до современных серверных систем с жидкостным охлаждением прошло восемь десятилетий. За это время инженеры научились отводить тепло не только от помещения, но и непосредственно от вычислительных модулей с помощью холодильных контуров, охлаждаемых плит и диэлектрических жидкостей.

История этих решений помогает понять, почему в современных центрах обработки данных (ЦОД) воздушные и жидкостные системы не конкурируют, а дополняют друг друга.

ENIAC: охладить целый зал

В феврале 1946 года в Пенсильванском университете публично представили ENIAC — один из первых электронных компьютеров общего назначения. Он занимал около 167 м² (примерно 15 × 9 м) и весил около 30 т. В ENIAC было около 18 тысяч электронных ламп, а потребляемая мощность составляла примерно 150 кВт. Почти вся эта энергия в итоге превращалась в тепло.

Отводить его помогали вентиляция и кондиционирование воздуха. Важно было не просто снизить температуру в помещении, но и обеспечить циркуляцию воздуха вокруг шкафов с оборудованием. Если поток распределялся неравномерно, отдельные узлы могли нагреваться сильнее, чем показывал средний термометр в зале.

С ENIAC связывают историю о том, что лампы выходили из строя каждые два дня. Речь идёт о частоте отказов отдельных ламп, а не о том, что раз в два дня останавливался весь компьютер. На надёжность влияли разные факторы, в том числе температурные условия.

В последующие годы машинный зал всё чаще проектировали как единую инженерную систему. Нужно было продумать размещение оборудования, подачу охлаждённого воздуха и удаление нагретого. В некоторых вычислительных центрах воздух распределяли через пространство под фальшполом. Оно также позволяло прокладывать кабели. Позднее для управления воздушными потоками получили распространение горячие и холодные коридоры: серверы забирают воздух из холодного коридора, а нагретый выбрасывают в горячий.

CDC 6600: охлаждать ближе к источнику тепла

Пока вычислительная техника занимала отдельные залы, кондиционирование помещения оставалось основным способом отвода тепла. Но электронные компоненты становились компактнее, а тепловая нагрузка всё больше концентрировалась внутри самих машин. Инженерам требовалось отводить тепло от оборудования эффективнее, чем позволял общий поток воздуха.

В CDC 6600, введённом в эксплуатацию в 1964 году, применили холодильную систему, встроенную в конструкцию вычислителя. Хладагент отводил тепло от электронных модулей, а затем оно передавалось системе теплоотвода. Охлаждение переставало быть только задачей машинного зала — оно становилось частью самой вычислительной системы.

Такой подход позволил приблизить контур охлаждения к источнику тепла. Позднее этот принцип стал основой для самых разных решений: от холодных плит на процессорах до сложных жидкостных систем для высокоплотных вычислительных узлов.

Cray-1: от электронных плат к охлаждающим каналам

В 1976 году заказчику передали первый Cray-1 — один из самых известных суперкомпьютеров своего времени. Его С-образный корпус помогал компактно разместить оборудование и сократить длину электрических соединений. Но плотная компоновка означала и повышенные требования к теплоотводу.

Тепло от электронных плат Cray-1 передавалось через медные элементы к алюминиевым каналам. По трубкам внутри каналов циркулировал хладагент, уносящий тепло от вычислительных модулей. По данным Музея истории компьютеров, потребляемая мощность машины составляла около 115 кВт.

Здесь уже отчётливо виден инженерный принцип, знакомый специалистам по современному охлаждению: тепло перехватывают как можно ближе к нагревающимся компонентам и передают теплоносителю. Конструкция Cray-1 была не аналогом нынешней холодной плиты (cold plate), но решала ту же базовую задачу — сокращала путь тепла от электроники к системе охлаждения.

IBM 3081: водяное охлаждение вычислительного модуля

В начале 1980-х IBM представила мейнфрейм 3081 с теплопроводящим модулем — Thermal Conduction Module (TCM). На многослойной керамической подложке размещались микросхемы. Тепло от них передавалось через специальные элементы к металлической крышке, охлаждаемой водой.

Внутри модуля использовали гелий: он заполнял небольшие зазоры и помогал передавать тепло от электронных компонентов к крышке. Вода циркулировала по герметичным каналам охлаждающей плиты и не соприкасалась с микросхемами.

В этой схеме важно различать два вида жидкостного охлаждения. В IBM 3081 вода отводила тепло через металлическую стенку и элементы модуля. При иммерсионном охлаждении, которое применили позднее в Cray-2, диэлектрическая жидкость непосредственно контактировала с оборудованием.

Cray-2: электроника в диэлектрической жидкости

В 1985 году появился Cray-2 — один из наиболее известных компьютеров с иммерсионным охлаждением. Его электронные модули погружались в специальную диэлектрическую жидкость Fluorinert. Она непосредственно контактировала с поверхностями оборудования, отбирала тепло и циркулировала через систему теплоотвода.

Важно отличать иммерсионное охлаждение от охлаждения холодными плитами: в первом случае жидкость омывает оборудование, во втором — движется по герметичным каналам внутри плиты, которая соприкасается с нагревающимся компонентом. Для иммерсионных систем используют специальные диэлектрические жидкости, свойства которых должны соответствовать требованиям к электрической изоляции и совместимости с материалами оборудования.

Опыт Cray-2 показал, что жидкость может отводить тепло непосредственно от плотно размещённых электронных модулей. Сегодня иммерсионное охлаждение вновь привлекает внимание в связи с ростом тепловой мощности серверов и ускорителей, хотя современные системы отличаются от исторической конструкции Cray-2.

От машинного зала к современному ЦОД

За восемь десятилетий инженеры освоили несколько подходов к охлаждению вычислительной техники:

1. Воздушное охлаждение поддерживает требуемые условия в помещении и отводит тепло от серверов воздушным потоком.

2. При прямом жидкостном охлаждении тепло от наиболее нагруженных компонентов передаётся жидкости через холодные плиты.

3. В иммерсионных системах диэлектрическая жидкость контактирует с оборудованием непосредственно.

Ни один из этих методов не заменил остальные. Выбор зависит от тепловой нагрузки, конструкции серверов и возможностей инженерной инфраструктуры. Воздух остаётся практичным решением для многих машинных залов, а жидкостные технологии позволяют эффективнее отводить тепло там, где его особенно много и оно сосредоточено в компактных узлах.