Восемь десятилетий охлаждения вычислительной техники: от ламповых залов до ЦОД для ИИ

Первые электронные компьютеры занимали целые залы, современные ускорители умещаются на плате — но и те и другие выделяют тепло, которое нужно отводить. За восемь десятилетий инженеры прошли путь от вентиляции машинного зала до холодильных контуров, встроенных прямо в вычислительные модули.

Эта история объясняет главное: в современных ЦОД воздух и жидкость не соперничают, а делят между собой работу.

ENIAC: когда охлаждать приходилось целый зал

В феврале 1946 года в Пенсильванском университете представили ENIAC — один из первых электронных компьютеров общего назначения. Около 18 тысяч электронных ламп, мощность порядка 150 кВт, площадь примерно 167 м² и масса около 30 тонн. Почти вся потребляемая энергия превращалась в тепло, и отводить его приходилось в масштабе помещения.

Решала задачу вентиляция и система кондиционирования. Но ключевым было не столько снизить среднюю температуру в зале, сколько обеспечить равномерную циркуляцию воздуха вокруг шкафов: при плохом распределении потока отдельные узлы перегревались, хотя термометр в центре зала показывал норму. Именно тогда стало ясно, что машинный зал — это единая инженерная система, где расположение оборудования, подача холодного и удаление нагретого воздуха проектируются вместе.

С ENIAC связана и известная легенда: будто лампы выходили из строя каждые два дня. Речь о частоте отказов отдельных ламп, а не об остановке всей машины раз в два дня. На надёжность влияло много факторов, включая температурный режим.

В последующие годы зал проектировали всё тщательнее: воздух распределяли через пространство под фальшполом, которое заодно служило кабельным каналом. Позже пришли к горячим и холодным коридорам — серверы забирают воздух из холодного, а нагретый сбрасывают в горячий. Этот принцип работает в ЦОД до сих пор.

CDC 6600: охлаждение подбирается к источнику тепла

Пока техника занимала отдельные залы, кондиционирование помещения оставалось основным инструментом. Но компоненты становились компактнее, и тепловая нагрузка концентрировалась внутри самих машин — общего потока воздуха уже не хватало.

В CDC 6600, запущенном в 1964 году, применили холодильную систему, встроенную в конструкцию вычислителя. Хладагент отбирал тепло у электронных модулей и передавал его системе теплоотвода. Охлаждение перестало быть задачей только машинного зала — оно вошло в состав самой вычислительной системы. Этот сдвиг и стал отправной точкой для всех последующих решений: от холодных плит на процессорах до жидкостных контуров для высокоплотных узлов.

Cray-1: медные элементы и охлаждающие каналы

В 1976 году заказчику передали первый Cray-1 — один из самых узнаваемых суперкомпьютеров в истории. Его С-образный корпус позволял компактно разместить оборудование и сократить длину соединений, но плотная компоновка требовала и более серьёзного теплоотвода.

Тепло от электронных плат передавалось через медные элементы к алюминиевым каналам, внутри которых циркулировал хладагент, уносивший тепло от модулей. Потребляемая мощность машины составляла около 115 кВт (по данным Музея истории компьютеров). Здесь уже виден принцип, знакомый каждому специалисту по современному охлаждению: тепло перехватывают как можно ближе к нагревающимся компонентам и передают теплоносителю. Конструкция Cray-1 не была аналогом нынешней холодной плиты, но решала ту же задачу — сокращала путь тепла от электроники к системе охлаждения.

IBM 3081: вода на металлической крышке модуля

В начале 1980-х IBM представила мейнфрейм 3081 с теплопроводящим модулем — Thermal Conduction Module (TCM). Микросхемы размещались на многослойной керамической подложке, тепло от них шло через специальные элементы к металлической крышке, которую охлаждала вода. Зазоры внутри модуля заполнял гелий — он помогал передавать тепло от компонентов к крышке. Вода при этом циркулировала по герметичным каналам охлаждающей плиты и с микросхемами не соприкасалась.

Именно здесь удобно развести два принципиально разных подхода к жидкостному охлаждению. В IBM 3081 вода отводила тепло через металлическую стенку — то, что сегодня называют охлаждением по схеме «жидкость к чипу» через холодную плиту. При иммерсионном охлаждении, которое применили позже в Cray-2, диэлектрическая жидкость контактирует с оборудованием напрямую. Разница принципиальна: в первом случае теплоноситель движется по герметичным каналам плиты, во втором — омывает сами компоненты.

Cray-2: электроника, погружённая в жидкость

В 1985 году появился Cray-2 — один из самых известных компьютеров с иммерсионным охлаждением. Его электронные модули погружали в диэлектрическую жидкость Fluorinert: она напрямую контактировала с поверхностями оборудования, отбирала тепло и циркулировала через систему теплоотвода. Для таких систем подходят только специальные диэлектрические жидкости, свойства которых отвечают требованиям к электрической изоляции и совместимости с материалами оборудования.

Опыт Cray-2 доказал: жидкость способна отводить тепло непосредственно от плотно размещённых модулей. Сегодня иммерсионное охлаждение вновь в центре внимания из-за роста тепловой мощности серверов и ускорителей, хотя современные системы, разумеется, устроены иначе.

2000-е: жидкость возвращается в стойку

В начале XXI века нагрузки выросли, а серверы в стойках ставили всё плотнее. Воздушное охлаждение никуда не ушло, но для нагруженных стоек понадобились способы перехватывать тепло раньше, чем оно разойдётся по залу.

Одно из решений — теплообменник на задней двери стойки (Rear Door Heat Exchanger, RDHx). Его ставят на выходе горячего воздуха из серверов: тепло передаётся воде, циркулирующей внутри теплообменника, а в зал воздух возвращается уже охлаждённым. Это снижает нагрузку на кондиционирование помещения. Важно понимать: в отличие от холодной плиты, RDHx не охлаждает процессор напрямую — он отбирает тепло у воздуха, покидающего стойку.

Следующий шаг — прямое жидкостное охлаждение компонентов. В системах Direct-to-Chip (D2C) холодная плита ставится на процессор или ускоритель, а теплоноситель циркулирует по её внутренним каналам. Отвод обычно организуют через отдельный технологический контур, который может передавать тепловую энергию в контур здания через теплообменник. При этом теплоноситель не обязательно подаётся прямо к кристаллу, и его состав не сводится к деионизированной воде с ингибиторами: конкретную жидкость определяют конструкция системы и требования производителя.

Современный этап: охлаждение для ИИ и высокоплотных стоек

Вычисления для искусственного интеллекта резко подняли нагрузку на серверы. В стойках размещают десятки ускорителей, каждый из которых выделяет много тепла. Показательный пример — NVIDIA GB200 NVL72: 72 графических процессора и 36 процессоров Grace в одном стоечном комплексе с энергопотреблением порядка 120 кВт. Отводить такое тепло воздухом уже нереально, поэтому здесь применяют жидкостное охлаждение.

Сегодня в ЦОД чаще всего работает комбинированная схема: холодные плиты снимают тепло с самых мощных компонентов, а воздух охлаждает остальные элементы сервера и оборудование в помещении. Для плотных систем добавляют теплообменники на задних дверях стоек и иммерсионное охлаждение, при котором серверы погружают в диэлектрическую жидкость.

Воздушное охлаждение при этом не исчезло, оно по-прежнему востребовано во множестве ЦОДов. Но там, где в стойке сосредоточена особенно высокая вычислительная мощность, именно жидкость позволяет отводить тепло прямо от оборудования и справляться с нагрузкой, для которой одного воздушного потока уже недостаточно.

За восемь десятилетий охлаждение вычислительной техники переместилось из машинного зала внутрь стойки и ближе к самим процессорам. Сегодня, как и во времена первых электронных компьютеров, инженерам нужно решить одну задачу: надёжно отвести тепло от работающего оборудования. Изменились плотность вычислений и способы теплоотвода, но физика процесса осталась прежней.