NVIDIA 表示,其新一代 AI 基礎設施「Rubin」平台在業界首次實現了 100% 液冷,系統中的每一個元件都僅靠液體散熱[1]。其最大特色是刻意將冷卻液溫度提高到 45℃,比熱水浴還要熱,而這個更高的溫度正是節能的關鍵。此方案旨在大幅削減資料中心的電力與用水量,在 AI 算力需求持續攀升之際,成為相當受矚目的能效之舉。
把冷卻液升到 45℃ 的思維轉變
熱水浴的水溫約為 38 至 40℃,多數人只能浸泡 15 分鐘左右。NVIDIA 最新的 AI 伺服器可以讓冷卻液在更高的溫度下運行,最高可達 45℃(華氏 113 度)[1]。乍看之下似乎適得其反,但正是這個更高的溫度上限讓系統更加節能。
散熱領域長期存在一種觀念,認為越冷的資料中心效率越高。數十年前,如果機房不像可以走進去的冷凍庫那樣寒冷,人們就會覺得哪裡出了問題[1]。但實際上,矽製處理器能在比這種直覺所設想的高得多的溫度環境中穩定運行。以 45℃ 進入全液冷晶片的冷卻液,在吸收熱量後以約 55℃ 流出,但效能並不會下降,因為直接貼在每塊晶片上的冷板能將元件溫度維持在經過驗證的工作範圍之內[1]。
以 100% 液冷實現節能與零耗水
在 Rubin 世代中,所有晶片與網路元件都由液體在閉迴路中散熱,系統內任何地方都沒有風扇[1]。這項方式記載於「NVIDIA DSX」參考設計中,該指南涵蓋了如何設計、建置與營運整座 AI 工廠。
成效也反映在數字上。散熱向來占據資料中心電力消耗的最多 40%,是最具改善空間的領域之一[1]。業界估算顯示,將冷卻機的溫度設定僅提高 1 度,就能讓散熱電力成本降低約 4%。規模越大,節省就越可觀:一座 50 百萬瓦級的超大規模設施,透過轉向液冷基礎設施,每年可節省超過 400 萬美元(約 6.4 億日圓)的散熱相關電力與用水成本※1 美元 = 161 日圓(截至 2026 年 6 月 22 日)。
用水量的變化更為劇烈。在氣候有利的地區,將 45℃ 液冷與乾式冷卻器(戶外散熱裝置)結合,可實現無需冷卻機的運行,將傳統冷卻塔方式下每百萬瓦每年約需 260 萬加侖的用水降至接近於零[1]。NVIDIA 資料中心散熱與基礎設施負責人 Ali Heydari 表示,DSX 參考設計耗水為零,消除了大量電力使用與幾乎全部用水[1]。
沒有風扇、沒有冷熱通道的「另一種」伺服器
走進傳統資料中心,會立刻注意到兩件事。其一是噪音,散熱風扇讓整體聲音達到 85 分貝以上,吵到需要配戴護耳設備[1]。其二是為了把冷空氣送往元件而精心配置的「熱通道」與「冷通道」。
Rubin 架構徹底改變了這幅景象。冷卻液由 75% 的水與 25% 的丙二醇混合而成,流經直接貼在處理器上的冷板,從源頭抽走熱量[1]。讓這種液體以最高 45℃ 流動,意味著在許多地區都可以不啟動機械式冷卻機與嘈雜的風扇,就讓設施側的迴路散熱。此外,還有餘熱回收的潛力,AI 工廠運行產生的餘熱有望被再利用於為鄰近的商業大樓或住宅供暖[1]。
從零重新設計以跨越技術門檻
以往的液冷伺服器是混合式的:GPU 與 CPU 配有冷板,而系統的其餘部分仍採用氣冷[1]。要做成全液冷伺服器,就必須從根本上重新設計這些元件的散熱方式。NVIDIA 的熱設計團隊設計出透過單一進口與出口將冷卻液輸送到主機板上多塊高功率晶片的迴路,從而實現了在托盤層級更為整潔的散熱結構[1]。
成果在外觀上也有所體現。氣冷伺服器為了通風而採用布滿孔洞的前面板,而 Rubin 伺服器則擁有整潔、密封的前面板[1]。每個機架的部署密度也隨之提高:過去佔用 6 個機架單元的系統如今只需 2 個機架單元即可容納。施耐德電機旗下散熱部門 Motivair 的總裁兼 CEO Richard Whitmore 表示,一旦每塊晶片的功率超過某個水準,液冷就成為必需[1]。不過,這種無需冷卻機的運行能走多遠,在很大程度上取決於當地氣候,能穩定取得涼爽室外空氣的地點與炎熱地區的情況大不相同。
總結
在 Rubin 世代中,NVIDIA 成為業界首個僅靠液體、且不使用風扇為整個系統散熱的廠商。透過讓冷卻液以最高 45℃ 運行,此設計在抑制散熱電力的同時,在氣候有利的地區可將用水量降至接近於零。據稱一座 50 百萬瓦級設施每年可節省超過 400 萬美元,在 AI 算力需求持續成長之際,這項技術有望成為抑制其能耗負擔的重要手段之一。
來源:https://blogs.nvidia.com/blog/liquid-cooling-ai-factories/
