中國儲能網(wǎng)訊:
引言
盡管冷板式液冷目前是全球數(shù)據(jù)中心的主流冷卻方式,且預計未來在中國將有約90%的數(shù)據(jù)中心采用此技術(shù),但浸沒式液冷(Immersion Cooling)作為另一種重要的冷卻方案,同樣備受矚目。
根據(jù)Dell‘s Oro Group的預測報告顯示,全球數(shù)據(jù)中心液冷市場中浸沒式液冷的份額預計將逐漸上升。
來源:Dell‘s Oro Group
浸沒式液冷的定義、分類及工作原理
1、定義
浸沒式液冷是指將發(fā)熱的電子元器件(如CPU、GPU、內(nèi)存和硬盤等)整體或部分地直接浸沒在裝有非導電惰性流體介質(zhì)(即冷卻液,Coolant/Cooling Fluid)的機箱(如Tank、Tub或Pod)中,實現(xiàn)循環(huán)散熱的一種液冷方式。與直接芯片液冷(即冷板式液冷)類似,浸沒式液冷系統(tǒng)也分為兩個循環(huán):一次側(cè)循環(huán)和二次側(cè)循環(huán)。
在一次側(cè)循環(huán)中,室外冷卻設備如冷卻塔或冷水機組與熱交換單元(包括CDU、流體冷卻器、其他熱交換器等,為方便起見,下文統(tǒng)一用CDU表示)進行熱交換,從而帶走冷卻液中的熱量。
而在二次側(cè)循環(huán)中,CDU則與液冷箱內(nèi)的IT設備進行熱交換,將IT設備產(chǎn)生的熱量傳遞給冷卻液。這樣,通過兩個循環(huán)的協(xié)同作用,浸沒式液冷系統(tǒng)能夠高效地將IT設備的熱量散發(fā)出去,確保設備的穩(wěn)定運行。
2、分類及工作原理
根據(jù)冷卻液在循環(huán)散熱過程中是否發(fā)生相變,分為單相浸沒式液冷(Single-Phase Immersive Cooling)和雙相浸沒式液冷(Two-Phase Immersive Cooling)。
2.1 單相浸沒式液冷(Single-Phase Immersive Cooling):液體通過液-液熱交換器傳遞熱量
(1)單相浸沒式液冷采用具有高沸點的冷卻液,如碳氫化合物(包括礦物油、植物油等)、硅基油。這些冷卻液在吸收熱量后仍能保持穩(wěn)定的液態(tài),從而確保了在現(xiàn)有泵、管道和散熱設備(熱交換器、冷卻塔、冷水機組或干式冷卻器等)中的安全應用。由于散熱過程中冷卻液幾乎不蒸發(fā),因此無需使用氣密密封容器。
(2)根據(jù)冷卻液的循環(huán)方式,單相浸沒式液冷可分為泵驅(qū)動和自然對流兩種類型,但以泵驅(qū)動為主。
泵驅(qū)動系統(tǒng)核心是CDU(Coolant Distribution Unit,冷卻液分配單元),該單元由泵、熱交換器、傳感器和過濾器組成,泵驅(qū)動冷卻液在Tank內(nèi)部循環(huán)以吸收電子元器件的熱量。加熱后的冷卻液進入CDU,并與室外冷卻設備的低溫液體進行熱交換而得到冷卻,隨后低溫冷卻液返回冷池,完成整個循環(huán)散熱過程。
自然對流則利用液體受熱后體積膨脹、密度減小的特性,實現(xiàn)較熱冷卻液的上浮和冷卻后的下沉,從而完成循環(huán)散熱。
(3)從本質(zhì)上講,單相浸沒式液冷系統(tǒng)是一個倒置的、充滿了單相電介質(zhì)流體的機架——服務器不再是水平安裝,而是垂直安裝。
(4)對于數(shù)據(jù)中心應用而言,CDU通常作為獨立組件安裝在Tank附近或數(shù)據(jù)中心周邊。然而,在某些情況下,集中式CDU也可能被采用以滿足特定的散熱需求。
單相浸沒式液冷循環(huán)
來源:GRC、Submer
2.2 兩相浸沒式液冷(Two-Phase Immersive Cooling):在遇熱的情況下由液態(tài)轉(zhuǎn)化為氣態(tài),然后通過冷凝器將氣態(tài)冷卻液轉(zhuǎn)化回液態(tài)
(1)兩相浸沒式冷卻與單相浸沒式冷卻在原理上基本一致,但存在一個關(guān)鍵區(qū)別:兩相浸沒式冷卻液必須能夠在受熱時從液態(tài)變?yōu)闅鈶B(tài)。這一特性使得兩相浸沒式液冷技術(shù)能夠更有效地利用相變潛熱進行散熱,從而提高散熱效率。
(2)兩相浸沒式液冷的冷卻液以氟化液為主。
(3)兩相浸沒式液冷技術(shù)中,冷卻液在吸收IT設備產(chǎn)生的熱量后會經(jīng)歷氣液狀態(tài)的轉(zhuǎn)換。具體來說,IT設備被完全浸沒在裝有低沸點冷卻液的密閉罐體中,設備產(chǎn)生的熱量被冷卻液吸收后,冷卻液的溫度會升高至沸騰點,從而由液態(tài)變?yōu)闅鈶B(tài)。形成的蒸汽會從液體中上升,在罐體內(nèi)形成氣相區(qū)。當氣相區(qū)的冷卻液蒸汽與CDU接觸后,會凝結(jié)成液體并滴落回容器中,再次參與循環(huán)。同時,CDU中被加熱的冷卻液則通過循環(huán)冷卻系統(tǒng)將熱量排出。
兩相浸沒式液冷循環(huán)
來源:GRC
從全球來看,單相浸沒式液冷比兩相的應用范圍更大,成熟度更高,主要是因為:
單相浸沒式液冷冷卻液價格相對更低,部署成本更低;
風險相對降低:
兩相液冷的冷卻液氟化液在健康方面面臨巨大質(zhì)疑,隨著3M的逐漸停產(chǎn),以微
軟為代表的客戶暫停在兩相浸沒式液冷的布局,未來如何開發(fā)出符合條件的兩相冷卻液將成為大家的關(guān)注點。
在兩相交換的過程中存在許多潛在的風險。例如,相變的存在要求液冷系統(tǒng)必須保持密閉,以防止蒸汽外溢流失,在相變過程的氣壓變化可能會使系統(tǒng)中產(chǎn)生非常高的壓力,對系統(tǒng)的安全性提出了更高要求;大多數(shù)兩相冷卻系統(tǒng)需要將水直接引入數(shù)據(jù)中心以冷卻冷凝器并去除熱量,這增加了數(shù)據(jù)中心的故障風險 。
相變過程中產(chǎn)生的微空化現(xiàn)象可能會侵蝕IT設備和冷卻系統(tǒng)的金屬部件,導致設備故障和金屬顆粒污染。
需要的維護少,如果需要調(diào)整,更容易進入和維修。
浸沒式液冷的關(guān)鍵零部件和供應商
浸沒式液冷系統(tǒng)的核心組成部分為芯片和IT設備、機箱(Tank)、CDU和冷卻液。
1、芯片和IT設備廠商
Intel(美國)、NVIDIA(美國)、曙光(中國)、Iceotope(英國)、HPE(美國)、Dell Technologies(美國)、Super Micro(美國)、iXsystems (美國)、AMAX(美國)、2CRSi(法國) 、IBM(美國)、Quanta Computer(中國臺灣)、CISCO(美國)、Penguin Computing(美國)、GIGABYTE(中國臺灣)、LiquidCool Solutions(美國)、Hypertec(加拿大)、Boston Limited(英國)。
2、機箱(Tank)
典型廠商:Submer(西班牙)、GRC(美國)、TMGcore(美國)、Modine(美國)、Firmus(澳大利亞)。
3、冷卻液分配單元(CDU)
浸沒式和冷板式CDU密封材質(zhì)和泵不一樣,功能設置也有差別,現(xiàn)在基本是定制的。
典型廠商:國外CDU廠商主要有GRC(美國)、Submer(西班牙)、Vertiv(美國),國內(nèi)有中航、高瀾等。
4、冷卻液(Coolant/Cooling Fluid)
考慮到短路和電化學腐蝕,在選擇冷卻液時,主要考慮的是避免電氣短路的能力以及安全和健康問題,無毒能力,良好的化學穩(wěn)定性和不可燃性,此外,全球變暖潛力(GMP值)也很重要。
典型廠商:3M Novec(將于2025年停產(chǎn),美國)、Shell (荷蘭)、Cargill(美國)、ExxonMobil(美國)、SK Enmove(韓國)、Chemours(美國)、Castrol(英國)、ENEO(日本排名第一的潤滑油公司)、Solvay(比利時),Honeywell(美國)、Envirotech(美國)、DXC Technology(美國)、Engineered Fluids(美國)、思康(中國)、諾亞化工(中國)。
5、集成商
典型廠商:Midas Green Technologies(美國)、GRC(Green Revolution Cooling,美國)、Submer(西班牙)、TAS(美國)、MIVOLT(英國)、THPC(意大利)、XComputing Technologies(印度)、Asperitas(荷蘭)、Zutacore(美國)、LiquidStack(美國)、綠色云圖。
6、全球浸沒式液冷用戶(大部分處于試點階段)
服務提供商:Microsoft(美國)、Meta(美國)、 阿里云、ResetData(澳大利亞云服務提供商)、STT GDC(新加坡)、OVHcloud(法國)、NTT Data(日本)、Standard Power(美國俄亥俄州,加密挖礦數(shù)據(jù)中心公司)、OneAsia (香港)、Macquarie Data Centres(澳大利亞)、Bytesnet(荷蘭)、ZELEN DATACENTAR(塞爾維亞)、Infosys 、百度。
教科研:Vienna Scientific Cluster(奧地利)、東京工業(yè)大學(日本)、德克薩斯州高級計算中心(美國)、約翰·保羅大帝天主教大學(美國)。
通信:Telefónica(西班牙)、中國電信、中國移動。
金融:Crédit Agricole(法國農(nóng)業(yè)信貸銀行)、中國銀聯(lián)。
石油天然氣:CGG(法國)、Down Under Geo Solutions(DUG)(澳大利亞)。
政府:美國空軍、美國國家安全局物理科學實驗室、美國國防部、美國能源部、國家超級計算中心深圳中心、合肥先進計算中心、國家超級計算鄭州中心、國家超級計算成都中心、國家超級計算昆山中心。
其他:CBT Nuggets
浸沒式液冷—全球產(chǎn)業(yè)鏈圖譜
來源:編者整理
浸沒式液冷面臨的挑戰(zhàn)和發(fā)展方向
1、以3M為代表的氟化液被證明屬于PFAS化學品,被對人體健康具有長久的危害,已被多個國家限制,未來研發(fā)符合政策要求的冷卻液將成為重點。
以Fluorinert?和Novec?兩大系列為代表的3M 電子氟化液此前廣泛應用于數(shù)據(jù)中心液冷,其中3M? Fluorinert 電子氟化液主要應用于數(shù)據(jù)中心單相和兩相浸沒式液冷;而3M? Novec?電子氟化液體既可用于數(shù)據(jù)中心浸沒式液冷(單相和兩相),也可應用于冷板式液冷(單相和兩相)。
近年來,各國政府和環(huán)保機構(gòu)對PFAS化學品所帶來的危害越來越關(guān)注。美國環(huán)保署署長邁克爾·里根(Michael Regan)于2021年初成立了美國環(huán)保署PFAS委員會,并于2022年3月公布了研究結(jié)果,表明PFAS可能會影響人類的生殖和發(fā)育,損害免疫系統(tǒng)并增加患某些癌癥的風險。歐洲化學品管理局(ECHA)也發(fā)表了類似的發(fā)現(xiàn),歐盟表示希望到2025年限制所有PFAS化學品。包括加拿大、澳大利亞和亞洲在內(nèi)的其他地方的監(jiān)管機構(gòu)也開始注意到PFAS的風險。
2022 年 12 月 20 日,3M 宣布計劃在 2025 年底前逐步淘汰其PFAS 化學品產(chǎn)品線,F(xiàn)luorinert和Novec冷卻液首當其中:
“3M今天宣布,計劃退出全氟烷基和多氟烷基物質(zhì)(PFAS)的生產(chǎn),并努力在2025年底前停止在其產(chǎn)品組合中使用PFAS。這一投資組合決策基于對外部環(huán)境的仔細考慮和全面評估,包括多種因素,例如加速監(jiān)管趨勢,重點是減少或消除環(huán)境中PFAS的存在,以及改變利益相關(guān)者的期望“。
來源:3M官網(wǎng)
注:PFAS化學品,也稱為全氟烷基和多氟烷基物質(zhì),屬于人造化學品,在環(huán)境中具有高度持久性,不易分解,自 1940 年代以來被廣泛使用, 2023 年 5 月,美國環(huán)保署 提出了“PFAS”一詞的定義:至少包含以下三種結(jié)構(gòu)之一的化學物質(zhì):
1. R–(CF2)–CF(R′)R“,其中 CF2CF部分是飽和碳
2. R-CF2OCF公司2–R′,其中 R 和 R′ 可以是 F、O 或飽和碳
3. 囊性纖維化3C(CF3)R′R“,其中R′和R”可以是F或飽和碳。
由于以3M為代表的氟化液被歸類為PFAS化學品,對人體健康具有潛在危害并受到多國限制,未來浸沒式液冷技術(shù)將更加注重環(huán)保冷卻液的研發(fā)。未來的冷卻液不僅需要具備出色的熱傳導性能,還需滿足低毒性、易回收和生物可降解等環(huán)保標準。此外,冷卻液的穩(wěn)定性和長壽命也是研發(fā)的重點,以減少頻繁更換和維護的成本。
2、應用解決方案有待成熟
浸沒式液冷技術(shù)的廣泛應用需要一套完整且便捷的應用解決方案作為支撐,涵蓋從設備的上下架、運維管理、清洗操作到溶液處理等多個方面。然而,當前市場上缺乏這樣成熟且完善的解決方案,這在一定程度上限制了技術(shù)的推廣和應用。隨著眾多企業(yè)和研究機構(gòu)的投入,解決方案逐步成熟,浸沒式液冷技術(shù)市場有望迎來全新的發(fā)展機遇。
3、運維難度大
浸沒式液冷需要改變現(xiàn)有的維護流程,冷卻液需要特殊處理,且遭遇故障時需要將服務器從冷卻液中取出,對IT運維人員提出了新的技能要求。未來AI與浸沒式冷卻的融合將成為重要發(fā)展方向。為確保浸沒式IT設備的長期穩(wěn)定運行和性能優(yōu)化,冷卻液的持續(xù)監(jiān)測與分析至關(guān)重要。AI技術(shù)的引入,使得冷卻系統(tǒng)能夠?qū)崟r監(jiān)控流體狀態(tài),預測性能退化趨勢,并及時進行維護或更換。此外,基于AI的預測性維護系統(tǒng)利用大數(shù)據(jù)分析,可準確預測未來的維護需求,從而顯著降低數(shù)據(jù)中心運營成本,提高資源利用效率。
4、成本高
首先,數(shù)據(jù)中心采用浸沒式冷卻需要重新鋪設管道,為溫水回路鋪設冗余管道。其次,浸沒式液冷需要使用專用的冷卻液,且用量大,建設成本高。
5、IT設備兼容性問題
浸沒式液冷技術(shù)需要根據(jù)IT設備定制冷板,不同型號的設備可能需要不同的冷板設計,這增加了技術(shù)推廣的復雜性。
為進一步提高冷卻效率,以英特爾和英偉達等科技巨頭為代表的公司不斷探索浸沒式液冷技術(shù)。英特爾通過設計創(chuàng)新的散熱器結(jié)構(gòu)、涂層技術(shù)和封裝技術(shù),如珊瑚形散熱器、沸騰增強涂層和微型噴射器等,不斷提升其產(chǎn)品的冷卻效果。而英偉達則傾向于將直接到芯片液冷(DLC)與浸沒式液冷的優(yōu)勢結(jié)合,創(chuàng)造出一種全新的混合冷卻方案,這種方案傾向于保留大多數(shù)風冷和直接液冷機箱中使用的標準機架安裝外形,將IT設備主板浸入冷卻液中,同時CPU和GPU采用直接液體冷卻,旨在完全消除風扇的使用,同時保持IT設備的標準機架安裝外形,從而為數(shù)據(jù)中心帶來更高的能效和更低的噪音水平。預計2026 年將推出測試系統(tǒng),其主要合作伙伴包括BOYD Corp、 Durbin Group、Honeywell、Vertiv、賓厄姆頓大學、維拉諾瓦大學、桑迪亞國家實驗室。
英偉達結(jié)合DLC和浸沒式液冷的技術(shù)
來源:英偉達官網(wǎng)
總結(jié)
(1)中國未來在很長一段時間內(nèi)還將以冷板式液冷為主,相比之下,全球在浸沒式液冷的布局和發(fā)展更快。
(2)與兩相浸沒式液冷相比,單相液冷在成本、風險和運維難度方向相對較低,應用相對成熟。
(3)盡管浸沒式液冷在技術(shù)上擁有一些優(yōu)勢,但由于冷卻液的限制、解決方案的成熟度不高、運維難度大、成本高以及IT設備兼容性等方面的限制,目前尚未實現(xiàn)大規(guī)模推廣。