中國儲能網訊：近年來，隨著信息技術的爆發(fā)式需求增長，帶動了相關的人工智能、大數(shù)據等新技術的發(fā)展，而作為信息技術的基礎設施——數(shù)據中心，發(fā)展規(guī)模也越來越大。2021年我國數(shù)據中心行業(yè)收入約1500.2億元，比2017年增長了近200%，五年年均復合增長率超過30%。截至2023年6月，全國在用數(shù)據中心機架總規(guī)模超過760萬標準機架。
數(shù)據中心產業(yè)帶動相關行業(yè)的發(fā)展，但數(shù)據中心的高能耗特點也是必須要面對的問題。數(shù)據中心的能耗效率可以用電能使用效率 （power usage efficiency, PUE）表示，即數(shù)據中心總設備能耗除以IT設備能耗值，PUE越接近1則數(shù)據中心能耗效率越高。數(shù)據中心的能耗結構中，IT設備耗電占45%，冷卻設備占43%，供配電占10%， 照明及其他能耗占2%。由此可見，降低冷卻設備的能耗對提高數(shù)據中心的能耗比具有重大意義。
風冷是目前數(shù)據中心普遍采用的散熱方式，主要是由于風冷散熱設備簡單，發(fā)展成熟，但PUE的下限僅為1.5~1.6，而液冷技術優(yōu)點是液體蓄熱性能以及導熱性能均遠高于空氣。因此液冷可以滿足未來高功率密度的芯片散熱需求，采用液冷技術的數(shù)據中心的PUE甚至可降低至1.035。
此外，采用液冷技術可以更有效地利用自然冷源，減少機械制冷的使用，從而顯著降低數(shù)據中心的能耗。數(shù)據中心的制冷需求較大，其內部負荷密度高，電耗密度高達300~1500W/㎡，一些高功率密度互聯(lián)網數(shù)據中心甚至高達3000W/㎡，從數(shù)據中心的整體角度看，雖然目前數(shù)據中心機架的功率在10~15kW，但若在機架上實現(xiàn)高性能服務器滿載，則功率密度可超過60kW。未來，單芯片功率將突破1kW，風冷散熱已無法滿足芯片的散熱需求，因此采用液冷技術勢在必行。
目前，根據冷卻介質與發(fā)熱元件是否直接接觸，將液冷技術主要分為直接接觸式液冷和間接接觸式液冷，直接式液冷主要有單相浸沒式液冷、噴霧式液冷和射流沖擊冷卻，間接式液冷主要是冷板式液冷。目前世界上主流的液冷技術是冷板式冷卻，其發(fā)展相對成熟，本文將對這些冷卻方式進行闡述，并指出液冷應用中存在的問題并提出解決方向，指導今后液冷的性能優(yōu)化和實際應用方向。
1 冷板式液冷
冷板式液冷主要組成部件是冷板、液體管道和液體介質，其原理如圖1所示，芯片工作時產生的熱量通過液冷板間接傳遞到液體介質中并被帶走。1981年，TUCKERMAN等首次使用微通道冷板對芯片進行冷卻。如今，冷板式液冷在液冷數(shù)據中心中應用最廣泛。為了提高冷板式液冷的傳熱效率，降低能耗，可以通過對微通道冷板結構優(yōu)化、液體介質相變特性利用以及新型液體介質開發(fā)三個方向進行研究。
1.1 流道結構的影響
為了提高微通道冷板的冷卻效率，增加換熱面積，減少壓降，許多學者針對微通道冷板結構進行研究，在傳統(tǒng)平直形微通道傳熱性能不足的情況下，開發(fā)出了波浪形、分歧管形、針翅形、凹槽形以及仿生形微通道。PANIAGUA-GUERRA等利用數(shù)值模擬對分別具有16、32、64個分歧管微通道的冷板進行研究。結果發(fā)現(xiàn)分歧管數(shù)量越多，熱阻越小，但 產生的壓降也越大。同時作者提出了一種新的評價方法，采用泵功率和熱阻的函數(shù)作為評價指標，其定義為：
式中：Wp為泵功率，W；V為體積流量，cm3/s；ΔP為壓降，Pa；R為熱阻，K/W；函數(shù)表示熱阻隨泵功率變化曲線下的面積。結果表明，64流道的歧管綜合性能表現(xiàn)最好。但目前分歧管制造難度大，選擇平直形微通道改良的結構較為實用，因此OSMAN等研究了蛇形、波浪形和平直形微通道冷板的冷卻效果，結果表明蛇形的冷卻效果提升最顯著，相比平直形的熱阻降低了10.5%，而波浪形熱阻相比平直形降低了8.3%。不同形式的微通道壓降如圖2所示，可見波浪形流道具有最低的壓降，具有最優(yōu)的綜合性能。ZHANG等對針翅形微通道進行了研究，結果發(fā)現(xiàn)交錯翅片具有最優(yōu)的性能，相比平直翅片溫度降低了6.75%，壓降還降低了13.33%， 具有較高的實用價值。RONG等針對仿生形（蛛網形）微通道冷板進行流動傳熱特性研究，結果表明蛛網形微通道中心角對傳熱性能影響不大，而通道寬度與通道間距的比值對傳熱性能有顯著影響。 因此應重點針對通道寬度和通道間距進行優(yōu)化。
除了使用新型的微通道結構，還可在流道中間加入擾流結構，主要目的是破壞流動邊界層，增強通道的傳熱性能。ZHU等在現(xiàn)有的對稱波浪形流道的基礎上增加了肋棱柱，結果表明加入了肋棱柱后，在雷諾數(shù)為600的情況下，其傳熱效果比平直形微通道提升了76.8%，比單獨的波浪形流道傳熱效果提升了19.8%。在流道中加入凹槽可以有效提高努塞爾數(shù)，增強傳熱性能，改善溫度均勻性并降低流阻。
芯片企業(yè)NVIDIA與高校聯(lián)合研究了服務器級液冷技術，對服務器的冷板式液冷循環(huán)結構進行優(yōu)化，對冷板的三種液體循環(huán)（X型、Y型和Z型） 進行研究，結果發(fā)現(xiàn)Y型液體循環(huán)回路具有最低的熱阻（0.0198℃/W）和最低的壓降（0.0452MPa）， 同時單服務器機架運行在58kW的熱負荷下有效去除98%的熱量。
1.2 相變特性的影響
提高冷板式液冷的傳熱系數(shù)還可以通過利用冷卻液的相變特性增強傳熱。由于采用冷板式液冷結合介質液體相變是目前提升冷卻性能較為有效的方式之一，其原因在于液體相變潛熱較大，不僅能有效降低電子元件的工作溫度，還能提高溫度均勻性，能夠在較小的泵功率下達到較高的傳熱效果。許多學者利用液體的相變特性研究了新的方法。JIA等提出一種多孔壁微通道散熱器，在傳統(tǒng)矩形微通道散熱器的側壁中使用微型針翅陣列，采用丙酮作為工作介質，結果表明，由于吸收芯片的熱量導致丙酮蒸發(fā)，而多孔壁有更多的成核位點，氣泡更容易從壁面分離，從而加速了熱傳導，且壁溫明顯降低，呈現(xiàn)更小的溫度波動。YU等采用體積比為1∶1的水?乙二醇混合液進行冷卻實驗，研究過冷流動沸騰傳熱特性，實驗對比了單相冷卻、過渡冷卻和過冷沸騰冷卻，結果表明，過冷沸騰比單相冷卻傳熱系數(shù)提高了25%~30%，且比單相冷卻設備更少，并預測在表面上增強過冷沸騰和改進成核沸騰的位置可以獲得更高的傳熱性能。SONG等設計了三種冷板，分別研究冷板翅片的橫切和蓋板間隙對換熱性能的影響。有橫切的換熱器換熱性能更好，且壓降較低，這是由于換熱器相鄰通道之間的切割或互聯(lián)導致大氣泡流出。無蓋板間隙的傳熱性能較好，這是由于間隙會降低冷板和水之間的熱傳遞。SULAIMAN等在冷板中設計頂部間隙，研究了間隙對兩相流動沸騰的影響，表明在冷板中設計間隙后最大壓降降低了48%，過熱度降低了6℃。百度公司和Intel公司共同研發(fā)出了內置真空腔的冷板，在相同流量下的熱阻比純銅冷板降低了13.1%， 壓降低65.6%，制造成本低40%，能支持運行在500W熱設計功耗的芯片，目前已在百度數(shù)據中心大規(guī)模部署。
1.3 冷卻介質種類的影響
隨著研究人員對冷板研究的深入，發(fā)現(xiàn)可以通過采用新型冷卻液幫助提高傳熱性能。
HOANG等通過實驗測定不同流體介質的熱力性能和水力性能，將乙二醇加入水中，熱力性能無明顯變化，但乙二醇的黏度導致水?乙二醇溶液的壓降為20.1kPa，比純水的5.8kPa高，而水和水?乙二醇混合液的熱力性能比介電冷卻劑Novec 7000 HFE高。HO等在水中加入氧化鋁納米顆粒，形成質量分數(shù)為8%的納米流體，在熱源密度為6.8W/cm2時， 傳熱性能比純水提高了40%，且隨著流速增加，品 質因數(shù)（figure of merit, FOM）達到了1.27，平均傳 熱效率提高了40%，盡管增加了傳熱性能，同時也增加了流動阻力，綜合起來使用納米顆粒依舊是有效的。但納米顆粒長時間使用后會團聚導致流道堵塞，MASHALI等在去離子水中添加納米金剛石顆粒，如圖3所示，使用體積分數(shù)φ=0.2%的納米金剛石顆粒溶液傳熱系數(shù)比去離子水提升69%，而且可靠性分析表明納米金剛石顆粒流體可以在兩年內保持物理性質的穩(wěn)定，具有重要的市場意義。
LI等在微通道冷板中使用非牛頓流體（分別為假塑性流體和膨脹性流體）作為工質，并與牛頓流體做比較，結果表明假塑性流體相比牛頓流體傳熱性能增加了30%，并且在入口和出口引起的局部阻力降低了50%。
2 浸沒式液冷
浸沒式液冷可以有效地去除電子元件產生的熱量，主要是由于電子元件浸入冷卻液中，產生的熱量直接被液體吸收并排出外界冷卻，因此能吸收的熱量較多。浸沒式液冷分為單相浸沒式液冷和兩相浸沒式液冷，主要區(qū)別在于冷卻液在吸收熱量的過程中有無發(fā)生相變。影響浸沒式液冷的冷卻性能關鍵在于使用的工質，表1為典型的冷卻液熱物性參數(shù)。
2.1 單相浸沒式液冷
單相浸沒式液冷是利用冷卻液的比熱容吸收熱量，主要優(yōu)點是換熱效率高、結構簡單，不會產生冷卻液的逸散，對設備的密封性能要求低，典型的單相浸沒式液冷原理如圖4所示。
前述提到，采用冷板式液冷無法完全消除服務器產生的熱量，為了解決這一問題，HNAYNO等結合了冷板和浸沒式液冷，相比浸沒式液冷能完全消除服務器產生的熱量，同時局部電能使用效率 （partial power usage efficiency, pPUE）從1.0053降至1.0042。
在浸沒式液冷服務器中使用礦物油是常規(guī)的做法，主要原因是礦物油具有成本低廉和環(huán)保的優(yōu)點。 SHINDE等在服務器中使用礦物油作為浸沒式液冷的介質，在芯片功耗為95W條件下，使用浸沒式液冷比空氣強制對流節(jié)約16.83%的能源消耗，且在進口油溫45℃下，可以使芯片工作溫度定在85℃下工作，PUE低于1.1。
除了采用礦物油作為工質，也可選擇氟化液作為單相浸沒式液冷服務器的工質。SHRIGONDEKAR等對比了使用礦物油PAO-6和氟化液FC-40作為工質的服務器的冷卻性能，實驗表明PAO-6在工況變化時熱性能變化程度更大，當熱負荷從200W增加至600W，F(xiàn)C-40熱阻降低了10.4%，而PAO-6降低了25.8%。在同功率下FC-40的熱阻僅為PAO-6的53.3%，造成這一變化的原因是PAO-6的動力黏度在15℃上升至35℃時降低了57%，而FC-40降低了38%。CHEN等的研究也表明浸沒式液冷中液體的動力黏度是熱性能中權重最大的因素。
使用納米流體可以顯著提高冷卻熱導率，改善傳熱性能。LUO等在礦物油中加入了碳化硅納米顆粒，發(fā)現(xiàn)加入納米顆粒后，液體的比熱容會下降，但傳熱效果會增強，體積分數(shù)為0.3%和10.3%的納米流體散熱效果增強較為明顯，分別提高了15.5%和25%。在低雷諾數(shù)下，體積分數(shù)為0.5%的納米流體表現(xiàn)出更好的傳熱效果。但使用納米流體會帶來顆粒沉積的問題，因此尋找性能更優(yōu)良的冷卻介質是單相浸沒式液冷的主要研究方向。
2.2 兩相浸沒式液冷
兩相浸沒式液冷相比單相浸沒式液冷的效率更高，主要是由于冷卻液的汽化潛熱較高，能夠吸收巨大的熱量，但對設備的密封性能也提出了更高的要求，要求保證冷卻箱的密封性不能有冷卻劑的逸散且要有一定的安全措施保證設備的正常運行。SUN等對浸沒式液冷系統(tǒng)進行了模擬，工作流體采用的是Novec 649和Novec 7000，對機柜結構、工作流體和進口速度等多個工作參數(shù)進行研究，結果表明采用Novec 7000冷卻液的服務器系統(tǒng)芯片溫度更低，傳熱效率更高，隨著進口液體流速的增加，芯片平均溫度下降，在使用Novec 649時在較低的速度范圍內（0.2~0.6m/s），最大溫差下降了63.58%，溫度不均勻性系數(shù)下降了84.06%，而使用Novec 7000比Novec 649的平均溫度降低16.82℃，溫度不均勻系數(shù)下降14.5%。LIU等采用數(shù)值模擬對兩相浸沒式液冷系統(tǒng)的性能系數(shù)（coefficient of performance, COP）進行評估和優(yōu)化，結果如圖5所示，當服務器的運行功率從1 127W增加至1577W時，冷卻系統(tǒng)的COP也從19上升至26.7，且pPUE值下降至1.037，同時還發(fā)現(xiàn)增大服務器間距能使芯片溫度降低，原因是冷卻液汽化時，氣泡會阻礙芯片散熱。
為了加快氣泡成核的速度，使用FC-72為工質，在液體中加入銅納米線和銀納米線，結果發(fā)現(xiàn)納米線距離增加，傳熱性能系數(shù)會得到改善，主要原因是納米線的距離增加會產生空腔，有利于表面成核，相比銅表面的冷卻，添加的兩種納米線材料均能提高臨界熱通量。采用均熱板增強兩相 浸沒式液冷也是增強傳熱性能的途徑，ZHOU等在熱源表面增加了真空腔均熱板，再浸沒在去離子水中，可有效冷卻900W的熱負荷，總熱阻僅為0.051℃/W。
表2對當前浸沒式液冷的效果進行了總結。
3 噴霧式液冷
噴霧式液冷是液體經過噴嘴時在壓力的作用下霧化成液滴，不斷對芯片表面沖擊并在表面形成液膜，對流冷卻過程不斷從芯片上吸收熱量。當芯片表面溫度過高時，液體由于汽化潛熱較高從而大量吸收熱量，噴霧冷卻傳熱機制較為復雜，研究人員雖然對噴霧冷卻進行了大量的研究，仍未在工業(yè)領域實現(xiàn)大規(guī)模商用，盡管如此，噴霧式液冷由于具有較大的節(jié)能潛力，因此仍具有廣闊的應用前景。
大量科研人員針對噴頭和噴霧方式進行優(yōu)化， 已經取得了顯著成果。ZHAO等開發(fā)了噴霧冷卻結合均熱板的冷卻裝置，圖6為系統(tǒng)原理圖。研究結果表明，熱流密度為20~40 W/c㎡時，在噴霧流量為1.63L/min及噴頭壓力為0.4MPa條件下，熱管和噴霧冷卻的綜合傳熱性能最佳，此時熱管熱阻為0.0469K/W、熱導率為2371.77W/(m·K)、噴霧傳熱系數(shù)高達168.4kW/(㎡·K)。YANG等利用數(shù)值模擬研究噴霧冷卻的傳熱性能和熱均勻性，熱源設定為恒溫熱源，對不同噴頭高度和角度下的噴霧冷卻性能作對比，研究發(fā)現(xiàn)在噴霧壓力1 015.3kPa時，4mm噴頭高度的熱流密度最高，此時液膜流動速度最快，蒸發(fā)最劇烈；減小噴頭角度并增加噴頭高度可提高傳熱量，切線高度越高，則相應的傳熱量越大，當θ=30°，高度為27.59mm時，最大熱通量達到103.17W/c㎡，且有效改善溫度均勻性；而采用噴射陣列冷卻的熱均勻性最好，這是由于液滴的覆蓋范圍最大，且噴射強度最均勻。KANDASAMY等開發(fā)了新型噴霧冷卻系統(tǒng)，旨在消除5.6kW的熱負荷，隨著噴嘴流量增加，加熱器表面溫度下降6.3℃，熱阻下降0.2℃/W。
尋找更高傳熱效率、更優(yōu)性能的冷卻液也是噴霧式液冷的重點研究方向之一。SIDDIQUI 等使用銅?氧化鋁混合納米流體和銀?石墨烯混合納米流體作為噴霧流體，由于納米流體多孔殘留物表面的潤濕性和吸濕性增強，故臨界表面溫度比水更高，結果表明在噴霧壓力達0.143MPa時，采用銀?石墨烯混合納米流體的冷卻比使用水冷卻的臨界熱通量高126%；此外，還發(fā)現(xiàn)混合納米噴霧可以使絕緣柵雙極晶體管（insulate-gate bipolar transistor, IGBT） 功率模塊保持在安全溫度以下運行，但水和介電流體則不能。WANG等提出了采用干冰顆粒噴霧冷 卻電子元件的方法，利用焦耳?湯姆孫效應，當高壓二氧化碳通過突然收縮的孔時，流體壓力降低，溫度降低從而凝華成干冰被噴出，通過調節(jié)二氧化碳的入口溫度和壓力能有效控制產生的干冰比例，冷卻熱通量隨噴嘴入口速度增加而增加，當噴嘴入口速度為30m/s時，干冰比例為40%，熱源表面溫度為55℃，冷卻熱通量高達300W/c㎡，傳熱系數(shù)最高達40000W/(㎡·℃)；干冰比例對冷卻熱通量和傳熱系數(shù)的影響較大，冷卻性能隨干冰比例線性增加 當干冰比例為60%時最大冷卻熱通量達175W/c㎡。ZHANG 等研究了采用R1336mzz制冷劑的閃噴冷卻系統(tǒng)，發(fā)現(xiàn)當制冷劑工質流量達1.4L/min時，臨界熱通量達到349W/c㎡；提高傳熱性能還有兩種途徑，第一種是提高入口溫度從而降低熱阻，當入口溫度為48.2℃時，臨界熱通量比26.5℃時提高92.8%；第二種是通過減小霧化室的壓力，降低工質的飽和溫度從而使熱能被液體汽化潛熱大量吸收。
在傳熱界面處進行表面?zhèn)鳠釓娀彩翘岣邍婌F式冷卻效率的一種方式。LIU等研究噴霧冷卻對不同表面結構和表面活性劑的傳熱效果，在300W加熱功率下，直翅片表面比光滑表面的傳熱系數(shù)高33.04%，但溫度均勻性降低。采用75%的氟表面活性劑FS-31和25%溴化十六烷基三甲胺組成的表面活性劑傳熱系數(shù)達到2.02W/(c㎡·K)，相比沒有采用表面活性劑的結構平均表面溫度降低了8.43℃，傳熱性能提高35.57%。
表3總結了噴霧式冷卻強化傳熱的多種方式。當前噴霧式液冷應用的難點在于難以預測參數(shù)變化帶來的影響，LIU等基于實驗開發(fā)了用于預測噴霧冷卻系統(tǒng)的灰箱預測模型，但依舊具有較大局限性，平均絕對誤差達0.44216。
4 射流沖擊冷卻
射流沖擊冷卻是一種利用高速流體沖擊固體表面以產生強烈換熱效果的方式。相比噴霧式液冷， 其最大的特點是無需對液體霧化。目前射流沖擊的研究主要集中在對射流的噴嘴形狀進行改良以提高傳熱性能。MIRA-HERNáNDEZ等以半經驗模型為基準，開發(fā)了用于預測射流陣列沖擊的相變傳熱方程，在噴射流速為1~4m/s時，經過驗證平均絕對百分比誤差為3.88%。SHIN等采用HFE-7000進行微尺度的射流沖擊熱傳遞機制研究，在出口雷諾數(shù)達4057時，可以有效冷卻熱通量為80W/c㎡的芯片，同時得到了微尺度下的冷卻熱傳遞機制。MANGATE等發(fā)現(xiàn)帶中心孔的射流沖擊可以降低熱阻，相比不帶中心孔的射流沖擊提高25%，且相同射流頻率下，使用散熱器能使傳熱系數(shù)提高6倍。LIN等對射流沖擊的散熱器進行優(yōu)化，提出優(yōu)化散熱器應增加翅片，減少翅片的內徑，當流速為0.848/min時，散熱器的熱阻僅為0.07℃/W。WEI等研究了分布式出口的射流沖擊冷卻，原理如圖7所示，對熱流密度為37.5W/c㎡的芯片進行研究，并成功擬合出了傳熱關聯(lián)式，最大誤差不 超過30%，并且發(fā)現(xiàn)了噴嘴入口直徑對傳熱性能影響最大，但噴嘴長度和直徑對壓降影響最大。
5 結論與展望
對多種數(shù)據中心液冷方式進行了綜述，分別介紹了冷板式、浸沒式、噴霧式和射流沖擊式液冷，回顧了每種液冷技術的研究方向，包括研究更高效率的換熱結構，開發(fā)更優(yōu)性能的冷卻介質，以及其他針對各自冷卻方式的表面改性。詳細分析了這些方式的節(jié)能效果，幾種液冷技術均表現(xiàn)出導熱性能更優(yōu)、經濟上更節(jié)能的優(yōu)勢。但目前由于存在技術難點，導致液冷技術尚未在數(shù)據中心大規(guī)模應用，仍需進一步研究。
展望未來，液冷雖然在冷卻效率上有很大的提升，但目前尚未大規(guī)模應用，還有需要改進的地方， 具體主要有：
1）液冷板的流量分配。液冷板尚需克服內部流量分配不均的問題，可重點針對液冷板局部壓降過高的流道部分優(yōu)化，降低流阻。
2）液體成本問題。當前浸沒式液冷由于液體成本過高，尚需尋找更低成本、更低黏度的冷卻液。
3）冷卻液逸散問題。兩相浸沒式液冷和噴霧式液冷容易造成冷卻液的逸散，若嚴格密封將導致系統(tǒng)壓力變化進而帶來安全問題，因此控制系統(tǒng)壓力穩(wěn)定的同時降低冷卻液逸散量是研究的重點方向。
4）噴嘴結構需優(yōu)化。長時間運行噴霧式液冷系統(tǒng)和射流沖擊式液冷系統(tǒng)后，會導致噴嘴的結構發(fā)生堵塞，導致系統(tǒng)的安全性下降，因此需要設計低壓降、高可靠性的噴嘴結構。 5）精確控制問題。運行噴霧式液冷系統(tǒng)和射流沖擊式液冷系統(tǒng)時需要針對芯片的動態(tài)負荷變化精確調控流速和壓力，因此可結合當前的人工智能技術研究精確控制策略以最大限度節(jié)約系統(tǒng)能耗。
