中國儲能網(wǎng)訊：貼近熱源，就近制冷成為技術發(fā)展趨勢，隨著芯片冷板及冷卻液強化換熱的技術發(fā)展完善，液冷成為業(yè)界新一輪的熱點。
一、引言
隨著云計算和大數(shù)據(jù)技術的蓬勃發(fā)展IT設備性能逐步提高直接導致服務器功耗不斷增加，特別是作為服務器關鍵部件的CPU，隨著性能提升功耗增加非常顯著。常見的機房制冷主要依靠空氣冷卻來實現(xiàn)為服務器降溫的目的，已不能滿足高功率密度設備的要求。數(shù)據(jù)中心冷卻技術的解決方案逐漸向電子設備越來越靠近。從房間移到了機柜列，從機柜列到機架和柜門進行熱交換，到如今在服務器內部冷卻芯片等設備。貼近熱源，就近制冷成為技術發(fā)展趨勢，隨著芯片冷板及冷卻液強化換熱的技術發(fā)展完善，液冷成為業(yè)界新一輪的熱點。
二、液冷的原理和三種形式
根據(jù)目前技術進程的研究，根據(jù)冷卻原理，將液冷技術主要分為冷板、浸沒和噴淋三種主要形式。
1、冷板式液冷
冷板式液冷技術研發(fā)初衷是為了避免冷卻液與服務器直接接觸，該種技術針對主要發(fā)熱源CPU和內存等部件進行精確制冷。液冷通道由水冷型熱管散熱器、液冷分配單元、液冷維護單元、液冷溫控單元、自然冷卻單元、一次/二次冷卻環(huán)路的管路等構成。在冷板式液冷系統(tǒng)中，CPU等大功耗部件采用液冷冷板散熱，其他如硬盤、接口卡等少量發(fā)熱器件仍采用風冷散熱系統(tǒng)。
冷板式液冷技術是在常規(guī)風冷服務器基礎上，CPU和內存?zhèn)染o貼一塊板式換熱器，芯片的熱量通過熱傳導至板內流體，流體為絕緣介質，可為去離子水、乙二醇溶液、氟化液等、或相變的熱管(熱管通過換熱器將熱傳導至機房外水系統(tǒng))。冷卻的板片與服務器的PU/GPU(高熱流密度元件)通過直接接觸將服務器的主要熱量帶走(冷板內有熱管和液體散熱兩種形式)，其余部件(低熱流密度元件)熱量可通過較高溫的風帶走，我們把這種由液冷和氣冷結合的散熱技術稱為液/氣雙通道散熱技術，原理如圖1所示。圖2所示為冷板式服務器外形。
該技術相對于傳統(tǒng)的機架式風冷服務器，資源利用率得到顯著提升，在減少總體擁有成本的同時，顯著增加了數(shù)據(jù)中心的能源利用效率。而且服務器安裝維護與常規(guī)風冷服務器基本一致，故該種液冷技術的運維難度基本和傳統(tǒng)行級空調一致。
2、浸沒式液冷
浸沒式液冷根據(jù)冷卻工質換熱過程中是否相變，可分為相變浸沒式液冷和非相變浸沒式液冷技術。
非相變浸沒式液冷技術原理是將IT設備直接浸沒在絕緣冷卻液中，冷卻液吸收IT設備產生的熱量后，通過循環(huán)將熱量傳遞給熱交換器中的水，然后通過水循環(huán)將熱量傳遞到室外散熱裝置。該技術由于服務器無風扇設計，噪音更低，噪音值可控制在45dB以下，同時省去了風扇功耗，服務器整體耗電降低10%以上。如圖3所示為浸沒式液冷原理圖(非相變)。
相變浸沒式液冷技術原理是將IT設備浸沒在沸點低于IT設備工作溫度的冷卻工質中，當IT設備的運行溫度達到冷卻工質沸點時，會引起冷卻工質的局部沸騰，冷卻工質沸騰的過程中帶走IT設備運行時產生的熱量。如圖4浸沒式液冷原理圖(相變)。
浸沒式液冷具有明顯的優(yōu)勢。首先，在浸沒式液冷中，冷卻液與發(fā)熱設備直接接觸，具有較低的對流熱阻，傳熱系數(shù)高；其次，冷卻液具有較高的熱導率和比熱容，運行溫度變化率較小；再次，這種方式無需風扇，降低了能耗和噪音，制冷效率高；最后，冷卻液絕緣性能優(yōu)良，閃點高不易燃，且無毒、無害、無腐蝕。所以該液冷技術適用于對熱流密度、綠色節(jié)能需求高的大型數(shù)據(jù)中心、超級計算、工業(yè)及其他計算領域和科研機構，特別是對于地處嚴寒、高海拔地區(qū)，或者地勢較為特殊、空間有限的數(shù)據(jù)中心，以及對環(huán)境噪音要求較高，距離人群辦公、居住場所較近，需要靜音的數(shù)據(jù)中心具有明顯的優(yōu)勢。
3、噴淋式液冷
噴淋式液冷系統(tǒng)采用某種冷卻液并通過冷卻液直接或者間接吸熱帶走器件所釋放的廢熱至IDC外部環(huán)境進行集中散熱的散熱形式。噴淋式液冷主要特征為絕緣非腐蝕特性的冷卻液直接噴淋到發(fā)熱器件表面或者是與發(fā)熱器件接觸的擴展表面上吸熱后并排走，排走的熱流體通過直接與間接與外部環(huán)境大冷源進行熱交換。
噴淋式液冷是指對IT設備進行改造部署相應的噴淋器件。在設備運行時，有針對性地對發(fā)熱過高器件進行冷卻的一種液冷實現(xiàn)方式。這種方式的特點是不需要對機房基礎設施做太大的改動，只需要對服務器進行少量的改造就能實現(xiàn)較好的冷卻性能。噴淋式液冷機柜系統(tǒng)包括噴淋式液冷機柜系統(tǒng)(含管路、布液系統(tǒng)、回液系統(tǒng)和PDU等部件)、液冷服務器、冷卻液3部分。噴淋式液冷機柜通過管路與室內熱交換器相連接，即機柜內芯片的廢熱被冷卻液吸收后傳遞到到室內熱交換器并與室外熱交換器進行換熱。如圖5為噴淋式液冷系統(tǒng)工藝流程原理圖。
噴淋液冷系統(tǒng)具有器件集成度高、散熱效率強、高效節(jié)能和靜音等特點，是解決大功耗機柜在IDC機房部署以及降低IT系統(tǒng)制冷費用，提升能效，降低TCO的有效手段之一。
三、各種液冷形式的比較和分析
將幾種液冷形式進行比較，如表1所示。目前，冷板式液冷和浸沒式液冷較為常用，噴淋水液冷應用較少?，F(xiàn)將冷板式和浸沒式液冷的技術難點和風險進行比較分析，如表2所示。
四、冷板式液冷系統(tǒng)的應用
上述三種液冷形式，冷板式液冷的應用最為廣泛。在設計時可以分為兩大類，一種是在機柜外部部署冷卻液分配單元(CDU)，另一種是無冷卻液分配單元(CDU)的形式。
下面對這兩種不同的實現(xiàn)以及設計的一些注意事項進行詳細描述。
1、含CDU的設計實施方式
數(shù)據(jù)中心內最常見的液體冷卻實施形式是使用CDU將設施冷卻系統(tǒng)(機房外散熱側)與機柜冷卻系統(tǒng)(機房內散熱側)分開。無需將敏感的IT冷卻組件暴露在設施冷卻系統(tǒng)中。CDU可以位于IT機架內，以將液體分配到單個機架內的設備，也可以安裝為將液體分配到多個機架的落地式外部單元。圖6顯示了一個基于CDU的液體冷卻裝置的示例。
CDU除了起到循環(huán)冷卻液的作用外，還將熱量從機柜冷卻系統(tǒng)傳遞到設施冷卻系統(tǒng)。通過將冷卻液調節(jié)至高于室溫露點來防止設備內產生冷凝水。并且可以提供靈活多樣的冷卻液溫度滿足不同IT設備的要求。
2、含CDU的設計要點
在冷板式液冷系統(tǒng)中，CDU起著至關重要的作用。如果CDU出現(xiàn)故障，那么整個制冷系統(tǒng)都將面臨癱瘓，因此CDU的設置須考慮冗余或容錯。CDU中的冷液泵最有可能發(fā)生故障，所以應設置冗余泵。并配有切斷閥，保證可切斷不能正常工作的水泵，實現(xiàn)可在線維護。CDU的電源也需要用UPS電源，使其實現(xiàn)不間斷運行。
調節(jié)溫度是CDU的主要功能之一，可通過使用旁路回路，比例控制閥、變速泵等來控制CDU提供的供水溫度，以響應設備水溫和熱負荷的變化。供水溫度除了設定上限值(可以安全地向IT設備提供的最高供水溫度)外，也要設下限值(可以安全地向IT設備提供的最低供水溫度)，該極限本質上可以是動態(tài)的，并且取決于冷卻空間內的露點。CDU負責監(jiān)視環(huán)境露點，并將輔助水回路的供應溫度提高到比房間露點溫度高出至少2℃的水平，以防止冷凝現(xiàn)象發(fā)生。
3、無CDU的設計實施方式
如今，大多數(shù)數(shù)據(jù)中心的液冷設備都是通過CDU實現(xiàn)液體冷卻的。但無CDU的液冷形式在一些方面也具有一定優(yōu)勢。首先，減少了主機房內的空間占用面積；其次，無中間換熱環(huán)節(jié)以及減少了輸配系統(tǒng)的能耗，系統(tǒng)能效更高；最后實現(xiàn)了熱源與最終散熱介質的緊密耦合，提高了冷卻液的溫度，同時降低了設備的工作壓力，也避免了冷凝現(xiàn)象。
圖7為無CDU的液冷系統(tǒng)示意圖，該系統(tǒng)將冷凍水直接輸送到IT設備內。ITE表示信息技術設備(通常是服務器硬件)，RFU表示機架過濾單元，F(xiàn)FU表示設施過濾單元。
4、無CDU的設計要點
非CDU液冷服務器材料的腐蝕和結垢問題可以通過使用與各種水性成分化學不相容的材料來解決。ASHRAE在《數(shù)據(jù)通信設備中心液體冷卻指南》第二版(ASHRAE2014)[4]的第5章中提供了關于使用的設備材料的最佳實踐和原理的論述。
在非CDU設計中，設施設計團隊必須與IT設備制造商緊密合作，以確保為整個液冷系統(tǒng)選擇合適的材料。
非CDU冷卻系統(tǒng)同樣要求在供水上游側進行過濾?？梢詾闄C架級過濾單元或設備級過濾單元，旨在為液冷系統(tǒng)的設備和管道提供終端過濾。如今，電子冷卻中最常用的液體傳熱設備是微通道冷卻板。這些設備使液體冷卻劑通過高效的通道來最大程度地利用液體冷卻劑的熱量密度(比熱)。這些液體散熱器上的典型散熱片間距通常不到十分之幾毫米，由于傳熱表面通常尺寸非常狹窄。在冷板設計中減小翅片間距的尺寸通常會導致優(yōu)異的傳熱性能，但是對于數(shù)據(jù)中心水系統(tǒng)的潔凈度來說也是個挑戰(zhàn)。因此必須在數(shù)據(jù)中心運營商和液冷服務器廠商之間進行充分溝通。
這些冷板和內部管道結構對水質更敏感，例如可能會發(fā)生腐蝕，結垢和微生物。指南ASHRAE 2014第6章比第5章的要求更嚴格。表3所示為水質要求的對比。對于非CDU的液冷系統(tǒng)設計時要參考第6章，而含CDU液冷系統(tǒng)設計時要參考第5章內容。如果將機柜冷卻系統(tǒng)的水質要求含CDU的液冷系統(tǒng)，會造成不必要的大量的成本提高。同樣，將設施水質要求應用于無CDU液冷系統(tǒng)時，由于水質要求低得多，將會帶來巨大風險。在使用時，兩者經常被誤用，設計時應該著重區(qū)分開。
五、總結
液冷相關技術的應用將是未來數(shù)據(jù)中心能效提升的重要途徑，是數(shù)據(jù)中心重要的發(fā)展趨勢之一。目前，應用最多的是冷板式液冷，雖然熱交換效率比風冷式技術高，但是相比于接觸式液冷技術(如浸沒式液冷、噴淋式液冷)仍顯不足。而浸沒式液冷技術應用中，液體冷卻劑是最為關鍵的因素之一。目前，國產氟化冷卻液已經能夠實現(xiàn)國產替代。通過對合適冷卻液及相關適配技術的開發(fā)，解決高性能計算中心的發(fā)展瓶頸是目前數(shù)據(jù)中心研發(fā)的重要課題。
液冷數(shù)據(jù)中心冷卻液的較高溫度使得余熱的高效利用成為可能。傳統(tǒng)數(shù)據(jù)中心對于余熱的利用效率不高，液冷數(shù)據(jù)中心可以提供更高溫度的余熱，充分利用這些余熱實現(xiàn)供暖、提供生活熱水等，有效的減少了供熱設備的能耗，大大的降低了更多建筑或者整個園區(qū)的碳排放。相信在未來，液冷技術會和余熱利用充分耦合，實現(xiàn)更廣義的節(jié)能降碳。
參考文獻
[1]韓文鋒.數(shù)據(jù)中心高效綠色冷卻技術.制冷與空調,2021(02):78-90. [2]ASHRAE_TC0909_Liquid_Cooling_White_Paper_Brief_2_April_2019. [3]ASHRAE_TC0909_Water_Cooled_Servers_15_Oct_2019.
[4]LiquidCooling Guidelines Developed by the ASHRAETC9.9 Committee
[5]謝春暉，趙毓毅.液冷技術在通信行業(yè)中的應用及相關建議.通信電源技術,2019(09):Vol.36,No.S1.
作者簡介
趙春曉，中國建筑標準設計研究院數(shù)據(jù)中心設計研發(fā)部門暖通主任設計師。負責部門暖通專業(yè)相關技術工作，完成暖通空調專業(yè)大小幾十個數(shù)據(jù)中心的規(guī)劃設計項目。主編參編過多項標準。
