中國儲能網訊：
摘要：液冷技術是解決數據中心節(jié)能降碳的重要手段，尤其是單相浸沒液冷冷卻技術，節(jié)能效果顯著，應用日漸成熟可靠，逐漸受到業(yè)內青睞和選擇。但液冷技術的應用和設計相對傳統(tǒng)機房暖通設計有一定的差異和不同，加之當前落地的液冷數據中心項目比較有限，從業(yè)人員對此相對比較陌生，結合液冷項目實踐，分析了浸沒液冷技術的特點以及和傳統(tǒng)冷卻方式設計上的差異，總結了設計關鍵點，尤其是液冷冷卻液系統(tǒng)的設計；針對新建和改造的液冷數據中心，對冷源的選擇以及冷卻水系統(tǒng)的設計提出了不同的方案，為后續(xù)液冷技術的應用提供參考和探討。
關鍵詞：單相浸沒液冷；數據中心；液冷機柜；冷卻液；CDU；冷卻水
算力是數字經濟的重要發(fā)展要素，是推動數字經濟發(fā)展的核心支撐力；數據中心作為算力的主要承載體，其發(fā)展和規(guī)?；ㄔO不可或缺。但數據中心運行消耗了大量的電力資源，據有關部門統(tǒng)計，2021年我國數據中心年用電量已占全社會用電的2%左右[1]，使用綠色能源以及節(jié)能降碳成了數據中心重要目標和課題，尤其是新建數據中心，國家標準以及各地政策均對電能使用效率（PUE）提出了嚴格的要求和限制[2-4]。
在國家雙碳戰(zhàn)略背景下，以及各地對PUE的嚴格限制下，數據中心領域各種節(jié)能技術百花齊放，液冷以其先天節(jié)能的屬性逐漸受到青睞。尤其是在夏熱冬冷，夏熱冬暖，溫和地區(qū)區(qū)域，液冷技術節(jié)能效果尤其顯著。當前，主要使用的液冷技術分為間接接觸的冷板液冷，相變液冷以及單相浸沒液冷和單相噴淋，各有自身的優(yōu)劣勢[5-6]，筆者結合參與落地的采用單相浸沒液冷冷卻技術的數據中心，分析和總結一些實踐思考供同行探討，以便后續(xù)液冷項目更好的落地。
1、浸沒液冷相比傳統(tǒng)冷卻系統(tǒng)的不同
浸沒液冷技術主要是利用特定液體的兩大特點，即液體高效換熱特性和良好的絕緣性，對服務器進行冷卻。系統(tǒng)架構比較簡潔，具體循環(huán)流程見圖 1，圖中液冷機柜用于浸沒服務器見圖 2，冷卻液分配單元（CDU）用于控制熱交換和驅動冷卻液循環(huán)，冷卻塔（或者干冷器）為整個液冷系統(tǒng)運行散熱的“冷源”。
從流程圖來看，浸沒液冷已經不再需要依賴壓縮機制冷，主要依靠自然冷源進行熱交換。相比傳統(tǒng)風冷服務器的冷凍水（或者直膨機）系統(tǒng)，浸沒液冷主要特點如下：
1）液冷機柜和冷卻循環(huán)系統(tǒng)耦合度非常高，設計需要更加關注液冷機柜和CDU組成的循環(huán)系統(tǒng)；
2）浸沒液冷機柜內的服務器從傳統(tǒng)的水平插拔變成了垂直上下安裝，插拔方式的變化導致平面布置的機柜率下降，設計需要更加關注液冷機柜的排布以提高出柜率。
3）冷卻液成本較高，在系統(tǒng)設計過程中需要關注如何降低冷卻液的用量。
4）機柜內充滿了冷卻液，不同冷卻液密度不同，設計過程中需要關注到樓板承重。如下是某項目A和某項目B結合如上原則，設計的兩種不同布置方案。系統(tǒng)架構為2個CDU（1用1備）連接6個液冷機柜，組成一套冷卻液循環(huán)系統(tǒng)，再通過冷卻水管路連接所有CDU，組成整個冷卻水系統(tǒng)，所有管路均布置到架空地板下，見圖 3~圖 6。
兩種方案均是基于如上分析的原則設計：
1）將液冷機柜背靠背或者面對面規(guī)?；贾?，再通過CDU連接盡可能多的液冷機柜，類似多聯機一拖多的方式，提高出柜率。
2）將液冷機柜和CDU就近布置，縮短冷卻液循環(huán)的距離，減少管路系統(tǒng)的冷卻液用量；
3）將CDU集中布置到一個區(qū)域或者集中到幾個有序區(qū)域，使液冷設備管路和冷卻水管路有明確的物理分區(qū)，一方面可以使各功能區(qū)有序布局，另一方面能夠更加簡潔的實現冷卻水管路和閥門冗余設計。
兩種方案相似但有不同，最明顯的差異是冷卻液管路的不同。為了實現冷卻液循環(huán)的連續(xù)性，避免單點故障，根據各自建筑條件，項目A冷卻液管路采用雙供雙回的方式，項目B采用環(huán)形管路的方式，均可實現系統(tǒng)的冗余，見圖 5 和圖 6。通過對比分析，兩種方式實現的功能和可靠性是一致的，系統(tǒng)管路各有特點，實際應用過程中可以結合不同建筑布局、尺寸面積、出柜率，以及運維通道等進行選擇。
2、新建浸沒液冷數據中心冷源的選擇
新建浸沒液冷數據中心，除液冷機柜和CDU外，冷源選擇至關重要。由于液體的高效換熱特性，允許冷卻液在供液溫度遠高于風冷環(huán)境的溫度工況下運行，依然保持CPU核心溫度良好。根據中國電子學會發(fā)布的規(guī)范，液體供液溫度可以在25℃~50℃范圍內運行[7]，在這樣廣而高的溫度范圍內，可以有多種換熱冷源選擇，通常比較經濟和可靠的是干冷器和冷卻塔，如果周邊有可利用的廢水廢冷，也是一種好的選擇。對于小規(guī)模的液冷，冷源常以干冷器為主，冷卻液通過干冷器和室外空氣進行換熱，系統(tǒng)部件少控制簡單。對于稍有規(guī)模體量的機房，冷源以冷卻塔為主。冷卻塔選擇開式冷卻塔還是閉式冷卻塔，也是實際項目中最難以抉擇的。
筆者結合兩種冷卻塔實際運行情況，對比分析兩者的優(yōu)缺點。閉式冷卻塔由于冷卻水不與外界環(huán)境直接接觸，水質易于控制是其最大的優(yōu)點，也是很多設計師的優(yōu)先選擇。但在實際項目落地過程中發(fā)現，閉式冷卻塔體積大占地面積多，價格較高，同等設計工況下閉式塔要比開式塔價格高3倍~5倍；尤其是數據中心行業(yè)對設備品牌比較注重，使得閉式冷卻塔占了不小比例的投資成本。其次，對于北方寒冷地區(qū)如果使用閉式冷卻塔，管路中還需要投加乙二醇，乙二醇屬于有機物，容易滋生細菌微生物；長時間運行后，乙二醇水溶液如果控制不好易被氧化，形成羧酸等，腐蝕管道和換熱盤管[8-9]，圖 7 是某項目閉式塔加乙二醇運行后的水質，已經有明顯的腐蝕。另外，閉式冷卻塔由于利用水的噴淋進行熱交換，多增加一個耗電設備噴淋泵；同時，對于添加乙二醇的冷卻水，由于乙二醇比熱容較低為2.35kJ/kg·℃，只有水的一半左右，導致系統(tǒng)循環(huán)換熱效率降低，根據不同乙二醇添加比例，系統(tǒng)運行功耗增加約10%~20%。如果能權衡應對好如上優(yōu)缺點，閉式塔將會是一個系統(tǒng)運行良好的選擇。
開式塔在常規(guī)冷凍水系統(tǒng)中使用較普遍，優(yōu)點之一價格較低。其次，開式塔系統(tǒng)簡潔，不需要閉式系統(tǒng)的定壓裝置，沒有噴淋泵，無需添加乙二醇防凍，運行維護簡單。且同等工況下設備功率低，甚至可以選擇一些無風機冷卻塔來搭配運行，可以把PUE降到極致。但開式塔最大的缺點就是循環(huán)水與外界環(huán)境直接接觸，需重點關注水質處理，目前開式塔系統(tǒng)水質控制好和壞的案例均存在，一方面是水處理廠家參差不齊的原因，另一方面是碳鋼管道自身在開式系統(tǒng)中容易腐蝕。筆者有幸參與開式塔系統(tǒng)水質控制良好的項目，見圖 8水質清澈良好。具體措施為采用鍍鋅管道法蘭連接，而非采用碳鋼管道外表面刷防銹漆的方式，采用鍍鋅管道的系統(tǒng)，日常運行只需要應對結垢和夏季藻類細菌滋生的問題，水處理的成本大幅降低。且使用鍍鋅管道造成的成本增加不到管路成本的10%，完全可以從水處理減少的費用中來覆蓋這部分增加。通過如上措施，不但能節(jié)約成本，還能良好的控制水質，以及減少水處理化學品的使用。
筆者從不同方面分析對比了兩種類型的塔在實際使用中的優(yōu)缺點及應對措施，實際項目中可以結合如上分析有針對性的選擇。就筆者個人觀點而言，建議選擇開式冷卻塔，當前，浸沒液冷還沒有大規(guī)模使用，液冷設備和冷卻液的成本相對較高，使用開式冷卻塔可以適當降低每kW服務器功率的造價指標，通過采取適當的措施又能良好的控制水質，在滿足功能的前提性，造價低的方案將會是更好的選擇。
3、既有機房改造為浸沒液冷機房冷源的選擇
為踐行推進雙碳目標，上海和深圳陸續(xù)發(fā)布了實施方案，尤其是對于老舊存量數據中心機房，對能耗不達標的進行限制、淘汰以及升級改造[10-11]，這部分機房PUE本身比較高，如果在現有系統(tǒng)上做一些改造，PUE下降不明顯，但由風冷改造為液冷會是一種成效顯著的方式。既有機房改造液冷的難度在于冷源冗余的設計。筆者結合過往項目實踐提供如下方案供參考。
方案1）：新增一套冷卻水系統(tǒng)獨立于現有在用系統(tǒng)，這和新建機房設計基本相似，但大多數項目通常不具備良好的條件，不同項目會有不同的制約。
方案 2）：利用舊的現有冷卻水和冷凍水作為液冷冷源的主備來設計。通常改造項目多數是把現有的風冷機房拆除，利用這部分電力和物理空間改造為液冷機房，系統(tǒng)就有多余的冷卻水可以使用，作為液冷的主用冷源；同時原有拆掉的空調末端有多余的冷凍水管路可以就近使用，這樣就有了備用冷源，雖然使用了壓縮機產生的高品位的低溫冷凍水，但對于液冷系統(tǒng)作為應急備用，并不會造成能耗明顯增加，詳見圖 9。
系統(tǒng)改造過程中，需要特別關注如下幾方面。一是原有冷卻水系統(tǒng)水質運行情況，如果水質運行不良，為避免切換到冷凍水作為冷源運行時污染冷凍水系統(tǒng)，可以在冷凍水回水管路上增加過濾器進行處理后再回到總的冷凍水大管網系統(tǒng)中。二是切換過程中，需要分別核算下液冷CDU分別在冷卻水系統(tǒng)和冷凍水系統(tǒng)運行時管網的壓力大小，兩者接近最優(yōu)，如果冷凍水運行的壓力高于冷卻水運行的壓力，切換過程中重點關注閥門切換的時間，同時要監(jiān)測好冷凍水系統(tǒng)自身的補水處于正常運行工況，避免冷凍水壓力快速下降，影響到自身的運行。三是冷卻水管路上的閥門設置，要避免過設計超配閥門，避免不加分析的直接使用傳統(tǒng)冷凍水系統(tǒng)管路的閥門設計方式。按照GB50174-2017《數據中心設計規(guī)范》，末端設備如冷凍水精密空調通常按照N+1設計，也即是有1臺備用；為實現運行過程中閥門單點故障時檢修更換，通常末端設備，會連續(xù)設計2個閥門，見圖 10[12]，當其中一個閥門故障時，可以關閉該故障閥門左右相鄰的閥門，只需要停機1臺設備，而不影響主用設備數量的正常使用。但是對于液冷系統(tǒng)，通常CDU是1用1備，相鄰的一組也是1用1備，兩組CDU之間的閥門，完全可以有原來的2個閥門只保留1個閥門；當其中一個閥門故障時，可以通過關閉A1和A2閥門來實現隔斷功能，見圖 11。雖然需要停機2臺CDU，但2組設備各有1臺備用不會影響到設備的正常使用。
通過如上分析，對于既有數據中心，如上方案2）利用現有冷卻水和冷凍水，既省去了新增冷卻設備和管道閥門的投資，又實現了液冷冷卻水系統(tǒng)的冗余和備份，不失為一種推動既有機房改造液冷的經濟性方案。
4、結語
當前我國數字經濟蓬勃發(fā)展，特別是5G、人工智能、物聯網等新技術的探索和應用，促使數據中心行業(yè)仍在快速發(fā)展，特別是高功率的服務器部署越來越多，液冷技術不僅很好的解決了高功率機柜的冷卻散熱問題，又能很好的踐行節(jié)能降碳的發(fā)展目標。本文針對單相浸沒液冷系統(tǒng)的設計和應用，包括冷卻液和冷卻水系統(tǒng)，新建和老舊數據中心機房，結合實例進行了分析總結，形成如下結論：
1）分析了浸沒液冷系統(tǒng)的特點，以及和傳統(tǒng)冷凍水方案的不同，總結了浸沒液冷暖通設計需要關注的重點；
2）結合過往項目的實踐經驗，對比分析了開式冷卻塔和閉式冷卻塔作為液冷系統(tǒng)冷源使用的優(yōu)缺點和應對措施，為后續(xù)應用提供有針對性的參考。
3）結合既有機房改造液冷機房的特點，提出了一種液冷冷源系統(tǒng)設計的經濟性方案，供業(yè)內從業(yè)人員參考和探討。
