中國儲能網(wǎng)訊：
摘要：液冷技術(shù)是解決數(shù)據(jù)中心節(jié)能降碳的重要手段，尤其是單相浸沒液冷冷卻技術(shù)，節(jié)能效果顯著，應(yīng)用日漸成熟可靠，逐漸受到業(yè)內(nèi)青睞和選擇。但液冷技術(shù)的應(yīng)用和設(shè)計相對傳統(tǒng)機房暖通設(shè)計有一定的差異和不同，加之當(dāng)前落地的液冷數(shù)據(jù)中心項目比較有限，從業(yè)人員對此相對比較陌生，結(jié)合液冷項目實踐，分析了浸沒液冷技術(shù)的特點以及和傳統(tǒng)冷卻方式設(shè)計上的差異，總結(jié)了設(shè)計關(guān)鍵點，尤其是液冷冷卻液系統(tǒng)的設(shè)計；針對新建和改造的液冷數(shù)據(jù)中心，對冷源的選擇以及冷卻水系統(tǒng)的設(shè)計提出了不同的方案，為后續(xù)液冷技術(shù)的應(yīng)用提供參考和探討。
關(guān)鍵詞：單相浸沒液冷；數(shù)據(jù)中心；液冷機柜；冷卻液；CDU；冷卻水
算力是數(shù)字經(jīng)濟(jì)的重要發(fā)展要素，是推動數(shù)字經(jīng)濟(jì)發(fā)展的核心支撐力；數(shù)據(jù)中心作為算力的主要承載體，其發(fā)展和規(guī)模化建設(shè)不可或缺。但數(shù)據(jù)中心運行消耗了大量的電力資源，據(jù)有關(guān)部門統(tǒng)計，2021年我國數(shù)據(jù)中心年用電量已占全社會用電的2%左右[1]，使用綠色能源以及節(jié)能降碳成了數(shù)據(jù)中心重要目標(biāo)和課題，尤其是新建數(shù)據(jù)中心，國家標(biāo)準(zhǔn)以及各地政策均對電能使用效率（PUE）提出了嚴(yán)格的要求和限制[2-4]。
在國家雙碳戰(zhàn)略背景下，以及各地對PUE的嚴(yán)格限制下，數(shù)據(jù)中心領(lǐng)域各種節(jié)能技術(shù)百花齊放，液冷以其先天節(jié)能的屬性逐漸受到青睞。尤其是在夏熱冬冷，夏熱冬暖，溫和地區(qū)區(qū)域，液冷技術(shù)節(jié)能效果尤其顯著。當(dāng)前，主要使用的液冷技術(shù)分為間接接觸的冷板液冷，相變液冷以及單相浸沒液冷和單相噴淋，各有自身的優(yōu)劣勢[5-6]，筆者結(jié)合參與落地的采用單相浸沒液冷冷卻技術(shù)的數(shù)據(jù)中心，分析和總結(jié)一些實踐思考供同行探討，以便后續(xù)液冷項目更好的落地。
1、浸沒液冷相比傳統(tǒng)冷卻系統(tǒng)的不同
浸沒液冷技術(shù)主要是利用特定液體的兩大特點，即液體高效換熱特性和良好的絕緣性，對服務(wù)器進(jìn)行冷卻。系統(tǒng)架構(gòu)比較簡潔，具體循環(huán)流程見圖 1，圖中液冷機柜用于浸沒服務(wù)器見圖 2，冷卻液分配單元（CDU）用于控制熱交換和驅(qū)動冷卻液循環(huán)，冷卻塔（或者干冷器）為整個液冷系統(tǒng)運行散熱的“冷源”。
從流程圖來看，浸沒液冷已經(jīng)不再需要依賴壓縮機制冷，主要依靠自然冷源進(jìn)行熱交換。相比傳統(tǒng)風(fēng)冷服務(wù)器的冷凍水（或者直膨機）系統(tǒng)，浸沒液冷主要特點如下：
1）液冷機柜和冷卻循環(huán)系統(tǒng)耦合度非常高，設(shè)計需要更加關(guān)注液冷機柜和CDU組成的循環(huán)系統(tǒng)；
2）浸沒液冷機柜內(nèi)的服務(wù)器從傳統(tǒng)的水平插拔變成了垂直上下安裝，插拔方式的變化導(dǎo)致平面布置的機柜率下降，設(shè)計需要更加關(guān)注液冷機柜的排布以提高出柜率。
3）冷卻液成本較高，在系統(tǒng)設(shè)計過程中需要關(guān)注如何降低冷卻液的用量。
4）機柜內(nèi)充滿了冷卻液，不同冷卻液密度不同，設(shè)計過程中需要關(guān)注到樓板承重。如下是某項目A和某項目B結(jié)合如上原則，設(shè)計的兩種不同布置方案。系統(tǒng)架構(gòu)為2個CDU（1用1備）連接6個液冷機柜，組成一套冷卻液循環(huán)系統(tǒng)，再通過冷卻水管路連接所有CDU，組成整個冷卻水系統(tǒng)，所有管路均布置到架空地板下，見圖 3~圖 6。
兩種方案均是基于如上分析的原則設(shè)計：
1）將液冷機柜背靠背或者面對面規(guī)?；贾?，再通過CDU連接盡可能多的液冷機柜，類似多聯(lián)機一拖多的方式，提高出柜率。
2）將液冷機柜和CDU就近布置，縮短冷卻液循環(huán)的距離，減少管路系統(tǒng)的冷卻液用量；
3）將CDU集中布置到一個區(qū)域或者集中到幾個有序區(qū)域，使液冷設(shè)備管路和冷卻水管路有明確的物理分區(qū)，一方面可以使各功能區(qū)有序布局，另一方面能夠更加簡潔的實現(xiàn)冷卻水管路和閥門冗余設(shè)計。
兩種方案相似但有不同，最明顯的差異是冷卻液管路的不同。為了實現(xiàn)冷卻液循環(huán)的連續(xù)性，避免單點故障，根據(jù)各自建筑條件，項目A冷卻液管路采用雙供雙回的方式，項目B采用環(huán)形管路的方式，均可實現(xiàn)系統(tǒng)的冗余，見圖 5 和圖 6。通過對比分析，兩種方式實現(xiàn)的功能和可靠性是一致的，系統(tǒng)管路各有特點，實際應(yīng)用過程中可以結(jié)合不同建筑布局、尺寸面積、出柜率，以及運維通道等進(jìn)行選擇。
2、新建浸沒液冷數(shù)據(jù)中心冷源的選擇
新建浸沒液冷數(shù)據(jù)中心，除液冷機柜和CDU外，冷源選擇至關(guān)重要。由于液體的高效換熱特性，允許冷卻液在供液溫度遠(yuǎn)高于風(fēng)冷環(huán)境的溫度工況下運行，依然保持CPU核心溫度良好。根據(jù)中國電子學(xué)會發(fā)布的規(guī)范，液體供液溫度可以在25℃~50℃范圍內(nèi)運行[7]，在這樣廣而高的溫度范圍內(nèi)，可以有多種換熱冷源選擇，通常比較經(jīng)濟(jì)和可靠的是干冷器和冷卻塔，如果周邊有可利用的廢水廢冷，也是一種好的選擇。對于小規(guī)模的液冷，冷源常以干冷器為主，冷卻液通過干冷器和室外空氣進(jìn)行換熱，系統(tǒng)部件少控制簡單。對于稍有規(guī)模體量的機房，冷源以冷卻塔為主。冷卻塔選擇開式冷卻塔還是閉式冷卻塔，也是實際項目中最難以抉擇的。
筆者結(jié)合兩種冷卻塔實際運行情況，對比分析兩者的優(yōu)缺點。閉式冷卻塔由于冷卻水不與外界環(huán)境直接接觸，水質(zhì)易于控制是其最大的優(yōu)點，也是很多設(shè)計師的優(yōu)先選擇。但在實際項目落地過程中發(fā)現(xiàn)，閉式冷卻塔體積大占地面積多，價格較高，同等設(shè)計工況下閉式塔要比開式塔價格高3倍~5倍；尤其是數(shù)據(jù)中心行業(yè)對設(shè)備品牌比較注重，使得閉式冷卻塔占了不小比例的投資成本。其次，對于北方寒冷地區(qū)如果使用閉式冷卻塔，管路中還需要投加乙二醇，乙二醇屬于有機物，容易滋生細(xì)菌微生物；長時間運行后，乙二醇水溶液如果控制不好易被氧化，形成羧酸等，腐蝕管道和換熱盤管[8-9]，圖 7 是某項目閉式塔加乙二醇運行后的水質(zhì)，已經(jīng)有明顯的腐蝕。另外，閉式冷卻塔由于利用水的噴淋進(jìn)行熱交換，多增加一個耗電設(shè)備噴淋泵；同時，對于添加乙二醇的冷卻水，由于乙二醇比熱容較低為2.35kJ/kg·℃，只有水的一半左右，導(dǎo)致系統(tǒng)循環(huán)換熱效率降低，根據(jù)不同乙二醇添加比例，系統(tǒng)運行功耗增加約10%~20%。如果能權(quán)衡應(yīng)對好如上優(yōu)缺點，閉式塔將會是一個系統(tǒng)運行良好的選擇。
開式塔在常規(guī)冷凍水系統(tǒng)中使用較普遍，優(yōu)點之一價格較低。其次，開式塔系統(tǒng)簡潔，不需要閉式系統(tǒng)的定壓裝置，沒有噴淋泵，無需添加乙二醇防凍，運行維護(hù)簡單。且同等工況下設(shè)備功率低，甚至可以選擇一些無風(fēng)機冷卻塔來搭配運行，可以把PUE降到極致。但開式塔最大的缺點就是循環(huán)水與外界環(huán)境直接接觸，需重點關(guān)注水質(zhì)處理，目前開式塔系統(tǒng)水質(zhì)控制好和壞的案例均存在，一方面是水處理廠家參差不齊的原因，另一方面是碳鋼管道自身在開式系統(tǒng)中容易腐蝕。筆者有幸參與開式塔系統(tǒng)水質(zhì)控制良好的項目，見圖 8水質(zhì)清澈良好。具體措施為采用鍍鋅管道法蘭連接，而非采用碳鋼管道外表面刷防銹漆的方式，采用鍍鋅管道的系統(tǒng)，日常運行只需要應(yīng)對結(jié)垢和夏季藻類細(xì)菌滋生的問題，水處理的成本大幅降低。且使用鍍鋅管道造成的成本增加不到管路成本的10%，完全可以從水處理減少的費用中來覆蓋這部分增加。通過如上措施，不但能節(jié)約成本，還能良好的控制水質(zhì)，以及減少水處理化學(xué)品的使用。
筆者從不同方面分析對比了兩種類型的塔在實際使用中的優(yōu)缺點及應(yīng)對措施，實際項目中可以結(jié)合如上分析有針對性的選擇。就筆者個人觀點而言，建議選擇開式冷卻塔，當(dāng)前，浸沒液冷還沒有大規(guī)模使用，液冷設(shè)備和冷卻液的成本相對較高，使用開式冷卻塔可以適當(dāng)降低每kW服務(wù)器功率的造價指標(biāo)，通過采取適當(dāng)?shù)拇胧┯帜芰己玫目刂扑|(zhì)，在滿足功能的前提性，造價低的方案將會是更好的選擇。
3、既有機房改造為浸沒液冷機房冷源的選擇
為踐行推進(jìn)雙碳目標(biāo)，上海和深圳陸續(xù)發(fā)布了實施方案，尤其是對于老舊存量數(shù)據(jù)中心機房，對能耗不達(dá)標(biāo)的進(jìn)行限制、淘汰以及升級改造[10-11]，這部分機房PUE本身比較高，如果在現(xiàn)有系統(tǒng)上做一些改造，PUE下降不明顯，但由風(fēng)冷改造為液冷會是一種成效顯著的方式。既有機房改造液冷的難度在于冷源冗余的設(shè)計。筆者結(jié)合過往項目實踐提供如下方案供參考。
方案1）：新增一套冷卻水系統(tǒng)獨立于現(xiàn)有在用系統(tǒng)，這和新建機房設(shè)計基本相似，但大多數(shù)項目通常不具備良好的條件，不同項目會有不同的制約。
方案 2）：利用舊的現(xiàn)有冷卻水和冷凍水作為液冷冷源的主備來設(shè)計。通常改造項目多數(shù)是把現(xiàn)有的風(fēng)冷機房拆除，利用這部分電力和物理空間改造為液冷機房，系統(tǒng)就有多余的冷卻水可以使用，作為液冷的主用冷源；同時原有拆掉的空調(diào)末端有多余的冷凍水管路可以就近使用，這樣就有了備用冷源，雖然使用了壓縮機產(chǎn)生的高品位的低溫冷凍水，但對于液冷系統(tǒng)作為應(yīng)急備用，并不會造成能耗明顯增加，詳見圖 9。
系統(tǒng)改造過程中，需要特別關(guān)注如下幾方面。一是原有冷卻水系統(tǒng)水質(zhì)運行情況，如果水質(zhì)運行不良，為避免切換到冷凍水作為冷源運行時污染冷凍水系統(tǒng)，可以在冷凍水回水管路上增加過濾器進(jìn)行處理后再回到總的冷凍水大管網(wǎng)系統(tǒng)中。二是切換過程中，需要分別核算下液冷CDU分別在冷卻水系統(tǒng)和冷凍水系統(tǒng)運行時管網(wǎng)的壓力大小，兩者接近最優(yōu)，如果冷凍水運行的壓力高于冷卻水運行的壓力，切換過程中重點關(guān)注閥門切換的時間，同時要監(jiān)測好冷凍水系統(tǒng)自身的補水處于正常運行工況，避免冷凍水壓力快速下降，影響到自身的運行。三是冷卻水管路上的閥門設(shè)置，要避免過設(shè)計超配閥門，避免不加分析的直接使用傳統(tǒng)冷凍水系統(tǒng)管路的閥門設(shè)計方式。按照GB50174-2017《數(shù)據(jù)中心設(shè)計規(guī)范》，末端設(shè)備如冷凍水精密空調(diào)通常按照N+1設(shè)計，也即是有1臺備用；為實現(xiàn)運行過程中閥門單點故障時檢修更換，通常末端設(shè)備，會連續(xù)設(shè)計2個閥門，見圖 10[12]，當(dāng)其中一個閥門故障時，可以關(guān)閉該故障閥門左右相鄰的閥門，只需要停機1臺設(shè)備，而不影響主用設(shè)備數(shù)量的正常使用。但是對于液冷系統(tǒng)，通常CDU是1用1備，相鄰的一組也是1用1備，兩組CDU之間的閥門，完全可以有原來的2個閥門只保留1個閥門；當(dāng)其中一個閥門故障時，可以通過關(guān)閉A1和A2閥門來實現(xiàn)隔斷功能，見圖 11。雖然需要停機2臺CDU，但2組設(shè)備各有1臺備用不會影響到設(shè)備的正常使用。
通過如上分析，對于既有數(shù)據(jù)中心，如上方案2）利用現(xiàn)有冷卻水和冷凍水，既省去了新增冷卻設(shè)備和管道閥門的投資，又實現(xiàn)了液冷冷卻水系統(tǒng)的冗余和備份，不失為一種推動既有機房改造液冷的經(jīng)濟(jì)性方案。
4、結(jié)語
當(dāng)前我國數(shù)字經(jīng)濟(jì)蓬勃發(fā)展，特別是5G、人工智能、物聯(lián)網(wǎng)等新技術(shù)的探索和應(yīng)用，促使數(shù)據(jù)中心行業(yè)仍在快速發(fā)展，特別是高功率的服務(wù)器部署越來越多，液冷技術(shù)不僅很好的解決了高功率機柜的冷卻散熱問題，又能很好的踐行節(jié)能降碳的發(fā)展目標(biāo)。本文針對單相浸沒液冷系統(tǒng)的設(shè)計和應(yīng)用，包括冷卻液和冷卻水系統(tǒng)，新建和老舊數(shù)據(jù)中心機房，結(jié)合實例進(jìn)行了分析總結(jié)，形成如下結(jié)論：
1）分析了浸沒液冷系統(tǒng)的特點，以及和傳統(tǒng)冷凍水方案的不同，總結(jié)了浸沒液冷暖通設(shè)計需要關(guān)注的重點；
2）結(jié)合過往項目的實踐經(jīng)驗，對比分析了開式冷卻塔和閉式冷卻塔作為液冷系統(tǒng)冷源使用的優(yōu)缺點和應(yīng)對措施，為后續(xù)應(yīng)用提供有針對性的參考。
3）結(jié)合既有機房改造液冷機房的特點，提出了一種液冷冷源系統(tǒng)設(shè)計的經(jīng)濟(jì)性方案，供業(yè)內(nèi)從業(yè)人員參考和探討。
