摘要：文章對(duì)液冷數(shù)據(jù)中心工程技術(shù)進(jìn)行了概括和總結(jié)，認(rèn)為散熱需求、能效管理政策、余熱回收的便利性是液冷數(shù)據(jù)中心工程技術(shù)發(fā)展的主要推動(dòng)力，并對(duì)液冷數(shù)據(jù)中心工程技術(shù)未來的發(fā)展趨勢(shì)進(jìn)行了探討。
關(guān)鍵詞：數(shù)據(jù)中心；液冷；能效管理；發(fā)展探討
由于液體的單位體積熱容量約為空氣的1000倍，所以液冷方式冷卻（散熱）能力遠(yuǎn)高于常規(guī)空氣冷卻方式，是解決超高熱流密度散熱的有效途徑。1964年，為了更好地應(yīng)對(duì)大型主機(jī)過熱宕機(jī)的問題，IBM公司研發(fā)出世界首款冷凍水冷卻計(jì)算機(jī)System360，開創(chuàng)了液冷計(jì)算機(jī)先河[1]。近期，在國家及各地能效管理政策的推動(dòng)下，液冷技術(shù)再度受到了數(shù)據(jù)中心行業(yè)廣泛的關(guān)注，并發(fā)展出系列液冷數(shù)據(jù)中心工程技術(shù)。
一、液冷的實(shí)現(xiàn)方式
廣義的液冷是指所有和液冷相關(guān)的技術(shù)集合體的統(tǒng)稱。數(shù)據(jù)中心業(yè)界比較熟悉的機(jī)柜背板加裝冷水盤管等方式，被視為液冷，即為廣義液冷概念下的技術(shù)和應(yīng)用。中國電子學(xué)會(huì)（CIE）曾在制定液冷數(shù)據(jù)中心設(shè)計(jì)系列規(guī)范過程中，對(duì)液冷的概念進(jìn)行了梳理，組織了行業(yè)討論，其所定義的液冷，僅指直接由液體帶走電子芯片所產(chǎn)生熱量的方式，因此狹義的液冷僅指服務(wù)器里液冷的過程。
從狹義液冷概念的角度對(duì)液冷分類，可以先按照冷卻液直接接觸電子芯片，或是通過高導(dǎo)熱率固體導(dǎo)熱材料間接接觸電子芯片，分為兩大類，再按接觸形式、冷卻液類別、冷卻液是否相變進(jìn)行梯劃分。一般認(rèn)為液冷形式可以概括為八種（見表1）。
表1 液冷實(shí)現(xiàn)方式分類表
二、數(shù)據(jù)中心場(chǎng)景對(duì)液冷應(yīng)用的需求
與既有數(shù)據(jù)中心常用的風(fēng)冷空調(diào)一樣，液冷的作用也是帶走服務(wù)器等IT設(shè)備以及其他設(shè)備設(shè)施（如UPS電池）所產(chǎn)生的熱量，使數(shù)據(jù)中心保持一個(gè)相對(duì)穩(wěn)定、溫濕度適宜的環(huán)境。
首先，散熱需求是液冷技術(shù)發(fā)展的核心驅(qū)動(dòng)力。在數(shù)據(jù)處理能力需求的快速增長(zhǎng)下，電子芯片的集成度未來大概率的發(fā)展趨勢(shì)仍然會(huì)以倍速的方式增長(zhǎng)。由此帶來功率密度和熱流密度的不斷增加。數(shù)據(jù)傳輸速度提高及使用便利性要求，將帶來設(shè)備集成度的不斷提高，綜合影響下，服務(wù)器等信息設(shè)備會(huì)有更高的散熱需求，相應(yīng)地對(duì)運(yùn)行環(huán)境要求日漸提高。為此，風(fēng)冷形式需要配備更高轉(zhuǎn)速及更大直徑的風(fēng)扇、更大體積的散熱通道，由此帶來巨大的風(fēng)噪聲、對(duì)環(huán)境的熱影響，以及建設(shè)成本和運(yùn)行成本的相應(yīng)上升，液冷將具有更佳的性價(jià)比。
其次，能效管理政策推動(dòng)液冷技術(shù)應(yīng)用。數(shù)據(jù)中心行業(yè)關(guān)注液冷另一個(gè)重要原因是出于對(duì)國家及各地能效管理政策的考慮。國家和地方對(duì)于數(shù)據(jù)中心電能利用效率（PUE）的要求越來越高，使液冷進(jìn)入數(shù)據(jù)中心行業(yè)的視野。最新施行的國家標(biāo)準(zhǔn)《數(shù)據(jù)中心能效限定值及能效等級(jí)》（GB 40879-2021）[2]要求電能比節(jié)能值需小于1.3，在全國大部分地區(qū)僅依靠風(fēng)冷難以實(shí)現(xiàn)，需要液冷技術(shù)予以平衡。
第三，余熱回收的便利性或許成為數(shù)據(jù)中心應(yīng)用液冷的推動(dòng)力。采用液冷解決方案建設(shè)的液冷數(shù)據(jù)中心具有余熱品位相對(duì)較高、回收相對(duì)便利的特點(diǎn)。在液冷數(shù)據(jù)中心建設(shè)余熱回收工程是有效實(shí)現(xiàn)能源綜合利用、提高能源利用效率的重要途徑。目前已經(jīng)有學(xué)者提出將大體量數(shù)據(jù)中心建成城市或工業(yè)園區(qū)熱源的設(shè)想。
三、液冷數(shù)據(jù)中心工程技術(shù)的發(fā)展
通過液冷方式將電子芯片運(yùn)行時(shí)產(chǎn)生的熱量帶走，僅僅是數(shù)據(jù)中心冷卻過程的開始。電子芯片持續(xù)發(fā)熱，為了達(dá)成冷卻電子芯片的目的，圍繞不同的液冷方式，又發(fā)展出使液冷過程持續(xù)地、穩(wěn)定地、可靠地運(yùn)行下去的液冷數(shù)據(jù)中心工程技術(shù)。
液冷理念及實(shí)踐與風(fēng)冷有所不同。具體而言就是散熱和冷卻概念存在細(xì)微差別：從高于室溫開始還是從低于室溫開始。為了更好地梳理液冷數(shù)據(jù)中心工程技術(shù)工作體系，總體上是將電子芯片視為源頭，以將電子芯片產(chǎn)生的熱量傳導(dǎo)到數(shù)據(jù)中心以外，從而實(shí)現(xiàn)信息設(shè)備穩(wěn)定運(yùn)行為目標(biāo)。由此，將數(shù)據(jù)中心的液冷數(shù)據(jù)中心工程技術(shù)分為一次冷卻過程和二次冷卻過程。這一理念與傳統(tǒng)數(shù)據(jù)中心風(fēng)冷一次側(cè)、二次側(cè)概念有所不同。
液冷數(shù)據(jù)中心工程技術(shù)一次冷卻過程，是對(duì)電子信息設(shè)備高熱流密度元件進(jìn)行冷卻，將其發(fā)熱量導(dǎo)出至機(jī)柜外的過程，也可稱其為一次冷卻（散熱）、初冷卻、內(nèi)冷卻、內(nèi)循環(huán)冷卻過程。一次冷卻過程是嚴(yán)格意義上的液冷過程，為實(shí)現(xiàn)該過程，工程上一般由芯片端液冷設(shè)備或部件、冷量分配單元（CDU）、冷媒分配器、管路等構(gòu)成環(huán)路，也稱為一次冷卻環(huán)路。冷量分配單元（CDU）內(nèi)含泵和熱交換器，為一次冷卻過程的冷卻液提供循環(huán)動(dòng)力，具體循環(huán)過程是冷量分配單元（CDU）通過管路向芯片端液冷設(shè)備或部件輸送一定溫度和流量的冷卻液。通過直接接觸電子芯片或通過金屬等具有高導(dǎo)熱率材料間接接觸電子芯片的方式，冷卻液與芯片進(jìn)行熱交換，利用液體相比氣體更高的比熱容，由冷卻液快速帶走電子芯片產(chǎn)生熱量，實(shí)現(xiàn)對(duì)芯片冷卻。受熱后的高溫冷卻液或冷卻液蒸汽，通過管路流回冷量分配單元（CDU），與二次冷媒進(jìn)行換熱。冷卻后的低溫冷卻液被冷量分配單元（CDU）驅(qū)動(dòng)，流回芯片端液冷設(shè)備或部件，完成一個(gè)完整的循環(huán)。一次冷卻過程常用的冷卻液有乙二醇溶液、丙二醇溶液、去離子水等水基冷卻工質(zhì)，也有采用以氟化物作為冷卻工質(zhì)的方案，但目前不同液冷解決方案對(duì)冷卻工質(zhì)的物性要求差異較大。
冷量分配單元（CDU）是被普遍應(yīng)用的設(shè)備，一種典型的冷量分配單元（CDU）架構(gòu)形式如圖1所示。除了為一次冷卻過程的冷卻液提供循環(huán)動(dòng)力和熱交換外，該設(shè)備還肩負(fù)著制冷量（而不僅是冷卻液流量）分配的作用，所以其一般還應(yīng)具備如下功能：
1）具備溫度和流量控制功能，通過溫度、流量傳感器，實(shí)現(xiàn)對(duì)一次冷卻過程中冷卻液溫度和流量的動(dòng)態(tài)監(jiān)控。并根據(jù)內(nèi)建模型動(dòng)態(tài)調(diào)節(jié)冷卻液的溫度、冷卻液的流量或供液壓力，為一次冷卻過程提供足夠的冷卻能力，同時(shí)避免一次冷卻環(huán)路的凝露。
2）確保一次冷卻過程冷卻液與二次冷媒的物理隔離。
3）對(duì)冷卻液進(jìn)行在線過濾或旁路過濾。
4）支持網(wǎng)絡(luò)管理。
圖1 一種典型的冷量分配單元（CDU）架構(gòu)形式
液冷數(shù)據(jù)中心工程技術(shù)二次冷卻過程，是將一次冷卻過程導(dǎo)出的熱量導(dǎo)出室外的過程，也可稱其為再冷卻、外冷卻、外循環(huán)冷卻、再冷卻、散熱。二次冷卻過程的冷媒可以是空氣，也可以是冷卻水、水基溶液（如：乙二醇水溶液、丙三醇水溶液等）、制冷劑等液體，可統(tǒng)稱為二次冷媒。二次冷卻過程的冷媒是空氣時(shí)，二次冷卻過程可以視同為常規(guī)的數(shù)據(jù)中心機(jī)房?jī)?nèi)冷卻過程。二次冷卻過程的冷媒是二次冷媒時(shí)，二次冷媒循環(huán)的過程也被稱為二次冷卻環(huán)路。
一次冷卻環(huán)路與二次冷卻環(huán)路之間通過冷量分配單元（CDU）進(jìn)行熱交換。二次冷媒在冷量分配單元（CDU）內(nèi)與冷卻液進(jìn)行熱交換后，高溫的二次冷媒在循環(huán)泵驅(qū)動(dòng)下進(jìn)入冷源或熱回收設(shè)備等冷卻裝置，將攜帶的熱量傳遞到環(huán)境中或進(jìn)行回收利用，冷卻后的二次冷媒重新流回?zé)峤粨Q器內(nèi)，完成一個(gè)完整的循環(huán)。冷源可以是冷卻塔、干式冷卻器、制冷機(jī)組等。由于一次冷卻過程對(duì)于二次冷媒進(jìn)入換熱器的入口溫度要求可以提高到30℃及以上，冷源可以完全依托自然冷源運(yùn)行，這也是液冷工程技術(shù)可以實(shí)現(xiàn)較為理想的電能利用效率（PUE）的原理所在。一個(gè)典型的液冷工程技術(shù)示意圖如圖2所示。
圖2 液冷工程技術(shù)示意圖
也有的液冷工程技術(shù)采用一次冷卻過程設(shè)計(jì)，即直接由冷卻液攜帶熱量并傳遞到環(huán)境中去。但一般情況下一次冷卻過程對(duì)冷卻液純度等物理指標(biāo)要求較高，所使用的冷卻液成本較高，如管路過長(zhǎng)，整體經(jīng)濟(jì)性會(huì)受到較大影響。所以一次冷卻過程設(shè)計(jì)時(shí)最好采用緊湊型方案。
四、液冷數(shù)據(jù)中心發(fā)展趨勢(shì)探討
總體來看，液冷數(shù)據(jù)中心未來發(fā)展仍具有不確定性。
首先，液冷技術(shù)的推廣驅(qū)動(dòng)力將仍然以信息設(shè)備的冷卻（散熱）需求為主。但這是建立在對(duì)電子芯片未來發(fā)展趨勢(shì)預(yù)測(cè)，以及液冷技術(shù)的性價(jià)比逐步建立起對(duì)風(fēng)冷技術(shù)的優(yōu)勢(shì)基礎(chǔ)上。但未來仍然存在液冷成本居高不下，倒推芯片設(shè)計(jì)走上另外發(fā)展道路以降低散熱冷卻需求的可能性。
其次，液冷數(shù)據(jù)中心的建設(shè)及使用形式與常規(guī)風(fēng)冷數(shù)據(jù)中心有較大的區(qū)別。液冷數(shù)據(jù)中心的特點(diǎn)是信息設(shè)備與基礎(chǔ)設(shè)施高度耦合，從技術(shù)原理及可靠性保障上來講，基本不具備達(dá)到常規(guī)風(fēng)冷數(shù)據(jù)中心一樣解耦水平的可能性，所以各技術(shù)解決方案、各設(shè)備廠商之間均基本相互獨(dú)立。數(shù)據(jù)中心業(yè)主大概率會(huì)被某一技術(shù)解決方案提供廠家深度綁定。液冷技術(shù)在數(shù)據(jù)中心的應(yīng)用可以說是在顛覆原有常規(guī)風(fēng)冷數(shù)據(jù)中心的商業(yè)模式、建設(shè)模式、產(chǎn)業(yè)模式基礎(chǔ)上發(fā)展。傳統(tǒng)的機(jī)柜租賃業(yè)務(wù)基本無法應(yīng)用于液冷數(shù)據(jù)中心。這對(duì)于液冷技術(shù)的進(jìn)一步推廣形成了巨大的阻礙。
第三，液冷數(shù)據(jù)中心的可靠性仍有待驗(yàn)證，雖然目前液冷數(shù)據(jù)中心解決方案提供方提出了增強(qiáng)可靠性檢驗(yàn)測(cè)試、增加冷卻液泄漏檢測(cè)報(bào)警裝置等解決方式，但對(duì)于機(jī)柜內(nèi)液冷環(huán)路發(fā)生泄漏導(dǎo)致信息設(shè)備損壞的擔(dān)憂仍是業(yè)界廣泛關(guān)注的話題。
以上不確定性的解決又深度依賴應(yīng)用的規(guī)模。要解決這看似無解的難題，一家獨(dú)大、上下游通吃，已經(jīng)被無數(shù)次證明違背經(jīng)濟(jì)發(fā)展規(guī)律。歷史無數(shù)次證明，誰能夠最先建立起分工與合作的產(chǎn)業(yè)鏈和生態(tài)圈，誰就更容易在競(jìng)爭(zhēng)中勝出。在沒有找到可以解耦信息設(shè)備與基礎(chǔ)設(shè)施的技術(shù)路徑之前，標(biāo)準(zhǔn)化不會(huì)是解耦問題的靈丹妙藥，也不會(huì)是限制和打擊競(jìng)爭(zhēng)對(duì)手的有效手段。但是通過標(biāo)準(zhǔn)化作為工具，不斷在求同存異基礎(chǔ)上推進(jìn)解耦，有效分享經(jīng)驗(yàn)，推動(dòng)制造、服務(wù)各環(huán)節(jié)的分離，從而實(shí)現(xiàn)精細(xì)化與專業(yè)化，進(jìn)而降低總體應(yīng)用成本，在應(yīng)用的檢驗(yàn)中不斷改進(jìn)、提高，逐步形成液冷規(guī)模不斷擴(kuò)大的正循環(huán)，或許是液冷技術(shù)發(fā)展的必由之路。
五、結(jié)語
各個(gè)液冷形式根據(jù)服務(wù)器的適配、冷卻液的類別、液冷的工作溫度等等因素，液冷數(shù)據(jù)中心工程技術(shù)也相對(duì)有所不同。目前各技術(shù)路線下的工程技術(shù)均在發(fā)展、定型的過程之中，目前還沒有一個(gè)業(yè)界公認(rèn)的完美的技術(shù)路線，也沒有業(yè)界公認(rèn)的各技術(shù)路線具體適用的細(xì)分領(lǐng)域。如何尋求最終的確定性，將有賴于液冷數(shù)據(jù)中心工程技術(shù)的經(jīng)濟(jì)性、可靠性、可維修性等，在不斷進(jìn)行應(yīng)用實(shí)踐中尋找最優(yōu)解。
參考文獻(xiàn)：
[1]李潔.液冷革命[M].北京：人民郵電出版社，2019.
[2]GB 40879-2021.數(shù)據(jù)中心能效限定值及能效等級(jí)[S].
