液冷數據中心工程技術的發展與探討

曹學勤， 張玲， 王娟

（中國電子學會）

1 引言

由于液體的單位體積熱容量約為空氣的1000倍，所以液冷方式冷卻（散熱）能力遠高于常規空氣冷卻方式，是解決超高熱流密度散熱的有效途徑。1964年，為了更好地應對大型主機過熱宕機的問題，IBM 公司研發出世界首款冷凍水冷卻計算機System360，開創了液冷計算機先河[1]。近期，在國家及各地能效管理政策的推動下，液冷技術再度受到了數據中心行業廣泛的關注，并發展出系列液冷數據中心工程技術。

2 液冷的實現方式

廣義的液冷是指所有和液冷相關的技術集合體的統稱。數據中心業界比較熟悉的機柜背板加裝冷水盤管等方式，被視為液冷，即為廣義液冷概念下的技術和應用。中國電子學會（CIE）曾在制定液冷數據中心設計系列規范過程中，對液冷的概念進行了梳理，組織了行業討論，其所定義的液冷，僅指直接由液體帶走電子芯片所產生熱量的方式，因此狹義的液冷僅指服務器里液冷的過程。

從狹義液冷概念的角度對液冷分類，可以先按照冷卻液直接接觸電子芯片，或是通過高導熱率固體導熱材料間接接觸電子芯片，分為兩大類，再按接觸形式、冷卻液類別、冷卻液是否相變進行梯次劃分。一般認為液冷形式可以概括為八種（見表1）。

表1 液冷實現方式分類表

3 數據中心場景對液冷應用的需求

與既有數據中心常用的風冷空調一樣，液冷的作用也是帶走服務器等IT 設備以及其他設備設施（如UPS 電池）所產生的熱量，使數據中心保持一個相對穩定、溫濕度適宜的環境。

首先，散熱需求是液冷技術發展的核心驅動力。在數據處理能力需求的快速增長下，電子芯片的集成度未來大概率的發展趨勢仍然會以倍速的方式增長。由此帶來功率密度和熱流密度的不斷增加。數據傳輸速度提高及使用便利性要求，將帶來設備集成度的不斷提高，綜合影響下，服務器等信息設備會有更高的散熱需求，相應地對運行環境要求日漸提高。為此，風冷形式需要配備更高轉速及更大直徑的風扇、更大體積的散熱通道，由此帶來巨大的風噪聲、對環境的熱影響，以及建設成本和運行成本的相應上升，液冷將具有更佳的性價比。

其次，能效管理政策推動液冷技術應用。數據中心行業關注液冷另一個重要原因是出于對國家及各地能效管理政策的考慮。國家和地方對于數據中心電能利用效率（PUE）的要求越來越高，使液冷進入數據中心行業的視野。最新施行的國家標準《數據中心能效限定值及能效等級》（GB 40879-2021）[2]要求電能比節能值需小于1.3，在全國大部分地區僅依靠風冷難以實現，需要液冷技術予以平衡。

第三，余熱回收的便利性或許成為數據中心應用液冷的推動力。采用液冷解決方案建設的液冷數據中心具有余熱品位相對較高、回收相對便利的特點。在液冷數據中心建設余熱回收工程是有效實現能源綜合利用、提高能源利用效率的重要途徑。目前已經有學者提出將大體量數據中心建成城市或工業園區熱源的設想。

4 液冷數據中心工程技術的發展

通過液冷方式將電子芯片運行時產生的熱量帶走，僅僅是數據中心冷卻過程的開始。電子芯片持續發熱，為了達成冷卻電子芯片的目的，圍繞不同的液冷方式，又發展出使液冷過程持續地、穩定地、可靠地運行下去的液冷數據中心工程技術。

液冷理念及實踐與風冷有所不同。具體而言就是散熱和冷卻概念存在細微差別：從高于室溫開始還是從低于室溫開始。為了更好地梳理液冷數據中心工程技術工作體系，總體上是將電子芯片視為源頭，以將電子芯片產生的熱量傳導到數據中心以外，從而實現信息設備穩定運行為目標。由此，將數據中心的液冷數據中心工程技術分為一次冷卻過程和二次冷卻過程。這一理念與傳統數據中心風冷一次側、二次側概念有所不同。

液冷數據中心工程技術一次冷卻過程，是對電子信息設備高熱流密度元件進行冷卻，將其發熱量導出至機柜外的過程，也可稱其為一次冷卻（散熱）、初冷卻、內冷卻、內循環冷卻過程。一次冷卻過程是嚴格意義上的液冷過程，為實現該過程，工程上一般由芯片端液冷設備或部件、冷量分配單元（CDU）、冷媒分配器、管路等構成環路，也稱為一次冷卻環路。冷量分配單元（CDU）內含泵和熱交換器，為一次冷卻過程的冷卻液提供循環動力，具體循環過程是冷量分配單元（CDU）通過管路向芯片端液冷設備或部件輸送一定溫度和流量的冷卻液。通過直接接觸電子芯片或通過金屬等具有高導熱率材料間接接觸電子芯片的方式，冷卻液與芯片進行熱交換，利用液體相比氣體更高的比熱容，由冷卻液快速帶走電子芯片產生熱量，實現對芯片冷卻。受熱后的高溫冷卻液或冷卻液蒸汽，通過管路流回冷量分配單元（CDU），與二次冷媒進行換熱。冷卻后的低溫冷卻液被冷量分配單元（CDU）驅動，流回芯片端液冷設備或部件，完成一個完整的循環。一次冷卻過程常用的冷卻液有乙二醇溶液、丙二醇溶液、去離子水等水基冷卻工質，也有采用以氟化物作為冷卻工質的方案，但目前不同液冷解決方案對冷卻工質的物性要求差異較大。

冷量分配單元（CDU）是被普遍應用的設備，一種典型的冷量分配單元（CDU）架構形式如圖1 所示。除了為一次冷卻過程的冷卻液提供循環動力和熱交換外，該設備還肩負著制冷量（而不僅是冷卻液流量）分配的作用，所以其一般還應具備如下功能：

圖1 一種典型的冷量分配單元（CDU）架構形式

①具備溫度和流量控制功能，通過溫度、流量傳感器，實現對一次冷卻過程中冷卻液溫度和流量的動態監控。并根據內建模型動態調節冷卻液的溫度、冷卻液的流量或供液壓力，為一次冷卻過程提供足夠的冷卻能力，同時避免一次冷卻環路的凝露。

②確保一次冷卻過程冷卻液與二次冷媒的物理隔離。

③對冷卻液進行在線過濾或旁路過濾。

④支持網絡管理。

液冷數據中心工程技術二次冷卻過程，是將一次冷卻過程導出的熱量導出室外的過程，也可稱其為再冷卻、外冷卻、外循環冷卻、再冷卻、散熱。二次冷卻過程的冷媒可以是空氣，也可以是冷卻水、水基溶液（如：乙二醇水溶液、丙三醇水溶液等）、制冷劑等液體，可統稱為二次冷媒。二次冷卻過程的冷媒是空氣時，二次冷卻過程可以視同為常規的數據中心機房內冷卻過程。二次冷卻過程的冷媒是二次冷媒時，二次冷媒循環的過程也被稱為二次冷卻環路。

一次冷卻環路與二次冷卻環路之間通過冷量分配單元（CDU）進行熱交換。二次冷媒在冷量分配單元（CDU）內與冷卻液進行熱交換后，高溫的二次冷媒在循環泵驅動下進入冷源或熱回收設備等冷卻裝置，將攜帶的熱量傳遞到環境中或進行回收利用，冷卻后的二次冷媒重新流回熱交換器內，完成一個完整的循環。冷源可以是冷卻塔、干式冷卻器、制冷機組等。由于一次冷卻過程對于二次冷媒進入換熱器的入口溫度要求可以提高到30℃及以上，冷源可以完全依托自然冷源運行，這也是液冷工程技術可以實現較為理想的電能利用效率（PUE）的原理所在。一個典型的液冷工程技術示意圖如圖2所示。

圖2 液冷工程技術示意圖

也有的液冷工程技術采用一次冷卻過程設計，即直接由冷卻液攜帶熱量并傳遞到環境中去。但一般情況下一次冷卻過程對冷卻液純度等物理指標要求較高，所使用的冷卻液成本較高，如管路過長，整體經濟性會受到較大影響。所以一次冷卻過程設計時最好采用緊湊型方案。

5 液冷數據中心發展趨勢探討

總體來看，液冷數據中心未來發展仍具有不確定性。首先，液冷技術的推廣驅動力將仍然以信息設備的冷卻（散熱）需求為主。但這是建立在對電子芯片未來發展趨勢預測，以及液冷技術的性價比逐步建立起對風冷技術的優勢基礎上。但未來仍然存在液冷成本居高不下，倒推芯片設計走上另外發展道路以降低散熱冷卻需求的可能性。其次，液冷數據中心的建設及使用形式與常規風冷數據中心有較大的區別。液冷數據中心的特點是信息設備與基礎設施高度耦合，從技術原理及可靠性保障上來講，基本不具備達到常規風冷數據中心一樣解耦水平的可能性，所以各技術解決方案、各設備廠商之間均基本相互獨立。數據中心業主大概率會被某一技術解決方案提供廠家深度綁定。液冷技術在數據中心的應用可以說是在顛覆原有常規風冷數據中心的商業模式、建設模式、產業模式基礎上發展。傳統的機柜租賃業務基本無法應用于液冷數據中心。這對于液冷技術的進一步推廣形成了巨大的阻礙。第三，液冷數據中心的可靠性仍有待驗證，雖然目前液冷數據中心解決方案提供方提出了增強可靠性檢驗測試、增加冷卻液泄漏檢測報警裝置等解決方式，但對于機柜內液冷環路發生泄漏導致信息設備損壞的擔憂仍是業界廣泛關注的話題。

以上不確定性的解決，又深度依賴應用的規模。要解決這看似無解的難題，一家獨大、上下游通吃，已經被無數次證明違背經濟發展規律。歷史無數次證明，誰能夠最先建立起分工與合作的產業鏈和生態圈，誰就更容易在競爭中勝出。在沒有找到可以解耦信息設備與基礎設施的技術路徑之前，標準化不會是解耦問題的靈丹妙藥，也不會是限制和打擊競爭對手的有效手段。但是通過標準化作為工具，不斷在求同存異基礎上推進解耦，有效分享經驗，推動制造、服務各環節的分離，從而實現精細化與專業化，進而降低總體應用成本，在應用的檢驗中不斷改進、提高，逐步形成液冷規模不斷擴大的正循環，或許是液冷技術發展的必由之路。

6 結語

各個液冷形式根據服務器的適配、冷卻液的類別、液冷的工作溫度等等因素，液冷數據中心工程技術也相對有所不同。目前各技術路線下的工程技術均在發展、定型的過程之中，目前還沒有一個業界公認的完美的技術路線，也沒有業界公認的各技術路線具體適用的細分領域。如何尋求最終的確定性，將有賴于液冷數據中心工程技術的經濟性、可靠性、可維修性等，在不斷進行應用實踐中尋找最優解。