國家電網某機房末端斷水溫升數值模擬與實測對比驗證

張樂豐 鄭品迪 張林鋒 黃冬梅 楊 超 韓澤磊 李 揚 林 楠 宋 杰 賈 濤 馮 睿

(1.國家電網有限公司信息通信分公司,北京;2.北京瑞思博創科技有限公司,北京)

0 引言

因冷卻故障引起的機房溫升可能導致災難性的事件,如果IT設備因進風溫度過高而宕機,則有可能嚴重影響人民群眾、企事業單位的日常生產生活。采用CFD技術預測數據中心機柜進風溫度有眾多應用[1-2],包括瞬態溫升模擬[3]及機房溫升研究,采用的研究方法包括數值模擬、實測或兩者的結合。

在數值模擬方面,傅烈虎應用6SigmaDC軟件對1個100 m2的數據機房進行了三維建模和CFD仿真,模擬了冷卻失效后的機房溫升情況,得出了功率密度小于10 kW/機柜時溫升速率與功率密度基本呈線性關系的結論[4];馬昕宇等人建立了一種適用于瞬態CFD模擬的服務器機架簡化模型,分析了服務器功率上升、空調冷卻失效、供冷恢復后及降低送風溫度等不同工況下數據機房內熱環境的瞬態變化過程,結果表明,機柜功率為6 kW時,平均機架出口溫度將在7 min內超過45 ℃[5];秦冰月等人根據機柜通道布局,空調回風溫度設定值,空調失效臺數、失效部件等條件,對7種場景進行了冷卻系統失效后的機房溫升分析,結果表明7種場景下設備達到極限溫度45 ℃的時間均超過6 min[6]。

在實測方面,呂珂等人通過實驗對3 kW及5 kW的機柜進行了溫升測試,分析了無連續制冷的風險,結果表明,對于5 kW機柜,冷卻失效15 min時服務器出口溫度達到42 ℃[7];朱述振等人對華東地區某數據中心機房IT設備滿載運行、關閉外部冷源工況進行了溫升測試,得到了不同設定條件下的溫升及溫降時間,結果表明:機房平均溫度從24.6 ℃升高到27.0 ℃,2臺空調運行情況下用時7 min,4臺空調運行情況下用時10 min;從最高溫度降到26.0 ℃,2臺空調運行情況下用時10 min,4臺空調運行情況下用時6 min[8]。

張明蕊進行了實測與模擬相結合的研究,局限是溫升研究對象為1個小型數據中心,只有10個機柜,采用直膨式地板下送風系統,對冷通道封閉與否時的溫度梯度進行了對比分析,結果表明不封閉冷通道時機柜高度方向上的溫度梯度大于封閉冷通道時[9]。

本文對國家電網某近500 m2、采用行級水冷末端的機房進行實測與模擬對比研究,基于CFD技術進行機柜級的數值模擬,實現末端空調水閥從關閉到開啟整個過程的模擬分析,機柜級模擬考慮了機柜內部的循環氣流、IT設備的具體安裝位置,以及IT設備內部風機受負載和進風溫度影響下的風量輸出控制。相較于先前研究,本文對機房實際運行狀態的模擬與實測對比研究更具針對性和普遍性。

1 物理模型與測試方案

1.1 物理模型描述

機房采用行級送風系統,一共8個微模塊,封閉冷通道;建筑面積486.8 m2,層高5.5 m,無架高地板;IT設備總負載為964 kW,空調末端總冷量、總風量分別為2 080 kW、320 000 m3/h,冗余總冷量與總風量分別為1 560 kW、240 000 m3/h。

機房三維模型如圖1所示。機房設備與溫度傳感器平面布置見圖2。

圖1 機房三維模型

注:表示行級空調,AA為編號;表示關閉的行級空調,JB為編號;表示機柜,JA為編號;表示溫度傳感器,C-JG為編號;H-表示熱通道的傳感器;C-表示冷通道的傳感器。

機柜三維模型見圖3。單臺機柜功耗為4.82 kW,200臺,高204.47 cm(46 u),封閉空插槽,前后門為網孔結構,開孔率為64%。頂板有6個線纜開孔,底板有2個線纜開孔,高17.78 cm(4 u)的IT設備安裝在機柜內高97.79 cm(22 u)處。

圖3 機柜三維模型

IT設備的三維模型與流量設置見圖4。IT設備功耗為4.82 kW,長600 mm、寬450 mm。IT設備內部風機的流量根據EnergyStar標準設置,考慮了不同負載、不同IT設備進風溫度下風機的風量輸出控制。

圖4 IT設備三維模型與內部風機流量控制

空調末端三維模型見圖5。水冷空調末端,32臺,單臺顯冷量為65 kW,風量為10 000 m3/h,前送風尺寸為0.50 m×1.90 m,后回風尺寸為0.55 m×2.00 m。

圖5 空調末端三維模型

按照現場運行數據設置空調末端的送回風溫度,平均送風溫度為21.65 ℃,平均回風溫度為27.27 ℃?？照{末端送回風溫度控制值見圖6。

圖6 空調末端送回風溫度控制值

其他邊界條件見表1。

表1 其他邊界條件

1.2 測試方案

當前機房的冷水系統采用雙環狀管網,每個環狀管網都有總可控閥門,末端都有控制水流量的電磁閥,關閉單側供水閥就是關閉單個環狀管網,另一個環狀管網承擔整個機房負載。

本文建模對象為1個機房包間,模擬時只需考慮末端風扇與末端電磁閥的狀態。本文針對斷水工況進行分析,所以末端風機需要開啟,而末端水路電磁閥則關閉。

冷熱通道測試設備為溫濕度記錄儀,型號為ONSET UN100-003。冷通道布置16個溫濕度記錄儀,熱通道布置10個溫濕度記錄儀,距架高地板高度為1.2 m。多個通道全部同時測試,用磁貼將溫濕度記錄儀貼在機柜前門上,定時自動記錄。

溫濕度記錄儀技術參數見表2。

表2 溫濕度記錄儀技術參數

2 實測與模擬結果分析

2.1 斷水極限溫升初始值

在進行瞬態模擬之前,需要以穩態計算結果作為瞬態模擬的初始值,所以本節將分析測試數據的初始值與穩態數值模擬結果。測試時間為15:05—15:45,初始時間段為15:05—15:13。

2.1.1測試數據驗證與誤差分析

1) 冷通道測試數據分析。

冷通道溫升現場測試結果見圖7。圖中傳感器編號與機柜的編號相對應,選取圖中黑線左側區域為冷通道斷水初始時間段,選取平均值作為初始值。

圖7 冷通道斷水溫升實測曲線

表3顯示了冷通道斷水初始時間段內溫度傳感器的測量值,其中最大差值為傳感器MC的0.81 ℃,偏差為3.66%。

表3 冷通道斷水初始時間段內溫度統計分析

冷通道測試與瞬態模擬時間段如表4所示,時間步長為10 s(與傳感器采樣周期相同)。從斷水開始到斷水結束溫升最大的傳感器(KC)的溫升率為3.97 ℃/min。

表4 冷通道瞬態模擬結果

2) 熱通道測試數據分析。

熱通道溫升現場測試結果見圖8。圖中傳感器編號與機柜的編號相對應。選取圖中黑線左側區域為熱通道斷水初始時間段,選取平均值作為初始值。

圖8 熱通道斷水溫升實測溫度

表5顯示了熱通道斷水初始時間段內溫度傳感器的測量值,其中最大差值為傳感器OF的0.66 ℃,偏差為1.45%。

表5 熱通道斷水初始時間段內溫度統計分析

熱通道測試與瞬態模擬時間段如表6所示,時間步長為10 s(與傳感器采樣周期相同)。從斷水開始到斷水結束溫升最大的傳感器(PE)的溫升率為1.13 ℃/min。

表6 熱通道瞬態模擬結果

2.1.2數值模擬穩態計算結果與誤差分析

冷熱通道模擬與測試數據的對比見圖9。圖中AC～PH為冷通道溫度傳感器,AF～PE為熱通道溫度傳感器。由圖9可見:冷通道16個傳感器模擬與實測的溫度變化趨勢一致,模擬平均誤差為3.1%,最大誤差為CC傳感器的7.73%;熱通道模擬與測試數據平均誤差為3.6%,最大誤差為KF傳感器的8.19%。

圖9 冷熱通道模擬與測試數據的對比

IT設備平均進風溫度分布見圖10,最低值為17.9 ℃,最高值為28.52 ℃。

圖10 IT設備平均進風溫度分布

圖11為高進風溫度IT設備入口處的流線圖,可以看出,機柜內部存在短路氣流,此時IT設備入口對應的機柜前門溫度為24.71 ℃,與IT設備的進風溫度相比,差異為3.81 ℃。

圖11 高進風溫度IT設備入口處的流線圖

2.2 瞬態模擬結果與安全運行策略分析

2.2.1瞬態模擬結果與實測對比分析

冷通道傳感器瞬態模擬結果與實測結果對比見圖12。從圖中可見,冷通道溫度變化趨勢整體一致。

圖12 冷通道傳感器瞬態模擬結果與實測結果對比

圖13顯示了冷通道所有傳感器的平均誤差與最大誤差?？梢钥闯?所有傳感器的平均誤差的最大值為13.88%,平均值為9.31%;所有傳感器的最大誤差的最大值為34.76%,平均值為19.33%。

圖13 冷通道溫度傳感器誤差

熱通道傳感器瞬態模擬結果與實測結果的對比見圖14。從圖中可見,熱通道溫度變化趨勢整體一致。

圖14 熱通道傳感器瞬態模擬結果與實測結果對比

圖15顯示了熱通道所有傳感器的平均誤差與最大誤差?？梢钥闯?所有傳感器的平均誤差的最大值為12.27%,平均值為7.05%;所有傳感器的最大誤差的最大值為21.7%,平均值為15.6%。

圖15 熱通道溫度傳感器誤差

綜上,冷熱通道逐時誤差超過20%的共有26個點,占比為1.37%,且主要為IC、PE和AF 3個傳感器,瞬態模擬誤差整體在20%之內。

圖16顯示了機柜進風溫度最高時IT設備入口平均進風溫度分布,最低值為27.7 ℃,最高值為37.9 ℃,IT設備最高進風溫度對應的機柜前門溫度為33.82 ℃,與IT設備的進風溫度相比,差異為4.08 ℃。

圖16 IT設備平均進風溫度分布(當前模擬時間180 s,總模擬時間720 s)

2.2.2空調失效時IT設備安全運行策略分析

通過上面的分析可以看出,為保證空調失效時IT設備能夠安全運行,數值模擬可提供如下幫助:

1) 對機房熱環境有更全面的了解,提高分析顆粒度。

通過布置的傳感器只能了解機房內26個位置的溫度情況,而模擬能夠知道整個機房任意高度處的溫度分布情況。

本文物理模型的分析顆粒度為詳細的機柜+機柜內安裝的IT設備,可以捕捉機柜內部的空氣流動,以及IT設備進口的溫度分布情況。

2) 優化空調末端控制溫度。

總有一個合適的溫度控制值可以平衡IT設備的運行安全與機房能效,IT設備的安全運行不能單純依靠降低控制溫度來實現,如果局部氣流組織不合理,存在短路氣流,降低控制溫度不但不能徹底解決熱點問題,反而還會增加機房的能耗。通過數值模擬可以找到合適的控制溫度,達到節能與安全兼顧的目的。

3) 優化空調末端冗余方式。

通過數值模擬可以確定機房不同負載率下空調的運行數量和位置,保證機房良好的熱環境,并且保證機組高效運行。

4) 量化機柜、封閉通道密封性對IT設備進風溫度的影響。

通過數值模擬得到的流線圖、溫度圖,可以更直觀地加強運維人員對機柜泄漏、封閉通道泄漏對IT設備影響的了解。

綜上,針對當前空調失效情況下出現的問題(機柜前門傳感器溫度與IT設備進風溫度的差異大概為4 ℃),本文提出的優化方案為:控制空調的送風溫度為20 ℃,提高機柜密封性,空調采用熱備份方案。

優化后,機柜進風溫度最高時,IT設備入口處的平均進風溫度見圖17,溫度最低值為26.4 ℃,最高值為30.7 ℃,比優化前降低了7.2 ℃,滿足GB 50174—2017《數據中心設計規范》允許的溫度上限(32 ℃)。

圖17 優化后IT設備平均進風溫度分布(當前模擬時間180 s,總模擬時間720 s)

優化后冷、熱通道傳感器測得的瞬態溫度變化如圖18所示,冷通道傳感器測得的溫度(虛線所示)全部在32 ℃以下,最高值為29.35 ℃,比IT設備的最高進風溫度低1.35 ℃,說明機柜內部短路熱空氣溫度已經顯著降低。

圖18 優化后冷、熱通道溫升曲線

3 結論

本文完成了國家電網某機房末端空調水閥從關閉到開啟整個過程的實測與數值模擬對比研究,從斷水開始到斷水結束冷、熱通道傳感器的最大溫升率的測試結果分別為3.97、1.13 ℃/min。

穩態模擬結果表明,冷、熱通道機柜前門上溫度傳感器的模擬平均誤差分別為3.10%、3.60%,最大誤差分別為7.73%、8.19%,誤差整體在10%之內。

瞬態模擬結果表明:冷、熱通道逐時誤差超過20%的共26個點,占比為1.37%,瞬態模擬誤差整體在20%之內;所有冷、熱通道傳感器的平均誤差的最大值和平均值冷通道分別為13.88%、9.31%,熱通道分別為12.27%、7.05%。

分析瞬態模擬結果可知:機柜進風溫度最高時IT設備入口處的平均進風溫度最高值為37.9 ℃,對應機柜前門溫度為33.82 ℃,比IT設備的進風溫度低4.08 ℃,IT設備進風溫度高的原因為機柜內部的熱氣流短路。

優化后,機柜進風溫度最高時IT設備入口處的平均進風溫度最低值為26.4 ℃,最高值為30.7 ℃,比優化前降低7.2 ℃,冷通道傳感器測得的溫度全部在32 ℃以下,最高值為29.35 ℃。數值模擬可以有效預測機房IT設備的溫升情況,減少機房溫升災難事件的發生。