ARM架構高性能計算機系統部署測試分析與應用

張恩紅，周欽強，麥博儒，王楠，田群

（1.廣東省氣象數據中心，廣東廣州 510080；2.中國氣象局廣州熱帶海洋氣象研究所，廣東廣州 510640）

數值預報在天氣預報的分析與制作中具有不可或缺的地位，很多學者在數值預報的展示、應用等方面做了眾多研究，為天氣預報準度和精度的提升做了很大貢獻［1-3］。高性能計算機（High Performance Computing，HPC）在氣象行業的數值預報發展中起到重要作用［4-5］，隨著HPC性能的提高，數值預報精度逐年在提升［6-8］。中國氣象局在“十四五”規劃中指出，要建設足夠大算力資源以滿足國產化的數值預報的需求，同時，還強調算力支撐平臺全面國產化替代策略，提升氣象業務應用支撐環境自主可控水平［9］。當前HPC大部分是國外芯片。受到國外核心技術輸出的約束，無論是天河Ⅱ號，還是自建的IBM HPC系統，其維護成本高、難度大、周期長，對業務影響與日俱增。廣東省氣象局使用的HPC算力主要來自租賃天河Ⅱ號的資源，受到氣象模式對巨大數據的需求量影響，僅僅能支撐基礎業務，模式的發展受到嚴重的制約，無法得到滿足。深圳超算中心，受到網絡帶寬成本的約束，暫時無法支持異地氣象業務的應用。

近幾年，很多國家和廠家開始提供ARM（Advanced RISC Machine，一款微處理器）芯片，生產和建設ARM 架構的高性能計算機。截至2022年5月，世界排名第2的日本富岳高性能計算機就是ARM架構，并且當前ARM架構服務器的市場增長率超過31%，而其他產品的市場增長率只有7%。近2年，很多行業開始建設基于ARM架構的HPC［10-11］，華為HPC在交通、制造、科學計算、風電等行業得到很大應用。但是，在氣象行業還沒有成功的案例。為了達到自主可控，節能環保，廣東省氣象局首次結合氣象行業應用的需求，建設了一套基于鯤鵬芯片的ARM架構HPC系統，實現HPC計算資源自主可控、綠色環保目的，達到碳源匯、環境氣象和CMA-TRAMS等數值預報模式運算需求，為氣象高質量發展保駕護航。隨后，浙江省氣象局、中國氣象局也逐漸開始建設ARM的HPC系統，而且規模也越來越大。

1 ARM架構HPC系統設計

純國產HPC是指整個系統的核心設備均為國產化設備，包括管理節點、計算節點、網絡、存儲等設備。為了實現HPC的高可用、快速計算的特性，并且達到低能耗的需求，服務器采用ARM架構的芯片，無疑是最好的選擇，網絡設備采用千兆以太網、萬兆接入網和10萬兆RoCE網絡混合模式，既高效又節約。圖1是系統網絡邏輯架構示意圖。

圖1 HPC邏輯架構示意圖

在管理節點設計上，采用2+2的方式，即2個系統管理節點，設計為雙機互為備份功能。2個用戶登入管理節點，設計為并列結構，兩個節點的功能一致，但可以對用戶進行分流管理，同時也可以互相備份功能，可以避免單點故障問題。該設計支持橫向擴展，即當集群節點增加，用戶數量增加，系統管理節點可以輕松的橫向增加，用戶登入節點也可以橫向擴容。

在網絡部署上，整個系統分為3個部分，包括帶外管理、業務管理和快速計算網絡。根據網絡的功能特點，按需設計，既保證業務需求，又節約環保。帶外管理業務用于對硬件系統的檢查、監控與維護，對帶寬需求不高，采用千兆網絡；業務管理網絡，需要跟HPC以外的業務系統有數據交換業務，對帶寬和性能有較高的需求，采用萬兆網絡，即可保證業務及時傳輸；快速計算網絡，采用100 G的RoCE網絡，該網絡是專門為HPC并行文件系統服務，用于實現并行計算時數據的快速交換。

在系統安全設計上，全網設備均配置了兩條鏈路，實現一主一備配置，可以實時動態切換，以防出現網絡層面的單點故障，導致系統性崩潰。

在存儲資源上，配置了高性能的并行文件系統和大容量的NAS數據共享存儲，并行文件系統用于數據并行計算和過程文件的存放，而NAS系統作為加工產品的存儲與歸檔服務。

2 性能指標測試分析

HPC對整體性能要求較高，在基礎建設完成之后，首先需要做全面的性能測試。采用4個管理節點，72個計算節點，1套并行文件系統、1套大容量的NAS存儲和3層網絡設備組成HPC。采用centos 7.6的操作系統，已安裝畢昇編譯器、Hyper MPI的軟件環境。魏敏等［12］和孫婧等［13］、趙春燕等［14］對高性能計算系統性能測試提出了各自的方法，取得很好的評估效果。采用OSU、STREAM、IOR、HPL等專業測試工具對系統各個性能指標進行測試。

2.1 RoCE網絡的帶寬和延時測試

在HPC設計時，要求使用8850交換機單跳最低時延大概在1.8～2μs。帶寬100 G網卡的帶寬一般在95 GB／s（或12 GB／s左右），在測試時，時延判定以小數據包傳輸速率為準，帶寬大小的判定以大數據包傳輸為準。

使用OSU對并行文件系統的測試，在傳輸文件內容大小超過4 MB時，網絡傳輸帶寬基本在12 GB／s以上，與設備設計參數相符。

在交換數據包小于128字節時，延遲均小于2μs，在小于1 kB的前提下，延遲測試基本小于3μs，滿足高性能計算的數據交換速度要求，滿足設計的指標要求。

2.2 STREAM測試計算節點內存讀寫性能

在HPC設計時，要求當前配置下的集群服務器內存訪問速度大于230 GB／s。

該測試環境為對一個長度為10億的數組進行測試，獲得內存帶寬的性能，主要有4種數組的運算，分別是數組的復制（Copy）、數組的尺度變換（Scale）、數組的矢量求和（Add）、數組的復合矢量求和（Triad），每次操作都需要2次以上的內存讀寫，從測試結果看都超過了230 GB／s。

2.3 IOR測試存儲的讀寫性能

在HPC設計時，要求使用的內存單節點1 MB帶寬讀寫，文件系統讀帶寬≥2.3 GB／s，寫帶寬≥3.6 GB／s。

在對HPC并行文件系統的讀寫性能測試時，測得讀的速度在3.1 GB／s以上，寫的速度為4.2 GB／s以上，兩個指標都大于設計指標值。

2.4 HPL測試計算節點的計算性能

算力指標衡量計算系統的雙精度浮點計算性能，經驗值一般在85%以上（實測計算能力÷理論計算能力×100%）。

使用算力測試工具HPL分別對集群中1～72個節點做不同數量節點算力進行測試，測試結果表明，不同的節點數的算力測試都超過理論值的89%，超過了系統設計的指標值（表1）。

表1 不同節點數算力值實測結果1）

從以上測試結果表明，該系統的整體架構和設備性能基本達到各種設備的設計理論值，說明系統的連通性、協調性、一致性均已到達預期，可以投入業務使用。表2匯總了上述指標測試結果，從測試結果與設計指標的對比可以看出，所有指標均滿足設計要求。

表2 各種性能測試匯總

3 系統業務試用

業務試用時部署了幾個典型的數值預報模式，包括碳源匯、環境氣象和GRAPES模式的CMA-TRAMS等模式。對每個模式進行功能調試和性能對比測試。

3.1 碳源匯模式

碳源匯模式使用WRF-GHG驅動，100×92格點，每個周期積分120 h，每1 h輸出。使用4月份的輸入數據，共運行9個周期。通過對Hybrid算法和數學庫優化，編譯使用鯤鵬數學庫，能明顯減低數學函數熱點，總體性能約提升3%。選取一個周期在自建系統平臺主程序拓展性的運行時長和線性度，如圖2所示，從圖2可以看出，模式運算并不是節點數越多，計算性能越高，結果表明雙碳模式在8個節點時，性能就達到最優。利用該方案，共耗時1 190min完成9個周期的計算。編譯選項優化后與初始配置相比，性能提升20%左右。

圖2 碳源匯模式性能測試

3.2 GRAPES模式的測試

基于國產GRAPES模式的CMA-TRAMS軟件9 km模式使用ECM驅動，1 001×601格點，積分168 h，每6 h輸出。天河平臺上使用20節點，用時202 min。自建系統平臺使用20節點，用時73.6 min。同等節點數下自建系統平臺性能約是原有天河平臺的2.74倍。在同等算力下，自建系統平臺采用6個節點，耗時195 min，功耗2 700 W；天河平臺的20個節點，耗時202 min，功耗6 000W。在效率上，兩者相當；在能耗上，自建系統有明顯的優勢，節能55%，充分體現出ARM架構綠色的特征。

分別計算自建系統和天河平臺的預報結果與EC分析場數據的平均絕對誤差（MAE），然后比較兩個平臺MAE的大小，數值越小說明與EC分析場數據越接近。

相對誤差計算方法

在圖3和圖4中，0.01表示自建系統誤差比天河高1%，-0.01則為自建系統誤差比天河低1%。通過對比相對誤差可以發現，方案調優之前，無論是位勢高度，還是風速的預報，在6 000 m以下的低空范圍，自建系統的誤差遠比天河的大；6 000 m以上，互有偏差。使用CU調整方案后，再分別對比自建系統平臺、天河平臺的MAE，發現天河跟自建系統平臺結果非常接近，自建系統平臺的計算精度滿足要求。

圖3 調整前（a）和調整后（b）的24 h位勢高度預報的MAE

圖4 調整前（a）和調整后（b）的24 h風速預報的MAE

3.3 環境氣象模式的測試

環境氣象模式使用CMAQ驅動，兩層嵌套的區域格點數分別為283×184、250×190，預報168 h。自建系統平臺上使用4節點，完整業務流程用時145 h。

通過對Hybrid算法和數學庫優化，編譯選項優化后與初始配置相比，性能提升5%左右。在編譯時候，使用自建系統數學庫，能明顯減低數學函數熱點，提升總體性能約1%。

開展了多CPU并行運算的計算效率評估。分別開展了60個CPU與120個CPU的模擬實驗，得出在使用相同CPU的情況下，自建系統的計算效率高于天河二號。對比結果見表3。

表3 天河二號和自建系統運行耗時對比評估

從表3可以看出，60個CPU和120個CPU的測試場景，自建系統的耗時均小于天河Ⅱ號，效率提升24%以上。

經過對服務器、存儲和網絡等設備的綜合選型和評估，再結合HPC的特征，采用ARM架構的服務器、3層不同級別的網絡配置和高速與大容量存儲的混合設計，構建了一套既節能又性價比高的超算系統。通過應用測試，完成碳源匯、環境和GRAPES模式的遷移，解決了X86架構到ARM架構的技術差異性問題，解決了ARM運行環境的生態支撐庫不足的問題。對比自建的HPC系統與天河Ⅱ號系統，模式的輸出結果及運行性能均達到或超過現在的業務需求。