一種基于兆芯的分布式計算與安全存儲系統的研究

深圳市億威爾信息技術股份有限公司 孫大勇 王 鵬 陳德彬 徐安舒 張 軍

分布式系統是有一組通過通訊協議通信、為了完成共同的任務而協調工作的計算機節點組成的系統，分布式系統的出現是為了用廉價的、普通的機器完成單個計算機無法完成的計算、存儲任務。分布式系統難于理解、設計、構建和管理，它們比單個機器數倍還要多的變量引入到設計中，使應用程序的根源問題更難發現，面臨著諸多的挑戰：異構的機器與網絡，節點故障容災性，不可靠的網絡，計算和存儲的一致性，數據存儲的可用性，系統的高性能，系統的擴展性等。

1 系統設計

基于分布式式系統面臨的一系列挑戰，本文基于兆芯的自主可控分布式計算與安全存儲系統，研究采用由上層應用軟件、中間件和底層硬件基礎設施組成。上層應用和中間件為主流的分布式應用架構，底層硬件基礎設備包括計算節點、存儲節點、管理節點、網絡交換節點和UPS電源、線纜等附件。系統組成如圖1所示。

圖1 分布式系統組成框圖

構建這樣可重構、高計算性能、高實時性、低延遲大數據量的綜合計算和存儲系統，是對基礎軟件、中間件、管理軟件及應用軟件的整合。標準化的接口兼容主流的分布式計算框架和云計算虛擬化應用，軟件架構圖如圖2所示。

圖2 軟件架構圖

所支持的操作系統有：Windows Server、Suse、RedHat/CentOS/Vmware/銀河麒麟、中標麒麟等主流國內外服務器OS。中間件包括通信中間件、計算中間件、數據庫中間件、分布式架構軟件、虛擬化套件等。應用軟件可根據客戶需求預裝。

硬件采用4U機箱和刀片節點形態，包括24個支持熱插拔的計算/存儲節點、2個主備網絡接口節點，2個主備管理節點，4個電源模塊和8個風扇模塊。建立兩個計算集群，在兩個計算集群中構建8個x86內核，通過內部主機互連結構，以連接芯片組和處理器集群，采用安全哈希算法SHA-1，SHA-256和加密算法SM3，SMS4很大程度上增強了安全保密性能支持能力；而且該平臺支持硬件虛擬化，可以同時操作不同的內核，通過不同等級的指令緩存和硬件預取，使其設備間的交換傳輸速率比原來提升了兩倍以上，可達到1000Mb/s。該系統原來的單通道支持模式現在變為單雙通道同時支持，其通道內存容量可達到64GB；在該平臺下采用支持C0～C4的增強型省電裝置和支持p態轉換，大大降低了同等應用場景整機能耗；同時該系統平臺增加了熱檢測和熱保護功能，可實時監控可監控管理性能；其在處理2D和3D圖形方面平均無故障時間可近乎消除，通過采用完全國產CPU和加密算法和哈希算法，大大增強了安全保密性能支持能力。

硬件平臺均采用兆芯CPU解決方案。開勝KH-30000系列8核處理器是兆芯自主研發的最新一代服務器通用X86 SOC處理器產品，主頻2.7GHZ，國內率先采用16nm CMOS工藝制程工藝，兼容最新的X86指令集，可支持64位系統以及CPU和IO硬件虛擬化技術。同時支持SM3/SM4國密算法，可提供硬件級別的數據加密保護，支持CPU雙路互連大大提高計算密度。主要面向服務器和存儲應用領域。

ZX-200 IO擴展芯片是兆芯自主研發德新一代、高性能IO擴展芯片，可擴展PCIE2.0，USB3.0/2.0，SATA3，GNIC等服務器通用接口。

計算/存儲節點采用開勝KH-37800D 2路互連方案，支持4通道DDR4 ECC UDIMM/RDIMM，單節點最大內存容量128GB。搭配ZX-200擴展芯片。支持配置2塊3.5寸HDD或者4塊2.5寸HDD/SSD。板載GE管理網卡和業務網卡。板載BMC管理芯片，支持通用的IPMI協議，實現節點的本地實時狀態監控、管理和遠程管理維護功能。

采用分布式計算和存儲算法，將應用計算或存儲的任務分割成一個個小任務，分布到各計算節點與存儲處理單元節點上，由計算節點與存儲處理單元節點完成各自對應的任務后，再匯總整合結果，得到完成的計算處理結果。分布式計算原只用于大型超算中心。但由于技術的發展與生產能力的提高，在小型的服務器也以刀片節點的方式，達到分布式節點的要求，實現小型整機或區域服務器實現分布式計算和安全存儲系統的應用，是大型應用集群框架的小型化實現。

2 自主可控分布式計算與安全存儲系統

本文所研究的基于兆芯的自主可控分布式計算與安全存儲系統，使用國產CPU實現，自主可控；兼容性高可100%替換原X86計算機，支持主流應用如WPS，畫圖等應用程序，測試無兼容性問題；最大容量為單機箱768TB，可橫向擴展擴容；節點數可達24節點；增強的可監控管理性能，支持整機CPU/風扇/電源等部件可監控管理，支持遠程監控管理；可支持并行計算可構建高性能計算機集群；設備間數據交換傳輸速率不小于10Gbps；整機平均無故障時間（MTBF）≥5000h；同等應用場景整機能耗降低25%；增強安全保密性能，支持IC卡/指紋等保密開機模式，支持設備間的全加密聯網等。