市級氣象數據級雙活系統設計與實現

胡利軍，楊 豪，姚浩立

(1.寧波市氣象網絡與裝備保障中心，浙江 寧波 315012；2.浙江省氣象信息網絡中心，浙江 杭州 310017)

0 引 言

隨著IT新技術的蓬勃發展和大數據技術在各行各業的廣泛應用，數據中心已成為不可或缺的重要工具[1]，而雙活數據中心技術也因而逐漸得到應用，大量的數據也因為在業務上得到充分使用成為寶貴的財富。經過多年氣象現代化項目的建設，寧波氣象事業得到了長足的發展，數據中心的規模經過多年積累也初見規模。由于經歷了十多年來分批次擴充建設，市級數據中心內各種架構的服務器、各種型號的存儲也數量眾多，繼之而來的是管理難度的增大，資源的煙囪化使用。各類計算資源、存儲資源使用率低下，而多種資料使用不及時、不充分，這也是傳統的數據中心存在的弊端。當發生故障時，處理技術不足、響應時間過長，業務運行的連續性得不到保障，數據應用的可靠性也有待改進，大量的數據因系統架構的不同存放在不同的地方，數據因使用不便得不到充分地應用。業務運行中，在保障業務運行連續性的同時，充分考慮數據的高可用性，避免大量數據閑置在各服務器、數據庫中，形成信息資源的孤島。

為了使信息資源的可用性更高，同時保障數據使用的安全性，必須加強資源、數據的統一管理。為了確保數據中心數據的安全、業務的連續性，各種各樣的數據災備技術在各個行業得到廣泛應用。例如，劉坤燦[2]提出了基于區塊鏈的數據災備網絡，使用成熟的身份認證體系，構建弱中心化的交易系統，組建高冗余度的災備網絡。劉周[3]提出了云災備的技術架構，災備架構模式分成生產在云上、生產在云下或者混合架構幾種模式。楊涌[4]介紹了一種基于DHT的云災備模型，應用于廣域網的通用型數據級災備解決方案。張正欣[5]從數據中心的功能及特征入手，研究了容災恢復技術指標和容災系統的組成，并分析了數據容災中心的建設模式。

根據中國氣象局《氣象業務技術體制重點改革實施方案(2020-2022年)》文件精神，構建以氣象大數據云平臺為“云”、氣象業務系統為“端”的氣象業務技術體制，實現氣象大數據全集統籌管理，形成“一朵云、兩級部署、四級應用”的業務格局。而浙江省的氣象大數據云平臺是全國氣象大數據平臺的一個省級節點，部署在內網核心業務區，支撐著全省的氣象業務系統，并逐漸集聚來自市、縣兩級的各類氣象數據。以寧波市級氣象部門為例，氣象常規監測數據生產數據庫、主要業務平臺都開始逐漸往省級數據中心集聚。寧波市各類氣象觀測站網觀測數據已經或即將直接往省級數據中心中心端傳輸，進入氣象大數據云平臺，現有核心業務應用同樣將融入云平臺。

因此在數據災備設計上修改了原定的兩地三備的異地災備方案，改成了基于虛擬化、備份一體機等技術來實現市級氣象數據中心應用數據庫、主要業務系統平臺本地雙活。對市級氣象部門的業務系統、虛擬機、數據庫等提供本地備份保護，不斷提高現有IT設備的利用率、數據使用的安全性和業務運行的持續性，增強系統的抗風險能力。

1 系統設計方案

建設的寧波市級氣象監測預報預警支撐系統用于支撐寧波市、縣兩級氣象業務部門主要的業務運行，主要由虛擬化計算系統、FC數據存儲系統、備份系統三部分組成。虛擬化計算系統、存儲系統，通過安裝vMware虛擬化軟件，構建了多個服務器節點和一套共享存儲組成的虛擬化群集。兩臺存儲使用存儲虛擬化技術、陣列雙活Hypermetro技術經大二層網絡構成虛擬化的雙活存儲，邏輯上形成一臺存儲，在相連的上層應用服務器系統寫入數據時，相同的數據會同時存在兩個存儲中。

虛擬化計算和數據存儲系統主要用來承載來自內部網絡的各個業務系統。虛擬化計算系統采用共享資源池集群的方式，通過HA可以監控vSphere主機和虛擬機，實現虛擬機資源的管理。存儲系統中的磁盤陣列主要用于存儲各個業務部門各類業務系統中產生的大量數據，確保數據在使用、保存時的安全性和穩定性，同時為業務的高可用性提供基礎支撐[6-7]。

備份系統由兩臺型號為HUAWEI 2288H V5災備一體機組成，在災備一體機中安裝AnyBackup軟件，通過2臺萬兆交換機、2臺存儲交換機與刀片服務器和磁盤陣列的FC及iSCSI網絡相連。虛擬機采用網絡萬兆劃分VLAN的方式通過三層接口接入氣象業務網絡。數據的存儲功能在本系統中主要是由磁盤陣列來完成，存儲的實現主要由以下硬件組成，分別為8臺虛擬化服務器，2臺可擴展的磁盤陣列(各含兩個擴展柜)，2臺萬兆交換機(利舊)組成。其中24口的萬兆網絡交換機將磁盤陣列與各虛擬化服務器和2臺災備服務器連接起來，磁盤陣列上萬兆端口進行了捆綁以達到擴充網絡帶寬和端口故障冗余的目的。8臺虛擬化服務器和2臺備份服務器均放置于市級氣象部門數據中心，VMware vSphere 6.7虛擬化平臺部署在虛擬化服務器上，采用VMware vCenter軟件進行集中管理，使用基于vMotion技術的VMware HA技術實現虛擬化平臺的高可用性[8-9]。

系統結構框圖如圖1所示。

圖1 系統結構框圖

2 監測預報預警支撐系統

2.1 虛擬化計算系統

通過光纖互聯，選用硬件網絡虛擬化或VMware軟件網絡虛擬化技術來實現對新建監測預報預警支撐系統與原有虛擬業務系統的虛擬群集[10-11]。2臺備份恢復存儲使用存儲虛擬化、陣列雙活等技術[12]，邏輯上形成一臺存儲，與虛擬化群集配合工作。當原有業務系統發生災難性故障后，業務系統虛擬機基于VMware HA技術，可自動飄移至新建服務器和存儲上，基于虛擬化網絡特性，服務器群集的網絡配置相同，虛擬機不必更改任何參數即可繼續正常運行，從而保障了業務連續性。

2.2 FC數據存儲系統

新建存儲系統使用2臺華為OceanStor 5310 V5，和原有的萬兆交換機集群、2臺華為存儲交換機組成兼具FC和iSCSI功能的全能磁盤陣列。萬兆網絡交換機相關端口進行了ETH-TRUNK配置，ETH-TRUNK口與存儲上的萬兆口相連。磁盤陣列雙控的FC光纖與原有華為SNS2124存儲交換相連。采用RAID2.0+塊虛擬化架構[13-14]，在傳統RAID技術的基礎上進行改進，實現存儲系統負載均衡和性能的提升。使用硬盤的塊虛擬化技術，將磁盤陣列硬盤域內的硬盤劃分成固定大小的CHUNK，按照RAID級別組成CHG(CHUNK Group)。當陣列硬盤故障時，CHG進行重構。

2.3 備份系統

采用一體化設備，對接VMware底層備份接口，支持VMware CBT備份，自動發現劃分的業務虛擬機，從而對目標虛擬機進行整機備份；支持各種數據庫備份、系統文件備份等，當發生存儲故障、數據丟失、人為操作失誤損壞數據等情況時，可以快速恢復備份數據，從而保障業務數據安全。

2.3.1 數據庫數據保護

數據庫在業務應用中起到了靈魂核心的作用，很多單位、企業數據中心數據備份時都面臨著備份數據量增長快、備份流程措施比較復雜等問題。在寧波氣象業務上應用到的主要有Oracle、MySQL、SQL Server等三種類型的數據庫，在業務應用中做好數據的備份。一般情況下，數據庫有自帶的備份恢復功能，通常依賴于腳本執行，在實際操作中存在一定的難度，在數據量大的情況下備份需要很長的時間。因而在設計和實現時，采用了AnyBackup Express 7.0數據庫備份方式，如圖2所示。

圖2 數據庫備份流程

實施方案中，管理控制臺同時連接源生產數據庫服務器和備份介質服務器，并發送提取和備份數據等控制信息，管理數據備份的執行任務。在源數據庫生產服務器上安裝AnyBackup Express 客戶端并管理識別數據庫數據，先通過備份API讀取數據庫數據，然后傳輸備份數據到服務器集群。Oracle數據庫與AnyBackup、存儲間采用多通道并行讀取數據的方式，通過開辟多個RMAN(Recovery Manager) Channel來獲取數據[15]，從而使讀取速度最大化。SQL Server與AnyBackup間的數據傳輸采用數據庫高級壓縮的方式，有效地減少數據的占用空間。

2.3.2 VMware虛擬化平臺保護

VMware虛擬化平臺備份接口采取調用VADP(Vstorage APIS for Data Protection)方式。虛擬化平臺通過代理客戶端進行連接實現數據的并發備份，可以避免虛擬機資源的耗用。并發的運行機制，無論在備份或恢復時都提升了工作的效率。同時虛擬機在數據源發生變化時，不需要人工增加或者刪除變化的數據源，就可實現數據的自動備份，在一定程度上降低了運維的難度。VMware數據并發備份流程如圖3所示。

圖3 VMware并發數據備份流程

虛擬磁盤傳輸模式分SAN模式、NBD和NBD-SS傳輸模式、Hot-Add傳輸模式等，在SAN傳輸模式下，VADP API從vCenter或ESXi上獲取VMFS LUN信息，從VMDK所在的 FC SAN中讀取數據，備份讀取速度快；NBD和NBD-SS傳輸方式使用網絡塊NBD驅動程序協議的未加密或經過加密通過局域網絡的傳輸，傳輸速度比SAN方式慢；Hot-Add[16]傳輸模式是利用ESXi的SCSI HotAdd特性將虛擬機VMDK掛載在虛擬機上進行讀取的方式，適用于SCSI模式的虛擬磁盤。

3 異構虛擬化和負載均衡部署

2006年開始，寧波市級氣象部門就相繼使用了多種型號的存儲設備，有DELL CX700、DELL AX4-5、EMC VNX5500、EMC Isilon NL400、IBM B3700等型號存儲設備，既有FC SAN存儲，也有NAS存儲，主要用于高性能計算機模式運算、綜合業務產生、虛擬平臺服務器，以及通過各種渠道接收到的各類數據的存儲。由于存儲產品型號不一，個別老舊設備在本次項目實施中逐步淘汰。采用新購的華為OceanStor V5存儲，通過內置異構虛擬化功能和多重融合技術，實現存儲的異構虛擬化和負載均衡。

3.1 異構虛擬化

對不同廠商、不同型號的存儲系統通過一定的技術進行統一管理，實現異構存儲的合理使用，改變不同存儲分散管理、數據備份遷移麻煩的弊端。異構虛擬化特性(SmartVirtualization)在管理不同存儲系統時，都能當作本地存儲資源進行統一管理。在提供存儲資源利舊的同時，兼顧使用便利性，在用戶都不需要關注不同存儲系統間差異的情況下，按需求完成不同型號存儲系統間的數據實時在線遷移。

新設計的存儲系統采用華為OceanStor V5設備，通過異構虛擬化特性將其他品牌型號的存儲設備上數據卷(LUN)映射到本存儲系統，托管成數據卷和元數據卷，從而建立一種對應關系，業務應用系統通過讀寫新建存儲系統上的數據卷和元數據卷從而完成異構存儲的使用。不同存儲間的連接通過FC連接，異構虛擬化特性配合使用智能LUN遷移特性(SmartMigration)，可以實現原有異構存儲數據的遷入和冷數據(使用率低的數據)的遷出。

3.2 負載均衡

在業務應用過程中，負載均衡能起到有效的流量分攤，利用更多的資源，實現數據中心更高的訪問效率。寧波市級氣象業務中使用的存儲分光纖存儲和文件存儲，分SAN負載均衡和NAS負載均衡兩種。在默認的情況下，系統新購的華為OceanStor V5存儲系統自帶負載均衡的功能，會將不同LUN均衡分配到不同的控制器和LUN空間，實現SAN負載均衡，達到業務應用和硬盤使用相對均衡；內置DNS負載均衡特性[17]，通過域名訪問存儲陣列的NAS業務，根據每個控制器的業務負載將主機客戶端連接分發給配置在不同節點、不同端口上的業務IP進行處理，從而提升系統的性能和可靠性。

為保證支撐系統業務連續性和數據安全，提升存儲數據服務效率，采用的備份恢復存儲OceanStor V5具有多重融合技術，包括閃存融合、SAN與NAS融合、存儲資源池融合等。SAN與NAS融合技術可以同時確保數據庫和文件高可用性，實現一體雙活，保證服務的性能。

4 關鍵技術

4.1 VMware High Availability(HA)虛擬化技術

2011年開始，寧波市級氣象業務系統就使用了思科的UCS統一集成系統，利用HA虛擬化技術，高效地集約了服務器計算資源，減輕了業務運行成本，提高了資源管理的便捷性。

目前主流的虛擬化技術分三類，VMware、Citrix和Microsoft等，三類虛擬化技術都支持Windows、Linux的操作系統，以及物理資源的動態調整。寧波市級氣象業務中大都是使用VMware虛擬化技術，計算資源的虛擬化中把一臺物理服務器分成N臺虛擬服務器，一旦某臺虛機發生操作系統故障，業務可自動從一臺物理機切換到另外一臺物理機的虛機上，不會造成業務的中斷，實現實時遷移的功能。在萬兆光纖連接情況下，虛擬機的切換可在很短時間內完成。構建出的HA集群，通過管理平臺可以進行虛擬化分配、調度、監控、分析等業務操作[18]，計算資源可在任意一臺主機上運行，當有一臺最多兩臺主機故障時，所有虛擬機會遷移至最后一臺主機，直至故障主機恢復正常，實現不重啟情況下虛擬機的無障礙切換。當虛擬機在兩臺物理服務器間漂移時，虛擬機通過保留自己的網絡標識和連接，從而實現無縫的遷移過程。在高速的光纖網絡中虛擬機在物理服務器間的切換如圖4所示。

圖4 虛擬機無縫切換

寧波市級氣象部門數據中心機房新舊虛擬化服務群集通過VMware NSX虛擬網絡組成新的群集系統，所有的虛擬機共享同一個虛擬二層網絡，群集后端共享新建的虛擬存儲。從而實現新舊虛擬化服務群集系統中任何一個故障時，確保業務連續性得到保障。

4.2 一體機災備技術

在數據層級保護中，采用了AnyBackup Express多重數據保護方式，與傳統備份單點模式相比，優勢明顯。

(1)針對操作系統、虛擬化平臺、數據庫全方位的保護。對寧波氣象部門目前使用的Windows、Linux等操作系統，Oracle、SQL Server數據庫，VMware虛擬化平臺實現虛擬、物理上的統一集中管理運維，在一定程度上簡化了管理的復雜度，減輕了運維成本的投入。

(2)多重數據保護技術，即使在面對指數級、爆炸式增長的業務數據時，也可以提供并行重刪、永久增量備份、并發備份、CBT變化數據塊跟蹤、多通道備份等技術，提供更高效的數據保護性能，從容面對PB級數據保護[19]。與傳統的周期性“完全備份+增量備份”策略不同，采用的“永久增量技術”，大幅度縮減數據備份時間，同時節省大量的存儲空間。

(3)采用Scale-Out架構，可以根據氣象業務的發展，對集群的節點進行擴展，滿足業務的需求；同時不需要停止在線的備份業務，靈活滿足業務需求，確保備份業務連續性。

4.3 存儲雙活技術

在數據中心部署的兩套存儲陣列可以根據需要放在異地或同一個機房。在存儲層實現雙活，需要達到兩個目標，兩套存儲陣列間的數據完全一致，始終保持同步數據狀態；同時兩個站點的存儲均可以實時被同一套業務系統訪問[20]，在發生異常時可以實時自動切換，保持業務訪問的連續性。陣列雙活(HyperMetro)屬于陣列級的A/A雙活技術，可以使來自兩套存儲陣列的兩個LUN數據實時保持同步，并同時提供來自業務系統的讀寫操作。

監測預報預警支撐系統中的OceanStor5310 V5存儲系統同時支持SAN雙活(HyperMetro For Block)和NAS雙活(HyperMetro For File),HyperMetro技術既支持FC組網，也支持IP組網方式，借助目前數據中心先進的系統組網技術使得存儲系統的雙活性能進一步優化。陣列雙活如圖5所示。

圖5 陣列雙活示意圖

主要技術特點在于：兩套存儲可以實現真正的A/A雙活(Active-Active)，同時支持業務讀寫，實現業務負載的分擔部署和數據中心業務的負載均衡；免網關雙活方案避免了額外網關設備引入的時延，提高性能；Fastwrite特性優化存儲傳輸協議，縮短了數據同步的延時，提升了雙活方案性能；粒子仲裁方式，減少主機和存儲資源預留，使業務負載更加均衡。

5 結束語

通過市級氣象數據級災備系統的部署，增強了數據中心數據的處理能力和存儲能力，滿足了未來幾年氣象業務的發展需求，增強了關鍵業務數據的容災能力。通過虛擬化技術實現了新、舊業務系統的虛擬集群；采用OceanStor V5存儲系統自帶負載均衡的功能，實現了不同存儲間的數據同步和負載均衡，提升了系統的性能和可靠性；通過陣列雙活Hypermetro技術實現了存儲系統的雙活；通過采用一體化設備AnyBackup方式實現了數據庫數據層級的保護；通過異構虛擬化功能，可以充分地利用原先其他型號的存儲設備，進行統一管理，消除數據上的孤島和數據的實時遷移，縮短遷移時間。

雙活系統于2020年9月完成建設并投入業務運行，至今未出現過業務中斷或發生故障情況，系統應用在寧波市級氣象數據中心效果明顯，主要價值體現在：①計算存儲資源的按需調配，可以根據各業務單位業務的需要通過管理平臺對資源進行調配，提高了計算資源、存儲資源的利用率。②資源的充分利舊，通過統一的平臺管理異構系統，對老舊系統進行了資源的充分利用。③服務器和存儲資源的統一管理，通過統一的平臺對所有服務器資源和存儲資源進行管理，提高了系統的管理效率。④應用的高可用和數據的在線安全保護，避免了因單設備或虛擬機故障導致業務中斷，確保了數據的在線安全保護，實現了業務的高可用性和連續性。