寬帶集群異地容災應用技術研究

張松軼 李飛 李勇

摘要：介紹了寬帶集群在行業專網中的應用發展情況，分析了寬帶集群異地容災的應用需求及實際工程中需要解決的技術問題，提出了寬帶集群雙中心異地容災的系統總體設計方案，描述了方案中的關鍵技術及具體實現方案并進行了測試。測試結果表明，寬帶集群異地容災應用方案在傳輸穩定性、延遲性、丟包率及中心間切換性能上均能表現出較好的性能，驗證了設計方案的可行性。

關鍵詞：寬帶集群；異地容災；主備冗余；接口冗余

中圖分類號：TP393文獻標志碼：A文章編號：1008-1739（2019）05-66-4

0引言

近年來，隨著通信技術的高速發展，專網系統的寬帶化已經成為趨勢。作為無線專網通信的主要組成部分，數字集群通信向寬帶化演進也勢在必行。我國從2014年開始制定的“基于LTE技術的寬帶集群通信（B-TrunC）系統”系列標準是國際上首個支持語音組呼、視頻組呼及多媒體集群調度等集群業務的寬帶集群通信標準[1]。近年來，寬帶集群產業得到了很大的發展，技術及產業鏈日趨成熟，也被越來越多的行業專網用戶所接受和采用[2]。與此同時，在寬帶集群網絡中，行業用戶對于除了傳統語音業務外的視頻業務、高速數據業務以及組網能力、安全性和可靠性等要求也越來越高。雙中心寬帶集群組網并實現異地容災應用就是針對這些要求，實現更靈活可靠的寬帶集群組網，保障網絡整體高可靠性和高可用性的技術方案，對于提升寬帶集群規模組網能力、改善用戶使用體驗具有很大意義。

1寬帶集群及需求分析

1.1 B-TrunC寬帶集群

在集群通信向著系統IP化、數據寬帶化、終端多?；蜆I務多樣化方向發展的過程中，行業用戶在利用集群通信系統進行指揮調度時，不僅要“聽得到”，還要“看得見、看得清”，這就需要集群系統能夠支持語音、數據、圖像和視頻等多種業務的不同傳輸速率，我國自主知識產權的B-TrunC寬帶集群通信標準無疑滿足了上述要求。B-TrunC寬帶集群采用LTE技術作為技術基礎，統一了集群相關技術體制和標準，拓寬了傳統窄帶語音的業務范疇[3]。

B-TrunC寬帶集群的主要技術優勢有：

①業務功能豐富：除傳統語音、短數據等傳統集群業務外，還支持視頻單呼、組呼、推送和回傳等多媒體業務，同時可以支持較強的數據業務和定位業務，這是寬帶集群得到快速發展的最大優勢；②低時延：扁平網絡結構網元節點少，數據傳輸時延≤10 ms、單呼建立時間≤480 ms，組呼建立時間≤280 ms，話權建立時間≤180 ms，連接態切換時延≤80 ms；③高數據傳輸速率：在20 MHz工作帶寬下能夠提供最高下行100 Mbps，上行50 Mbps的峰值速率；④擁有完善的鑒權機制：支持集群組呼空口加密、端到端加密和完整性保護，能夠較好地滿足行業專網對于安全性的要求；⑤高速移動性：采用頻偏補償機制，有效地克服多普勒效應，支持350 km/h的高速移動性，這一優勢在軌道交通等對移動性有較高要求的行業中體現得比較明顯[4]。

典型的B-TrunC寬帶集群系統架構如圖1所示。

1.2寬帶集群異地容災需求分析

在城市軌道交通、機場或能源等領域，寬帶集群系統常用于生產調度人員（列車控制中心、地勤調度中心等）與移動用戶（列車司機、地勤人員和生產作業人員）之間進行語音指揮、生產數據傳輸或多媒體調度，為保證安全生產、提高生產效率和管理水平，改善生產服務質量提供重要保證[5-6]。在此情況下，實現系統的雙中心異地容災，保障不同生產業務的通信暢通，保證整個寬帶集群系統的安全可靠性就尤為重要。業務對于寬帶集群異地容災業務指標要求如表1所示。

2需要解決的問題

寬帶集群異地容災應用設計需要解決如下幾個技術問題。

①系統整體冗余設計：由于寬帶集群系統中還經常承載其他生產業務，為了保障系統應用的高可靠性，除系統采用異地容災設計外，還需在系統控制中心、鏈路等多個方面采用設備熱冗余乃至A/B網整體冗余設計[7]；

②雙中心間的實時數據同步：異地容災部署需要保證2個異地中心之間數據同步的實時性，保證單中心故障不會造成整個系統的數據紊亂，從而導致系統不可用，此問題是容災系統設計的關鍵問題；

③系統高可用性設計：考慮到控制中心整體切換的影響面和操作便利性，系統設計還需設計防止系統單點故障導致控制中心切換的機制。

3總體設計

寬帶集群雙中心異地容災設計采用雙交換控制中心配置，分別在不同地點進行部署，供電、傳輸和環境等系統均獨立配置，避免出現互相影響情況，實現異地容災需求。雙中心異地容災系統原理框圖如圖2所示。

2個獨立的集群中心控制器（集群核心網）以互為鏡像的主備方式工作，2個控制中心及系統內全部基站通過傳輸網絡實現互聯互通。當主用控制中心發生嚴重故障退出服務時，全線基站可以切到另一個控制中心，無線基站通過這2條冗余鏈路分別連接中心，實現異地容災。2套控制中心之間存在3條傳輸鏈路：1條鏈路負責主備控制中心之間的數據冗余；另2條鏈路負責主備控制中心及系統基站的傳輸冗余到主備控制中心。

4關鍵技術

寬帶集群的雙中心異地容災應用中關鍵技術包括：

（1）中心設備冗余設計

異地容災主要借助HA高可用多節點群集中間件來實現，HA中間件可實現靜態配置及動態呼叫數據的雙向同步，并能實現不同節點間狀態裁決及切換控制等功能。

主用控制中心與備用控制中心的集群中心控制器（集群核心網）實現了設備級冗余，2套設備同時運行，互為備份。集群控制器內部的雙處理板間實現板卡級冗余，當單處理板故障時，另一塊處理板可以實時接替工作，動態業務數據雙向實時同步。

當主用控制中心的集群控制器2塊處理板均發生故障后，HA中間件可立即感知到，這時，在備用控制中心的集群控制器會根據同步過來的動態數據建立資源并接管業務；系統內的各個基站將根據鏈路狀態探測，將業務倒切到另外一個中心的集群控制器上，反之亦然。

集群控制器與控制中心核心交換機之間采用交叉連接冗余。而主備控制中心之間容災鏈路中斷時，只會影響主備控制中心之間的容災通信，由于主備用控制中心的調度臺、服務器等業務終端設備是冗余配置的，并不會影響主用控制中心的調度業務，不會導致控制中心切換。當容災冗余鏈路恢復后，這些設備的業務能夠自動恢復。

（2）集群基站的雙歸屬

系統基站通過S1-Flex機制同時與主用、備用控制中心的集群控制器建立連接，S1-Flex允許一個基站連接到多個集群核心網中MME/SGW池，從而實現集群基站業務連接的雙歸屬。

此外各個基站到主備控制中心的通信傳輸鏈路采用雙環網方式。當一個傳輸環網出現故障時，業務能夠切換到另外一個傳輸環網上?；揪哂?個網絡端口，當基站出現主用網口故障，僅該基站會切換傳輸通道，不會影響該基站業務，也不會引起控制中心倒切。

（3）主備中心的數據同步設計

集群控制器的內部軟件分為DSS數據同步模塊、HA高可用性模塊及APP應用軟件模塊3部分，各部分的主要功能用處如下：

①DSS模塊，所有DSS會以軟件集群的形式工作，其內部通過協議實現數據的強一致性，DSS通過提供數據node的形式實現數據同步；②HA中間件模塊，系統中只有一個HA處于主用狀態，其他全部備用，通過HA來進行狀態裁決；③APP模塊，為寬帶集群系統的核心控制軟件，包括：eMME，eHSS，TCF，xGW等核心網功能。

軟件在數據處理過程中的數據同步設計如圖3所示。

①主用控制中心的APP開始冗余數據，將發送冗余請求到HA，HA將向DSS的數據槽中寫數據。隨后DSS開始進行數據同步，數據槽中的數據將會刷新到所有中心集群控制器的DSS中。

②備用控制中心的DSS將會通知HA數據槽中有數據刷新，HA隨后會從中讀取數據，將冗余數據發送給對應的APP。

③APP將開始恢復冗余數據，隨后向HA發送冗余成功的指示，HA反饋冗余數據結果。

④主用控制中心的DSS將獲取此次冗余數據并成功告知HA。

5實驗結果

為了驗證寬帶集群雙中心異地容災整體設計方案是否合理可行，通過模擬某城市軌道交通項目部分應用場景，使用TD-LTE寬帶集群產品搭建了測試環境，進行性能測試。測試設備如表2所示，1套寬帶集群系統主要包含了2套集群核心網、核心/容災交換機共3套、5個基站、調度臺1臺和LTE集群終端10臺。

測試環境拓撲如圖4所示。在這個測試環境中，模擬主備用控制中心通過容災交換機互聯，打通冗余數據鏈路，實現核心網數據的冗余。主備用控制中心的接入層為核心交換機并實現交換機互聯，實現基站到主備用控制中心的雙鏈路連接。

系統測試包括業務建立時延性能測試和系統切換時延性能測試2部分。其中，業務實驗性能測試參考B-TrunC標準，選取單呼建立、組呼建立和話權申請3個指標進行測試，驗證在該組網條件下系統業務性能情況。系統切換時延性能測試通過設備斷電方式模擬設備異常故障，記錄在異常故障情況下系統倒切時延情況。

6測試結果

經過在測試環境中的多次性能測試，整理結果記錄如表3、表4所示。

通過以上測試數據可以看到，系統測試滿足B-TrunC系統關于業務建立時延的性能要求。通過對丟包率的統計，能夠反映傳輸過程對音視頻數據的影響，通常情況下音頻丟包率在4%以內，視頻丟包率在2%以內，對音視頻的效果沒有明顯的影響。通過以上測試數據表明，集群語音和視頻業務數據通過LTE承載進行傳輸，可靠性較好，保障了音視頻業務的效果。系統倒切時延性能測試如表5所示。

通過以上測試數據可以看到，當系統設備異地容災切換后，系統會有短暫業務恢復時延，這是由于為防止系統產生乒乓切換問題，系統故障檢測需要一定時間；在系統切換完成后，需要重新建立連接和恢復業務的過程。業務恢復時延受故障產生時間點和檢測周期的影響會有所不同。特定情況下通過網管設備進行的主動切換，切換時間較故障倒切時間更短，滿足快速恢復業務要求。

在實際測試結果中可以看到采用異地容災設計方案的寬帶集群系統在數據傳輸穩定性、并發性、延遲性以及丟包率等性能指標及中心間切換性能上均表現出較好的性能，驗證了設計方案的可行性。實際應用中，可以通過對部分檢測及互鎖機制的改進對系統性能做進一步的優化。

7結束語

隨著寬帶集群在行業專網應用中的快速發展，行業專網用戶對于系統高可靠及高可用性要求日益提升。通過分析寬帶集群異地容災的需求，提出了雙中心異地容災的總體方案，對方案中的關鍵技術進行了闡述，并通過搭建模擬環境進行測試和驗證。為寬帶集群異地容災的工程實現提供了依據。為了適應不同的應用場景和需要，需要不斷進行功能的擴充和優化，故而對于寬帶集群異地容災技術的研究還需要進一步地深入。

參考文獻

[1]張靜.TD-LTE寬帶數字集群通信系統研究[J].中國無線電， 2017（6）：36-38.

[2]王侖.LTE寬帶集群專網的行業應用[J].移動通信，2014，38（1）：54-55.

[3]馮海亮，施玉海，劉海濤，等.基于TD-LTE數字集群的寬帶無線專網架構及關鍵技術研究[J].廣播電視信息，2015（6）： 61-63.

[4]張東瑞，孫小婷.LTE寬帶集群的系統架構及業務分析[J].數字技術與應用，2013（7）：22-23.

[5]馬彥波，蔣國華.基于TD-LTE的信號與集群承載研究[J].計算機與網絡，2018，44（13）：64-67.

[6]張婧.TD-LTE寬帶集群技術在城市軌道交通中的應用[J].電子科技，2016，29（7）：120-123.

[7]戴克平，韓志永.基于TD-LTE技術的車地無線通信系統設計[J].無線電通信技術，2015，41（6）：6-9，31.