成都天府國際機場空管數據業務網絡概述

程 震，李亞鵬

（中國民用航空西南地區空中交通管理局，四川 成都 610000）

0 引 言

企業網絡是一個需要具備高穩定性、高冗余性以及高擴展性并且經濟實用、數據傳輸安全可靠的網絡平臺[1]。傳統組網要求性價比高，建網模式統一，網絡協議統一，保證可靠性、穩定性、先進性以及實用性，此外具有良好的開放性和擴充性，并在一定程度上保證安全?！鞍踩敲窈綐I的生命線，要始終把安全工作作為頭等大事來抓”，空管行業的組網目標與側重點有別于一般企業，應將安全作為組網的第一追求，運維便捷、易故障排查、網絡環境穩定以及隔離邊界分明等都是最核心的目標，低延時、大帶寬以及易擴展等則是組網的重要目標。

局域網中常用的網絡拓撲結構包括總線型結構、星型結構以及樹形結構，其中樹形結構可視為星型結構的拓展，也稱為多級星狀網絡[2]。傳統小型企業組網以星型結構為主，分為核心層、匯聚層以及接入層。該結構具有組網容易、運維簡單及功效高等特點，但星型結構對中央節點可靠性具有極高要求，一旦中央節點系統發生故障，將引發整個系統的癱瘓[3]。中大型企業則偏向使用三層網絡結構的樹形拓撲，其包含核心層、匯聚層以及接口層。該拓撲線路連接簡單，維護簡單且易于拓展，但同樣存在對根節點依賴性大、傳輸時延較長、資源共享能力較低及可靠性不高的問題[2]。

成都天府國際機場是國家“十三五”期間在民用運輸樞紐機場上規劃建設的最大項目，也是現今四川投資體量最大的項目?？展軘祿I務作為天府機場空管工程中的一個重要組成部分，其建設內容主要包含管制信息系統一體化平臺（ATM Information System Platform，AISP）和空管生產數據中心平臺（ATM Data Center Platform，ADCP）。AISP將在后期運營中為管制及其他專業提供空管數據服務，ADCP將提供對外數據接口并為民航相關用戶提供自助查詢服務等。天府機場空管數據網絡（Tian Fu ATM Network of Data Business，TFAN）不屬于任何一種傳統網絡，其用戶區網絡是一個經典的三層網絡樹形拓撲結構，服務器網絡則是一個基于虛擬化技術而產生的大二層網絡，將其和雙流空管數據網絡看做一體，它又是一個分布式數據中心網絡?？展軘祿I務主體網絡實現的目標包括兩場存儲互聯、兩場業務互聯、虛擬化平臺管理互聯、業務系統隔離、用戶區邏輯隔離、網絡硬件設備統一管理以及網絡運維安全等，確?！耙皇袃蓤觥蓖ㄐ啪W絡一體化運行得安全、順暢且高效。

1 相關背景知識

1.1 VLAN技術

虛擬局域網（Virtual Local Area Network，VLAN）屬于邏輯上的二層概念，它可以不受地理位置限制將不同的設備和用戶進行二層域劃分，控制廣播范圍。其提供的三層交換機虛擬接口（Switch Virtual Interface，SVI）可以為該VLAN提供最后的路由，從而實現不同VLAN之間以及VLAN對其他網絡的數據訪問，在TFAN設計中，VLAN主要用于不同業務及不同用戶群體之間的二層隔離。

1.2 鏈路聚合技術

鏈路聚合包括二層聚合（橋聚合）和三層聚合（路由聚合）兩種模式，聚合方式分為動態聚合和靜態聚合兩種。利用二層聚合可以將不同的物理端口視為同一個邏輯端口，從而達到拓展帶寬、鏈路備份以及負載分擔的目的，三層接口則可以額外提供路由功能。鏈路聚合技術在TFAN中主要起到網絡設備縱向中繼互聯及橫向路由冗余的作用。

1.3 堆疊技術

堆疊技術可以將多臺同類型的設備合并為一臺邏輯設備，在TFAN硬件規劃上，多網卡的終端設備會同時連接到同一邏輯設備中的不同物理網絡設備上，以此達到設備級冗余的目的。此外，堆疊后的邏輯設備之間僅需在不同設備上提供兩個物理端口進行口字型連接便可實現上行鏈路冗余的效果。堆疊方式主要分為菊花鏈堆疊模式和星型堆疊模式。菊花鏈堆疊模式的功能和級聯近似，可以起到拓展端口和硬件冗余的作用，沒有明顯的傳輸瓶頸，但不具備傳輸距離延長的作用，也不能顯著提高通信效率。星型堆疊模式可以顯著提高交換機之間的轉發效率，但主交換機通信壓力較大且存在單點故障的問題[4]。綜合考慮空管數據業務運行需求，菊花鏈堆疊模式更符合實際生產需要。

1.4 OSPF協議

開放式最短路徑優先（Open Shortest Path First，OSPF）是一種應用于內部網關之間的動態路由協議，該協議適用于組建大型自治系統網絡，具有收斂速度快、防止路由環路以及適應性廣等優點[5]。使用OSPF協議可以令整個自治網絡更易于拓展和運維管理，在H3C廠商提供的技術文檔中，OSPF GR技術還可以顯著減輕網絡環境變化所帶來的的路由震蕩[6]。然而，該協議配置相對復雜，故障排查較難，要求網絡運維人員技術功底扎實，根據實際場景判斷是否有必要啟用該協議。

1.5 VRRP

虛擬路由器冗余協議（Virtual Router Redundancy Protocol，VRRP）是一種選擇協議，它可以將多臺路由器虛擬為一臺路由器，當主用物理路由器停止工作時可由備用路由器搶占轉發[7]。使用VRRP不需要改變組網方式也不需要在主機上做任何配置便可實現下一跳網關備份，文獻[8]中提出利用堆疊技術代替VRRP技術，但適用場景過于苛刻，不適用于TFAN的實際生產場景。VRRP的實現主要分為主備備份方式、多備份組負載分擔方式以及負載均衡方式，一般的業務場景常使用傳統的主備備份方式，負載均衡方式則可以更好地提高網絡利用率[9]。天府空管數據網絡的VRRP應用場景與傳統場景不同，涉及經過兩臺網段不同且遠距離傳輸通信的三層邏輯設備。

1.6 分布式數據中心架構

傳統網絡數據中心采用核心、匯聚以及接入的三層網絡架構，云計算數據中心則采用跨云計算中心的大二層網絡，如圖1所示[10]。分布式數據中心相較于傳統數據中心，比雙活數據中心更節省計算和存儲硬件資源，比兩地三中心更節省IT資源，但同樣需要面對業務訪問網絡設計、大二層網絡設計以及數據同步3個難題。

圖1 數據中心網絡架構

2 TFAN初期網絡設計

TFAN設計綜合考慮了網絡安全性、可靠性以及拓展性，并利用堆疊、鏈路聚合、訪問控制策略以及網絡鏡像等方式來實現。為了使整張網絡拓撲更清晰，依據功能將TFAN劃分為服務器匯聚網絡、核心區網絡、用戶接入區網絡、硬件管理網絡以及安全運維區網絡，其中硬件管理網絡獨立于其他網絡。核心區和用戶接入區的主要網絡設備運行OSPF協議，實現路由互通，所有的H3C網絡設備運行SNMP協議，為統一網絡運維平臺U-Center提供告警信息。

2.1 TFAN主體網絡架構

TFAN以核心區網絡為中心，向下經服務器匯聚交換機與虛擬化服務器互聯，經安全設備與用戶接入區網絡互聯，經安全核心交換機與安全運維區網絡互聯，經波分網絡連接雙流空管數據網絡。硬件管理網絡使用帶外管理的方式實現，獨立于其他網絡功能區。天府服務器網絡經波分網絡與雙流數據中心服務器網絡進行物理打通，利用虛擬化技術實現大二層網絡設計，通過Edge虛擬機兩場互備方式實現網關冗余提高業務可靠性。圖2中各分區根據網絡功能劃分，實際設備存在交叉。

圖2 天府數據網絡

2.2 核心區網絡設計

核心網絡區在水平方向上與雙流空管數據網絡打通，為兩場業務互訪提供路由功能，在垂直方向上為天府用戶訪問天府數據業務提供路由功能，在安全運維上為監管及審計流量提供二層通道。兩組核心交換機及一組匯聚層交換機使用IRF堆疊技術劃分為3個堆疊域，形成3臺邏輯設備，分管不同業務實現三層隔離。核心區網絡如圖3所示。

圖3 核心區網絡

2.3 服務器匯聚區網絡設計

在服務器匯聚網絡中，存儲設備通過光纖交換機和波分網絡與雙流數據網絡存儲資源互聯，虛擬化服務器通過匯聚層交換機和波分網絡與雙流數據網絡計算資源互聯，實現新老機場虛擬化存儲和計算資源共享。各匯聚層交換機采用菊花鏈堆疊模式的IRF技術虛擬成一臺邏輯設備，其至兩組核心交換機的上行鏈路采用雙端口動態鏈路聚合的方式互聯。虛擬化服務器具有4光4電8個以太網接口，分別與匯聚層交換機的不同物理交換機互聯，保證服務器網絡高可用。在兩地數據中心互聯的層面上采用A/B雙平面的裸光纖波分復用技術，既保證了天府至雙流的帶寬又有雙平面傳輸資源，保證業務連續性。服務器匯聚網絡如圖4所示。

圖4 服務器匯聚網絡

2.4 接入區網絡設計

用戶接入區網絡基本納入了AISP的所有用戶，后期會根據實際運行需求新增防火墻及其他點位的用戶接入設備，因此該區域使用樹形網絡結構。該結構具有拓撲線路連接簡單、維護便捷以及易于拓展的優點。各用戶訪問空管數據業務采用縱向訪問和橫向隔離的方式，引入用戶匯聚交換機作為一個純二層設備簡化網絡結構，節約防火墻端口。用戶終端的網關部署在防火墻上，由防火墻提供ACL策略、NAT等功能。設備廠商不同防火墻上行至核心交換機采用靜態鏈路聚合，不同接入點位的用戶根據所屬辦公區和樓層進行VLAN劃分，設備堆疊域根據點位劃分，方便運維人員檢查判斷。用戶接入如圖5所示。

圖5 用戶接入網絡

2.5 硬件管理區網絡設計

天府數據網絡硬件管理采用帶外管理的方式，利用同機房綜合布線資源及遠距離成端傳輸資源將各硬件設備的管理口數據引接至硬件管理交換機，沒有管理口的設備則使用該設備的最后一個以太網口替代，經監控接入交換機連接前臺監控。硬件管理網絡如圖6所示。

圖6 硬件管理網絡

2.6 安全運維區網絡設計

根據《民航空管系統網絡安全和信息化工作管理規定》《民用航空信息系統安全等級保護實施指南》以及《民航Web應用系統安全檢查指南》等文件要求，TFAN建設需滿足三級等保條件，除核心區網絡對外出口部分，多數安全設備均配置在安全設備區。AISP核心交換機至安全核心交換機及ADCP核心交換機至安全核心交換機之間各有一條光纖互聯，將核心交換機與匯聚層交換機之間交互數據的鏡像流量轉發給下掛在安全核心交換機上的審計設備。匯聚層交換機至安全核心交換機有兩條光纖互聯，一條用于將虛擬化服務器與匯聚層交換機之間產生數據交互的鏡像流量轉發至安全審計設備，另一條用于網絡安全設備對業務虛擬機和客戶端等設備管理產生的流量交互。安全運維網絡如圖7所示。

圖7 安全運維網絡

3 TFAN施工調整

在天府空管數據業務項目實施過程中，綜合考慮現場環境、空管業務特點以及后期值班人員的運維壓力，建設人員與廠家工程師針對TFAN設計方案進行多次商討修訂，最終實施結果與最初方案有如下4項修訂。

3.1 廢除OSPF協議改為靜態路由方式

TFAN的網絡設備數目少且拓撲較簡單，OSPF協議在該局域網中沒有明顯優勢。防火墻作為安全設備不宜納入到普通三層設備的管理中，在規劃上依然沿用的靜態路由方式。此外，啟用OSPF協議運維難度較大，會延長故障恢復時間。

3.2 變更用戶區VLAN劃分規則

在原方案中，相同辦公區域的不同業務終端之間的網絡隔離依賴客戶端IP和網關，運維權限被下放至終端會增加運維風險，因此用戶區VLAN編號在采用原辦公區+樓層的方式基礎上納入業務編號組成新的三位數字編號（VLAN ABC），廣播域范圍也進一步縮小。VLAN規劃如表1所示，數字A為辦公區編號，數字B為樓層編號，數字C為系統編號，內容已做脫敏處理。

表1 用戶區VLAN ABC規劃表

3.3 生產系統業務網關變更

軟件定義網絡相比硬件網絡更加復雜，利用天府雙流兩場Edge虛擬機互備的方式保證業務網關高可用，對運維人員的虛擬化技術能力要求高，增加了故障處置難度。在最終交付的網絡中，各生產系統業務的網關上調至服務器匯聚交換機，廢除VMware NSX Edge功能，采用VRRP技術的主備方式實現數據業務網關在天府機場和雙流機場的兩場路由互備。由于生產數據中心為分布式架構，TFAN業務網關路由冗余場景與傳統場景不同。圖8為傳統網絡場景與實際網絡場景的對比圖，可以看出在實際場景中若Network-A的用戶需要訪問10.1.1.3需要跨核心層交換機，由于A用戶默認路由下一跳為10.0.0.252，如果只是對匯聚層交換機的業務網關做VRRP路由冗余，同樣網絡不可達。圖9為傳統VRRP配置方案和天府機場實際配置方案的對比圖，可以看出，在實際網絡場景中，核心層面同樣做了VRRP路由冗余來保證網絡可達。

圖8 傳統網絡場景與實際網絡場景

圖9 傳統VRRP配置方案和TFAN實際配置方案

3.4 防火墻上行核心交換機改為動態聚合模式

在施工過程中，深信服與華三工程師進行了設備聯調，因此防火墻上行核心交換機改為動態聚合模式，以防止靜態聚合出現不可預料的問題。

4 結 論

TFAN從設計至實施落地，始終圍繞“安全、穩定、便捷”主題推動前行，為天府空管網絡的數據提供可靠的通信環境，打下網絡“智慧空管”目標的硬件基礎，并通過介紹TFAN網絡架構、初期網絡設計以及實施修訂內容來傳遞空管網絡運維理念。