基于邊云協同的飛行試驗數據處理系統

王霖萱 李宏

數據處理系統;邊緣云;分布式文件系統;分布式存儲系統

0 引言

飛行試驗數據處理是指通過對飛行數據的正確解算和分析,確認飛行器是否達到設計需求的過程,其目的是從海量、多源和抽象的數據中提取并推導出能夠實現定量或定性評價飛行器功能和性能的有用數據．隨著數據挖掘技術、云計算技術的發展[1],數據處理體系的發展趨勢可以概括為以數據為中心的宏觀走向和以存算一體為中心的微觀走向．以數據為中心的宏觀走向具體包括采用軟件實現統一的數據處理方法,以及多數據處理中心共享式并存融合的新型計算模式．飛行試驗的數據處理模式主要包括集群式多流數據事后分析解算和異構數值深度解析挖掘等．在新一代飛行器研制階段,飛行數據具有數據類型繁雜、數據量大、處理算法龐雜等特點,因此,對飛行試驗數據處理提出了大數據管理、算法插件動態增減、多源并發處理支持等新需求．隨著大量先進技術在航空領域的廣泛應用,“無人機蜂群”等概念的出現,試驗數據量和數據種類激增,對數據處理系統的性能也提出了新挑戰．現有數據處理系統數據處理能力已經顯得不足,特別是數據處理效率與存儲能力已無法滿足當前海量飛行數據對高速[2-3]、及時的要求．通過深入分析并測試當前試驗飛行數據處理系統,總結并歸納出影響數據處理效率的主要因素有以下幾方面:

1) 各試驗場數據不能互聯互通．試驗飛行涵蓋環境控制有效性、雨中適應性、側風降落等試驗科目,試驗條件包括高溫、高寒、高濕、高海拔等極端環境,所以除了主試驗場外,全國范圍內還分布著30余個試驗場地．由于分試驗場和主試驗場的數據不能互聯互通,需要臨時搭建小型數據處理中心處理當天的試驗數據,待階段性任務完成后,再將記錄試驗數據的硬盤帶回大本營進行備份管理,對于需要主試驗場科研人員協同處理的數據必須通過電話、郵件中轉站等流程和方法進行溝通．這樣的試驗數據處理和管理方式成本較高、效率較低,同時試驗數據的安全性也面臨著挑戰．

2) 無法滿足海量試驗數據存儲的需求．由于我國航空工業的跨越式發展,飛行器飛行試驗的規模和試驗強度呈現指數級增長,飛行試驗測試參數從二代機幾百個到三代機幾千個再到四代機幾萬個,為確保試驗數據的完整性和可用性,與試驗有關的試驗要求、試驗設計、試驗對象、試驗設備、配試資源、試驗環境和試驗結果等各類要素會持續產生部件級、系統級、體系級等不同結構、不同形態、不同規模的試驗數據,數據量從以往GB級增長到現在的PB級．當前飛行試驗數據處理系統使用的二級存儲模式,近期試驗數據存儲在磁盤陣列中,歷史數據按架次存儲在硬盤上,這種方式不能滿足海量數據的存儲和實時處理,也不便于對歷史數據進行查詢．

針對上述問題,本文提出一種基于邊云協同的飛行試驗數據處理系統[4-5]．該系統通過內部接口有機地進行互聯互通,基于有線通信+5G無線通信技術,很好地解決了分集點布控環境限制的問題;搭建數據處理中心與外圍多分集點互聯互通的系統框架,為動態實時數據采集和處理奠定了基礎．系統面向試飛數據管理人員、數據處理人員以及其他相關科研人員[6],為他們提供試飛工程信息管理和試飛數據處理服務[7],將飛行數據處理與管理標準化、規范化,可以極大地提升數據處理效率,達到多點數據共享、解算邏輯與算法統一、高效處理與分析、安全可靠的目的．

1 系統架構

1.1 硬件系統設計

系統硬件主要由無線與有線通信鏈路、服務器集群、多級協同存儲系統、多平臺訪問客戶端組成．通過內部統一協議接口進行交聯[8],組成一個系統化、集成化、標準化的基于多地協同的飛行數據管控與處理系統．系統硬件結構與數據處理中心硬件結構分別如圖1和圖2所示．

圖1 系統硬件框圖Fig.1 Block diagram of the system hardware

分集點指分散在全國各試驗場獨立的數據處理平臺,每個分集點類似于精簡化的數據處理中心,包含與計算服務器同步統一的飛行數據算法庫．分集點具有硬件布設靈活、服務器系統功能精簡等特點,并且其與數據處理中心共享資源．各分集點之間也可以共享各類資源,實現互相訪問、互相請求、數據傳輸,分集點可以靈活增減,通過互聯網和移動基站組成的有線鏈路和基于5G的無線鏈路組成的專網與數據處理中心互聯互通．

互聯通信鏈路通過無線和有線通信鏈路互聯,將實時遙測數據、機載數據和事后處理數據傳送給各地有需求的分集點,通過PC客戶端與移動端進行數據訪問與處理,同時將外地各分集點的數據傳回數據處理中心進行二次處理和統一存儲等,實現點到面、面到點的數據共享與存儲,實現分集點與中心、分集點與分集點之間的數據協同處理和集中存儲．圖3為系統邏輯框圖．

圖3 系統邏輯框圖Fig.3 System logic diagram

數據處理中心由服務器集群與多級協同存儲系統組成,面向海量飛行數據存儲、處理、分析、數據解算結果展示等功能實現．數據處理中心和分集點的結構均采用5層架構,即防火墻、Web服務器、計算服務器、數據庫服務器[9]、數據庫共享存儲器,其中第2、3、4層采用多臺服務器構成集群服務器組,可以通過增加設備來擴大存儲從而保證了擴展性,第3、4層采用內部IP地址,使用LBR構架建立Web體系．

所有計算服務器采用統一的飛行數據算法庫,并選中一臺運行負載均衡軟件作為計算服務器,客戶端如有計算請求時,經由防火墻進入數據處理中心網,請求被轉發到集群控制主機,該集群主機名稱映射到負載均衡器[10-11],負載均衡軟件將用戶請求路由到指定計算服務器,計算服務器按用戶請求訪問鏡像數據庫服務器數據列表,請求相應數據進行計算操作,計算服務器將計算結果返給客戶端．負載均衡系統使多臺服務器通過互聯系統按指令協同工作,為一個或數個應用服務．數據處理中心服務器集群所有服務器之間的通信采用Socket通信接口[12]技術來實現,按TCP/IP協議標準進行信息和數據的交換,通過一套規則或自定義協議實現不同類型主機平臺之間的相互通信[13-14]．

1.2 軟件系統設計

飛行試驗數據處理系統硬件架構設計的合理性直接影響到后續軟件系統運行效率,軟件系統的設計合理性也是整個系統運行效率的關鍵．系統軟件分為服務器端軟件與客戶端軟件[15],運行于數據處理中心的軟件系統實現了整個軟件系統大部分功能,客戶端軟件包含網頁與執行客戶端軟件,執行客戶端軟件主要實現仿真、多路視頻同步播放等功能．

1.2.1 數據處理中心軟件系統設計

數據處理中心軟件系統由Web服務器軟件、計算服務器軟件、數據庫服務器軟件、數據庫共享存儲器軟件、負載均衡管理軟件5部分組成．為了確保飛行數據的安全高效解算,操作系統、軟件平臺等選擇與搭建成為關鍵.服務器端采用Windows server 2012、CentOS操作系統,試飛非結構化數據采用 OBS+Minio,兩者共同完成試飛非結構化數據的存儲與管理．OBS是華為提供的對象存儲服務組件,是一款穩定、安全、高效、易用的云存儲服務,具備標準Restful API接口,可存儲任意數量和形式的非結構化數據．Minio是開源的數據文件存儲服務組件,適于存儲大容量非結構化的數據,例如圖片、視頻、日志文件、備份數據和容器/虛擬機鏡像等,而一個對象文件可以是任意大小,從幾kB到最大5 TB不等[16]．試飛時序數據選用時序數據庫,用于存儲試飛試驗的工程數據．

目前,主要的時序數據庫包括InfluxDB、TimesacleDB、IotDB、Vernox-NTS．InfluxDB是一個開源的時序數據庫,使用GO語言開發,特別適合用于處理和分析資源監控數據這種時序相關數據．而InfluxDB自帶的各種特殊函數如求標準差、隨機取樣數據、統計數據變化比等,使數據統計和實時分析變得十分方便．TimescaleDB 是基于 PostgreSQL 開發的一款時序數據庫,以插件化的形式打包提供．IoTDB 是清華大學研發的一款聚焦工業物聯網、高性能輕量級的時序數據管理系統,提供數據采集、存儲、分析的功能．IoTDB 具備低存儲成本、高速數據寫入、快速查詢、查詢分析一體化、簡單易用等特點,采用標準的 JDBC 接口、類 SQL 查詢語言,主要功能包括數據的增刪改查、豐富的聚合函數、相似性匹配．Vernox-NTS是一個融合型的數據庫,并且在時序上,編碼和導入是極速的,速度甚至領先于Mysql等關系型數據庫．

在云平臺中,作為試飛測試數據的存儲與管理組件,為用戶提供高效的數據存儲與時序數據查詢能力．使用試飛數據進行實測,性能已是國內領先水平．時序數據庫性能對比結果如表1所示．

表1 時序數據庫性能對比

試飛結構化數據采用關系型數據庫oracle．數據處理中心軟件系統架構如圖4所示．

圖4 軟件系統架構Fig.4 Software system architecture

通過系統軟件架構設計確定系統開發模型,本系統合法注冊用戶在客戶端可以通過網頁、移動手持端進行訪問,確?？蒲腥藛T在任何試驗點任何時間都可以自行訪問數據,并按需求進行查詢、處理、分析等操作．數據分為涉密數據與非涉密數據．為了確保涉密數據的安全性,涉密數據目前只提供專用有線網鏈路訪問．

軟件系統分為應用層、展示層、接入層、數據服務層、數據層、數據庫、操作系統、運行環境等8個邏輯層．應用層是用戶與系統的交互層,系統實現的所有功能通過展示層提供給用戶進行界面訪問．展示層所支持的瀏覽形式包括輕量式客戶端(CS)、Web瀏覽(BS),從而實現最優客戶體驗,滿足不同場景演示．針對各種數據的圖形化展示,系統在前端框架層使用了不同的Web框架和交互技術．業務功能均可以在此界面進行人為操作,由于移動端不利于復雜人機交互操作,所以移動端操作界面僅包含數據處理、瀏覽、查詢等主要功能．接入層構建了用戶請求與后臺服務器應用的溝通協議,是系統實現關鍵,起承上啟下的作用,實現訪問數據、數據計算、結果分析、負載均衡、并發管理、網絡管理、數據管理、算法實現與集成、安全管理、用戶訪問．數據服務層主要驗證數據合法性,審核前端請求合理性．數據層用于描述本平臺的試飛數據來源方式和數據特點．數據來源方式包括系統集成和數據導入等方式,并針對不同的試飛數據格式、試飛數據類型提供相應的數據入庫與檢測工具集等,包含相關飛行試驗數據信息、訪問信息、管理信息、人員信息、權限信息、算法信息庫、數據處理配套信息等．服務器端是軟件系統核心所在,通過軟件可以最大程度發揮服務器端硬件性能,并為數據處理提供最優運行硬件環境支持．操作系統提供安全、穩定的高效運行．運行環境包括數據處理中心與各分集點服務器．系統開發模型確定后,系統主要功能細分到各主要模塊,如圖5所示．

圖5 系統邏輯架構Fig.5 Logical architecture of the system

1.2.2 客戶端軟件設計

客戶端與服務器端進行指令交互,按用戶需求實現數據處理結果的顯示等功能,客戶端兼容PC機、移動端,使用HTML語言基于網頁模式開發,內嵌基于跨平臺的數據處理相關控件．部分功能在客戶端實現,包括預處理數據的二次解算、視頻播放、數據分析．

用戶面向訪問前端,在主頁通過合法權限訪問相應權限功能,包括自定義飛行試驗科目與科目參數、事后數據推演與仿真、飛行效果的智能結果評估．科研人員通過飛行試驗數據處理結果的可視化顯示與判讀,對飛行器相應試飛科目執行結果進行評估．面向飛行試驗數據未來處理需求,集成新的數據處理方法與算法模塊,合并分散的數據處理功能,優化數據處理流程,使此系統數據處理與分析功能全面化、集成化、統一化、簡潔化,提升飛行數據整體處理能力與效率．數據處理系統客戶端設計如圖6所示．

圖6 數據處理客戶端Fig.6 Data processing client

2 關鍵技術

本系統面向海量數據,多分集點實現數據共享,保證數據安全、操作簡單等功能,這就對數據存儲模式、網絡架構、數據處理機制有了更高的要求．數據處理中心各服務器間如何級聯、如何協同工作是主要挑戰,數據處理中心與各分集點如何分工,數據處理中心、各分集點、客戶端之間網絡負載均衡是保障系統高效運行的關鍵．

2.1 分布式存儲技術

本系統服務器端主要由計算服務器、存儲服務器、負載均衡服務器、數據庫服務器組成,數據處理中心服務器之間的鏈路通信協議、硬件及軟件平臺設計是提升整個系統數據并發處理效率的關鍵．系統架構如圖7所示．

圖7 系統架構框圖Fig.7 Block diagram of the system architecture

系統服務器端各服務器間通信鏈路采用并行冗余和高可靠無縫光纖環網冗余技術．此系統服務器端設備中涉及多個相互獨立的協議及多個數據交互端口,合并成一個多種業務共享的以太網端口,實現多流數據的高度融合和網內信息的可靠共享[17]．此服務器端支持25/100GE主機接口,配置4塊480 GB SSD、27塊3.84 TB SSD,配置8個SAS3.0后端通道,總帶寬不低于384 GB,支持IP SAN、FC SAN、NAS等組網方式,提供iSCSI、FC、NFS、CIFS、HTTP、FTP等多種協議許可．

網絡混合組網的架構使服務器端交換機及光口數量大幅減少,網絡架構更加清晰,全網信息高度共享．同時,在網絡數據流量大幅增加的情況下,其中一條通信鏈路發生故障時,啟用另外一條健全的通信鏈路,使網絡通信的可靠性大大提高．各服務器間通過高效可靠的通信鏈路,使各服務器間數據傳輸、數據共享高效安全．

隨著大數據存儲技術的發展,分布式技術的解決方案也呈多樣性發展,在眾多行業取得了較好的應用效果．本系統采用分布式存儲技術進行飛行試驗數據處理系統數據共享服務系統的設計與實現．通過分布式文件系統和分布式數據庫來提升飛行試驗數據的儲存管理能力與數據的服務和支撐能力,并與飛行試驗數據處理系統實現無縫對接．分布式數據庫系統包含分布式數據庫管理系統和分布式數據庫．它將分布地不同的飛行數據本地數據庫存儲,由各分集點的數據庫管理系統進行管理,在不同的機器上運行,由相同的操作系統支持,被統一的通信網絡鏈路連接在一起的數據進行整合,形成一個邏輯上統一的數據庫[18]．分布式數據庫將所有運行開銷分攤于數據處理中心和各地數個分集點,物理上分散、邏輯上集中,從而實現更大的數據存儲能力．分布式數據庫系統有利于分集點擴展,同時,數據的出入均通過數據服務層的飛行數據統一標準數據接口提供對數據訪問、輸出等合法性審核．

分布式文件系統是一個高度容錯的系統,用來解決海量數據存儲和管理中的難題,它的數據訪問具有可靠性強、容錯率高、擴展性強、吞吐率高的特點,為海量特征的存儲帶來了很多便利．本文將分布于全國各地集結點的飛行數據統合成為一個高度集成化的數據中心,從而極大簡化了數據存儲、訪問等應用系統的使用,真正做到飛行數據存儲地域無關性．

2.2 ETL技術

ETL(Extract-Transform-Load,數據抽取-轉換-加載)是將數據從來源端經過抽取、轉換、加載至目的端的過程．用戶從數據源抽取出所需的數據,經過數據清洗最終按照預先定義好的數據倉庫模型,將數據加載到數據庫中,可以有效組織和整合各單位散亂存放、標準不統一的數據,為數據統計分析提供基礎數據．系統總體流程如圖8所示．

圖8 系統總體流程Fig.8 Overall flow chart of the system

ETL提供了圖形化的編輯界面,支持各種主流瀏覽器平臺通過簡單的拖拽定義ETL;提供了異步ETL過程處理模式,即數據抽取、轉換及裝載過程異步執行,從而實現了數據的高效處理;支持各種字段級的映射轉換,如類型轉換、字段轉換、參照轉換、字符串處理、字符集轉換、空值處理、日期轉換、聚集運算、既定取值、字段切分、字段合并等[19];支持映射自動匹配,可自動完成異構數據庫之間數據的映射;支持批量表的遷移映射,遷移信息包括表名、字段屬性、主鍵屬性、索引屬性等．本系統采用自主研發的ETL工具,用可視化控件,提供純Web的ETL定義和維護方式,助力系統中的ETL設計和管理．利用ETL模塊,無需編碼,用戶即可快速建立起個性化的ETL流程,屏蔽復雜的編碼任務,降低難度,大幅提高ETL的開發效率．ETL工具界面如圖9所示．

圖9 ETL工具界面Fig.9 ETL tool interface

2.3 邊云協同技術

試飛數據管理系統以云原生技術架構,使用容器與微服務技術,實現了應用功能的微服務化,并提供服務/數據高可用、服務/數據橫向擴展的能力．應用微服務是指將應用拆分為顆粒度不同的功能服務,通過微服務注冊中心實現服務的分布式部署,增加應用功能的服務冗余,為系統日常的運行提供高可用性．通過微服務的無狀態化解決了服務冗余帶來的擴容或縮容要求,并結合容器管理技術實現了服務的橫向擴充．存儲高可用是將數據復制到多個存儲設備中,通過數據冗余的方式來實現高可用,系統采用分布式數據存儲技術對數據進行冗余存儲,并支持數據存儲的橫向擴展．試飛數據管理系統如圖10所示．

圖10 試飛數據管理系統Fig.10 Flight test data management system

基于華為云原生平臺,提供對關系型、非關系型數據存儲,數據分發服務等,支持數據分布式存儲和數據遠程安全同步傳輸,使用基于大數據應用的相關組件功能,包括數據采集、治理、應用、處理計算等組件,完成對海量試飛數據的采/存/管提供基礎功能支撐,面向數據平臺與應用提供基礎服務功能,例如服務注冊(Eureka)、服務配置(Config-server)、浮動許可(Floating-license-server)等,完成基于微服務的試飛應用功能．

在西安部署多臺邊云節點,在成都部署多臺主云節點．為實現試飛數據向異地多個參試單位之間的高效傳輸,設計了多種異地數據同步/異步傳輸策略,結合試飛數據分類授權等功能,實現了數據流向的安全受控與協同共享．

試飛數據上云后,統一由“多數據中心同步網關”進行調度,根據試飛數據類別與特性采用相應的同步策略,立即或定時發起數據源向目標位置的傳輸任務．多數據中心同步網關如圖11所示．

圖11 多數據中心同步網關Fig.11 Multi-data center synchronization gateway

3 系統性能與測試結果

3.1 試驗配置

系統服務器端程序(IIS、調度軟件等)均部署在Windows server 2012服務器上,基于Oracle 11g數據庫運行．客戶端部署在Win7、WinXP系統上,使用IE8瀏覽器運行．配置8個節點,總內存2 048 GB,裸容量1 200 TB,使用容量不低于600 TB,提供不低于10個NFS文件系統的軟件license授權．配置雙冗余控制器,配置8個16 GB FC接口、8個10 GB接口,支持不少于40個主機接口.配置服務質量控制(QoS),IPV4/IPV6協議授權功能,支持SSD讀和寫性能加速.配置RAID保護機制,單RAID硬盤組任意3塊硬盤發生整盤永久性故障,數據不丟失、業務不中斷．

3.2 整體性能

本文提出的基于邊云協同的飛行試驗數據處理系統采用數據處理中心+分集點同步飛行數據處理模式,實現了各試驗場數據互聯互通、異地數據同步處理,對數據處理算法庫進行了統一,數據處理結果精度達到飛行試驗要求,并且增加了動態可擴展性．非密數據可以通過手持終端隨時隨地訪問,大大提高了飛行數據處理效率．2021年試驗數據入庫量如圖12所示。

圖12 2021年試驗數據入庫量Fig.12 Volume of test data stored in the database 2021

新舊飛行試驗數據處理系統經過一段時間并行運行,逐步對以前分散管理的飛行數據及相關資料轉入新系統統一管理,并對分散在全國各地試驗點分集點的數據處理系統進行并網同步管理,目前已達到全運行狀態．經多型號驗證,相比原模式,新模式數據處理效率提升49%以上,數據處理耗時縮短到原模式的一半．新舊系統效率提升對比如表2所示．

表2 系統效率提升對比

相比于原系統,基于邊云協同的數據處理中心在單向單線程傳輸、單向雙線程傳輸中的測試表現出997～1 155 MB/s的流出量實測速度．原系統在單向單線程傳輸和單向雙線程傳輸1 GB 的數據時,均需要60 s,新系統只需0.9 μs,新系統較原系統速度提升了60多倍．原系統在單向單線程傳輸10 GB的數據時需要7 min,新系統只需10 s;在單向雙線程傳輸測試10 GB數據時,原系統需要11 min,新系統只需10 s．同時,新系統增加了數據處理中心與分集點之間的數據傳輸,分集點請求數據處理中心數據處理后,科研人員可以在分集點查看結果,新系統還增加了在線回放視頻數據的功能,經測試回放流暢,極少有卡頓現象．原系統與新系統的服務器之間數據傳輸效率結果如表3所示．

表3 服務器之間數據傳輸效率相關指標測試

通過對新舊系統數據處理效率對比,數據處理服務器集群按用戶的處理指令將數據處理任務均衡到相應計算服務器,并通過高速網傳通信、通信協議迭代應用、極速數據庫訪問等技術的合理應用,達到數據處理效率提升的目的．

目前新系統已經完全獨立運行,系統安全性、可靠性、健壯性等得到進一步驗證,通過數據處理中心+分集點模式,已經完全擔負起日常飛行數據處理任務．

4 結束語

本文通過數據處理中心與分集點結合的處理模式,解決了飛行數據從本地處理到跨地域處理、數據中心與各分集點飛行數據存儲從點到面共享等問題,實現了飛行數據處理、全過程科目執行效果推演與分析、飛行數據驅動仿真等技術．通過引入5G無線和互聯網有線技術,實現了從本地處理到通過手持移動終端實時訪問非密數據的跨越,解決了后續試驗數據處理在地域、空域、時效等制約瓶頸上的限制,實現了飛行數據的異地、本地協同處理．基于本文設計的飛行數據處理系統,實現了飛行試驗數據高時效處理、跨地域數據共享和數據驅動與解算建模．后續將加大對數據結果智能預判、海量數據階梯式分析等技術研究,為飛機飛行試驗數據處理的智能化,做好技術鋪墊和支撐．