業務自適應的應急網絡多路傳輸調度機制

齊智鵬 張宇明 徐連明 王 莉 費愛國

1.北京郵電大學計算機學院（國家示范性軟件學院） 北京 100876

2.北京郵電大學電子工程學院 北京 100876

我國自然災害多發,人民群眾生命財產安全受到極大威脅.據統計[1],2020 年我國各種自然災害共造成1.38 億人次受災,因災死亡失蹤591 人,緊急轉移安置589.1 萬人次；倒塌房屋10 萬間,不同程度損壞176 萬間；農作物受災面積19 957.7 千公頃；直接經濟損失3 701.5 億元.

當災情發生時,救援行動的順利展開離不開及時、正確的指揮.這里的指揮不僅是向前線隊員下達救援指令這一過程,而有著更廣泛的含義,包括救援指揮方案的制定、更新和指揮信息的下達等多個過程,如：前線隊員采集現場災情信息并回傳至后方指揮中心,協助指揮中心制定、更新救援指揮方案；指揮中心對災情勢態進行判斷,遠程指揮前線隊員,及時遏制災情、救出被困人員.這些過程均涉及到前后方的指揮信息交換,因此,救援效率很大程度上依賴于救援通信網絡的傳輸性能和可靠性.此外,前后方指揮信息的傳輸基于不同類型的指揮業務,從信息載體角度,可以劃分為文本業務、語音業務、視頻業務等；從時間敏感性角度,又可以分為實時消息業務、文件傳輸業務、后臺傳輸業務等.根據不同的劃分方式,各類指揮業務對網絡的傳輸性能和鏈路質量提出了不同的要求.當網絡通信質量好,數據傳輸通暢時,后方指揮中心能夠及時獲悉現場災情,快速制定救援方案并遠程指揮前線人員展開救援行動；否則,網絡傳輸性能和鏈路質量無法滿足業務需求,前后方無法在有效時間內進行指揮信息交換,前線人員無法根據后方的指揮作出最優行動決策,大大影響救援效率.

由于災難突發,大量通信基礎設施損毀,災情現場部分區域無信號覆蓋,多使用臨時自組網絡[2-3]作為應急救援指揮網絡解決方案,在其上進行單鏈路數據傳輸來保障通信.然而,應急臨時組網設備簡陋,外部環境惡劣且復雜多變,導致網絡傳輸性能差,通信不可靠,無法滿足應急指揮業務的鏈路質量需求,阻礙了救援指揮行動的展開.因此,如何在應急無線通信場景下,提升業務保障能力和自組網絡傳輸性能,實現數據可靠傳輸是一個亟需解決的問題.

結合應急場景對上述問題進行分析可知,在自組網絡的數據傳輸過程中,由于采用的是傳統的單鏈路傳輸方式,因此,其業務響應能力依賴于該鏈路的傳輸質量和穩定性.但在應急場景下,周遭環境條件惡劣,無線鏈路常常受到干擾,單鏈路通信質量差、波動性強、可靠性低,進而大大影響了網絡的整體傳輸性能.

為充分利用鏈路資源,避免單點效應,增強網絡可靠性,提升端到端數據傳輸速率[4],本文使用多路傳輸[5-7]方法代替傳統的單鏈路傳輸,為指揮信息的可靠上傳和下達提供保證.

多路傳輸在通信雙方之間使用多條傳輸路徑并行傳輸數據,節點使用多路調度器得到當前數據包的轉發鏈路并進行發送.在目前的多路傳輸協議中,大多使用輪詢（round robin,RR）調度器、最短往返時延優先（lowest RTT）調度器和隨機（random）調度器.然而,傳統的多路并發傳輸中,由于路徑之間存在差異,低延遲路徑上發送的數據包可能會先到達接收方,導致接收端數據包亂序到達,造成路徑擁塞[8-9]問題.此外,在應急指揮場景下,傳統多路調度器有如下兩方面的問題：1）由于指揮業務類型多樣,各類業務的鏈路資源需求存在差異,但調度器在進行數據包調度時未考慮業務類型,從而影響了業務保障能力和響應時間開銷；2）由于外部環境變化頻繁,無線鏈路質量受其影響也常發生波動,調度器無法對鏈路環境變化作出自適應調整,在動態性鏈路環境下傳輸性能較差.

已有不少學者對傳輸調度優化及多路調度器展開了研究,并針對不同的場景問題提出了對應的解決方案,在提高傳輸效率和服務質量、避免網絡擁塞和資源浪費等方面取得了比較好的效果.其方法可以大致分為基于反饋的調度、基于規則的調度和基于學習的調度.

基于反饋的調度通過在客戶端和服務器之間交換反饋信息,來實時地感知網絡狀況和應用程序需求,并根據反饋信息來調整數據流量的分配和控制.文獻[10]基于鏈路往返時間變化動態調整擁塞窗口增長機制,在異構多路環境下減少了任務時間開銷.文獻[11]提出了一種快速重傳策略,動態監測路徑延遲來改變其傳輸速率以適應網絡環境.文獻[12]提出了一種基于丟包率感知的多路徑并發傳輸方案,以減少接收端的數據包重排序延遲和不必要的重傳.

基于規則的調度通過預先定義一些固定或可配置的規則,以此來指導數據流量的分配和控制,如基于優先級的調度方法和輪詢調度方法.這些方法主要通過比較數據包在不同子流上的序號、優先級或負載來確定發送或接收順序,以保證數據包按照原始順序到達目標端或源端.文獻[13]在MPTCP 協議下使用輪詢調度算法,在鏈路差異不大的場景下表現出良好的傳輸性能.文獻[14]在輪詢的基礎上增加了往返時延權重,在調度過程中以此為優先級對各路徑進行輪詢,相比于傳統輪詢調度提升了靈活性.

基于學習的調度是一種利用機器學習技術來自動地學習和優化在多條路徑上發送或接收數據包的順序和方式的技術.近年來,隨著強化學習（reinforcement learning,RL）的發展[15-16],出現了不少基于強化學習的多路徑傳輸調度方法.文獻[17]所提的Peekaboo 調度器先使用強化學習方法快速決策,再使用隨機調整的方法規避誤差,以此在動態性鏈路環境下自適應學習調度策略.文獻[18]以服務質量為優化目標,結合強化學習方法提出多路并發傳輸優化模型CMT-MQ.文獻[19]提出ReLeS 調度器,通過深度強化學習（deep reinforcement learning,DRL）動態地生成多路徑數據包調度策略.類似的,文獻[20]提出Cyberwin-CMT 模型,在軟件定義網絡（software defined network,SDN）中應用DRL 算法動態生成數據調度決策.

如上所列,基于規則和反饋的調度方法從擁塞控制與重傳機制等方面進行優化,依然無法對鏈路的動態變化作出自適應調整；基于學習的調度方法能夠結合強化學習理論,根據網絡環境動態學習調度策略,但復雜的神經網絡模型訓練時間長[21],在鏈路變化頻繁的應急場景下不便于部署和擴展.除此之外,以上研究大都沒有考慮到不同業務的鏈路資源需求差異,將所有數據視為同一類業務,未針對業務類型進行傳輸優化,因而無法應用于應急場景下多路傳輸調度.

因此,為了解決應急場景下的自組網絡傳輸性能差、指揮業務響應時間久、業務保障能力低等問題,本文設計了一種業務自適應的應急網絡多路傳輸調度機制,并基于此機制設計實現了面向應急業務的自適應多路調度器（emergency services oriented adaptive multipath scheduler,ESOAMS）.在調度過程中,ESOAMS 考慮了業務對鏈路傳輸質量指標的不同需求,并使用不含神經網絡的非深度強化學習方法，自適應學習動態性鏈路下的數據包發送策略.主要工作貢獻分為以下4 個方面：

1）在應急救援指揮這一特殊場景中引入多路傳輸,設計了一種業務自適應的應急網絡多路傳輸調度機制,并基于該機制實現了ESOAMS,將數據包調度過程分為面向業務的差異化鏈路評價和自適應多路徑調度決策兩個階段,以綜合考慮業務差異性和鏈路狀態波動性,優化網絡傳輸性能.

2）為了量化各類業務的鏈路資源需求,提出“業務-鏈路”適配度評價指標,并在差異化鏈路評價階段使用層次分析法[22]（analytic hierarchy process,AHP）進行計算,有關層次分析法和“業務-鏈路”適配度計算過程將在第2 節詳細介紹.

3）為了減輕鏈路變化對網絡傳輸性能的影響,ESOAMS 在自適應多路徑調度決策階段使用強化學習方法,對網絡環境變化快速作出反應并自適應學習新的調度策略.

4）在MPQUIC（multipath QUIC）協議[21]中實現了ESOAMS,并在Mininet[22]仿真環境中與現有的多路調度器進行了實驗對比,驗證了ESOAMS 可以有效提升業務保障能力、減少業務響應時間開銷、提升自組網絡傳輸性能.

1 業務自適應的應急網絡多路傳輸調度機制

1.1 應急救援自組網絡應用場景

應急救援指揮過程中,當部分區域無可用網絡時,常通過建立無線自組網來彌補通信空缺,以確保指揮信息的傳輸渠道暢通.其場景如圖1 所示,在受災地區使用無人機節點[25-26]、可背負移動基站、手持終端和未受損網絡基礎設施等設備搭建自組網,前線救援小隊通過該網絡與后方救援指揮中心進行信息交換,兩者之間存在多條不重復的可用無線鏈路.通信過程中,救援人員使用手持移動終端與前線接入節點相連,將采集的現場災情信息回傳至后方,傳輸任務的流量數據先到達前線接入節點,再通過自組網絡轉發到后方接入節點并下發到救援指揮中心；指揮中心根據接收到的信息制定救援方案,并使用同樣的方式將指揮信息發送至救援小隊,實現遠程指揮和控制.本文所提業務自適應的應急網絡多路傳輸調度機制和ESOAMS 調度器，即工作在上述過程中的前后方接入節點上,以保障指揮業務數據的高效可靠傳輸.

圖1 應急救援中的無線自組網絡場景示意圖Fig.1 Schematic diagram of scenarios of wireless Ad Hoc networks in emergency rescue

1.2 業務自適應的應急網絡多路傳輸調度機制

本多路傳輸調度機制將指揮業務數據的發送過程劃分為如下兩個階段：

1）面向業務的差異化鏈路評價：在此階段,ESOAMS 根據當前的指揮業務類型和鏈路質量計算各條鏈路的“業務-鏈路”適配度,實現面向業務的差異化評價,以滿足各業務的鏈路資源需求.

2）自適應多路徑調度決策：在此階段,調度器以前文“業務-鏈路”適配度的計算結果為參考,并結合鏈路的動態性水平和傳輸層特征參數,通過自適應學習,調整數據包多路轉發策略,以減少網絡狀態波動對傳輸性能的影響.

ESOAMS 中數據包調度的整體流程如圖2 所示.當指揮業務到達時,對于每個數據包,調度器先進入鏈路評價階段,根據當前的業務類型和鏈路傳輸質量,計算出各條鏈路的“業務-鏈路”適配度,以評估其在當前業務下的相對優劣程度；接著,根據“業務-鏈路”適配度從高到低順序對鏈路進行排序,得到鏈路優先級序列；最后,進入調度決策階段,以鏈路傳輸層參數為特征,使用自適應學習算法得到數據包多路轉發策略,根據該轉發策略的動作決策和鏈路優先級序列確定數據包的轉發鏈路.

圖2 ESOAMS 數據包調度流程Fig.2 ESOAMS data packet scheduling process

2 面向業務的差異化鏈路評價

應急指揮通信中,業務類型多樣,不同指揮業務的鏈路資源需求存在差異.有的業務對時延敏感,需要優先在低時延鏈路上進行通信；有的業務數據量較大,需要發送鏈路具有較高的可用帶寬.若在數據包調度過程中忽略各業務的鏈路資源需求差異性,將大大影響業務保障能力.因此,ESOAMS 在本階段結合業務類型和網絡傳輸質量,對各鏈路進行評價,將評價結果量化以得到“業務-鏈路”適配度評級序列.

與業務傳輸需求相關的鏈路資源質量指標有多個,而大多數指揮業務對往返時延（round-trip time,RTT）、丟包率（packet loss rate,PLR）和帶寬（bandwidth,BTH）提出較高要求.因此,ESOAMS 從以上3個指標出發對鏈路進行評價,將鏈路評價過程看作基于RTT、PLR、BTH 和指揮業務類型的多準則決策問題,并使用層次分析法對該問題進行求解.

層次分析法是一種定性和定量相結合的、系統的、層次化的綜合評價方法.其在復雜決策問題的本質、影響因素及其內在關系等的基礎上,利用較少的定量信息使決策的思維過程數學化,從而為多目標、多準則或無結構特性的復雜決策問題提供簡便的決策方法.層次分析法建立并利用樹狀的層級結構,將復雜的決策問題在一個層級中區分為多個子問題,每個子問題可以獨立進行分析；得到基本層級結構后,專家對每一個子問題之間的相對重要性進行系統評估,給予權重數值,以此建立判斷矩陣,隨后求出判斷矩陣特征向量及特征值,以該特征向量代表每一層級中各部分的優先權,為決策者提供充分的決策依據和評選權重,減少決策錯誤的風險.下文將給出“業務-鏈路”適配度的定義，并根據層次分析法對其中關鍵參數的計算過程進行詳細說明.

2.1 “業務-鏈路”適配度

本文提出“業務-鏈路”適配度,以量化鏈路質量相對于指揮業務傳輸需求的滿足程度,該指標值越高,則鏈路質量與指揮業務需求越契合,可認為該鏈路在當前業務下有更高的調度優先級.計算“業務-鏈路”適配度的相關符號及其含義如表1 所示.

表1 “業務-鏈路”適配度相關符號及其含義Table 1 The related"service-link"adaptability symbols and their definitions

指揮業務wj下,鏈路linki的“業務-鏈路”適配度scorej，i可以使用式（1）計算得到：

其中,業務wj的適配度計算權重weighti，rtt、weighti，plr、weighti，bth和鏈路linki傳輸質量指標的量化得分scorei，rtt、scorei，plr、scorei，bth均由層次分析法計算得到,下文將對此進行詳細說明.

2.2 層次化鏈路評價結構

為多路傳輸的鏈路選擇問題建立如圖3 所示的樹狀層級結構,從下到上依次為方案層、準則層和目標層：方案層元素代表決策問題的所有備選方案,在本場景應用中備選方案為可用鏈路,因此,設置N 個方案層元素與各鏈路一一對應；準則層元素代表備選方案的屬性,在后續計算過中將通過對比各方案對應屬性的取值得到其量化得分,在此取鏈路RTT、PLR 和BTH 屬性值為準則層元素；目標層元素代表決策問題的目標,層次分析法基于此評估各準則層元素的計算權重,最終得到各方案評估結果,在本應用場景中設置其為“為業務wj選擇傳輸鏈路”.

圖3 AHP 鏈路評價層級結構Fig.3 AHP link evaluation hierarchy structure

2.3 “業務-鏈路”權重計算

建立目標層和準則層之間的判斷矩陣.以目標層元素“為業務選擇傳輸鏈路”為參考,將準則層各屬性進行兩兩比較,比較結果構成判斷矩陣Sj=[smn],m、n 取值1、2、3 時分別對應準則層屬性RTT、PLR 和BTH.判斷矩陣Sj可表示如式：

其中,smn表示準則層元素m 與n 對目標“為業務wj選擇傳輸鏈路”的相對重要性尺度,有smn>0,smm=1 且smn=1/snm.相對重要性尺度取值范圍和其所代表的意義如表2 所示.

表2 相對重要性尺度取值及其含義Table 2 Relative importance scale values and definitions

再利用式計算得出每個屬性相對于其他屬性的權重值：

其中,cm即為每個屬性相對于其他屬性歸一化后的權重值.將cm按下標與RTT、PLR 和BTH 一一對應可得各屬性在業務wj下的“業務-鏈路”適配度計算權重,即有式（5）、式（6）和式（7）：

2.4 鏈路質量指標評分

建立準則層和方案層之間的判斷矩陣.分別以準則層元素RTT、PLR 和BTH 為參考,將方案層的各鏈路進行兩兩比較,比較結果構成RTT 判斷矩陣,PLR 判斷矩陣和BTH 判斷矩陣.如式（9）、式（10）和式（11）所示：

其中,rmn、pmn、bmn分別表示鏈路linkm和鏈路的RTT、PLR、BTH 的相對優劣程度.由于各鏈路往返時延、丟包率和帶寬能夠在數據包調度時監測得到實際值,因此,在判斷矩陣R、P和B中,采用實際屬性值的比表示各鏈路指標的相對優劣程度,如式（12）～式（13）所示：

參照2.3 節中“業務-鏈路”適配度計算權重的評估方式,依次使用式（3）和式（4）分別對判斷矩陣R、P和B中元素進行對比量化和歸一化處理,并分別將計算結果以向量r、p 和b 的形式表示,如式（15）～式（17）所示：

對于任意鏈路linki,分別取向量r,l,b 中對應維度的值,并以向量形式組織如下：

式中,scorei即鏈路linki各質量屬性的量化得分所組成的向量.

2.5 “業務-鏈路”適配度計算

對前文得到的業務wj的適配度計算權重向量weightj、鏈路linki各屬性量化得分向量scorei,使用式（22）計算得到業務wj下,鏈路linki的“業務-鏈路”適配度scorej，i：

至此,經層次分析法計算,可得到任意業務wj,在鏈路集合Link 上的“業務-鏈路”適配度評級序列,記作,表示如下：

在自適應多路徑調度決策中,ESOAMS 將以該適配度序列為參考,視分數最高的鏈路為當下最優鏈路,記作linkbest；視第二高的則為次優鏈路,記作linksecond,以此類推.

3 自適應多路徑調度決策

前文已經通過層次分析法得到了鏈路適配度評級序列,但在應急場景下,外部環境條件變化頻繁,鏈路傳輸質量波動性較強.因此,調度器在進行數據包轉發時需要在考慮業務類型的基礎上,針對鏈路動態性調整轉發策略.工作重點即在于設計一個調度算法,使得ESOAMS 能夠在動態性鏈路條件下作出自適應轉發決策.

本階段使用強化學習中基于上下文多臂老虎機（contextual multi-armed bandit,MAB）[27]理論的在線學習算法,來實現發送策略的自適應學習.在一般的上下文MAB 問題中,學習代理觀察代表環境的特征向量,以最大化獎勵函數為目標,從可用動作集中選擇動作,在平衡“探索”和“利用”的過程中學習動作選擇策略,從而使得每次都能選擇最佳的動作.所要解決的問題中,學習代理是調度器,動作是調度決策,特征是路徑特征.將給出ESOAMS 中動作、路徑特征、獎勵函數和自適應在線學習算法的詳細設計.

3.1 動作集合Actions

與經典的MAB 方法不同,ESOAMS 使用“策略性動作”代替“鏈路實體”作為決策結果,將決策結果和“鏈路實體”通過“策略性動作”進行解耦.這里,“策略性動作”即是從備選方案中選擇轉發鏈路的策略規則,算法作出決策后,會根據決策結果對應的策略規則從鏈路集合中選擇鏈路；“鏈路實體”則是具體的可用鏈路對象,算法作出決策后,會直接在決策對應的鏈路上發送數據包.

對于一條鏈路來說,如果其擁塞窗口中還有剩余空間,則認為該鏈路可用；對于每次調度決策,有兩種操作：“發送”和“等待”.例如：如果最優鏈路可用,則直接使用最優鏈路進行數據包傳輸；如果最優鏈路不可用,則可用動作包括：1）在可用的次優鏈路上發送；2）等待最優鏈路可用.在第1 種情況下,調度器以“業務-鏈路”適配度評級序列為依據,直接在最優鏈路進行數據包發送；在第2 種情況下,ESOAMS 接管調度程序的路徑選擇操作,自適應學習如何決策以最大化傳輸性能.

基于上述分析,定義動作集合A={a1,a2},其中,動作a1為“等待最優路徑linkbest重新可用,在其上發送數據包”,動作a2為“在可用的次優路徑linksecond上發送數據包”.

3.2 特征向量Features

ESOAMS 使用4 個參數來創建用于表征傳輸層鏈路的特征,即擁塞窗口大?。╟ongestion window,CWND）、正在傳輸的數據包數量（inflight packets,InP）、發送窗口大?。╯end window,SWND）和RTT.在以上鏈路參數作為特征向量元素前,將前3 個參數使用RTT 進行歸一化處理,以提高學習速度.對linkbest和linksecond的前3 個參數分別進行處理后得到六維特征向量features,如式（24）所示：

3.3 獎勵函數Reward

獎勵函數用于評估所選動作的價值.在本文ESOAMS 中,獎勵函數采取折扣獎勵的形式,以參考時間間隔內接收到的每個數據包的瞬時獎勵加權求和計算得到.定義瞬時獎勵r 為當前確認接收的數據包大小與其從發送到確認接收所經過的時間之比,如式（25）所示：

其中,PS表示當前確認接收的數據包大小,Tack表示該數據包從發送到確認接收所經過的時間.

隨后將瞬時獎勵r 按照折扣因子加權求和,即可得到總體回報獎勵R,其計算方法如式所示：

其中,γ 為當前瞬時獎勵的折扣因子,根據前一瞬時獎勵的折扣因子γ'計算得到,如式（27）所示：

式中,c1、c2、c3為時間衰減常量,用于模擬數據包瞬時獎勵對總體回報獎勵R 的影響隨時間衰減,設置時需滿足c1

獎勵函數的詳細計算過程如算法1 所示.定義參考時間間隔為3Tref（第2 行）；在后面的調度過程中,只要決策后所經過的時間Telap在3Tref內,且不斷有數據包被確認接收（第3 行）,回報獎勵R 就按照γr 的大小不斷增加（第4～12 行）.

3.4 自適應在線學習算法

對于在線學習算法的選擇,ESOAMS 需要一種調度算法能夠滿足以下兩個要求,1）收斂快速,可以快速響應鏈路狀態變化；2）計算輕量級,使得網絡堆棧的操作不會受到計算時間影響.出于如上考慮,ESOAMS 選擇線性置信上界算法（linear upper confidence bound,LinUCB）[29]作為ESOAMS 中的自適應在線學習算法,在“傳輸”和“等待”兩個動作間作出決策.

LinUCB 算法使用嶺回歸來評估在時間t,給定d維特征向量xt,采取動作a 的預期獎勵.然后,計算各動作置信上界（upper confidence bound,UCB）以估計動作的最大獎勵值,最終選擇時間t 時預期獎勵值最大的動作作為決策.對于未添加UCB 的嶺回歸方法,在時間t 時,給定特征向量xt,采取動作a 的預期獎勵可以表示如式（29）所示：

其中,Rt，a表示在時間t 采取動作a 的獎勵；θa是算法要學習的參數,由每個動作a 各自維護,是一個d×1維的向量,其計算方法如式：

其中,Da是m×d 維的矩陣,其中包含選擇動作a 時觀察到的特征向量的歷史記錄,其中,m 是該動作被選擇的次數；ca是m×1 維的向量,其中包含的是選擇動作a 所獲得的獎勵的歷史記錄.

至此,LinUCB 算法的整體訓練流程可歸納如算法2 所示.但需要注意的是,算法2 中采用的是簡化版本的LinUCB 算法[29],該版本轉換了式中的矩陣乘法.使用這樣的方式在計算單元中只需緩存一個d×d 維矩陣,而不用緩存原始的m×d 維矩陣,減少了運算量.

3.5 ESOAMS 數據調度流程

將面向業務的差異化鏈路評價和自適應多路徑數據調度決策的步驟串通,可以得到面向應急業務的自適應多路數據調度器的數據包調度完整流程，如算法3 所示.當有數據包需要做出多路調度決策時,首先,ESOAMS 根據當前的指揮業務類型確定“業務-鏈路”適配度計算權重向量（第1 行）；隨后進入差異化鏈路評價部分,對當前所有鏈路進行遍歷,計算“業務-鏈路”適配度指標scorej，i（第4～6 行）,以此為依據得到最優鏈路linkbest和次優鏈路linksecond,組成候選鏈路集合candLinks（第7～16 行）,至此,AHP差異化鏈路評價結束；在自適應多路調度階段,ESOAMS 將分別依照a1和a2兩種策略性動作運行一段時間,調用算法1 計算此期間每次決策的回報獎勵,將決策和獎勵的歷史記作向量ha1和ha2（第17、18 行）；最后,以歷史決策記錄為數據集,調用算法2,執行LinUCB 訓練和決策邏輯,根據算法輸出的“策略性動作”a 選擇最終發送鏈路link（第19～21 行）.

4 實驗結果驗證

4.1 實驗設置

針對應急救援指揮中,自組網絡傳輸性能差、指揮業務保障能力不足等問題,本文設計了一種業務自適應的應急網絡多路傳輸調度機制,并基于該機制,設計實現了面向應急業務的自適應多路調度器ESOAMS.其將調度過程分為面向業務的差異化鏈路評價和自適應多路徑調度決策兩個階段：ESOAMS 先使用層次分析法,使用與業務類型對應的計算參數量化各鏈路的“業務-鏈路”適配度,實現了面向應急業務的差異化鏈路評價；隨后使用LinUCB 算法,根據鏈路質量的波動及時調整數據包調度策略,實現了在動態鏈路環境下的自適應調度決策.針對上述流程,本文從以下兩個方面對ESOAMS 展開實驗：

1）業務差異化調度實驗.使用ESOAMS 自適應多路調度器,將不同類型指揮業務的平均響應時間進行對比,以驗證ESOAMS 對各類業務的差異化調度效果.

2）鏈路狀態自適應實驗.在同等動態性鏈路環境下,將ESOAMS 調度器與其他多路調度器進行對比,以驗證ESOAMS 在動態性環境下對網絡傳輸性能的提升.

實驗在MPQUIC 協議中實現了ESOAMS 調度器邏輯,MPQUIC 協議是快速UDP 互聯網連接協議（quick UDP internet connection protocol,QUIC）的擴展,其主要目的是實現QUIC 傳輸協議并行利用多種網絡接口的能力.MPQUIC 在QUIC 協議之上增加了管理模塊、路徑識別模塊和調度器模塊等,以實現鏈路的管理、數據包調度等功能.ESOAMS 的實現方案主要對MPQUIC 協議的調度器模塊進行了功能擴展,加入AHP 鏈路評價和LinUCB 自適應調度的相關邏輯,擴展前后的內部組成和邏輯層級如圖4所示.

圖4 MPQUIC 調度器模塊擴展前后對比Fig.4 Comparison before and after extension of MPQUIC scheduler module

實驗在4 GB 內存、雙核Ubuntu14.04 系統的虛擬機環境中進行,使用Mininet 搭建仿真環境.Mininet 使用Linux 容器模擬真實的網絡堆棧而不會簡化仿真模型,能夠得到與真實環境相匹配的實驗結果.實驗創建如圖5 所示的拓撲結構,客戶端通過5 條部分不相交的鏈路與服務器相連.在數據傳輸的過程中,使用Linux 流量控制工具NetEM[30] 配置鏈路RTT、PLR 和BTH 等質量屬性,以模擬應急場景下自組網絡鏈路質量變化,具體參數值配置將在下文進行詳細說明.

圖5 Mininet 模擬網絡環境拓撲圖Fig.5 Mininet network environment topology

4.2 業務差異化調度實驗

實驗參考3GPP 對網絡業務的分類方式[31],將業務劃分為“實時消息業務（message）”“多媒體傳輸業務（media）”和“后臺傳輸業務（background）”三類.其中,“實時消息業務”用于支持前方救援人員和后方指揮中心的實時通信,以文本信息的形式為遠程下達救援指揮命令提供業務保障,因此,業務完成優先級最高,對傳輸鏈路的往返時延和丟包率提出了較高的要求,對帶寬的需求較低；“多媒體傳輸業務”以視頻和高質量圖像等多媒體為信息載體,提供多媒體信息回傳服務,支持前線人員向后方報告現場災情,輔助專家制定救援方案和指揮決策,由于傳輸的數據量較大,因此,對可用帶寬的需求較高,而對往返時延的敏感性較低；“后臺傳輸業務”主要負責由后臺自動發起的前后方非緊急信息傳輸任務,如設備工作狀態信息同步、指揮歷史記錄備份等,對時延要求最低,但對丟包率要求較高.

基于上述分析,分別為message、media 和background 三類指揮業務創建對應的AHP 判斷矩陣,以體現ESOAMS 對不同類型業務在調度過程中的差異性.經歸一化計算后,得到各業務的“業務-鏈路”適配度計算權重大小及其比例如圖6 所示.

圖6 各業務的“業務-鏈路”適配度計算權重Fig.6 Calculation weight of"service-link"adaptability for each service

為了體現ESOAMS 對不同類型業務在調度過程中的差異性,實驗分別基于如上3 種指揮業務,從客戶端向服務器發送150 MB 大小的文件,考察其完成時間的差異,為了避免偶然性,將實驗重復10 次并取完成時間平均值.實驗鏈路環境設置如表3 所示.

表3 業務差異化調度實驗鏈路環境參數Table 3 Link environmental parameters of services differentiation scheduling experiment

分析對比實驗結果由圖7 可知,對于不同類型的指揮業務,ESOAMS 在進行調度鏈路選擇時選擇了不同的傳輸鏈路.其中,對于實時消息類業務,調度器選擇了往返時延最低的鏈路進行轉發,其業務完成時間最低；相反,對于后臺類業務,由于其對時延要求最低,因此,其業務完成時間最久.本部分實驗結果驗證了ESOAMS 對不同類型業務的差異化調度效果.

圖7 業務平均任務完成時間對比Fig.7 Comparison of the average task completion time of services

4.3 鏈路狀態自適應實驗

本實驗在動態鏈路環境下,橫向對比本文所提ESOAMS 和其他多路調度器的傳輸性能,以驗證在網絡鏈路動態變化時,ESOAMS 對網絡傳輸性能的優化效果.

本實驗驗證了ESOAMS 所用的強化學習Lin－UCB 算法的有效性.圖8 展示了LinUCB 算法在訓練過程中的學習曲線,可以觀察到,隨著訓練的進行,獎勵值逐漸趨于穩定,在大約300 次決策后達到穩定狀態,并最終收斂到7.8 左右.這表明,在訓練過程中,LinUCB 算法成功地學習到了有效的調度策略,能夠最小化數據包的往返時延,提升傳輸性能.

圖8 獎勵函數隨決策次數變化曲線Fig.8 Variation curve of reward function with decision-making times

繼承上一部分實驗的業務分類方式,ESOAMS以實時消息類業務下的自適應多路傳輸調度為代表,與其他的多路調度器,如最短往返時延優先調度器（Lowest RTT）、輪詢調度器（RR）、隨機調度器（Random）、最早完成優先調度器（earliest completion first,ECF）[32]和基于阻塞估計調度器（blocking estimationbased,BLEST）[33],進行性能對比.為放大實驗效果,客戶端向服務器發送350 M 的文件,重復10 次,記錄調度器每次的完成時間.

為了驗證ESOAMS 在動態性網絡中的性能優勢,實驗分別設置了低、中、高3 種動態性水平的網絡環境,各條鏈路質量變化設置如表4 所示.將各調度器的完成時間繪制成箱型圖,如圖9 所示,將其中關鍵統計數據以表格形式展示,如表5 所示.可以看出,由于網絡鏈路質量和波動性差異,在低、中、高動態性網絡環境下,各調度器的整體傳輸性能均有不同程度的下降.但是相比于其他多路調度器,ESOAMS 由于內置了自適應在線學習算法,傳輸性能優勢明顯,顯著降低了業務的響應時間開銷.尤其在高動態性鏈路環境中,ESOAMS 的傳輸耗時平均值相對于Lowest RTT、BLEST、RANDOM、RR 和ECF 分別減少了1.06 min、2.07 min、2.21 min、4.33 min 和4.44 min,傳輸耗時中位數則分別減少了1.08 min、2.14 min、2.25 min、4.72 min 和4.50 min.

表4 鏈路狀態自適應實驗鏈路環境參數Table 4 Link environment parameters of link state adaptive experiment

表5 不同動態性鏈路下各調度器業務響應時間統計數據Table 5 Statistical data of service response time of each scheduler under different dynamic links

圖9 不同動態性鏈路下各調度器業務響應時間對比Fig.9 Comparison of the service response time of each scheduler under different dynamic networks

隨后,實驗計算了各調度器在不同動態性網絡下的平均業務響應時間,繪制折線圖如圖10 所示.可以看出隨著鏈路動態性由低到高變化,Lowest RTT、BLEST、RANDOM、RR 和ECF 的平均業務響應時間分別增加了52.2%、83.1%、78.8%、149.81%和89.95%,而ESOAMS 則僅增加了19.7%.證明了使用ESOAMS 能夠有效減少傳輸耗時,并且在鏈路環境動態變化時,能夠保持業務響應時間相對穩定.

圖10 調度器平均傳輸耗時隨鏈路動態性波動曲線Fig.10 Average transmission time of scheduler versus link dynamics fluctuation curve

為了進一步直觀地展現ESOAMS 相比于其他調度器的傳輸性能提升效果,本部分實驗記錄了在高動態性鏈路環境下,傳輸過程中,任務完成進度隨時間的變化,如圖11 所示.觀察各曲線的斜率可以看出,使用ESOAMS 進行數據傳輸時,在層次分析法和自適應學習算法的共同作用下,調度器削弱了鏈路變化對傳輸性能的影響,使得傳輸進度隨時間穩定快速增長,而使用其他調度器時,其傳輸進度增長速度相對緩慢；當ESOAMS 調度器傳輸完成時,ECF、Lowest RTT、BLEST、RANDOM 和RR 調度器的傳輸進度分別為48.39%、56.14%、58.28%、60.96%和68.18%,充分證明了ESOAMS 能夠顯著提升網絡傳輸性能、減少業務響應時間.

圖11 傳輸進度隨時間增長趨勢Fig.11 Increase trend of transmission progress over time

5 結論

在應急救援指揮過程中,由于自組網絡傳輸性能差、數據收發困難,指揮工作受阻,嚴重影響救援效率.本文提出使用多路傳輸技術代替自組網絡中的單鏈路傳輸方式,結合應急救援指揮場景的特性,設計了一種業務自適應的應急網絡多路傳輸調度機制,以提升網絡傳輸性能和指揮業務保障能力,減少業務時間開銷,從而保障指揮工作的高效進行.基于此多路傳輸調度機制,設計并實現了面向應急業務的自適應多路調度器ESOAMS,其在調度過程中,先使用層次分析法進行了面向業務需求的差異化鏈路評價,隨后使用LinUCB 算法自適應學習鏈路動態性,結合鏈路評價結果和LinUCB 算法輸出進行數據包調度決策.實驗結果表明,相比于其他多路調度方法,ESOAMS 調度器能夠有效提升網絡傳輸性能和指揮業務保障能力,減少業務響應時間,且優化效果隨著鏈路動態性的增加而愈發顯著.