面向星地融合網絡的統一編排架構和關鍵技術*

宋雅琴，徐暉，劉險峰，曹彩紅，王亞鵬，程志密，王胡成

（中信科移動通信技術股份有限公司，北京 100083）

0 引言

ITU-R 在2023 年的建議書[1]中提出包括超大規模連接和泛在連接等在內的6G 六大典型場景，以及對移動性、連接密度等多個指標提出更高要求，同時新增覆蓋能力、互操作性等新指標，新場景和新指標以及6G 網絡“全域覆蓋，場景智聯”[2-4]的新愿景，使得僅靠增加接入設備、提高網絡帶寬難以從根本上滿足6G 目標[5]。衛星通信有望成為解決上述問題的有效手段，衛星通信利用其廣域覆蓋、組網靈活、抗毀能力強、安全性高等特點[6]，能夠為偏遠地區提供遠距離通信，能夠應對災后應急通信需求，并且能夠有效擴展地面網絡在遠洋沙漠等特殊地區的覆蓋范圍[7]。然而，衛星通信系統由于頻譜資源稀缺、信號衰落大、通信信號傳輸距離遠，僅依靠衛星通信時，通信峰值速率和連接數有限、通信時延高[5]。相比之下，地面通信在系統容量、覆蓋深度、數據傳輸速率等方面仍然占據絕對的優勢。因此，地面通信和衛星通信優勢互補、協同組網形成星地融合網絡是未來網絡發展的重要趨勢[8-11]。

星地融合通信正朝著“5G 體制兼容”到“6G 系統融合”的技術路線進行發展[12-14]，面向6G 的星地融合網絡將實現星地系統的深度融合，手機將直連衛星，實現地面網絡和衛星網絡的無差異接入。然而，星地融合網絡由于分層分域的體系結構、高動態的網絡拓撲、多維異構的泛在資源等特性，星地統一編排存在新的挑戰。本文首先介紹星地統一編排的技術進展和挑戰，然后提出一種面向星地融合網絡的統一編排架構，進一步提出分布式自治技術和算網協同編排技術分別用于實現星地統一編排的多層多域組網和多維資源編排。

1 星地統一編排的技術進展和挑戰

1.1 星上邊緣計算的研究現狀

隨著衛星技術的發展以及衛星用戶的增多，面向6G，衛星除了透明轉發語音和數據業務，計算密集型業務也將大量出現在星上[15]，以提供算力為主的天算星座開始建設[16]。在星地融合網絡中引入移動邊緣計算（MEC,Mobile Edge Computing）[17-18]技術，將計算能力擴展到星地融合網絡邊緣，可以有效減少衛星與地面之間頻繁的星地鏈路傳輸、降低業務傳輸時延、節省星地鏈路帶寬，并通過計算節點下沉給用戶帶來更高的隱私保護性能。3GPP TR 23.700[19]討論了非地面網絡（NTN,Non-Terrestrial Network）[20]的衛星邊緣計算場景，其通過將UPF、gNB、MEC 節點部署于衛星以支持邊緣計算功能上星。衛星邊緣計算的引入，為資源受限的設備，提供了就近完成計算任務卸載的機會[21]，避免衛星用戶接收到計算任務后需要先轉發到地面信關站，再傳輸到云計算中心的超長時延[15]；同時，在數據回傳服務場景中，支持衛星僅將有價值的數據發送至地面進行進一步分析，節約饋電鏈路的帶寬資源、提高數據分析效率[16]。

在衛星邊緣計算的趨勢下，業界提出多種基于MEC 的星地融合網絡架構[22-23]，支持在衛星、信關站、地面基站分別部署MEC。然而，現有星上邊緣計算方案更多的是將星上計算作為地面的補充，在地面無法覆蓋或能力不足時，通過租賃星上計算服務為用戶提供服務，一方面僅將業務單邊卸載到某MEC 導致缺乏星地計算資源之間的協同，另一方面缺乏星地的統一運營和高效互聯互通。

1.2 星地融合網絡統一編排的挑戰

為了實現星地融合網絡的多維度資源和多要素服務的統一編排，主要存在下述三方面的挑戰。

（1）多維多域資源的協同編排挑戰

星地融合網絡由多層多域的多個物理節點組成，頻譜、計算、帶寬、能量、存儲等多維資源分散分布在不同軌道的LEO/MEO/GEO 衛星、信關站和地面數據中心等節點，不同物理節點的資源特性不同、資源分散且高度不均衡。為了滿足6G 多樣化業務需求，星地融合網絡的統一編排需要實現對多維異構資源的統一感知和表征，實現對多域資源的統一管理和互聯互通，充分利用各物理節點本身的資源特點，基于業務特性完成其資源需求的高效協同編排，從而優化星地聯合業務的處理時延、提高資源利用率[6]。

（2）動態的資源可用性和資源需求的靈活編排挑戰

低軌衛星相對地球高速運動，繞地球旋轉一圈的時間不到130 分鐘[24]，網絡為用戶業務提供服務期間，由于衛星和用戶的雙重移動性，可能發生衛星或波束的切換，導致多維資源的可用性隨衛星的高速運動存在動態變化，增加資源編排的復雜性[15]。同時，資源需求還會隨用戶位置或業務需求的動態變化而變化[23]。資源可用性變化或資源需求變化都可能導致資源分配結果與用戶需求不匹配的情況，造成資源浪費或業務體驗不足等問題，影響星地融合網絡的按需服務保障能力[7]。

（3）異構資源和多元化需求的多要素自適應編排挑戰

6G 場景和用戶業務呈現多元化和個性化趨勢，不同場景不同特性，不同業務可能包含對連接服務、智能（AI,Artificial Intelligence）服務、計算服務、數據服務、安全服務等多要素服務的差異化需求，使得星地融合網絡的編排變得更加復雜。不同行業場景的特點和要求各異，如果網絡資源無法靈活動態變更，易造成編排成本高、資源不匹配等問題。因此，需要使用統一的編排架構靈活實現多要素的自適應編排，避免由于存在過多靜態配置等人為干預機制帶來高成本和延遲適應等問題。

2 面向6G星地融合的統一編排架構

星地融合網絡呈現出多層多域、異構化、動態化等特點，導致編排架構十分復雜。為了滿足6G 星地融合網絡用戶的多樣化業務需求，以及不同業務要求的多維資源和多類型網絡服務。本文提出如圖1 所示的星地融合網絡的統一編排架構，編排中心負責對虛擬資源池、網絡功能、服務開放進行智能化編排管理，實現端到端網絡的統一編排。

圖1 星地融合網絡的統一編排架構

面向基礎設施，網絡疆域從地面段的基站、信關站、數據中心等擴展到衛星段的中低軌衛星（MEO/LEO）和高軌衛星（GEO），資源類型從傳統的頻譜、存儲、帶寬資源擴展增加了AI 和計算等資源，編排中心具備對多樣化異構資源的全生命周期管理能力，基于網絡功能虛擬化（NFV,Network Function Virtualization）[25]技術將全網物理基礎設施轉換為統一的虛擬資源池，向上提供按需的多維多域資源的統一編排和調度。

面向網絡功能，為適配千行百業定制化要求而衍生出的多樣化定制化功能（或服務），網絡功能將呈現原子化和開放化特性，支持網絡功能的按需編排。編排中心具備對網絡功能進行按需設計、快速上線、版本管理等全生命周期的管理能力，可以基于高中低軌道衛星的環境和資源狀態實現網絡功能的輕量化設計、柔性分割和敏捷部署，實現網絡功能的動態編排，為用戶按需提供連接、智能、計算、數據等服務。

面向服務開放，編排中心將拉通星地融合網絡的各層各域，將連接能力、算力能力、智能能力、數據能力等原子化能力統一編排為可對內對外提供的服務。對內，通過對多要素的高效協同提升網絡性能上限；對外，智能精準感知不同應用的業務需求，對多要素進行按需智能編排和配置，支持自動生成滿足業務需求的端到端服務流，通過統一封裝，為用戶提供定制化的高性能服務。

最后，編排中心將支持傳統網絡管理模式向網絡自治方向的演進，在傳統的故障、配置、計費、性能和安全（FCAPS,Fault、Configuration、Accounting、Performance and Security）管理基礎上，通過建立全域網絡復雜場景下的智能化異常檢測與自愈機制，以及深度融合數字孿生網絡，以虛控實，實現網絡“規-建-維-優”的自動閉環控制，增強網絡魯棒性與抗毀能力。

3 面向星地融合網絡的統一編排關鍵技術

為了實現星地融合網絡中分層分域網絡的資源、功能、服務等多要素的統一編排，提出分布式自治技術用于星地融合網絡的按需部署和靈活組網，以及提出算網協同編排技術實現多維資源的高效協同。

3.1 星地融合的分布式自治技術

當前的衛星網絡和地面網絡本質上是獨立運營管理，僅實現了星地之間比較有限的互聯互通。面向6G，星地網絡深度融合，實現網絡資源優勢互補和網絡功能按需部署，滿足星地多種異構接入場景和差異化網絡性能需求。由于集中式組網方式被認為存在架構復雜、數據量大、容易遭受攻擊、數據安全性低等缺陷，本文提出如圖2 所示的星地融合分布式自治技術，支持網絡服務根據場景按需定制和靈活部署。

圖2 星地融合的分布式自治技術

星地融合網絡由中心節點和分布式節點按需組網。中心節點部署在地面，具備較為完備的基礎網絡功能，實現對網絡的全局管理控制。分布式節點可以按需部署于地面、MEO/LEO 衛星和GEO 衛星，根據不同的場景和地理環境實現網絡功能的差異化定制，在星上實現網絡功能的輕量化設計，在星地之間實現網絡功能的柔性分割，為星地融合網絡的不同用戶提供精準匹配的連接、智能、數據等多要素服務。單個網絡節點通過節點內的智能閉環自治滿足用戶個性化需求，不同網絡節點之間通過智能協同實現節點間協作的接入管理、會話管理、業務連續性管理，滿足特定的業務場景、用戶規模、地理環境等要求。

為了降低分布式網絡的資源編排和調度開銷，星地融合網絡將呈現中心和分布式混和的聯合管控方式，在中心節點和分布式節點分別部署中央編排中心和區域編排中心，實現全局統一編排和區域按需編排。為了實現節點間的協同交互，引入數據與知識空間相結合的網絡自驅動學習機制，實現計算、數據、算法與網絡的深度融合。區域編排中心基于本地數據生成知識庫，并將本領域歷史知識、專家經驗融合到已有的模型或者深度學習算法中形成知識定義的資源調度技術，實現分布式節點內的自組織、自管理、自優化。中央編排中心通過區域編排中心的知識庫遷移感知全網的編排知識，對全場景全域網絡對象進行統一建模與表征，明確相互約束機制，在全域范圍內完成圈層和自治域層級的調度，并利用實時監測、算網預測分析，以及數字孿生等技術形成“感知—學習—決策”的整網智能閉環的統一編排機制。

3.2 星地融合的算網協同編排技術

現有星地融合編排技術對多維多域的資源感知和管控方案存在跨域交互困難、異構資源表征不統一等問題。同時，現有工作主要是建立在物理網絡是靜態拓撲、用戶需求相對穩定的前提下，忽略了物理網絡的拓撲動態性、用戶需求的動態變化、資源狀態的動態變化，一般按資源使用峰值靜態分配，造成資源浪費等問題。本文提出一種星地融合的算網協同編排技術，如圖3 所示，將位于地面段和衛星段的所有物理節點都作為算力節點[29]向算網管理中心進行算力注冊，實現計算資源與移動通信網絡資源的全面感知和動態調度，解決網絡資源和計算資源聯合調度的復雜性問題。

圖3 星地融合的算網協同編排技術

算網管理中心由算網需求感知、算網資源管理、算網策略生成、智能分析預測、算網多域協同編排等功能模塊構成，實現全局算網資源的智能管控和協同編排。

算網需求感知模塊基于意圖感知技術將用戶角度的高層次、粗顆粒、抽象化的業務需求智能感知為網絡可以具體實施的包含對無線資源、傳輸資源和網絡資源等的算網資源需求；算網資源管理模塊實現對算力節點的管理和抽象建模，以及通過對多維資源的感知，生成算網資源的統一表征知識庫，實現對算網資源的統一管理；算網策略生成模塊根據業務算網資源需求結果以及算網資源統一表征知識庫，智能決策業務編排的目標圈層和目標域，根據終端自身能力、終端位置信息、星歷信息、算力資源類型、算力資源形態、資源狀態等，結合算網預測分析，利用AI 計算生成最優的算網資源調度策略；智能分析預測模塊通過動態數據采集等實現算網資源狀態和算力服務狀態的實時監控，利用深度學習技術進行模型訓練，并不斷優化現有算法模型，基于實時監控結果和星歷數據、專家知識等，實現算網態勢預測、星上資源的可服務時長預測、用戶資源需求預測等，支撐算網策略生成模塊的智能調度和動態調整；算網多域協同編排模塊基于算網策略生成模塊的調度策略和業務部署策略，完成各域的網絡功能編排與算力服務編排，實現網絡資源、計算資源、安全策略、應用管理、業務管理等方面的協同，完成按需端到端資源自配置，實現異構資源的高效利用。

算網協同編排技術通過對多維異構資源的統一表征和全面感知，除了可以滿足終端用戶對多維資源的差異化動態需求，還可以用于滿足部署網絡服務的業務需求，實現虛擬化網絡功能（VNF,VNF Manager）的按需部署。NFV 編排器（NFVO,NFV Orchestrator）將其管理的基礎設施作為算力節點注冊到算網管理中心，算網管理中心接收部署網絡服務的業務需求，解析出該業務中每個VNF 對應的算網資源需求，然后基于本地維護的算力資源狀態信息、位置環境信息等，將每個VNF 調度到不同的算力節點上進行部署。算網管理中心根據調度策略將部署到相同算力節點的VNF 組織為子網絡服務，生成對應NFVO 所需的模型文件，并通知對應NFVO 進行子網絡服務的實例化部署。NFVO 接收到模型文件和通知后，基于模型文件部署對應的子網絡服務。同時，算網管理中心監控算力節點和網絡服務的資源占用情況，當資源不足時，算網管理中心可以將網絡服務中的部分或全部網絡功能調度到新的算力節點部署，實現網絡的動態可重構。

4 實驗驗證

為了實現對編排管理系統上星的可行性驗證，本文將當前在實驗室進行地面移動通信系統驗證的標準化編排管理系統增強為擬用于星地融合網絡實驗室驗證的新型編排管理系統，提升編排效率。本文使用在實驗室自研搭建的移動通信網絡驗證平臺,該平臺基于NFV[25]將網絡資源抽象成虛擬資源池，支持網絡功能的靈活動態部署；基于軟件定義網絡（SDN,Software Defined Network）[25]技術實現用戶面的控制（UPFC）與轉發（UPFU）分離，屏蔽底層物理網絡在通信協議上的差異。接下來介紹標準化編排管理系統與新型編排管理系統的性能對比。

標準化編排管理系統使用基于開源OSM 的MANO[26]實現系統資源的高效管理和編排，基于OpenStack[27]的開源云計算管理平臺在x86 通用服務器上搭建虛擬化平臺，將傳統運行在專用硬件上的核心網的網絡功能進行虛擬化，生成虛擬網絡功能（VNF,Virtualized Network Function），并將VNF 部署在虛機（VM,Virtual Machine）上。新型編排管理系統使用基于輕量級的Kubernetes 虛擬化平臺（即K3s）和基于容器[28]的輕量級虛擬化技術。

為了對標準化編排管理系統和新型編排管理系統的網絡功能部署效率進行實驗對比，以3GPP 定義的5G 系統的SMF（Session Management Function）網絡功能的部署為例進行測試。標準化編排管理系統和新型編排管理系統部署SMF 網絡功能的實驗測試數據對比情況如表1 所示，一個網絡功能部署過程中涉及模型生成、模型分析、虛擬資源分配、網元初始配置四個階段，具體包括生成NSD/VNFD、分析NSD/VNFD、創建VM、初始化juju、執行config、執行scp 動作、執行vnfstart 動作等流程。實驗進行了4 次，由于每次測試時存在系統運行環境差異和測量結果記錄偏差等原因，每次實驗結果不完全相同。

表1 標準化編排管理系統和新型編排管理系統的網絡功能部署時間對比（以SMF為例）

從表1 可以看到，基于OpenStack 和VM 的標準化編排管理系統在進行單個網絡功能（這里是SMF）的部署和服務啟動時間約為8 分鐘，基于K3s 和容器的新型編排管理系統約為3 分半。測試一個網絡切片包含AMF、SMF、UPF 三個基本的網絡功能時，標準化編排管理系統大約需要10 分鐘，說明耗時與網絡功能的數量有正相關關系，但不是線性增長關系。而新型編排管理系統，由于采用了更輕更快的容器技術，并且改進了網元的業務配置方式從而避免了OSM 系統中juju 組件的初始化時間，它的網元初始配置是在容器創建時已通過環境變量注入的方式傳遞給容器，因此不影響部署時間。模型生成方面，標準化編排管理系統是通過人工方式完成模型文件的設計、制作和上載，非部署時候實時進行，所以未計入部署時間，新型編排管理系統是基于AI 實時進行網絡切片部署的意圖感知，其生成模型耗費約3 分鐘時間。同樣創建一個包含AMF、SMF、UPF 三個網絡功能的網絡切片，新型編排管理系統實驗室測試時長大約為4 分鐘，相較于基于VM 的標準編排管理系統，其網絡切片的部署效率提升了約60%。新型編排管理系統的性能提升為星地融合網絡的統一編排提供了潛在的基礎平臺方案。

5 結束語

星地融合網絡以地面網絡為基礎、以衛星網絡為延伸，實現星地互聯和廣域全覆蓋，已成為6G 網絡的一個研究熱點，星地融合網絡的統一編排成為其中的一個關鍵問題。目前，面向6G 星地融合網絡的統一編排技術的研究仍然處于早期階段。面向未來，還需要深入研究并解決資源池化和資源區域化管理壁壘等技術，避免子網的“拼接”問題，同時，星地統合的統一編排還涉及到地面網絡運營商還是衛星網絡運營商的管理劃分等體制問題，需要通過合理的合作共贏實現真正的星地統一編排。