CPN：一種計算/網絡資源聯合優化方案探討

雷波，趙倩穎

中國電信股份有限公司研究院，北京 102209

引 言

AlphaGo 與世界頂級圍棋高手李世石進行AI 圍棋對決，AlphaGo 大比分獲勝，成為了第一個擊敗人類職業圍棋選手、第一個戰勝圍棋世界冠軍的人工智能機器人；人體基因測序由最初的數年縮短到現在的幾天，更有組織宣布人體全基因測序有望只需1000 美元在1 天時間內完成；天氣預報從最初對未來一天的天氣預測，發展到現在可以對未來一周甚至更長時間的預測；宇宙的觀測距離從220 萬光年發展到現在的137 億光年。人工智能憑借什么戰勝了人類?人類對未知世界的反應為何能越來越迅速、精準？答案是海量數據背后的超級算力。AI 通過算力訓練龐大的數據，并通過神經網絡不斷學習成長，最終獲得技能，戰勝人類選手；天氣預報通過算力分析氣象站、衛星等終端收集上來的數據，對各種天氣系統的位置和強度進行預測?？梢哉f：算力改變世界，算力驅動未來。

隨著芯片技術的發展，算力價格日益下降，已經不再是數年前昂貴的奢侈品。小到個人手機、個人計算機，大到超級計算機、數據中心，算力存在于我們生活的各個角落。但另一方面，隨著算力的普及，算力的利用率卻在大幅下降。有數據表明各類算力終端的利用率甚至低于15%。大量算力的浪費，無論是對于一個家庭還是一個企業來說都是一種經濟上的損失。在此背景下，亟需在算力提供方與算力消費者之間搭建一個橋梁，讓閑置的算力可以通過網絡進行交易，即不僅是傳統的云計算平臺，新興的邊緣計算平臺，甚至企業閑置的服務器，個人電腦都可以為其它用戶提供算力，從而減少資源的浪費，提高企業、個人的經濟效益。然而，如何將匹配的算力傳遞給用戶成為了難點，其需要對計算資源和網絡資源進行綜合評估，以期在成本與效益之間找到最優化的解決方案。

在集中化的云計算時代，云網一體成為計算網絡資源聯合優化的重要解決方案，比如利用軟件定義網絡/網絡功能虛擬化（Software Defined Network/ Network Function Virtualization，SDN/NFV）技術將應用、云計算、網絡及用戶聯通起來，提供一個“云、網、邊、端”的完整、靈活、可擴展的云網一體化服務。網絡將按照云的要求提供網絡資源（網絡即服務），而云則根據應用的需要調用網絡資源。然而，隨著5G 的規模建設與邊緣計算的興起，前期的云網一體方案面臨了新的挑戰。比如隨各類計算節點的下沉，算力將遍布整個網絡，業務對算力的需求也逐漸呈現出多樣化、多變化的特征。因此，如何結合網絡對算力資源進行調度、充分利用，對整個網絡進行算網一體化的改造，是本文關注的主要問題[1]。

針對前文所述背景，本文面向計算資源與網絡資源聯合優化的問題，提出了一種算力網絡的解決方案，這是在5G、AI 時代的新型資源整合方案，它將屬于不同所有方的計算資源通過網絡有機整合起來，并按照用戶業務的不同需求提供最優的資源服務與網絡連接，從而實現全網性的資源優化調度部署。

1 相關工作

近年來，各領域的專家、學者都在關注計算與網絡的聯合優化問題，也在此方向進行了深入的研究。

Qingxia Chen 等人提出了一種新穎的融合架構-軟件定義網絡、緩存和計算(Software-Defined Networking, Caching, and Computing，SDN-NCC)[2]。它支持動態編排網絡，緩存和計算資源，以有效滿足不同應用程序的需求并提高端到端系統性能。該架構中業務的需求被解析為計算需求和緩存需求，而對網絡的考慮，則體現在基于SDN 技術的網絡可編程中。

Younghwa Kim 等人為更好解決在實際應用中用戶業務需求的實現和管控問題，提出了一種基于SDN 編排器的智能數據中心互聯(Data Center Interconnection, DCI)技術[3]，其可以通過傳輸網連接分布式云網絡。文章詳細介紹了包括需求、結構、實施和測試床在內的整體研發步驟并討論了該項技術的下一步優化工作。

Ying He 等人提出了一個可以實現網絡，緩存和計算資源的動態編排，以提高下一代車載網性能的集成框架?？蚣苤袑①Y源分配策略表述為一個聯合優化問題，該框架考慮了網絡、緩存和計算三種資源[4]。

以上關于計算網絡聯合優化問題的研究成果[2-4]，均是優先考慮計算資源，再考慮網絡資源。在多級算力并存的今天，這樣的方法容易造成網絡資源的浪費，也會造成優質計算資源的浪費。

除學術界外，各大運營商、廠商也在該領域提出了自己的看法和解決方案。當下關于計算與網絡的聯合優化問題最著名的方案是云網融合。云網融合通過一個橫跨云管和網管的超級協同編排系統，對云中的各種資源和網絡資源進行協同調度，以實現計算資源和網絡資源的完美結合，但是該方案目前正處于一個相對簡單的初級階段，超級協同編排系統的建設和運營也相對復雜[5]。

2019年11月，中國聯通發布了《中國聯通算力網絡白皮書》[6]，同月中國移動發布了《算力感知網絡技術白皮書》[7]，兩本白皮書中均介紹了基于分布式網絡的計算網絡融合新架構—計算優先網絡（Compute First Network，CFN），該架構將計算能力和網絡狀態信息作為路由信息發布到網絡，并路由到相應的計算節點,來實現計算和網絡的聯合優化。該分布式方案具有很好的擴展性，但實現復雜，需要對現有的網絡設備進行升級。

在我們的前期工作中，提出了一個針對計算網絡融合問題的算力網絡管理編排系統[8]，該編排管理系統利用集中式的思想對計算信息和網絡信息進行分發和收集。該方案在實現上相對簡單，但是其可擴展性受系統性能影響，隨著業務量的增加會產生瓶頸。

基于各領域的研究經驗、成果以及生產實踐經歷，作者在文中給出了一種新的算力網絡的實驗驗證平臺，該平臺利用集中式和分布式聯合的方案通過網絡分發服務節點的算力、存儲、算法等資源信息，并可結合網絡信息（如帶寬、時延等），針對用戶的不同類型需求，提供最佳的資源分配及網絡連接方案，從而實現整網資源的最優化使用。

2 CPN 概述

算力網絡是一種通過網絡分發服務節點的算力信息、存儲信息、算法信息等，結合網絡信息（如路徑、時延等），針對用戶需求，提供最佳的資源分配及網絡連接，并實現整網資源的最優化使用的解決方案。

算力網絡需要從兩個層面來解決計算網絡資源聯合優化調度的問題。首先是資源關聯問題，根據用戶的訴求將算力資源、網絡資源等進行有機的整合，以滿足用戶多樣化的需求；其次是資源交易問題，使用戶能夠根據自己對業務的要求以及能夠承擔的成本，在交易平臺上購買最適合的算力資源與網絡資源。針對第一方面，算力網絡所倡導的解決思路是利用網絡控制面來分發資源信息。由于網絡控制面可分為集中式和分布式兩種方案，因此算力網絡在資源調度方面也有兩種方案，如集中式的算力網絡管理編排系統和分布式的算力路由層方案。針對第二方面，算力網絡希望能夠建立類似于電力交易平臺的算力交易平臺，在算力提供方與算力消費者之間建立橋梁，為消費者提供一站式的服務，而他們不用進行費時費力的一對一的談判與交易，同時完成算力資源與網絡資源的購買。

針對第一方面的問題，我們設計并構建了算力網絡管理編排平臺，如圖 1[8]所示，其可以支持集中式資源調度或分布式資源調度方案。集中式方案實現簡單，可以在已有的SDN/NFV 編排控制平臺上擴展實現，但集中式方案在擴展性上會出現瓶頸，尤其是在業務狀態頻繁變化時，集中式的管理系統難以對算力資源進行精細地監控和分配；分布式方案實現復雜，需要對現有的網絡設備進行升級，但是其具有很好的擴展性。因此本文將重點結合集中式和分布式兩種方案的優勢提出一種新型混合式方案：既能利用分布式路由協議分發資源信息，又能通過基于SDN/NFV 的集中式算力網絡管理編排平臺集中調度網絡資源、計算資源等。

算力網絡管理編排平臺負責對這些資源進行管理和編排，既要實現根據業務需求的動態算力調整，又要實現對各個層面資源的有機協調，主要模塊功能如下：

圖1 算力網絡管理編排平臺架構圖Fig.1 CPN management platform architecture

（1）需求解析模塊。分析用戶業務需求，將用戶業務需求轉化為算力資源需求，根據算力需求劃分業務等級，以確定業務的部署位置、所需資源大小等信息。

（2）算法選擇模塊。根據用戶的業務類型和需求解析模塊的結果，在賦能平臺中為用戶選擇合適的部署算法，確定用戶業務部署的規格。

（3）應用部署模塊。根據算法選擇模塊的結果，將用戶業務部署到指定的算力節點中。

（4）算力調度模塊。管理核心云和邊緣云的算力資源，根據業務需求為用戶分配相應的計算、存儲、網絡資源，并根據策略對業務部署位置、業務算力進行彈性調整。

（5）網絡調度模塊。管理用戶、邊緣云、核心云的網絡，在用戶業務部署或調整之后，配置用戶到業務處理節點之間的網絡，將用戶流量路由到處理節點。

在上述功能模塊中，部分功能可以借助現有的技術進行實現，如：算法選擇模塊使用大數據分析技術；應用部署模塊借助邊緣計算平臺（Multi-access Edge Computing Platform, MEP）；算力調度模塊使用NFV 編排器（NFV Orchestrator, NFVO）；網絡調度模塊使用SDN 控制器等。需求分析模塊則需要根據服務的用戶類型進行設計，形成標準化的模板，用戶根據自身業務規模提出不同的需求，算力網絡管理編排系統將業務需求轉化為具體的算力資源調度方案，并為用戶分配合適的基礎資源。

針對第二方面的問題，我們設計了算力交易平臺。算力交易平臺可以與圖 1 中的算力網絡管理編排系統進行對接，且與算力消費方、算力提供方之間建立通信，如圖2 所示。

算力網絡交易平臺負責資源信息的整合與報價、執行算力網絡交易流程以及提供資源消費賬單與資源占用賬單。

算力網絡管理平臺和算力交易平臺共同構成了本文的實驗驗證平臺-算力網絡平臺（CPN 平臺）。

圖2 算力交易平臺Fig.2 Computing power transaction platform

2.1 資源信息收集與分發

在傳統解決方案中，不同類型資源信息分發是通過互相獨立且差異很大的體系，比如算力資源信息一般會通過集中式的管控平臺（如云管平臺）來收集，用戶需要依靠這些平臺才能獲取各個算力池的空閑算力信息，而網絡資源信息則是通過網絡控制面來分發，用戶可以在接入點獲取全網的路由信息，并按一定的策略來獲得有保障或者盡力而為的傳送通道。顯然由于各類資源信息的獨立性，導致在進行聯合優化時，如何將不同類型的資源關聯起來，并保持實時或者準實時更新，成為一大難題。

因此，算力網絡采用將算力資源等信息通過網絡控制面進行轉發的方式，來實現計算資源與網絡資源的有機結合，便于用戶調用最適合的資源，同時也能夠讓運營方從全局的角度來實現資源的優化和統一調度。

由于網絡控制面可分為分布式和集中式兩種方案，因此算力網絡在資源調度方面也有兩種方案，如集中式的算力網絡管理編排系統和分布式的算力路由層方案。本文通過分布式的方案來實現算力資源的分發。該方案通過在如邊界網關協議(Border Gateway Protocol, BGP)等的IP 路由協議中增加相應的字段，讓算力資源信息可以在BGP 鄰居之間傳遞，并在傳遞算力資源信息的同時，利用Telemetry 等協議，測量出本節點到算力節點之間的時延信息。路由協議中新增字段如圖3 所示。

圖3 路由協議中新增字段示例Fig.3 Extended fields in routing protocol

分布式路由分發示例如圖4 所示。

第一步，算力節點C1 將自己的空閑的算力資源信息發送給路由節點R4，在R4 上記錄了到C1 的信息：{C1，I1，T4}，其中I1 是R4 去往C1 的端口，T4 包括兩部分：一是C1 到R4 的傳輸時延，二是R4 的節點處理時延Δt。

第二步，R4 將C1 節點的算力信息擴散給路由節點R5，這樣R5 收到了R4 發送過來的算力信息后，生成相應的算力路由表項：{C1，R4，T5}，其中記錄去往C1 需要經過R4，其時延是T5，而T5 可以根據R4 發送過來的T4，加上T45：R4 到R5 的傳輸時延，以及R5 的節點處理時延Δt 所得，也可以利用Telemetry 協議重新進行測量。

同理，網絡中的各節點都可以根據以上流程，得到本節點到本域內所有算力節點的算力資源信息，以及對應的路由表項。

2.2 資源視圖與交易流程

用戶首先在算力交易平臺發起申請，包括對算力資源大小的需求，以及對時延的要求等。算力交易平臺在收到用戶交易申請后，會先向算力網絡管理編排系統查詢相關的算力資源信息和網絡資源信息。如果有必要，也可以由算力網絡管理編排平臺發起端到端的時延測量流程，以獲得更為精準的時延信息。

第一步：由算力網絡消費者提出業務訴求，比如站點位置、算力資源需求大小、連接服務要求等。

圖4 分布式路由分發示例Fig.4 Distributed routing distribution instance

第二步：算力網絡交易平臺根據算力網絡消費者的訴求，生成算力網絡資源視圖，以算力網絡消費者為中心，將可能的算力資源池、相關的網絡連接資源等整合在一張視圖中，甚至包括相關資源消費組合的套餐報價。

第三步：算力網絡消費者根據算力網絡資源視圖選擇最適合自己的套餐服務，當然也可以自行訂制選擇相應的資源，然后在算力交易平臺上簽訂交易合約。

第四步：算力交易平臺根據交易合約，通過算力網絡管理編排系統調度算力資源、建立網絡連接等，并更新相應的空閑資源信息。

第五步：算力交易平臺將持續跟蹤資源占用情況，直到由交易合約制定的交易結束時間，算力交易平臺終止服務，釋放算力資源與網絡資源。

算力交易平臺還可以借助區塊鏈等新興技術，實現分布式的賬本、匿名交易等新功能。

2.3 算力資源與網絡資源聯合調度

算力消費者在算力交易平臺完成交易后，算力交易平臺將交易結果發送給算力網絡編排管理系統。由算力網絡編排管理平臺根據交易結果，分別對每個用戶建立網絡連接，并分配相應的算力資源，更新算力資源和網絡資源信息。

3 相關技術發展介紹

3.1 算力資源評估與度量

算力，顧名思義就是計算能力。想要根據用戶對算力的需求為其提供服務，首先需要將算力像電力一樣進行量化，根據統一的標準，評估每一個資源池現有的算力大小，和用戶對算力的需求大小。有了統一的標準，才能明確資源現狀和用戶需求，算力才能夠進行交易。而目前，算力按照應用場景有不同的衡量單位，用于比特幣的每秒哈希運算次數(H/S)，用于AI 和圖形處理的每秒浮點運算次數（FLOP/S），智能社會對算力的訴求主要是浮點運算能力，專用AI 芯片如華為昇騰910 采用7nm 工藝，半精度FP16 算力達256TFLOPS，低功耗的12nm 芯片昇騰310 半精度FP16 算力也達到了8 TFLOPS。過去5年， 隨著深度學習算法的演進，AI 訓練對算力的需求增加了30 萬倍，一些互聯網廠家已經將算力作為服務提供給用戶，從1 FP 32 TFLOPS 或8 FP 16 TFLOPS 到4 FP 32 TFLOPS 或32 FP16 TFLOPS的AI 推理加速服務，簡單的語音語義識別或單流視頻分析 8 FP16 TFLOPS 即可滿足，復雜的推薦引擎或者風險檢測則需要32 FP16 TFLOPS[6]。

目前算力資源評估與度量還處于積極研究的階段，已經在CCSA 等標準組織中設立相關研究課題。當前的初步設想是，將算力池視為黑盒，根據以往收集的同類型算力池以及實驗室測試情況，利用深度學習算法，評估和量化該算力池針對主要的AI 算法所能提供的算力資源大小。

3.2 精準網絡時延測量

在算力網絡中，網絡時延和算力大小是為用戶選擇合適資源池的兩個重要指標。精準的網絡時延測量則是所有工作的前提。目前Telemetry 技術能夠提供精準網絡時延測量。

Telemetry 是一項遠程的從物理設備或虛擬設備上高速采集數據的技術，設備通過推模式主動向采集器上輸送設備數據信息，提供更實時、更高速的數據采集功能。與傳統的簡單網絡管理協議（Simple Network Management Protocol，SNMP）的Trap 和SYSLOG( 系統日志) 采用的推模式相比，Telemetry 推送的數據范圍更廣，不但包括告警及事件，還可以采集類似接口流量等的監控數據，Telemetry 對網絡監測控制效率的提升有著至關重要的作用。

由于Telemetry 能夠提供網絡的精確測量，常常被用在生產中的自動控制技術上，用來實現遠程監控的自動控制方案。在計算和網絡聯合優化的場景中，通過Telemetry 技術可以加強基礎數據采集，實現計算和網絡的智能感知，作為計算網絡資源可視、智能化的基礎。

目前Telemetry 技術尚處于標準化階段。

3.3 網絡調度（SDN 與NFV）

在確定了用戶業務的部署位置后，需要在相應的算力池中為用戶劃分資源并在用戶和資源節點之間建立通路，從而為用戶提供滿足需求的服務?；赟DN/NFV 的統一編排、自動管控的架構，能夠很好地解決算力網絡中網絡調度的問題。

SDN 是一種新型網絡架構，它將控制平面和轉發平面解耦，通過軟件編程的形式集中控制網絡，具有開放性、可編程的特點[9]?？稍谟脩魳I務部署或調整之后，配置用戶到業務處理節點之間的網絡，將用戶流量路由到處理節點。

NFV 利用虛擬化技術，將傳統電信設備功能，分割成幾個功能區塊，分別以軟件方式實現，不再局限于硬件架構，實現網絡功能和硬件設備解耦。NFV 在2012年開始逐步制訂相關國際標準規范，目前已進入了第四階段，開始注重NFV 商用落地的研究[1,10]?？衫肗FV 技術創建虛擬寬帶接入服務器(virtual Broadband Remote Access Server，vBRAS)、虛擬用戶 終端設備（virtual Customer Premise Equipment，vCPE）等虛擬網關，使用戶能夠訪問資源節點。

SDN/NFV 目前在產業界受到熱烈的追捧，運營商和通信服務提供商都加大相關方向的部署力度希望能夠發揮SDN/NFV 的優勢，幫助新服務快速部署，實現高度的網絡自動化和動態重新，降低運營成本。

4 CPN 應用示例

在前述的算力網絡體系的基礎上，本小節將根據一個典型的網絡場景來詳細描述，如何通過CPN平臺進行算力資源、網絡資源的聯合優化調度工作。場景示意如圖5 所示。

在本場景中，一共有三類算力資源節點。

圖5 典型場景示例Fig.5 Typical scenario instance

表 1 算力與網絡資源信息表Table 1 Computing power and network resource information table

（1）第一類是云計算節點，如本例中的C1。此類節點所能提供的算力資源非常的多，對于單一用戶而言，可以認為接近是無限量供應的，但云計算節點一般集中部署在電力資源充裕、遠離城區的位置，因此從網絡角度來看，云計算節點到用戶的時延是很難控制與保障的。

（2）第二類是城域計算節點，如本例中的C2。此類節點能夠提供一定規模的算力資源，與用戶也在同一個城域網范疇內，網絡連接的質量和時延也相對容易保障一些。但時延指標仍受到一定的限制，不能提供極低的時延。

（3）第三類是邊緣計算節點，如本例中的C3。此類節點靠近用戶設立，時延可以非常低，且不容易被其他用戶所干擾，網絡連接的質量可以得到有效的保障。但受限于機房條件，能夠提供的算力資源非常有限，最好能分配給高價值用戶使用。

第一步：資源信息分發與收集

各算力節點將空閑算力通過路由協議進行分發，因此R1 可以得到所有計算節點的算力資源信息、網絡節點之間的網絡拓撲信息以及網絡時延信息等，如表1 所示。

第二步：算力交易

用戶根據收到的算力網絡路由表，考慮到其業務需求，自主選擇合適的算力節點，并向CPN 平臺發出申請，完成算力交易流程。

如用戶希望計算的時延越低越好，而對價格因素不敏感，則可以選擇計算節點C3。

如用戶考慮到其對時延要求一般，但希望數據不出城，即無需負擔長途專線費用，則可以選擇計算節點C2。

如用戶對業務擴展性要求很高，希望能夠靈活提供算力大小，同時還希望能夠有較高數據安全性，具有獨立的網絡地址空間，但對時延沒有特別要求。則可以選擇計算節點C3。

第三步：資源調度

當用戶在CPN 平臺完成交易后，CPN 平臺將根據用戶的選擇，建立相應的網絡連接，并分配相應的算力資源，更新算力資源和網絡資源信息。

如圖5 紅線所示，若用戶選擇計算節點C1，則CPN 先在C1 上部署虛擬化的軟件定義廣域網(Software Define Wide Area Network，SD-WAN)網關，如vCPE， 即在R1 與C1 之間建立SD-WAN 專線，然后再分配C1 的算力資源給用戶，并更新算力資源表項。

5 展望與下一步工作

本文提出了一種計算網絡資源聯合優化調度方案-算力網絡。本文在介紹CPN 平臺的整體架構的同時，針對資源關聯問題介紹了資源信息的收集分發流程，針對資源交易問題，介紹了算力的交易流程，提供算力網絡可長期發展的生態環境。此外，文章在最后還提供了CPN 應用的整體示例，展示了CPN平臺如何進行算力資源、網絡資源的聯合優化調度工作。算力網絡可結合網絡信息（如帶寬、時延等），針對用戶的不同類型需求，提供最佳的資源分配及網絡連接，從而實現整網資源的最優化使用的解決方案。在下一步的工作中，我們還將對算力網絡中所涉及的各個功能模塊進行細化，包括如何對算力資源進行評估與度量，如何進行精準的網絡時延測量，和如何對網絡中的業務進行調度，從而將算力網絡打造成一個集算力資源選擇，算力資源調度，算力資源交易為一體的全方位的算力生態環境。

利益沖突聲明

所有作者聲明不存在利益沖突關系。