?

算力調度關鍵要素及路徑分析

2022-02-07 07:57邵杭青馬蘊穎梁汗臣
江蘇通信 2022年6期
關鍵詞:算力時延調度

邵杭青 馬蘊穎 梁汗臣

1.中國電信股份有限公司南京分公司;2.中國電信集團公司政企信息服務事業群;3.SEGi University

0 引言

據2022 年7 月中國算力大會上工信部發布的最新信息,我國算力產業規模近五年平均增速超過30%,算力規模排名全球第二。如此高速的增長,是否表明現有算力已能滿足我們國家國計民生的需求?為了有效利用算力,哪些場景可以通過算力調度解決而無需新建?哪些場景通過調度無法徹底解決,可行的路徑有哪些?這些都是伴隨著算力發展出現的新課題。

1 算力及算力應用分類

1.1 算力分類

目前算力的劃分大致有兩類:

一類是以物理介質為基礎的分類,分為通用算力(基于CPU 芯片)、智能算力(基于GPU、FPGA 芯片等)和超算算力(基于大規模集群)。據中國工程院院士鄔賀銓在中國算力大會上所作的《對數據中心“數學”與“算術”的思考》演講中的數據,從2021 年全球算力分布來看,美國占31%,中國占27%,其次是日本、德國、英國等。美國的通用算力占全球35%,智能算力占15%,超算算力占30%,中國這三類分別為27%、26%和20%。

一類是按算力在網絡層級中的位置劃分,包括核心算力、邊緣算力、終端算力。核心算力為布局于數據中心核心層的算力中心,邊緣算力為位于網絡邊緣層的新興算力,終端算力是智能手機、物聯網終端具備的算力。目前談論較多的為邊緣算力,它其實是隨著視頻、游戲、物聯網等業務興起,在對時延、存儲和運算要求越來越高的情形下產生和發展的,主要解決核心算力太遠、終端算力不足的問題。

以上兩種分類還可以衍生出很多交叉的分類,如邊緣智能算力、核心智能算力等等,不再贅述。

1.2 算力應用分類

算力目前已廣泛應用于國計民生的各個領域,從應用的角度分為以下幾類。

(1)計算類

此類應用是以計算為主的應用,包括科學工程計算、深度學習、人工智能訓練等,廣泛應用于氣候氣象、生物信息、工業仿真、石油物探、數值分析等領域。使用的算力介質涵蓋超算算力、智能算力以及通用算力。算力的網絡位置主要在核心層。

以氣候氣象為例,它是超算算力的重要應用領域。氣象預測研究大氣的變化規律,從定性和定量兩方面來說明大氣的特征,其計算量大、時效性要求高。WRF(Weather Research and Forecasting)等是該領域的典型應用軟件。再以生命科學應用為例,生命科學可分為基因測序、電鏡分析、蛋白質折疊等生物信息學,也需要大量的計算。生命科學領域典型的軟件包括Blast(Basic Local Alignment Search Tool)、GATK(Genome Analysis Tool Kit)等。

(2)存儲類

此類應用主要以存儲為主,最典型的場景為災備業務場景,例如銀行、政府機構的兩地三中心應用,有大量的交易、影像、分析、運維等數據需要存儲。這類存儲的網絡位置也主要在核心層。

事實上,存儲類與計算類應用緊密關聯、密不可分。在高性能計算場景,如氣象氣候、地質勘探、航空航天、工程計算、材料工程領域,根據不同的計算模式與規模,構成集群系統的節點數可以從幾個到成千上萬個,這就要求存儲系統具備統一存儲空間、高效文件檢索、高帶寬吞吐性能、高可靠數據安全保障等功能。在大數據視頻云應用場景,如雪亮工程、平安城市、廣電媒資、影視制作、視頻網站等領域,對存儲系統提出了大容量存儲、高讀寫性能、高可靠性、低延時及可擴展性等要求。在大數據分析應用場景,伴隨著海量終端、AI 智能等需求,對存儲功能集成度、數據安全性、數據穩定性,系統可擴展性、性能及成本提出了更高要求。

(3)互動類

此類應用需要與終端發生關聯互動。根據交互的主體看,有純終端,包括車聯網(交互對象為車)、工業互聯網(交互對象為機器)等,也有終端背后的人,包括電商應用、游戲、視頻直播、證券交易等。

互動類應用與計算、存儲類應用同樣關聯緊密。與計算關聯更大的有電商、游戲、車聯網、證券交易等,與存儲關聯更大的有視頻直播、視頻分發等應用。

互動類區別于計算、存儲類應用的最重要的一點是時延。它是基于人的生物反應和機器協同需要,包含了所需要的存儲、計算和網絡的時延。也就是說,除了網絡距離作為客觀存在的時延外,用于存儲和計算的時延需要盡可能降低,因此互動類應用的業務形態決定了算力的位置,以及相應的技術,以便達到時延要求。邊緣算力通常是為了滿足此類需求。

(4)交叉類典型應用

計算+存儲:適用于需要對海量數據進行計算的應用,典型應用如氣候氣象。以臺風預測為例,臺風數據庫存儲了有記錄以來所有臺風生命史衛星影像、雷達圖像、海溫、高低空大氣環流形式等海量數據資料信息,同時實時采集分散在氣象系統內各部門的氣象數據,按照數據格式、數據體量、數據種類、數據維度進行聚類、采集,并與其他行業進行跨部門、跨系統、跨業務的集中匯聚。通過大數據分析和求解流體力學方程,最終進行與農業、航空等各相關行業有密切關聯的氣候氣象的準確預測,最大限度發揮數據的價值,為生產生活保駕護航。

存儲+互動:適用于對已知大數據量內容進行互動的應用,典型應用如視頻分發。目前無論是今日頭條、騰訊還是阿里,都使用了內容分發網絡(Content Delivery Network,CDN)來實現各類內容的就近分發,其目的是使用戶可就近取得所需內容,提高用戶訪問網站的響應速度。同時,以8K、AR/VR、自由視點、全息、AI 為代表的新技術驅動視頻業務向大流量、超低時延、雙向實時互動演進。在此應用場景下,計算能力主要體現在探知網絡負載,提前配置分發策略,所以對計算的要求不高,內容存儲和時延為核心要求。

計算+互動:適用對非固定數據信息探知、計算、判斷、控制的應用,如電商、游戲、工業互聯網、車聯網等。以工業互聯網的工業內網為例,工廠內網絡呈現“兩層三級”的結構:即“工廠IT 網絡”和“工廠OT 網絡”兩層技術異構的網絡和“現場級”、“車間級”、“工廠級/企業級”三個級別的網絡。IT(Information Technology)網絡主要由IP網絡構成。OT(Operation Technology)網絡主要用于連接生產現場的控制器以及傳感器、伺服器、監測控制設備等部件。工廠級/企業級對通信的要求與傳統IT 網絡類似。這里,車間級、現場級等OT 網絡由于互動需要,對通信可靠性和時延有更高的要求,例如等時運動控制場景中,控制報文通信周期應小于1ms,網絡時延一般不超過50%的通信周期且抖動小于1us,丟包率需優于10-6。這是計算互動類的典型應用。

以上算力應用場景分類如圖1 所示。

圖1 算力應用場景分類

2 算力調度關鍵要素及策略

2.1 算力調度關鍵要素

在考察算力調度問題時,首先要回答的問題是,什么場景需要調度?假設算力可以像水電氣一樣直達千家萬戶,那么基本沒有調度的需求。但事實上,由于自然條件的限制,國家仍然需要“西氣東輸”、“南水北調”這樣的工程來解決地區間的差異。算力也有類似情況。普通場景不需要調度,但是針對特別或突發情況,例如對計算、存儲、時延要求高的場景,需要進行綜合分析后開展調度。由于計算和存儲往往不可分割,所以這里不做專門的區分,以下統稱為算力。

針對算力要求高的場景,如科學計算類和國計民生類工程項目,需要依托超級算力平臺來實現,例如2022 年9 月發布的世界首個工業級流體仿真大模型,將仿真時間從10 分鐘縮短至25 秒,大大提升了大飛機設計的效率。這種場景需要的是超級計算的能力,這種能力不太可能遍布在各地,而只能是集中在某些地方。算力需求方可將數據集中到算力平臺來獲取計算能力,基本無法做到超算能力下沉。目前科技部批準建立了10 家國家超級計算中心,分別位于天津、廣州、深圳、長沙、濟南、無錫、鄭州、昆山、成都、西安。另外鵬城實驗室、華為公司等聯合建設了包括20 個節點的中國算力網,主打AI算力。從布局看,均為集中式的算力能力庫。

針對普通商用、民用交互場景,時延是關鍵要素。在時延敏感型業務中,又可以分為以下三類:

(1)通信類

主要解決的是人的通信需求,滿足人類消費行為的互聯網應用,往往端到端帶寬需求在幾十兆到幾百兆,端到端時延需求在幾十毫秒到幾百毫秒之間。如果交互時延低于10ms,人的感官一般無感,交互時延大于300ms,人的感官難以接受。粗略統計:實時競技類游戲的時延要求是50ms;實時交互類游戲的時延要求是100ms;實時交互語音類的時延要求是100ms;實時交互視頻類的時延要求是150ms;非實時大部分互聯網應用時延要求是300ms。

(2)功能類

主要解決機器之間的通信需求,如車聯網和工控網絡,端到端帶寬往往并不高,但時延要求確定性保障。其中,工業自動化控制的時延要求是小于10ms;遠程/遙控駕駛的時延要求是小于10ms。

(3)三維交互類

基于三維顯示和交互的元宇宙應用,為了避免頭暈,需要10ms 以內的交互時延,這就對當前的互聯網技術提出了巨大挑戰。因為此類需求對帶寬、時延、算力都提出了超高要求,屬于體驗提升型應用。

另一個影響算力調度的隱含要素是成本。一般原則是,在業務允許的時延范圍內,選擇最經濟的算力網絡架構布局,來降低算力成本、網絡成本、運營成本。例如對于實時交互視頻,在150ms 范圍內,可以選擇將視頻源布局在本地市、外地市甚至外省,網絡選擇互聯網即可。而對于時延要求小于10ms的應用,則一般只能將各種計算資源部署在本地,網絡也需要選擇時延小的專線網絡。

2.2 算力調度原則及策略

根據各種不同業務場景,最核心的要素往往決定了選擇算力、網絡的下限,從而衍生出算力調度的多種形態。一般原則為,根據算力、時延要求,調度的成本低于自建的成本時進行調度和選擇。算力中通用算力成本最低,時延相關的網絡里互聯網成本最低。在算力、時延剛需滿足的前提下,成本決定了算力的位置和布局。

針對不同業務場景,算力、網絡等可選方案歸納如表1所示。

表1 各類應用場景算力網絡選擇

3 不同應用算力調度路徑分析

3.1 計算存儲類

針對科學計算、氣象氣候等需要超級計算的應用場景,由于對計算能力和過程的要求高,往往通過專線進行組網,將所需算力進行分發和組合提高計算的效率。未來可逐步走出“東數西算”、“東數西存”的道路。

針對影視制作等需要智能算力的應用場景,成本是需要考量的重要因素,可選擇最經濟的算力資源使用。

3.2 存儲互動類

針對雪亮工程、平安城市等存儲互動類應用,通常為政府部門部署使用,核心往往布局在本地,且使用專線網絡,調度的需求不突出。

對于視頻分發應用,由于視頻源多在異地IDC 機房,使用方為大量最終分布不固定的用戶,所以需要進行調度,并考慮既滿足使用體驗又節省成本的要求。

以目前廣泛應用的CDN 為例,以省為一個區域看,存在域內調度和域間調度。如圖2 所示。

圖2 CDN 業務調度示意

域內調度包括從IDC 到城域網(Metropolitan Area Network,MAN)、城域網到城域網的調度。視頻源一般分布在IDC 機房內,合理調度為IDC 到城域網,即圖中①。但是由于IP 網絡的互通性,事實上城域網內出現了很多不合理的視頻源,來自城域網專線或PCDN(peer-to-peer CDN),即②③。

域間調度通常發生在IDC 之間,需要骨干網絡支持。這主要是因為內容提供商往往核心節點覆蓋不到所有省,因此需要在主核心與次核心之間進行數據交換,即④。

事實上目前1000 公里光纖往返時延為10ms,加上網絡設備存儲轉發、服務器響應時延,對于時延150ms 要求的實時交互視頻類應用來說,視頻源在幾千公里以內均滿足時延要求。也就是說,視頻源布局在省內甚至是外省,尤其是鄰近省份完全不影響用戶使用。

隨著運營商網絡質量的提升和網絡扁平,出現了域間的不合理調度,通常均為價格較低省覆蓋價格較高省,即低價IDC 帶寬覆蓋周邊省份,即⑤,以及城域網低價PCDN 等帶寬覆蓋周邊省份,即⑥。對于運營商來說,由于不合理調度存在安全、監管、網絡質量等諸多隱患,因此需要對流量進行監控和引導,以確保業務合規、降低網絡壓力。具體舉措包括:監控域間域內出入流量、核 查AAA(Authentication Authorization Accounting)日志信息以及建立省間結算機制等,從而讓數據流量合理流動,即逐步實現圖中藍色線路所示調度占據主導,讓網絡更健壯,讓價值回歸。

3.3 計算互動類

以較為復雜的車聯網為例,車聯網技術結合人工智能、大數據、云計算、視覺和雷達感知、高精度地圖和高精度定位等技術,滿足目前智能交通系統在汽車行駛安全、效率提升和信息服務等方面的需求,為汽車向自動駕駛與無人駕駛系統的平滑演進提供技術支撐。車聯網技術可實現車車、車人、車路(交通基礎設施)、車網絡/云等通信連接和高效準確的信息交互。車聯網的網絡實體包括車載終端(on board unit,OBU)、路側設備(road side unit,RSU)和移動邊緣計算(mobile edge computing,MEC)設備,如圖3 所示。低時延高可靠車聯網通信面臨很多挑戰,包括:復雜快時變無線傳播環境,高頻度、群發群收的車車間通信,車輛在高速運動過程中,車、人等通信對象的不確定且隨機突發等。因此,車聯網對計算和交互提出了極高的要求。

圖3 車聯網算力下沉路徑

出于對車、人安全的考量,需要滿足嚴苛的低時延和高可靠通信要求,這就要求相應的算力盡可能下沉接近終端。算力首先需要下沉到邊緣,即①,以實現近距離感知和定位。進一步下沉到RSU,縮短交互的時間,即②。

不過涉及到普遍服務和真正商用,需要完善的商業模式和完整的生態鏈支持,現階段多少算力下沉到哪一級邊緣,均需要詳細論證和測算。類似的情況也適用于三維交互類應用,如AR/VR、渲染類體驗式業務。

另一種思路是分布式算力,即將算力應用按照算力、時延等要素進行解構。對于低時延高算力部分采用算力下沉本地計算,對于高時延低算力部分可以利用遠端算力,這無疑需要有強大的軟件架構支持,同樣需要考慮成本。

4 結束語

在數字經濟時代,算力是新生產力,與數據、算法協同構成數字經濟時代最基本的生產要素。據全球權威咨詢機構Gartner 研究,2025 年約超75%的數據將在邊緣側處理,這將對算力的布局和流動產生很大的影響。本文從需求應用的角度,對算力及算力調度的要素和路徑進行了分析研判,旨在提供一個有效使用算力的思路??傮w來說,隨著算力資源越來越豐富,算力調度將是未來數字化經濟重要且活躍的領域。

猜你喜歡
算力時延調度
算力盜用:一種新型財產侵害*
中科曙光:聯合發布全國首個“一體化算力交易調度平臺”
中國電信董事長柯瑞文:算力成為數字經濟的主要生產力
算力網絡場景需求及算網融合調度機制探討
5G承載網部署滿足uRLLC業務時延要求的研究
《調度集中系統(CTC)/列車調度指揮系統(TDCS)維護手冊》正式出版
基于強化學習的時間觸發通信調度方法
一種基于負載均衡的Kubernetes調度改進算法
虛擬機實時遷移調度算法
基于GCC-nearest時延估計的室內聲源定位
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合