基于邊緣代理及深度學習的輕量型云邊協同框架研究

李小婧，任 勇，晉 濤，裴 楚

(1.國網山西省電力公司電力科學研究院 太原 030001；2.國網山西省電力公司設備部 太原 030001)

隨著社會經濟的建設發展，電力網絡尤其是配電站房及其設備規模的持續增長，對其如何加大安全保障、減少運檢人員勞動強度，以及如何及時發現故障隱患和安全違規行為提出了更大挑戰。

本文通過在配電站房部署邊緣物聯代理裝置，采用輕量型容器化技術，實現各業務應用APP 前置化及業務處理，并通過容器內置視覺分析算法，以及同云端進行協同交付，將數據采集及業務應用、智能違章視覺識別處理到前端，提高了數據處理效率，增強了配電站房的運行安全水平和事故隱患分析效率[1]。

與常規的容器化技術不同，本文通過輕量化設計，構建輕量型的云端和邊緣容器新型架構體系，摒棄集群管理等冗余功能，簡化了云邊通信協議，極大降低了容器管理部署的復雜度。同時針對工業互聯網的設備監控特點，重點加強設備網絡管理、日志記錄、應用監管、實時數據采集、數據壓縮存儲、數據加密傳輸等功能，降低邊緣物聯代理對硬件資源的要求，同時滿足了配電網尤其是配電站房運檢業務在新型電力系統下的信息化發展形勢需要[2]。

1 邊緣代理與容器化技術

參考《邊緣物聯代理技術要求》(Q/GDW 12113-2021)，在邊緣物聯代理中需采用容器運行、管理業務應用APP。采用容器化技術，可動態添加、刪除、更新應用程序APP，使邊緣計算平臺有良好的可擴展性和可維護性。同時，通過容器引擎可以限制和監控應用程序的資源占用情況，并對程序運行狀態進行健康檢查，提升整個系統的穩健性[3]。

通過邊緣代理，在邊端側將數據處理、業務分析及視覺智能算法內置在容器中，能夠減輕對物聯網傳輸帶寬的壓力，且當前容器化技術基本能較好地實現虛擬化支撐各業務應用APP 管理和部署[4]。通過邊緣計算平臺框架利用虛擬化技術達到普適性，即不受限于操作系統、編程環境和硬件平臺的選擇，同時虛擬化技術還支持系統資源隔離，應用程序只在各自限定的虛擬環境內運行，相互間不受影響，提高了系統的穩定性和安全性。容器化技術原理如圖1 所示，其本質是采用docker 容器在虛擬化環境中實現了分布式系統的部署和管理，并可根據實際需求部署和管理各業務應用，實現對業務的支撐[5]。與虛擬機相比，容器化技術雖然在普適性和隔離度方面有所減弱，但CPU、內存等資源占用少，啟動快，因此當前大部分開源邊緣計算平臺框架都采用容器技術[6]。

圖1 容器化原理圖

2 常規容器化技術及問題介紹

云邊協同屬于邊緣計算的范疇，核心價值在于將云服務向用戶側延伸。2019 年開始出現一些影響力較大的云邊協同項目，以華為KubeEdge 和Rancher K3S 為代表。如圖2 所示，這些項目試圖在容器化技術和Kubernetes(K8S)平臺調度系統基礎上統一云端和邊緣側的軟件分發、部署、調度等方式[7]。

圖2 常規容器化架構圖

KubeEdge 等項目設計架構主要由K8S 集群、云端部分和邊緣節點部分組成。云端主要包含邊緣節點調度器、通信組件等，邊緣節點包含容器調度器、通信組件等。但邊緣節點不具備自我調度能力，其容器部署通過云端下發指令實現。在邊緣節點上運行的容器以POD 為最小管理單元，不以容器為基礎單元，POD 是K8S 針對集群調度設計的一種容器管理方式[8]。無論是K3S 還是KubeEdge等項目，本身并不負責存儲應用鏡像，應用鏡像存儲在獨立的應用倉庫中。應用開發人員將開發的應用打包成鏡像上傳到應用倉庫，K8S 調度中心將應用信息下發到邊緣節點，邊緣節點從應用倉庫拉取應用進行部署。邊緣節點支持容器調度功能，假設有10 個邊緣節點，需要在這些節點上部署8 個相同應用，用戶下發指令后，容器調度平臺會自動根據每個節點的資源情況，將8 個應用部署在10 個邊緣節點組成的集群中，具體哪個節點運行應用是集群自動調度的，如果某應用意外停止，集群會將該應用在其他合適的邊緣節點上再次部署[9]。

雖然KubeEdge 等云邊項目正在積極推動云端服務向邊緣側延伸，但將其應用于電力等傳統工業互聯網領域時，存在很多過度設計和不當設計的問題，主要有以下兩點：1)常規架構中云端與K8S高度耦合，云邊API 接口設計復雜。文章所述的配電站房業務應用場景中，邊緣物聯代理更多關注對終端設備的管理，無需考慮云端復雜的接口和調度功能；2)常規架構中POD 作為最小容器部署管理單元，對邊緣設備硬件資源要求較高，而且POD提供的工作節點動態擴展功能在文章所述業務場景中較為冗余。

此外，文章所述業務場景需考慮結合配電網的業務特點，還需考慮實現運檢業務應用以及深度模型算法的集成需求，如業務APP 應用及基于AI 視覺分析的算法模型；其次也需考慮如何降低對邊緣物聯代理的硬件資源要求[10]。

3 輕量型容器化研究思路

基于前文闡述，本文開展基于邊緣物聯代理的輕量型容器架構體系研究。如圖3 所示，常規的K8S 架構中，K8S 通過一個主節點和若干工作節點構成的集群，分布在若干服務器上，一個服務器可以裝載多個工作節點，工作節點內有若干POD，POD 中集成若干容器。K8S 調度工作節點在服務器上的部署和POD 在工作節點的部署，Docker 按照K8S 的調度指令執行容器裝載APP 和容器啟動、運行、停止等操作[11]。

圖3 云端K8S 節點分布

云端業務、服務軟件使用K8S 調度其微服務運行。當業務量、服務需求增加時，微服務會增加副本投入運行，相應地K8S 主節點會啟動更多的POD、容器，并把它們部署到工作節點中。當工作節點所在的服務器負荷已滿，K8S 在新的服務器上創建新的工作節點，對POD、容器重新部署，自動實現集群動態擴展。這種集群、動態擴展的方式程序代碼量大，占用資源也多。

圖4 為配電站房業務應用場景，邊緣物聯代理通過接入感知終端實現數據采集，通過接入視頻監控實現安全違章等AI 應用，通過容器化技術實現數據采集、告警分析、違章識別等APP 以實現業務支撐。

圖4 配電站房業務應用場景

在配電站房的應用場景中，主節點工作在云端，工作節點部署在邊緣物聯代理中，每個邊緣物聯代理只有一個工作節點，連接的傳感器和攝像機的數量、種類較固定，傳感數據的存儲、處理、傳輸等APP 功能也較穩定，因此節點中的容器部署比較穩定，用不到集群功能、POD 集成、工作節點動態擴展功能[12]。針對上述問題，結合配電站房的場景特點和功能需求，參照圖2 所示常規容器化架構，本文提出輕量化改進架構，如圖5 所示，具體改進設計如下：

圖5 輕量化云邊協同架構圖

1) 弱化K8S 集群的調度能力，通過對K8S API 服務和云調度功能進行裁剪，將APP 應用調度下層到云端邊緣節點調度器和邊端側容器調度器直接管理；

2)對冗余的 POD 組件裁剪，減輕邊緣代理設備對硬件資源的開銷；

3)結合業務需要，增加算法倉庫和算法服務，實現對深度學習模型算法的集成和管理；

4)增加日志管理和時序數據存儲組件，實現設備運維功能和數據本地存儲功能。

具體實現方面，本文在深入解讀Docker 和K8S 的基礎上，輕量型容器在原K8S 架構基礎上，對其軟件組件節點進行重組及設計，輕量型容器架構及組件節點設計如圖6 所示。

圖6 輕量型容器節點分布

在邊緣輕量型容器化云邊協同體系中，云端的主節點保留K8S 全部功能的同時，需增加SensEdge Manager 軟件模塊來負責與邊緣物聯代理的交互。

SensEdge Manager 提供對邊緣物聯代理的統一管理功能，包括：邊緣物聯代理接入授權管理、加密通信、云邊鏈接管理、邊緣物聯代理狀態查詢。邊緣物聯代理上容器及容器內APP 啟動、停止、創建、刪除、查詢管理。

邊緣物聯代理上的工作節點包括SensEdge Agent、 Message Bus 消 息 總 線、 EdgeDaemon、Monitoring、CNI、CSI、Edge Store、Containerd和RunC 這9 個軟件模塊[13]。

1) SensEdge Agent 管理邊緣物聯代理，功能包括：授權接入云端、加密通信、保持云邊鏈接；響應云端命令管理本地容器和APP、查詢本地容器和APP 狀態。

2) Message Bus 消息總線是APP 數據的中轉站，APP 之間不能直接傳輸數據，由消息總線匯聚、分發。

3) EdgeDaemon 監控邊緣物聯代理的本地狀態，功能包括：查詢邊緣物聯代理的本地網絡狀態、Flash 存儲占用率、內存占用率，響應SensEdge Agent 的查詢指令。

4) Monitoring 監測本地網絡狀態、flash 存儲使用狀況、內存使用狀況。

5) CNI 提供容器APP 與網絡的接口。

6) CSI 提供容器APP 與數據庫的接口。

7) Edge Store 是邊緣物聯代理的本地數據庫，存儲與容器管理有關的永久化存儲數據在本地的備份及其他數據。

8) Containerd 管理完整的容器生命周期，包括容器APP 的下載和備份、容器APP 的執行和管理等。

9) RunC 負責運行容器APP。

4 主要研究及實現內容

4.1 云邊協同設計

本文在輕量型容器技術的基礎上研發云邊協同體系，主要通過云端SensEdgeManager 和邊緣SensEdge Agent 之間使用MQTT/HTTPS 協議的云邊交互，實現如圖7 所示的應用APP 協同、數據協同、智能協同[14]。

圖7 配電站房云邊協同

應用APP 協同：云端管理應用APP 倉庫，調度應用APP 在各邊緣物聯代理的部署；邊緣物聯代理按照云端的調度管理運行APP。

數據協同：邊緣物聯代理主要負責傳感數據的采集，并進行本地處理和封裝，上傳給云端；云端提供數據關聯、融合、綜合分析、存儲和展示。

智能協同：云端管理深度學習模型算法倉庫及其在邊緣物聯代理的部署；邊緣物聯代理按照云端調度運行深度學習模型，實現邊緣智能[15]。

云邊協同交付時序設計和步驟如圖8 所示。

圖8 云邊交互示例

設計說明：

1) SensEdge Manager 部署在云端，SensEdge Agent 和EdgeDaemon 部署在邊端；

2) SensEdge Manager 創建授權碼；SensEdge Agent 手動或自動輸入已分配的授權碼，并將授權碼發往SensEdge Manager 進行校驗；

3) SensEdge Manager 校驗成果后進行激活，并將狀態請求發往邊緣代理；SensEdge Agent 將狀態請求發往EdgeDaemon;

4) EdgeDaemon 獲取邊緣代理CPU 占用率、內存占用率等資源信息，并發回狀態響應到SensEdge Agent；SensEdge Agent 接收到狀態響應后傳給SensEdge Manager；

5) SensEdge Manager 下發安裝容器命令給SensEdge Agent；SensEdge Agent 進行容器文件包下載，并執行安裝操作；

6) SensEdge Agent 回復容器安裝完畢響應。

按照《物聯管理平臺技術和功能規范》第4 部分：《邊緣物聯代理與物聯管理平臺交互協議規范》(Q/GDW12106.4-2021)設計，對邊端協同間接口及交互協議進行定義[16]，如表1 所示。

表1 交互接口類別表

4.2 業務APP 規劃

為支撐配電站房運檢業務開展，結合實際應用需求，對配電站房智能邊緣物聯代理容器內研發部署的APP 進行規劃，如圖9 所示。

圖9 配電站房APP 規劃

各APP 對應的功能設計說明如下。

1)時序化數據封裝APP：將感知數據、數據處理結果、視頻分析結果等附加上時鐘信息、地理信息(或配電站房編號)封裝，傳至云端。

2)環境APP：溫濕度監測、煙霧監測、水浸監測、臭氧監測、SF6+氧氣監測等傳感數據的處理、異常判別，生成環境感知數據包。

3)中壓開關柜APP：電流、電壓、局放、溫度等傳感數據的處理、異常判別，生成中壓開關柜感知數據包。

4)中壓電纜APP：電纜接頭溫度、局放、接地引下線電流、負荷電流等傳感數據的處理、異常判別，生成中壓電纜感知數據包。

5)配電變壓器APP：溫度、電流、局放、噪聲等傳感數據的處理、異常判別，生成配電變壓器感知數據包。

6)低壓配電柜APP：三相電流、溫度等傳感數據的處理、異常判別，生成中壓低壓配電柜感知數據包。

7)運行分析APP：進行功率因數、負荷比、電壓水平和三相不平衡等數據的處理，對設備狀態進行綜合研判和異常判別。

8)告警APP：有異常時報警。

9)違規判別APP：根據深度學習模型的識別結果，判別是否有違反安全規范的行為，生成違規判別數據包[17]。

4.3 AI 模型倉庫設計

為支撐配電站房運檢業務的開展，需對現場視頻監控采集到的人員和環境視頻數據進行視覺AI 智能分析。在本文邊緣代理裝置中，對模型倉庫以及模型并行運算調度進行設計。

1)算法及模型倉庫

算法倉庫集成了多種深度學習模型進行統一管理。如圖10 所示，根據配電站房的需求，算法倉庫集成人員管控、安全違章行為、電流電壓、指示燈狀態、開關位置和煙火等深度學習模型。算法倉庫管理包括對深度學習模型使用授權的管理，并提供深度學習模型添加、刪除、查詢和下載的接口[18]。

圖10 算法倉庫設計圖

2)模型并行運算調度

視頻監控數據接入到邊緣代理后，如何實現多路視頻并發處理，需設計視頻數據與深度學習模型對應的并行運算及調度算法，如圖11 所示。

每個深度學習計算IC 按模型的復雜程度及運算時間加載單個或多個深度學習模型。調度算法根據算法模型所對應的對象開展不同頻率的識別任務。一般情況下，與人有關的識別任務優先級高，頻度高(10～20 幀/s)，輸入的視頻數據流流量高。電壓電流、指示燈、開關等識別任務優先級低，頻度低(1 幀/s)，輸入的視頻數據流流量低。

通過上述調度算法，將深度學習模型合理部署在各個深度學習計算IC 中，將視頻數據合理地分配到各個深度學習計算IC，實現了數據、運算不堵塞，各深度學習計算IC 負荷均衡[19]。

5 實驗及性能評估

將K8S 進行輕量型改造后，在邊緣側去掉了原集群調度組件，裁減其部分管理面及控制面的功能。由于改進主要在agent 也即邊緣代理側，無須太關注云端server 側資源的消耗。測試方法主要從邊緣側分別用傳統K8S 容器及輕量型邊緣代理容器部署0～100 個相同的測試應用，分別觀測兩者的內存和CPU 占用情況進行資源消耗性能的對比分析，測試機規格為4vCPU，8GB RAM，操作系統為linux。

1)內存消耗測試對比

從圖12 可以看出，對K8S 傳統方式，其agent 的內存消耗明顯高于輕量型agent。在不加載應用的情況，K8S agent 占到150+MB 的內存，輕量型內存大概占用50 MB；滿載情況下，K8S agent 占到230+MB 的內存，輕量型內存占用70 MB。

2) CPU 消耗測試對比

從圖13 可以看出，輕量型agent CPU 消耗要比K8S agent 低不少。在不加載應用的情況，K8S agent 占到9%的內存，輕量型大概占用不到2%；滿載情況下，K8S agent 占到12%+的CPU，輕量型agent CPU 占用不到3%。

圖13 CPU 消耗圖

6 結 束 語

本文基于配電站房運檢業務的需求，對基于邊緣物聯代理容器化技術進行研究，并對大型軟件容器化及輕量型容器化技術展開對比分析，結合本文配電站房運檢業務特點，進行了輕量型容器技術的技術選型。同時，對如何實現容器與云邊有效協同進行了研究，并對其接口協議進行了設計。此外，基于本文研究的業務特點，對滿足其業務應用的APP 以及算法模型倉庫進行初步設計，通過在算法模型倉庫中采用并行運算及調度算法，可實現視頻監控數據接入到邊緣代理后，多路視頻的并發處理[20]。

本文研究基于邊緣代理的輕量型新型云邊端架構體系，摒棄集群管理等冗余功能，簡化了云邊通信協議，極大降低了容器管理部署的復雜度。同時針對工業互聯網的設備監控特點，重點加強設備網絡管理、日志記錄、應用監管、實時數據采集、數據壓縮存儲、數據加密傳輸等功能。經實驗仿真驗證，與傳統K8S 容器化技術對比，本文研究成果較大減少了邊緣代理對資源的需求，同時滿足了配電網尤其是配電站房運檢業務應用的開展，具備較好的先進性和推廣性。