基于云原生的水電能源通用模型框架探究與實踐

中國長江電力股份有限公司 楊旭 張玉柱

當前水電能源是我國的重要能源之一，水電數學模型是其開發過程的重要組成部分。三峽是我國重要的水利樞紐工程，流域內水系狀況復雜，存在多個大型水庫形成梯級水庫，水電能源資源開發潛力大，且三峽流域內水資源模型復雜多樣，當前缺乏統一的通用模型開發體系。本文以三峽模型利用現狀及水利信息化建設為基礎，基于擁有自主知識產權的模型云平臺構建了高效的水電能源開發框架，可為三峽水電能源開發、研究模型通用框架體系提供相關參考。

智慧水利建設需要在頂層設計的指導下，分目標、分階段、分層次逐步推進[1]。數字水利通常要求在完整體系框架下，進行數字的采集、組織、存儲、整合與標準化轉換，在具體的數學模型之上建立完備的數據信息服務架構[2]，水利建設項目施工一般具有施工地環境復雜、施工難度較大等特點，導致施工過程中事故發生可能性大。然而目前在水利工程項目過程中的風險評估多由現場相關管理人員手動分析，出錯的可能性大，費時費力，且現有的水利模型無法對水利項目風險進行精準的分析和預測[3]。

當前隨著國家對電力改革的不斷推進，流域水電站調度目標更加注重發電綜合效益的最大化[4]，我國大水電快速發展，長江三峽流域有大型梯級水電站群，如何使梯級電站的效益最大化，大范圍優化配置水資源十分重要[5]，長江三峽流域水電數學模型多樣化，做好水資源的預報調度十分必要，然而當前水電能源統一框架還不完善，基于貴仁模型云平臺利用云原生技術研發的水電能源通用框架可大幅提升水電能源利用效率。

1 總體設計

基于貴仁模型云平臺利用云原生的水電能源通用模型建設功能模塊，主要有水資源大數據中臺和模型標準化平臺，如圖1 所示。其中水資源大數據中臺包括數據管理平臺、業務中臺和集成中臺；基于云原生的水電能源通用模型標準化平臺包括通用模型組件庫、用戶空間、模型管理、方案管理、參數率定、模型評價、交互式編碼以及模型成果集等。

圖1 模型標準化平臺整體系統功能架構Fig.1 Overall system function architecture of model standardization platform

2 應用實例

2.1 通用模型框架建設背景

長江電力水資源相關業務系統多為相對獨立的應用系統，不同系統內部集成程度高，導致數據分散在各個應用系統數據庫中，業務系統使用的算法模型參數不能提供給其他系統進行調用。系統的快速研發會加劇應用分散、數據分散、重復建設、使用率不充分的現象出現。同時，快速的需求變化要求敏捷開發快速滿足應用要求。

為支撐金沙江下游——三峽梯級的調度運行，三峽梯調積累了大量預報、調度等模型研究成果，有效支撐了梯級水電站的實際生產運行。然而，由于氣候變化與人類活動影響，上游梯級水庫群陸續建成投運，預報、調度模型面臨各種變化因素，實時評價模型在實際生產應用中的效果，并針對變化的條件對模型進行針對性的升級和改造，是保持模型長效服務的關鍵。目前，模型應用效果評價主要依靠調度人員的經驗，由于水資源領域研發的模型眾多，在實際應用過程中缺乏長效、系統的模型評價機制，大量模型研發成果未能有效地在生產中發揮作用。模型研究的更新迭代主要依靠重新立項研發，模型研發成果的累計效益未能充分發揮。因此，亟待在現有的大量模型研發成果的基礎上，研發一套基于貴仁模型云的梯級調度科學研究開放平臺，通過標準接口接入模型研發成果，并基于模擬的生產環境為各類模型研發成果提供實時數據接入，依據相應的評價指標體系對科研成果進行實時評價，以實現科學研究成果的高效積累、提高科學研究成果的質量，促進科研成果的轉化落地。

2.2 標準化模型平臺體系

貴仁模型云的模型標準化平臺依托長江電力工業互聯網基礎設施平臺提供的物理設備和基礎軟件服務，包括服務器、網絡、存儲集群以及Docker、容器管理、資源虛擬化等。模型管理平臺內部集成了一套數據管理平臺，將模型組件和方案計算過程中需要的數據從已有業務系統中做統一的抽取存儲，模型標準化平臺對上層的應用支撐服務提供相應的模型計算服務及模型計算的成果數據服務。

模型標準化平臺主要包含數據管理平臺和模型管理平臺兩部分，如圖2 所示。數據管理平臺包括數據源管理、數據存儲、數據整合計算、數據資源目錄、數據分析展示以及數據服務等功能；模型標準化平臺包括可視化建模、通用模型組件集合管理、用戶空間、模型在線編碼等。

圖2 標準模型體系圖Fig.2 Standard model system diagram

2.3 構建原則

作為科學計算模型標準化運行基礎平臺，建設過程中采用云計算、虛擬化等技術，保證各項業務的正常運行。軟件開發采用DevOps 等主流的軟件開發和部署方案，測試和開發同步進行，及時修補各類軟件故障，保證代碼的完備性，以確保平臺的穩定性。

在建設過程中需保證各類數據資源和計算資源的可用性，采用負載均衡、彈性伸縮、冗余備份、異地備份等方式，提高系統的健壯程度。在正式部署后，進行各類壓力測試，保證系統在多用戶、多任務的情況下穩定運行。

2.3.1 模型框架數據結構

數據組織結構中按照不同專業類型分為氣象類、水文類、電站類、電力市場、調度類以及電廠運行計劃方式等。通過數據管理平臺將數據抽?。‥TL）、數據交互、數據同步、數據導入等方式，從相關的數據庫、文檔等存儲介質中導入各項水利工程實時數據、行業相關數據以及統計數據等，同時利用網絡爬取行業相關的水利、發電生產、電力市場等網絡數據。所有的數據通過數據清理、真值識別、質量控制等相關的去重去偽操作之后，存入數據服務平臺提供的數據庫中。

所有的服務統一在調度數據與計算服務平臺中注冊，并對外發布。調度數據與計算服務平臺提供各類接口的管理功能，實現資源的統一管理。主要負責協調內外的服務注冊、路由、資源檢索、調用監控、安全認證，并制定統一的標準，形成API 管理中心。

基于云原生的水電能源通用模型標準化平臺提供一個數據管理平臺的模塊，數據管理平臺能接入水調自動化系統、氣象業務系統、泥沙管理系統、文檔系統、水工程系統、外部互聯網數據等結構化與非結構化數據等，按照數據業務的類型，對數據進行采集、清理、存儲和管理。將各個系統中的離散數據統一匯聚于大數據中臺平臺內，同時提供數據整合功能，對數據進行再處理，以及以接口的形式對外提供對應的數據服務。

2.3.2 通用模型運行框架主要類型

（1）ModelExecutor：模型、方案的執行類，負責具體模型或方案的執行。采用深度優先遍歷算法對由模型組件構成的方案（有向無環圖結構）進行遍歷，多線程執行方案的圖數據結構中的所有未執行的非依賴節點。并將節點的返回數據綁定到依賴其結果的模型組件節點。依次迭代執行，直到所有節點都被執行完畢。

（2）AbstractModel：模型組件的抽象類，平臺所有模型組件的模型類必須實現的父類，包括數倉數據類、文件數據類、模型算法類、方案類等。

（2）RunStatus：模型組件運行狀態類，主要有Success、Failed、Doing 三種狀態。

（4）DataModel：數倉數據接入類，其按照設置的數據源及檢索條件從數倉中讀取數據，由方案執行類將數據綁定到依賴其結果的模型組件節點。

（5）FileModel：文件數據接入類，可以通過文件數據接入類接收臨時上傳的文件數據，并作為數據源輸出給依賴的模型組件作為輸入。

（6）AlgorithmModel：模型算法類，指除了數據接入模型組件之外的所有數據處理類模型組件，可以是數據質量處理模型組件、預報類模型組件、調度類模型組件、機器學習類模型組件或者模型評價類模型組件。

（7）PlanModel：方案類，方案同樣可以作為其他方案中的一個模型組件被集成到一個更大范圍的方案中，以支持多人多方案多流域多模型協作。

2.3.3 模型通用框架部署

為了能夠接入現存的各類“異形”模型，需要了解這些模型的具體要求，并提供一個能滿足這些要求的基礎設施來適配各種模型，這個基礎設施就是模型適配器。同時，為了能夠支持各種模型的運行環境，使用容器技術對各自的運行環境進行隔離且后續可以更好地對運行環境進行擴展。模型適配器為模型的外殼程序，將異構的模型包裝起來，對外提供統一的接口。主要職責為模型的數據輸入、數據輸出、啟動模型、收集模型反饋信息和結果數據。用Java 語言開發，可以直接由Java 集成并調用。模型服務層則負責與外部服務進行通信，用于接收外部參數并返回計算結果。在接收到啟動指令后，根據接口查找對應適配器并實例化運行。

服務層內部主要分為API 接口層和執行器層。API 層主要負責與外部服務進行通信，進行模型計算任務的啟動、獲取進度、日志等控制；執行器層主要負責對各類接入的模型進行調用。其中，可以無縫接入Java、Python和動態庫三類實現標準模型（即實現標準化平臺接口標準的模型，同理，未實現標準化平臺接口的標準，稱為非標模型）。其他非標模型，則可統一使用Java 實現對應的模型適配器，“偽裝”成標準Java 模型進行接入。

2.3.4 模型運行調用流程

模型標準化平臺的整體架構分層有兩層，上層是模型標準化平臺基于標準對象數據結構的調用體系流程；下層是對接各具體業務模型的模型適配層，標準對象數據結構參考業界相關軟件主流標準，最大限度地與物理實體映射。模型適配層通過適配器將標準對象的參數結構轉換成具體模型需要的參數格式。解析模型輸出結構為標準對象結構返回到模型標準化平臺調用運行體系中去。

3 結語

三峽水電能用模型通用框架體系的建立，整合并充分利用了三峽現有的模型資源，結合貴仁模型云工具集成了模型標準化平臺?；谠圃娜龒{水電能源模型通用框架的建設與完善將不斷提升三峽水利信息化水平，帶動智慧水利相關產業發展，促使產業結構更加多元化。

模型標準化平臺的建立，可為長江流域防洪提供更加精準化的防汛調度決策支持，并為當地人民的生產生活提供保障。三峽基于貴仁模型云的水電能源通用模型框架建設是按照智慧水利建設“全國一盤棋”思路，統籌考慮水利部和流域機構相關規劃，進行針對性建設的智慧水利先行先試工程，是響應國家智慧水利建設的重要體現，具有技術攻關和示范引領作用，有助于推進長江流域水利（水文）信息化向水利（水文）智慧化轉變。