基于深度強化學習的微電網源-荷低碳調度優化研究

馮文韜,李龍勝,曾 愚,潘可佳,張子聞,景致遠

(1. 國網四川省電力公司信息通信公司,四川 成都 610041;2. 電子科技大學機械與電氣工程學院,四川 成都 611731)

0 引 言

近年來,隨著各國GDP和科學技術的飛速發展,化石能源消耗急劇增長。近幾十年里,化石能源的高消耗造成大氣中CO2濃度猛增。為有效降低CO2增長比例,各國開始研究利用可再生能源替代化石能源以此實現低碳生活[1-2]。中國在2020年提出了“碳中和、碳達峰”目標,旨在通過加強對風力、光伏等可再生能源的發展,降低化石能源在微電網體系的比例,從而實現減少碳排放的目標[3]。然而可再生能源存在的隨機性、間歇性等缺點導致其在微電網中的比例難以有效提升。此外,能源需求的飛速增長也給當前微電網能源供給優化帶來了一定的壓力。因此,未來十幾年內化石能源依舊會在微電網中占據較大的比例。當前人們面臨著如何優化能源管理策略同時滿足能源需求與實現系統低碳化的難題。電力行業中發電側使用能源最多的依舊是燃煤等化石能源,在發電的同時增加了碳排放。碳排放與發電側密切關聯,因此,眾多學者對發電側碳排放進行了相應的研究。

文獻[4]構建了一種考慮碳減排合作機制和引入風力發電的微電網低碳調度模型,利用碳捕捉裝置有效地吸收燃煤輪機產生的CO2,從而實現系統低碳經濟運行[5-6]。文獻[7]設計和規劃了一個多能載體微電網,利用能源系統中二氧化碳流的建模技術估計能源系統中分布的碳量,提出了配電系統層面多載能系統的優化方法。文獻[8]為研究不同的低碳技術對微電網經濟調度的影響,構建了一個基于機會約束的兩階段隨機優化調度模型。然而,隨著微電網規模逐漸龐大化、系統結構逐漸復雜化、控制變量多元化,上述方法難以快速有效地獲取最優低碳經濟策略。

隨著AI技術的快速發展,具有記憶能力的強化學習(reinforcement learning, RL)方法廣泛地應用于微電網電壓控制、運行優化等領域[9]。文獻[10]基于深度Q網絡(deep Q network, DQN)構建了一種低碳家庭微電網能源動態管理模型,擺脫了源荷不確定性對系統低碳經濟運行的影響。然而,上述方法在面對微電網中連續多目標實時控制問題,難以快速獲得最優策略。文獻[11]利用深度強化學習(deep reinforcement learning, DRL)構建了一種超參數自適應的多能供給微電網優化調度模型,可以實時制定系統中多元件最優出力策略,實現微電網低碳經濟運行。文獻[12]利用DRL建立了一種電動汽車充電能源管理策略?；贒RL的先進性,下面采用深度確定性策略梯度算法(deep deterministic policy gradient, DDPG)搭建了一種同時將微電網的經濟性和低碳性作為優化目標的調度模型。首先,介紹了碳排放理論流重點概念,并基于此構建了一種更能反映實際情況的階梯碳價計算模型;然后,利用DDPG建立了一個微電網低碳經濟運行優化模型,通過考慮負荷需求響應實現降低系統運行成本和減少碳排放量的目標;最后,建立了一個實時調度模型,能夠根據微電網最新的信息實時制定最優策略。

1 碳排放流理論研究

1.1 碳排放理論概述

當利用煤炭等化石能源發電時,燃燒過程中會釋放大量的CO2,從而產生碳排放。假定產生的CO2并不是直接從發電廠釋放到大氣層中,而是隨著電能的傳輸直至用戶。用戶在使用電能的同時,需要支付發電造成的碳排放成本。因此碳排放成本并不單單由發電側承擔,用戶也具有一定的責任。據此,提出了碳排放流方法用以研究碳排放在發電側到用戶之間的關系,如圖1所示[13-14]。在計算過程中應該從用戶側討論碳排放責任劃分,而碳排放流理論能夠有效地將發電側的碳排放任務分給用戶。

圖1 碳排放流結構

1.2 碳排放流理論相關定義

1.2.1 碳排放流率

碳排放流率表示單位時間內系統某一節點通過的CO2流量[15],t/h。

(1)

式中:MCEF為碳排放流率;CCEF為碳排放的流量;t為時間。

1.2.2 支路碳流密度

碳排放流主要依靠電力系統中的有功潮流,支路消耗單位電量導致發電側產生CO2的數值稱之為支路碳流密度[15],t/kWh。

(2)

式中:IBCEl為支路l的碳流密度;Pl為支路l的有功功率。

1.2.3 節點碳勢

節點碳勢主要描述節點消耗單位電量導致發電側產生CO2的數值,一般也可叫做節點碳流密度,用INCEi表示[15],t/kWh。

(3)

式中,N+為所有與節點i相連接的支路。

1.3 碳排放流計算方法

以圖1的節點2為例,節點2的碳勢INCE2[16]為

(4)

式中:P2為節點2的有功功率;INCEg2為發電機在節點2的碳勢。

根據碳排放流理論求解過程,支路中碳流密度由本支路中首個節點的碳流密度決定,即

IBCEl2=INCE2

(5)

根據各個發電機組在每個節點的碳勢以及系統各個節點的負荷量即可求解出各節點的碳排放量。

Bemi=INCEdi·Di

(6)

式中:Bemi為節點i的碳排放量;INCEdi為負荷節點i的碳勢;Di為節點i的負荷量。

2 碳計量模型以及階梯碳價計算模型

2.1 發電機組碳排放計量模型

在傳統的計算過程中,發電機組的碳排放量計算時總是采取固定因子,即碳排放量與發電量之間存在著線性關系,該方法在長時間的計算過程中精確度較低,難以真實有效地評估發電機組長時間運作碳排放量。因此采用了一種動態碳排放計算模型,該模型將發電機組的出力分為了幾個區間,隨著機組出力的增加,區間數目逐漸增大,區間碳排放強度值增長趨勢將逐漸減緩。求解每個機組總碳排放量時,首先計算每個區間的碳排放量,即區間碳排放強度值與機組出力之間的乘積;最后將所有區間的碳排量相加即為總碳排放量。動態碳排放計算模型[14]為

(7)

式中:B(i,t)為機組i在時刻t的總碳排放量;P(i,t)為機組i在時刻t的功率輸出;p為區間長度;Pmin,i和Pmax,i分別為機組i最小和最大輸出功率;P0為機組最低輸出功率;ψ1為碳排放強度的基準值;ξ1、ξ2、…、ξn為碳排放強度的增長系數,隨著碳排放的逐漸增加,該值逐漸降低。

2.2 階梯碳價計算模型

為有效降低節點碳排放量,將各節點每個時刻的碳排放量分為了幾個區間,主要包括免費區間、低碳區間、中碳區間等。隨著區間的上升,碳價具有一定的漲幅,計算總碳排放成本為各區間碳價與碳排放的乘積之和。階梯式碳價的計算模型[17]為

(8)

式中:Cemi,i,t為機組i在時刻t的總碳排放成本;ψ2為碳排放成本基準值;Bc為機組免費碳排放額度;b為區間長度;ω為區間之間的碳交易價格漲幅,一般取值較小。

3 問題建模

3.1 優化模型

該模型的優化目標函數為最小化系統發電成本、碳排放成本以及負荷轉移成本。

(9)

式中:Cg,t為火力發電機組在時刻t的成本;Cwind,t為風力發電機組在時刻t的成本;Cload,i,t為負荷響應產生的成本。

各成本的計算方式為:

Cg,t=cg·Pg,t

(10)

Cwind,t=cwind·Pwind,t

(11)

Cload,i,t=cload,i,t·Pload,i,t

(12)

式中:cg為火力機組發電成本系數;Pg,t為火力機組在時刻t的發電功率;cwind為風力機組發電成本系數;Pwind,t為風力機組在時刻t的發電功率;cload,i,t為節點i在時刻t的負荷轉移系數,Pload,i,t為節點i在時刻t的負荷轉移功率。

3.2 馬爾科夫決策建模

將微電網低碳經濟優化調度問題構建為一個馬爾可夫決策,即:

環境:微電網網絡。

智能體:深度強化學習算法。

狀態:時刻t微電網中各節點用電負荷功率、時刻t各發電機組最大出力和碳排放系數、時刻t風電預測功率和發電機組時刻t碳價。

動作:時刻t火力發電功率、時刻t各節點負荷轉移功率和時刻t風電接入系統功率。

獎勵值:智能體針對當前狀態選擇執行的動作所獲得的獎勵。

3.3 相關約束

Pi,t=Pexp,i,t-Pwind,t-Pg,t,i∈N

(13)

Qi,t=Qexp,i,t-Qg,t,i∈N

(14)

Pg,min≤Pg,t≤Pg,max

(15)

Pwind,min≤Pwind,t≤Pwind,max

(16)

ζre,t=0

(17)

ΔPg,min≤Pg,t-Pg,t-1≤ΔPg,max,t>2

(18)

式中:Pi,t和Qi,t分別為節點i在時刻t凈流入有功功率和無功功率;Pexp,i,t和Qexp,i,t分別為時刻t節點i負荷預測維持系統平衡所需有功功率和無功功率;Pg,min和Pg,max分別為發電機組出力的最小值與最大值;Pwind,min和Pwind,max為風電機組出力的最小值與最大值;ζre,t為平衡節點時刻t相角約束;ΔPg,min和ΔPg,max為發電機組功率爬坡限制。

4 深度強化學習方法

在監督或無監督學習中,學習過程是基于現有數據的,但強化學習采用了完全不同的方法,其通過不斷的試錯獲得最優的結果。經過訓練的智能體在其環境中以一系列時間離散步驟t=1,2…,T移動。在每個時間步長,智能體感知其狀態并選擇一個動作at。根據動作智能體移動到下一個狀態st+1,它接收到來自環境的評估反饋,這表明它的決策是以目標為導向的。通過這種方式定義獎勵rt,如此反復訓練直至結果收斂,如圖2所示。

圖2 智能體與環境交互

4.1 評價網絡

DDPG算法的評價網絡包括了計算Q值的評價函數[18]。

(19)

式中:Kt為目標評價函數的數值;σ為折扣系數;Q′(·)為目標評價函數;?′為目標評價函數中的參數合集。

評價網絡參數的損失函數為

(20)

式中,E(·)為數學期望;Q(·)為評價函數。

其梯度下降求解方法為:

(21)

?t+1=?t-δ??J(?)

(22)

式中:??J(?)為梯度下降方向;δ為評價網絡的學習率;??Q(·)為評價函數的下降梯度。

4.2 動作網絡

動作網絡中t+1時刻的動作函數[19]為

at+1=πθ(st+1|θ)

(23)

式中:πθ(·)為動作函數;θ為動作函數的參數。

梯度?θJ(θ)表示為:

?θJ(θ)=Ε[?aQ(st,at|?)·?θπθ(st)]

(24)

θt+1=θt-ε?θJ(θ)

(25)

式中,ε為動作網絡的學習率。目標動作函數的計算公式為

a′=π?′(s′t+1|?′)

(26)

針對目標動作函數和目標評價函數的參數,選用了一個較小的平滑系數實現軟更新。

(27)

(28)

式中:?′為目標動作函數參數合集;λ為平滑系數;θ′為目標評價函數參數合集。

所提方法的流程如圖3所示。

圖3 算法流程

5 算例分析

在PJM-5節點系統上驗證試驗,結構如圖4所示,該節點系統主要包括了6條輸電線路、5種不同類型的發電機組以及3個用電負荷,其中風力發電機組接在節點E,各節點參數來源于參考文獻[20]。所提算法選用了python進行程序編撰與運行。

圖4 PJM-5節點系統

系統各時刻用電負荷以及風力發電機組出力如圖5所示。從圖中可以看出風力機組在1:00—8:00、13:00—16:00、22:00—24:00都維持了較高的出力。9:00—12:00、17:00—21:00出力較低。負荷在7:00—21:00之間功率較高。除了4:00—6:00以外,每個時刻的用電負荷都大于風電出力。

圖5 風力機組出力及用電負荷

各節點機組參數設置如表1所示,各發電機組碳排放系數求解方法參考文獻[21]。粒子群算法、DQN算法以及所提算法中各參數設置分別如表2和表3所示。

表1 發電機組相關參數設置

表2 粒子群算法相關參數設置

表3 DQN和DDPG相關參數設置

為驗證所提方法的有效性,選取了粒子群算法以及DQN算法作為對比。粒子群算法是一種基于個體之間信息交流和合作的優化算法,DQN算法是Q-learning算法的升級版,其采用深度神經網絡來近似Q值函數。各方法在測試集上的結果如表4所示。從表4中可以看出,雖然粒子群算法的風機發電成本以及負荷響應成本都低于其他兩個方法,但是其碳排放成本以及機組發電成本都高于其他兩種方法。這是因為其策略負荷需求響應較低,難以有效地開發風力發電機組的潛力。DQN算法相較粒子群方法有了一定提升,但是最終的總成本依舊低于DDPG算法。DDPG算法的總成本相較粒子群算法降低了12.68%,相較DQN算法降低了5.16%。

表4 各算法在測試集上的成本對比 單位:美元

需求響應前后風電出力對比和負荷變化對比情況分別如圖6和圖7所示。從圖6中可以看出,在風電出力較高的時刻,如1:00—7:00、15:00—16:00、22:00—24:00,考慮負荷響應以后,系統消納風電的功率有所增加。這是因為通過負荷轉移,該時段的負荷有所增加,從而提升了負荷需求隨著風電消納的增加,系統中火力發電相應減少,減少了碳排放量與用電成本。

圖6 需求響應前后風力機組輸出對比

圖7 需求響應前后負荷變化對比

考慮需求響應前后系統整體發電成本以及碳排放成本如表5所示。從表中可以看出,考慮負荷需求響應后,系統在負荷可調節的范圍內對負荷進行了再分配。將負荷轉移至富余風力發電時刻從而提升了風電出力權重,減少碳排放較大的火力發電機組出力,降低系統運行成本的同時實現碳減排?？紤]負荷需求響應以后系統發電成本降低了2300美元,碳排放成本降低了7600美元。節點通過負荷響應加大對風電的消納,減少了碳排放量,如表6所示。從表6中可以看出,各節點經過需求響應后都降低了碳排放量,總碳排放量削減達到了707 t。

表5 考慮需求響應前后成本對比 單位:美元

表6 各節點碳排放量 單位:t

6 結 論

上面提出了一種以系統經濟性和低碳為目標的考慮需求響應的優化調度模型,利用碳排放理論流構建了階梯碳價模型。通過實驗驗證表明:1)所提方法能有效地求解包括系統經濟性與碳排放在內的多目標優化問題,總運營成本相較粒子群算法降低了12.68%,相較DQN算法降低了5.16%;2)通過考慮負荷需求響應,成功地提升了風電消納比例并降低了碳排放量;3)所提優化調度模型基于DRL算法的快速響應能力能夠實時做出決策。