基于變分模態分解-排列熵-改進鵜鶘優化算法的長短期記憶網絡的短期負荷預測

謝文龍，張蓮，王士彬，李多，楊家豪

(1.重慶理工大學電氣與電子工程學院，重慶 400054； 2.國網重慶市電力公司市南供電分公司，重慶 401336)

0 引言

隨著社會經濟的快速發展，電力需求持續增長，電力市場也日趨復雜多變?！笆奈濉逼陂g，我國將堅持綠色低碳發展理念，優化調整能源結構，提高能源安全保障水平[1]。2022年夏季，受極端高溫、強降雨等自然災害影響，部分地區出現用電荒，導致供電緊張甚至斷電。因此，在當前形勢下開展短期電力負荷預測研究不僅可以提高電力系統運行效率、降低運營成本、提升服務水平，還可以豐富相關理論體系和方法論等方面的理論意義[2]。

為了提升電力負荷預測的精確性，需要深刻把握負荷變化的規律性。電力負荷序列呈現出周期性、隨機性等特點，實質上構成一類隨機的非平穩時間序列。近年來，負荷預測領域將智能算法與神經網絡、機器學習相結合，而長短期記憶網絡(long short term memory，LSTM)也是公認對時間序列處理最好的模型之一。針對電力負荷序列特點所進行的分解，也成為了提升負荷預測精度和可靠性的重要方法[3]。例如經驗模態分解(empirical mode decomposition，EMD)[4]、集合經驗模態分解等。上述的LSTM模型和模態分解的方法雖然有效地提升了預測精度，但方法本身存在局限性。LSTM收斂速度過慢，參數選擇對于預測結果的精度影響很大[5]；EMD容易混疊，生成包含虛假信息的模態分量，會對預測結果產生較大影響；集合經驗模態分解[6]采用疊加高斯白噪聲的方法，來減少序列外部因素的影響[7]，但是處理不當易引入噪聲，影響結果準確性。而變分模態分解(variational mode decompostion，VMD)自適應、完全非遞歸的模態變分和信號處理的方法，克服了EMD模態混疊的問題；除此之外，對序列分解后，如果將模態直接代入模型預測，會導致計算量龐大[8]，同時影響預測結果的精度[9]。

針對上述問題，提出了基于VMD-PE-IPOA優化的LSTM預測模型。該模型利用VMD的優點有效地避免了模態混疊；并通過排列熵合并模態，減少了計算規模；然后使用改進鵜鶘優化算法(improved pelican optimization algorithm，IPOA)更高效準確地尋找到最優模型參數；最后使用兩份數據集，與不同預測模型和不同優化算法的結果進行對比，驗證了本文所提方法的有效性和可靠性。

1 基本原理

1.1 變分模態分解

變分模態分解是一種自適應信號分解方法，在2014年由DRAGOMIRETSKIY等人[10]提出。它可以通過控制每個本征模函數(intrinsic mode function，IMF)的中心頻率和帶寬來減少模態混疊現象。對原始序列采用模態分解，可以降低復雜度高和非線性強的時間序列非平穩性，分解獲得包含多個不同頻率尺度且相對平穩的子序列[11]。

VMD的分解過程是變分問題的求解過程，通過迭代找到變分模型的最優解，確定每個模式的帶寬和中心頻率。因此，VMD可以自適應地分解頻域信號，分離每個模式[12]。將原始負荷信號分解成IMF，每個IMF都可表示為：

uk(t)=Akcos[φk(t)]

(1)

(2)

式中：Ak(t)為瞬時幅值，Ak(t)≥0；φk(t)為相位；ωk(t)是瞬時頻率。

具體的步驟如下：

1)步驟1，對于每個模態，使用希爾伯特變換計算相關的解析信號以獲得單邊頻譜，并與調諧到相應估計中心頻率的指數e-jωkt混合，將模式的頻譜移動到基帶：

(3)

式中：δ(t)為單位脈沖函數；uk(t)為模態函數。

2)步驟2，在通過解調信號的高斯平滑度估計帶寬，即梯度的平方范數。由此產生的約束變分問題如下：

(4)

3)步驟3，為了求解式(4)，利用二次懲罰因子α在有限權重下的良好收斂特性，以及拉格朗日乘子λ對約束的嚴格性，將式(4)的約束性變分問題轉化為非約束性問題，得到增廣拉格朗日表達式如下：

(5)

(6)

(7)

(8)

4)步驟4，直到滿足式(9)，停止迭代，否則返回步驟3。

(9)

式中：N為最大迭代次數；ε為收斂精度。

滿足式(9)后，原始信號f被分解為k個模態向量uk(t)，最后通過傅里葉反變換到時域。

1.2 排列熵

排列熵(permutation entropy，PE)值是一種用來表征時間序列或者混沌動力系統的復雜程度的無量綱指標[13]。它的計算方法是將時間序列分成若干個子序列，然后對每個子序列進行排序，得到不同的排列模式，再計算每種排列模式出現的概率，最后用信息熵公式求和得到排列熵值[14]。

簡單地說，排列熵值的大小表示時間序列或者混沌動力系統的隨機程度：熵值越小，說明時間序列或者混沌動力系統越簡單、規則；反之，熵值越大，則時間序列或者混沌動力系統越復雜、隨機[15]。

對于一組時間序列{X(i)，i=1，2，…，N}，對其進行相空間重構，得到矩陣Y為

(10)

式中：τ為延遲時間；m為嵌入維數；K為重構空間中重構分量的個數，其中K=N-(m-1)τ。

在矩陣Y中，每一行都是一個重構分量，總共有K個重構分量。將這些重構分量進行升序排列有：

x(i+(j1-1)τ)≤x(i+(j2-1)τ)≤…≤x(i+(jm-1)τ)

(11)

式中：用j1，j2，…，jm來表示Y中各個元素所在列索引。

如若排序過程中，相鄰兩個值相等，則以這兩個值中列索引ji的下標升序排列。如此對于任意一個時間序列重構得的矩陣，矩陣Y就被映射到了一組符號序列：

S(k)=(j1，j2，…，jm)，k=1，2，…，K

(12)

時間序列X(i)的排列熵依照香農熵(Shannon entropy)的形式可定義為：

(13)

Hp(m)最大值為ln(m！)，將Hp(m)進行歸一化處理為：

H=Hp(m)/lnm！

(14)

在經過歸一化處理后，H的取值范圍為0≤H≤1，H值的大小反映了時間序列的隨機性程度。H值增大，對應著時間序列隨機性增強[16]。

在式(10)中，嵌入維數m和延遲時間τ需要提前選取，參數的選取對排列熵的計算結果會產生影響，根據Christoph的研究，嵌入維數m一般取3～7。本文嵌入維數m取為3，延遲時間τ取為1[17]。

PE值的計算能夠量化序列X(i)的復雜程度?？梢酝ㄟ^比較各模態熵值的大小來比較它們各自的復雜程度。PE值能夠有效地反映IMF分量的復雜程度，這為IMF分量的重構和建模簡化提供了理論依據[18]。

1.3 LSTM

LSTM神經網絡是一種改進的循環神經網絡，它通過巧妙的網絡結構設計，可以學習時間序列中的長短期依賴信息，從而在處理時間序列數據時表現出色。循環神經網絡結構如圖1所示，下方的x是輸入層，紫色部分s是隱藏層，O是輸出層。

LSTM結構如圖2所示，記憶單元位于單元的中心，用藍色圓圈表示。輸入為已知數據，輸出為預測結果Ot。記憶單元中的三個門用綠色圓圈表示。此外，單元的狀態由St表示，每個門的輸入是預處理數據Xt和記憶單元的先前狀態St-1。圖2中的紅色是匯合點，表示相乘。

圖1 循環神經網絡結構

圖2 LSTM神經網絡結構

輸入門：it=σ(W(i)Xt+U(i)St-1)

(15)

遺忘門：ft=σ(W(f)Xt+U(f)St-1)

(16)

輸出門：ot=σ(W(o)Xt+U(o)St-1)

(17)

(18)

最終輸出：

Ot=ot°tanh(St)

(19)

通過不同門的功能，LSTM的長短時記憶單元在時間序列內部具備捕獲復雜相關特征的能力。這種特性避免了傳統循環神經網絡存在的權重溢出問題，以及梯度消失和梯度爆炸等困擾，從而賦予網絡更為優越的性能[19]。

1.4 鵜鶘優化算法

鵜鶘優化算法(pelican optimization algorithm，POA)是一種自然啟發的優化算法，旨在解決工程優化問題[20]。相比其他算法，它具有調整參數少、收斂速度快、計算簡單等優點[21]。POA基于鵜鶘捕魚的行為，將搜索空間視為一片湖泊，把要優化的適應度值視為魚。該算法具有隨機初始化、局部搜索和自適應參數調整等特點，可用于多個基準優化問題，并顯示出優異的解決方案質量和收斂速度[22]。POA的具體步驟如下：

1)初始化

假設m維空間中有N只鵜鶘，第i只鵜鶘在m維空間中的位置為Xi=(xi，1，xi，2，…，xi，m)，N只鵜鶘的位置X表示為：

(20)

式中：Xi代表第i只鵜鶘；xi,m代表第i只鵜鶘在第m個維度上的位置。

在初始化階段，鵜鶘隨機分布在一定范圍內，而鵜鶘的位置更新被描述為：

(21)

式中：jlow，jup是鵜鶘的搜索范圍，分別代表搜索下界和搜索上界；r代表介于(0，1)之間的隨機數。

2)搜索階段

在搜索階段，鵜鶘通過在空間中隨機搜索來尋找潛在的食物來源。獵物的位置隨機生成，每次迭代期間鵜鶘位置隨之更新：

(22)

式中：xi,j,P1是第i只鵜鶘在探索階段之后，在第j維度的新狀態；pj是第j維度中獵物的位置；Fp是其適應度值；I是等于1或者2的隨機數，參數I影響POA準確探測搜索空間的探索能力。

在鵜鶘搜索階段結束時，將比較前后兩個適應度值，把鵜鶘位置更新為適應度值最小的位置。在此更新過程中，需防止種群移動到非最優位置。

(23)

式中：Xi,p1表示第i只鵜鶘的最新狀態；Fi,p1是探索階段的適應度。

3)定位階段

在這一階段鵜鶘會定位獵物位置并開始捕獵。這個過程中的數學模型如下：

(24)

式中：xi,j,P2是第i只鵜鶘在定位階段之后，在第j維度的新狀態；R為常數，等于0.2；R(T-t/T)表示種群成員xi，j的鄰域半徑，在每個成員附近進行局部搜索以收斂到更好的解；t是當前迭代次數；T是最大迭代次數。

當定位階段結束后，比較前后的適應度值大小，將鵜鶘位置更新為適應度值最小的位置。

(25)

經過上述搜索階段和定位階段調整所有種群成員位置后，根據種群狀態和適應度值，更新最佳的捕食策略。隨后POA進入下一迭代，重復執行步驟2)搜索階段和步驟3)定位階段，直到最大迭代次數。

1.5 改進鵜鶘優化算法

POA相較于其他優化算法有很大優勢，但其隨機初始優化種群會導致鵜鶘個體的初始解空間分布不均，搜索能力較弱，容易陷入局部最優[23]。為增加種群的豐富度和提高尋優效率，采用Logistic混沌映射初始化種群及融合反向學習和柯西變異策略。改進后的IPOA算法流程如圖3所示。

圖3 IPOA算法流程

1)Logistic混沌映射初始化種群

從數學形式上看，Logistic映射是一個相對簡單的映射方法。經驗實踐表明，它的混沌系統具有良好的安全性。因此，本文選擇使用Logistic映射對種群中的最優個體進行混沌映射，用于生成符合Logistic映射規律的隨機數序列。Logistic映射生成的隨機數序列用于初始化搜索個體的位置。其表達式如下：

yn(t)=byn(t+1)[1-yn(t-1)]

(26)

式中：yn∈[0，1]；t表示迭代次數；b是控制參數，決定了Logistic映射的演變過程，取值范圍是1≤b≤4，一般取4，代表系統處于完全混沌狀態下。

2)融合柯西變異和反向學習策略

反向學習的核心目標在于以當前解為基礎，運用反向學習機制來搜索相應的反向解，并經過評估比較后，保留表現較優的解。為了更有效地實現最優解的搜索，將反向學習策略融入到POA中，數學表征如下：

(27)

(28)

(29)

柯西變異受柯西分布啟發，柯西分布概率密度表達式為：

(30)

當a=1時，稱為標準柯西分布，記作C(0，1)。將標準柯西分布引入算法中，對目標位置進行更新，其表達式為：

Xi,j,t+1=Xbest(t)+C(0，1)*Xbest(t)

(31)

為了提升算法的優化效能，引入了一種動態選擇策略來更新目標位置。在特定概率下，交替采用反向學習策略和柯西變異算子擾動策略，從而靈活地更新目標位置。至于采取何種策略進行目標位置更新，由選擇概率Ps決定，其計算公式為：

(32)

式中：θ為調整參數，根據仿真結果，當θ取0.5時，優化結果最好。

具體選擇策略根據結果判斷，如果r

雖然上述兩種擾動策略可以增強算法脫離局部空間的能力，但經過擾動變異后，新位置的適應度值是否更優并不能直接判斷得到結果。因此，引入貪婪規則，在擾動變異更新之后通過比較新舊位置的適應度值來決定是否更新。具體的更新規則可以表達為：

(33)

2 建立模型

1)第一步：首先確定VMD的模型輸入變量K，并對歷史負荷數據進行VMD分解，得到各個子模態。

2)第二步：根據排列熵分析結果確定最優模態分量數，并將排列熵值相近的模態進行子模態重組。然后對重組后的模態各自進行預測，形成LSTM的輸入樣本集。

3)第三步：采用IPOA算法尋找各子序列LSTM模型最優超參數，分別是學習率、隱含層神經元個數、正則化系數。并將最優的LSTM預測模型應用于各自序列的預測中。

4)第四步：最后將各個子序列的預測結果相加，得到最終預測結果。

建模流程如圖4所示。

圖4 建模流程

2.1 模態分解個數確定

在 VMD中，在運行之前需要提前設置好分解的模態數K，過多會引起模式的重疊和附加噪聲，若過少則會導致模態分解不完全。因此，設置正確的K值對于VMD處理及去噪至關重要[24]。

為了確定信號的模態數K，可以采用各模態的中心頻率值。首先將K值的范圍設置在8～12，然后對每個K值進行分解，檢查每個K值對應的各模態中心頻率是否存在相近的情況。如果存在相近的情況，則說明信號被過分解。經過反復試驗，將K值設為10為宜。

2.2 模態合并

若利用LSTM預測模型直接對每一個模態進行預測，會增加計算工作量。為縮小計算規模，利用排列熵理論對每一模態進行復雜度分析，根據分析得到的排列熵值進行合并疊加。為了通過排列熵來量化合并各模態，本文采用以下方式來計算：

(34)

當I≤pij時，合并兩個模態，形成一個新的子序列，否則就單獨列為一個子序列。I為pij兩個模態序列的PE值之差。根據式(34)計算可以得到新的子序列。

3 實例分析

3.1 仿真環境

試驗在處理器AMD Ryzen7、顯示適配器RTX3060Laptop、內存16G、1TB固態硬盤硬件設備下完成，采用Windows 11的MATLAB2019b建立預測模型。LSTM的種群規模為30，最大迭代次數為200。LSTM求解步長為12，輸出長度為1，解法器采用Adam梯度下降算法，激活函數為ReLU，網絡迭代200次。

3.2 數據來源

本文以華東某地區地方電網2018年1月1日至9月30日的電力負荷為數據樣本[25]。負荷數據采樣周期為15 min，每天96組數據，共26 208組數據。負荷曲線如圖5所示。本文將前80%的負荷數據作為模型訓練樣本，將后20%的負荷數據作為預測模型測試樣本，并與實際負荷對比。

圖5 原始電力負荷數據

3.3 數據預處理

本文采用移動平均插值法和移動中位數法填補缺失數據。具體方法是：設定鄰近區域，用窗口長度為30的移動均值代替缺失樣點的平均值，用移動中位數替換數據中的NaN值。這兩種方法適合樣點分布均勻、密集且變化緩慢的情況，主要優勢在于消除隨機干擾、降低噪聲、計算簡便快速。

3.4 評價指標

驗證模型優劣通常用均方根誤差ERMSE，平均絕對百分比誤差EMAPE，決定系數ER2三個指標來衡量，它們能夠有效反映模型預測的精度與擬合程度。具體的計算方式為：

(35)

(36)

(37)

3.5 模態分解與合并

懲罰因子α控制了VMD算法中信號的頻帶寬度，α越大，則帶寬越寬，反之亦然。根據相關文獻的介紹和經驗，本文將懲罰因子α取3 000。VMD的主要參數設置見表1。

表1 VMD主要參數設置

電力負荷數據進行變分模態分解后，得到的各個模態分量如圖 6 所示?？梢杂^察到第1階模態反映了一定的趨勢變化，而后面 9階模態則呈現出周期性。通過使用模態分解，可以挖掘原始負荷序列中的趨勢和周期性，并有助于預測模型更好地理解數據特征，從而降低預測難度。

利用排列熵理論對各個模態的復雜度進行分析，并根據排列熵值將它們合并疊加。這樣就避免了直接用LSTM預測模型對每個模態進行預測而產生的大量計算量。

從圖7和表2可以直觀看出，模態7—9的PE值非常接近，可以把這3個模態合并疊加，生成一個新的序列。模態5則明顯和其余模態區別開來，將其單獨作為一個序列，新的序列號見表3。

圖7 各模態的排列熵

表2 IMF分量的排列熵值

表3 模態組合后新序列號

模態合并如圖8所示。從圖6和圖8的對比中可以看出，合并前后分量減少了4個，這大大降低后續建模的計算量。

圖8 模態合并

3.6 VMD-PE-IPOA-LSTM預測模型性能評價

為評估模型的精確度，將長短期記憶神經網絡模型、反向傳播神經網絡(back propagation neural network，BP)模型、支持向量機回歸(support vector regression，SVR)模型與真實值曲線進行對比，預測結果評價函數對比見表4，預測效果對比如圖9所示(每15 min進行一次采樣)。從預測結果來看，無論是EMAPE、ERMSE還是ER2，LSTM模型均優于BP、SVR預測模型。

表4 不同模型預測效果比較

圖9 不同模型預測效果對比

在此基礎上，采用經VMD-PE處理得到的6個模態作為樣本數據，將訓練樣本的前80%作為訓練集，后20%作為測試集，代入LSTM網絡進行訓練。利用經IPOA優化超參數后的LSTM網絡，為6個模態構建了基于LSTM的預測模型。由表4可知，經過變分模態分解后的LSTM模型精度有所提升。經過PE合并后，各項評價指標精度有較小的提升。在實際模型訓練中，訓練時長從369.98 s降低至221.99 s，證明通過排列熵組合合并后，在未降低精度的情況下，提高了模型的訓練速度。

針對分解并重組后的每個模態，本文引入了POA、粒子群優化(particle swarm optimization，PSO)、鯨魚優化算法(whale optimization algorithm，WOA)、灰狼優化器(grey wolf optimizer，GWO)，以及改進后的IPOA算法來尋找最優的LSTM模型超參數，并將最優的LSTM預測模型應用于各自模態的預測中。最后，將各個模態的預測結果相加，得到最終的負荷預測結果，評價函數和預測效果分別見表5和如圖10所示，圖10中每15 min進行一次采樣。

表5 不同優化算法的LSTM模型預測效果對比

圖10 不同優化算法的LSTM模型預測效果對比

分析表4、表5和圖9、圖10可以看出，在對原始序列數據不進行任何處理的情況下，LSTM模型在處理數據的時候，預測的精度高于BP模型和SVR模型。但是采用單一的LSTM模型預測時，由于歷史數據復雜程度高、數據量較大，預測的精度整體偏差。采用VMD-PE-IPOA-LSTM預測方法進行預測后，EMAPE僅為0.865%，ERMSE僅為33.833 kW，ER2也是最接近1的，達到了0.980。整體來看，本文提出的預測方法，其ERMSE和EMAPE都低于其他對比預測方法，預測精度更高，并且基本還原了真實電力負荷曲線的變化趨勢。由此可以說明，本文采取的預測模型具有良好的預測效果和性能。

3.7 VMD-PE-IPOA-LSTM模型在其他數據樣 本中的應用

為了進一步驗證本文所提方法的有效性和普適性，追加福建某地區的最大用電負荷數據進行預測。以福建某地區地方電網2016年1月1日至12月31日的電力負荷為數據樣本。負荷數據采樣周期為15 min，每天96組數據，共35 136組數據。將前80%的負荷數據作為模型訓練樣本，將后20%的負荷數據作為預測模型測試樣本，并與實際負荷對比。

根據2.1節和2.2節方法，得到VMD的最優模態分解個數為8個，合并重組得到4個子模態。五種不同模型和不同優化算法的的預測誤差對比見表6和表7。

表6 不同模型預測效果比較

表7 不同優化算法的LSTM模型預測效果對比

由表6可以看出，相較于LSTM、BP、SVR這三種單一預測模型，經過VMD-PE處理的LSTM模型仍然在精度和擬合度方面更優。通過分析表7可以發現，在上述基礎上，使用優化算法后的模型性能得到了明顯地提升，其中IPOA的提升效果最為突出，相較于VMD-PE-LSTM模型，EMAPE提升了59.16%，ERMSE提升了25.12%，ER2也更接近1，預測效果更好。

綜合表4—7的信息可以得出，本文所提出的預測模型在不同類型數據下的預測誤差均優于其余幾種預測模型，能夠滿足電力負荷短期預測的精度要求，具有普適性。

4 結論

本文提出了一種基于VMD-PE-IPOA-LSTM的短期負荷預測模型，提高了短期負荷預測精度，并通過試驗得到以下結論：

1)通過引入變分模態分解算法，將負荷數據分解為若干個復雜程度較低的模態；通過計算模態分解排列熵的方法，將原模態進行合并重組，挖掘出更多的負荷數據信息，降低預測難度，并對每個模態建立預測模型。各項評價函數表明，該方法提高了模型的整體預測精度。

2)在標準鵜鶘優化算法的基礎上引入了Logistic混沌映射、融合柯西變異和反向學習這兩種策略進行改進。結果表明，改進策略有效提升了模型的預測精度，驗證了本文預測方法的可靠性。

文中所提出的IPOA-LSTM模型有效提高了負荷預測的精度，未來可以考慮更多的輸入特征，例如溫度、濕度、風速等，進一步提高模型的準確性。