基于改進BiLSTM-RF的短期負荷預測研究

唐濱鈞,鄺先驗,吳 丹

(江西理工大學電氣工程與自動化學院,江西 贛州 341000)

0 引言

隨著社會經濟的發展,能源能否被有效利用已成為社會生產方式重大變革的標志。我國電力市場正處于新一輪的改革階段。國家發展改革委建議通過使用大數據技術加強對電力負荷的預測,并通過分析供需關系提高資源整合的利用率。

根據檢測手段的差異,復雜電力負荷預測又可以分為以下三類方式。第一類是采用時間序列的大數據分析方法,如回歸分析法[1]、卡爾曼濾波法[2]、差分自回歸移動平均模型[3]等。這類方法由于利用了數據的時間相關性,在對于復雜多維的用電負荷檢測時無法確保得到很好的預測精度。第二類是基于計算機智能的預測方法,如隨機森林(random forest,RF)算法[4]、支持向量機(support vector machine,SVM)[5]、卷積神經網絡[6]、長短期記憶(long short-term memory,LSTM)網絡[7]等。這類方法對隨機波動性較大的負荷數據預測具有良好的精確度,但計算速度需要進一步提升。第三類是組合預測方法。組合預測是通過挖掘各類預測方法的有效信息,避免單一方法受隨機性因素的負面作用,以達到有效預測的目的。陳振宇[8]提出了通過誤差倒數法將LSTM網絡和極端梯度提升(eXtreme gradient boosting,XGBoost)算法組合的預測模型。組合預測模型在預測精度方面優于前兩種方法。但這些方法在參變量的取值和優化,以及對短期電力負荷數據的時序特征的挖掘等方面還需要加以改進。

本文提出1種改進的雙向LSTM-隨機森林(improved bi-directional long short-term memory-random forest,+BiLSTM-RF)組合預測方法。該方法利用麻雀搜索算法(sparrow search algorithm,SSA)確定變分模態分解(variable mode decomposition,VMD)中的重要參變量,將原負荷數據分解成多個子序列。這不僅可以降低電力負荷的隨機性和非平穩性,還可以避免人為設置參數影響預測精度。利用雙向LSTM(bi-directional long short-term memory,BiLSTM)網絡從正、反2個方向對子序列進行特征提取,同時添加特征注意力機制,可以進一步提升預測精度。本文采用公開數據集對該預測方法進行性能驗證,并與其他預測模型進行對比。對比結果表明,本文方法的精度更高。

1 基于SSA優化的VMD

電力負荷具有非周期性和非平穩性的特點,可以通過VMD將電力負荷數據以非周期信號進行頻域分解,從而把復雜多變的電力負荷數據分解成多個諧波信號。 VMD對電力負荷原始數據進行分解。其分解精度主要取決于模態分解個數k和懲罰因子α。k值設置過大,會造成過度分解;k值設置過小,會導致信息遺失。α影響每個模態分量的帶寬,進而影響提取信號結果。人為設置k和α較為困難,且易導致分解結果的隨機性。有研究[9]表明,SSA在群智能優化算法中的收斂速度、精度和穩定性都有較好的表現。為此,本文采用SSA優化VMD的參變量。

1.1 VMD簡介

VMD可以通過確定每個模態的最佳中心頻率和有限帶寬對原始信號進行有效的模態分解。每個分量的帶寬可以通過以下步驟估計。

①構造變分問題。

將原始電力負荷數據T分化為k個模態,且各模態在其中心頻率的帶寬之和最小,同時各模態之和與原數據相等。VMD約束變分模型為:

(1)

式中:?t為沖激函數;uk為各模態函數;ωk為各模態中心頻率。

②采用拉格朗日乘子λ和α尋找約束變分問題的最優解。

擴展的拉格朗日表達式為:

(2)

③各模態函數和中心頻率為:

(3)

1.2 基于SSA優化的VMD算法

SSA尋優VMD參數是根據最小樣本熵[10](sample entropy,SE)原理確定k和α。其步驟如下。

①將給定的長度為N的時間負荷序列X={x(1),x(2),…,x(N)}構造成m維矢量,即:

X(i)={x(i),x(i+1),…,x(i+m-1)}

(4)

式中:i=1,2,…,N-m+1。

②定義X(i)與X(j)間的最大距離為D,即:

(5)

③給定閾值r(r>0),統計D

(6)

④對由式(6)得到的結果求平均,即:

(7)

⑤將維數m加 1,重復步驟①～步驟④。

⑥對于N′個樣本的時間負荷序列,其SE值為:

(8)

SE值越低,則信號復雜度越低、自相似度越高。本文將SE趨于穩定的轉折點作為VMD的分解次數,以避免過度分解。

2 基于BiLSTM-RF的預測模型

2.1 BiLSTM網絡

BiLSTM由正、反2個方向的LSTM模型組成。在對時間序列預測時,不同于由前到后進行訓練的傳統單向神經網絡,BiLSTM通過雙向網絡對過去和未來的隱藏層進行遞歸反饋,充分挖掘過去和未來時刻的負荷數據與當前數據的內在聯系,從而更好地提取內部特征、進一步提高對模型精度和數據的利用率。BiLSTM模型如圖1所示。

圖1 BiLSTM模型

由圖1可知,BiLSTM相較于LSTM增加了由未來到過去的數據傳輸方向,并且與位于正、反2個方向之間的隱藏層互相獨立。其相比于LSTM模型展現出了更加優越的性能。

2.2 注意力機制

注意力機制如圖2所示。

圖2 注意力機制

在深度學習中,注意力機制可以通過自適應分配不同信息的權重,提高模型的特征挖掘能力。本文將注意力機制引入BiLSTM網絡[11],因此在提取輸入數據特征時,可以只提取更為關鍵的特征,而減少甚至刪除其他次要特征。由此可以提升模型預測效率和準確性,并且提高解決信息過載的能力。

2.3 RF網絡

RF是基于Bagging的高效、靈活的算法,是高度集成的機器學習算法。RF的基本理論是從原始樣本中隨機抽取多個樣本時,需要建立某種形式的獨立訓練集,進而在建立回歸決策樹時使得每個決策樹都單獨產出1個預測值。估計結果的最終取值則為每個決策樹產出的預測值的平均數。

隨機森林回歸(random forest regressor,RFR)是基于1組決策樹組合的模型。本文假設從獨立同分布的隨機向量(X,Y)中抽取訓練集,通過泛化誤差判斷模型的預測能力,則任一數值預測值h(x)的均方泛化誤差為:

EX,Y=[Y-h(X)]2

(9)

本文假設t棵決策樹的對應隨機向量為θt,則當t趨近于無窮時,有:

(10)

(11)

對于所有的θ,有:

(12)

式中:λ為殘差Y-h(X,θ)與Y-h(X,θ′)的相關系數。

θ與θ′相互獨立。由式(12)可知,RF通過相關系數λ降低了決策樹的平均泛化誤差。

2.4 模型精度分析

本文將模型得到的預測值與測試集的真實值進行對比。模型預測由決定系數(R2)、均方根誤差(root mean squared error,RMSE)、平均絕對誤差(mean absolute error,MAE)、平均絕對百分誤差(mean absolute percentage error,MAPE)這4個回歸評價指標進行評判。

(13)

根據R2的取值可以判斷模型的優劣。R2的取值范圍為0～1。R2越接近1,則說明模型效果越好。

(14)

式中:Rmse為RMSE值。

由式(14)可知,RMSE表示數據點的離散程度。模型精度越高,則Rmse的數值越小。

(15)

式中:Mae為MAE值。

由式(15)可知,Mae越小,則模型的精確度越高。

(16)

式中:Mape為MAPE值。

如式(16)可知,Mape越小,則模型的精確度越高。

3 短期負荷預測模型

基于SSA優化VMD的+BiLSTM-RF預測模型如圖3所示。

圖3 +BiLSTM-RF預測模型

優化的負荷預測模型主要分為4個步驟。

①參數優化。通過SSA算法,確定VMD的模態分解個數k值和懲罰因子α。

②模態分解。模態分解將歷史負荷X′={x1,x2,…,xN}導入經過SSA優化的VMD,構成預測模型輸入變量Xk={x(1),x(2)…,x(k)},以降低電力負荷的隨機性和非平穩性。

③特征提取。采用具有注意力機制的BiLSTM網絡對各分量進行特征提取。

④負荷預測。負荷預測將BiLSTM提取出的各模態內部特征輸入RF模型,得到各分量模態的預測值Yk={y(1),y(2)…,y(k)};疊加重建后,得到最終的負荷預測結果。

4 試驗驗證

4.1 試驗數據與平臺

數據集是某地區2014年11月1日至2015年1月10日每天間隔15 min采集的用電負荷數據。試驗將2014年11月1日至12月31日的5 856個數據作為訓練樣本、2015年1月1日至1月10日的960個數據作為測試樣本。試驗平臺裝有NVDIA GeForce GTX 1650 Ti的服務器。編程采用Python和Matlab實現。BiLSTM-RF模型通過tensorflow建立。

4.2 負荷序列分解

SSA優化算法的初始設置如下:種群數量為20個;迭代次數為30次;k∈[3,8];α∈[100,5000]。

VMD經過SSA尋優后的參數組合[k,α]為[4,3 034];各固有模態函數(intrinsic model function,IMF)分量的SE分別為0.001 6、0.000 9、0.014 1、0.011 8。

VMD分解后的子模態曲線如圖4所示。

圖4 子模態曲線

4.3 模型性能評估與算例分析

4.3.1 滑窗寬度對模型的影響

本文采用滑動窗口方法進行預測。為提高模型預測精度,本文對滑動窗口的參數進行了對比分析。

不同滑窗寬度下的預測誤差對比如表1所示。

表1 不同滑窗寬度下的預測誤差對比

由表1可知,當滑窗寬度為5時,+BiLSTM-RF模型在各精度分析指標都有較好的表現。

4.3.2 注意力機制對模型的影響

為比較注意力機制對特征提取優化后的+BiLSTM-RF組合模型的預測能力的影響,本文在其他條件參數一致的情況下,對比注意力機制添加前后組合模型的預測性能。注意力機制對模型性能的影響如表2所示。

表2 注意力機制對模型性能的影響

由表2可知,當滑窗寬度為5時,通過添加注意力機制能提高本文所提組合模型的精度。

4.3.3 與傳統預測模型對比

為體現本文模型短期負荷預測的性能,本文將所提+BiLSTM-RF與常用的電力負荷預測中的LSTM和門控循環單元(gated recurrent unit,GRU)、SVM、未經優化的BiLSTM-RF等預測模型進行對比。不同模型誤差對比如表3所示。

表3 不同模型誤差對比

不同模型預測曲線如圖5所示。

圖5 不同模型預測曲線

5 結論

本文構建了基于SSA優化的模態分解后的+BiLSTM-RF短期負荷預測組合模型。本文首先利用最小SE原理確定模態分解的k和α,將原始電力負荷數據分解為k個模態;然后利用BiLSTM網絡和注意力機制從正、反2個方向迭代循環提取有效特征信息;最后利用RF模型進行預測。本文以某地區電力負荷數據作為實際算例進行了驗證分析。相較于傳統機器學習模型,本文提出的+BiLSTM-RF組合模型有以下優點:①考慮了負荷特征的時序特征;②降低了電力負荷數據隨機性與非平穩性;③對模型內部參數的取值和優化有進一步提高;④在短期電力負荷的預測方面與傳統預測方法相比有更好的表現。但是由于短期負荷的預測還受氣溫 、降雨、濕度等氣候因素的影響,后續可以考慮在多維參數的情況下進一步提升短期負荷預測模型的精度。