基于Attention機制和ResNet的CNN-BiLSTM短期電力負荷預測模型研究

王立則,謝 東*,周立峰,王漢青

(1.南華大學 土木工程學院,湖南 衡陽 421001;2.南華大學 建筑環境控制技術湖南省工程實驗室,湖南 衡陽 421001)

0 引 言

負荷預測依據預測時間長短可分為長期、中期、短期和超短期。其中,短期負荷預測主要用于制定電力負荷調度計劃,包括設備檢修、確定負荷分配比例、控制電網功率平衡等。準確的短期負荷預測有利于電力系統對用電量的精準把控和有效調度,有利于制定電力生產計劃、確定配電網運行方式等。

短期電力負荷受多種因素影響(氣象因素、日類型等),導致電力負荷呈現較高的隨機性和波動性。因此,短期負荷預測的難點在于需要充分挖掘電網負荷的變動規律,分析影響負荷的多維輸入特征,研究氣象因素和日期因素對負荷的影響,充分提取重要特征進行模型預測。目前,常用的短期電力負荷預測模型主要分為兩類。一類是傳統的數理統計模型(如多元線性回歸[1]、卡爾曼濾波[2]等),其特點是模型簡單、計算效率高,但對非線性問題處理能力差,不適用于隨機性大的短期電力負荷。另一類是基于機器學習的預測模型,主要包含單一模型和組合模型。

單一模型又分為傳統機器學習方法和深度學習方法。傳統的機器學習模型如反向傳播(back propagation,BP)神經網絡[3]、支持向量機(support vector regression,SVR)[4]、隨機森林[5]等,在處理時序相關性、模型穩定性等表現不佳。深度學習模型如長短期記憶(long short-term memory,LSTM)神經網絡、卷積神經網絡(convolutional neural network,CNN)等。文獻[6]和文獻[7]利用LSTM模型對短期電力負荷進行預測,在時間序列處理方面取得了較好的預測結果。為了更好地學習過去和未來的信息,文獻[8]和文獻[9]使用雙向長短期記憶網絡(bi-directional long short-term memory,BiLSTM)進行負荷預測,模型充分提取數據的前后信息,提升了單個LSTM的準確率。

組合模型是將多種模型算法有效組合起來對短期電力負荷進行預測,有利于結合不同算法的優勢滿足工程的實際需要,以達到更高的預測精度。一般情況下,組合模型預測精度高于單一模型[10]。文獻[11]提出CNN-LSTM神經網絡模型,通過CNN強大的特征提取能力與LSTM結合,其預測結果優于單一的LSTM預測模型。文獻[12]將CNN與BiLSTM組合模型,該方法通過CNN提取特征向量,利用BiLSTM進行雙向網絡訓練,證明了組合模型的最新性能。上述研究均在單一輸入特征的短期電力負荷預測取得了較好的結果,但實際電力系統工程中,短期電力負荷數據受多維輸入特征的影響。因此,為進一步提高預測精度,保證多維輸入特征信息不被丟失還需進一步研究。

注意力(Attention)機制通過將注意力集中到關鍵位置,降低非關鍵位置的分配權重,突出更相關的影響因素,幫助模型做出準確的判斷[13]。文獻[14]提出基于Attention機制的CNN-LSTM短期電力負荷預測方法,通過實驗證明Attention機制在特征提取方面的有效性。文獻[15]提出基于注意力機制的CNN和門控循環單元(gated recurrent unit,GRU)的短期電力負荷預測方法,結合Attention機制突出關鍵特征。對比CNN-GRU,Attention機制減少了模型參數的同時提取了重要特征,但是這樣容易損失時序數據的位置信息以及特征的重要信息。

另外,A.Vaswani等人提出的Transformer模型中利用殘差網絡(residual network,ResNet)將數據進行殘差運算,讓模型更好的學習新的特征,防止梯度消失和梯度爆炸[16]。ResNet使得模型容易優化,并能夠通過增加相當的深度來提高準確率[17]。文獻[18]將ResNet-LSTM與Attention結合實現多元負荷的聯合預測,利用ResNet做為特征提取單元,挖掘多能耗之間的空間耦合交互特征。因此,本文將Attention機制提取后的特征信息通過添加殘差網絡讓模型更好地學習新特征。

為提高短期負荷預測精度,本文提出了一種結合Attention和ResNet的BiLSTM-CNN短期負荷預測模型,簡稱CNN-BiLSTM-Att-ResNet模型。該模型整合了CNN、BiLSTM、Attention、ResNet模塊的各自特點,首先利用CNN提取短期電力數據的特征向量,學習潛在的特征關系,將提取的特征向量作為BiLSTM網絡的輸入,通過Attention機制加強關鍵信息對負荷的影響,利用ResNet進行殘差運算,讓模型學習殘差,從而獲取到更直接的多維時序特征,最后通過全連接層輸出,進一步提高模型預測精度。將本文構建的結合Attention和ResNet的BiLSTM-CNN短期負荷預測模型,采用某電力數據集進行實驗并與5種典型的預測模型進行比較,結果表明本文提出的模型在短期電力負荷預測上有更高的預測精度。

本文創新點如下:設計了一種結合Attention和ResNet的BiLSTM-CNN短期負荷預測組合模型,首次將此模型應用在負荷預測領域,豐富了經驗模型算法庫的多樣性。通過定量評估實驗結果,相比于其他模型,本文所提模型在短期負荷預測取得了更高的預測精度,并且該模型還可以應用于其他領域,為機器學習在其他領域的應用提供有力參考。

1 基本原理

1.1 卷積神經網絡

CNN通過局部連接和權值共享提取局部特征信息。其模型結構(輸入層、卷積層、池化層和全連接層)中,卷積層和池化層用于對輸入特征信息的卷積處理和降維運算;全連接層和輸出層用于將模型訓練結果輸出[19]。

本文采取一維卷積,直接將時間序列數據作為模型的輸入,可以降低特征提取和數據重構的復雜程度,更有效地挖掘數據之間的關系,并將提取的特征處理后傳入BiLSTM。

1.2 雙向長短期記憶網絡

因循環神經網絡存在長期依賴和梯度消失的問題[20],LSTM在其基礎上增加了三種門結構,輸入門it、遺忘門ft、輸出門ot。

(1)

式中:xt為輸入序列;ht-1為上一時刻的狀態記憶量;σ為激活函數,W為權重矩陣;b為偏置。

雖然LSTM模型具有記憶功能,可節省一些處理時間序列信息的時間,隨著模型長度的增加,平均權重分布會降低模型的判別能力,在模型的訓練過程中會忽略一些重要的時間序列信息,從而影響模型的預測精度[14]。在短期負荷預測中,當前時刻的輸出不僅與過去時刻狀態信息相關,還與未來時刻的狀態信息有關,BiLSTM可以實現結合過去和未來信息對當前時刻進行預測,提高當前時刻的預測精確度[21]。

1.3 注意力機制

BiLSTM仍然無法充分地提取多維特征之間的關系,因此引入了Attention機制。Attention機制是一種用于優化編解碼器結構模型的機構,它可以根據實際情況與多種模型相結合。具有Attention機制的編解碼器模型首先從序列中學習每個元素的權重,然后按權重重新組合元素[22]。通過為每個輸入元素分配不同的權重參數,注意力機制可以更多地關注與輸入元素相關的部分,從而抑制其他無用信息。注意層的計算過程如下所示:

(2)

式中:et為t時刻的注意力分布;u、w為權重;b為偏置;αt為BiLSTM中各通道信息的不同權重值;st為帶有Attention的BiLSTM輸出。

1.4 殘差網絡

隨著深度學習的發展,越來越多的深度神經網絡模型出現,結構也愈加復雜[23]。深度達到一定程度時,模型的準確率又開始下降。因此,深度殘差模型被K.He等[24]提出,解決了網絡退化問題,使模型的準確率得到提升。其內部的殘差塊使用了跳躍連接,有效緩解了深度神經網絡中存在的梯度消失問題[25]。從而實現去掉相同主體部分,突出微小變化的目的。

x為信息輸入,H(x)為特征的信息輸出,F(x)為殘差,殘差函數表示為:

F(x)=H(x)-x

(3)

x通過直接與后邊的接入層相互連接使得后邊的層可以學習到殘差,殘差結構通過恒等映射來增加模型的深度。其計算公式為:

(4)

式中:xL為第L層的單元特征,當殘差值為0時,殘差網絡相等于一個恒等映射,即H(x)=x,保證模型的訓練精度不會下降。但是在實際應用中,由于數據的復雜性和多樣性,殘差值不會為0,結果是模型在不斷的堆疊層,更好的學習新特征。

2 基于注意力和殘差網絡的CNN-BiLSTM負荷預測模型

2.1 負荷預測模型描述

(5)

模型由輸入層、CNN層、兩個ResNet-block塊、全連接層、輸出層構成,每個ResNet-block塊包含BiLSTM層、Attention層、ResNet層。

2.2 模型結構

基于注意力和殘差網絡的CNN-BiLSTM短期電力負荷預測模型結構主要由6部分組成,模型結構如圖1所示。

圖1 CNN-BiLSTM-Att-ResNet模型結構圖

1)輸入層:將短期電力負荷數據及與負荷數據相關的氣象、時間因素作為輸入變量x,設數據長度為n,則表示為x:

x=[x1,x2,x3,…,xn]T

(6)

2)CNN層:CNN層利用一維卷積層對輸入變量進行卷積運算和降維處理,提取多維時序特征之間的潛在關系,消除噪聲,保證了第一步特征提取的完整性。設CNN層輸出為c:

c=CNN(cn-1,xn)

(7)

3)BiLSTM層:BiLSTM層接收CNN輸出的c作為新的輸入變量,將卷積后的特征信息進行學習,同時兼顧特征信息的前后輸入,捕獲長短期之間的依賴關系,充分提取數據的所有信息輸出狀態為b:

b=LSTM(bn-1,cn)⊕LSTM(bn+1,cn)

(8)

4)Attention層:注意力層計算BiLSTM處理后雙向時序特征向量不同的權重并進行分配,突出更關鍵的信息并賦予更高的權重,其權重矩陣為α,輸出為a:

a=αnbn

(9)

5)ResNet層:在Attention層之間創建殘差單元,增強梯度傳播,提高模型的訓練速度,充分挖掘短期電力負荷多維特征之間的耦合關系,設輸出為r:

r=a1+a2

(10)

6)輸出層:通過全連接層輸出短期電力負荷預測模型的預測結果,激活函數為ReLU函數,設L,d分別為權重矩陣和偏置向量,模型輸出結果y表示為:

y=ReLU(Lr+d)

(11)

2.3 超參數設置

超參數的選擇不但影響算法運行的時間成本和模型質量,而且極大影響組合模型的預測精度。除了神經網絡層的參數選擇外,滑動窗口的寬度和輸入特征的維度均對模型預測結果產生較大影響。

本文通過網格搜索選擇神經網絡層的參數,通過設置滑窗翻倍的方式對時間窗口大小進行實驗,研究不同寬度的時間窗口對負荷預測的影響,影響逐時電量的指標包括最大溫度、最小溫度、平均溫度、露點溫度、體感溫度、熱指數、風寒指數、陣風、云量、濕度、降雨量、大氣壓、可見度、風向度、風速、時、日、月和年共19項。由于相關性較小的特征會在模型的訓練中提供不必要的信息,從而影響模型的魯棒性,因此對所有特征進行了皮爾遜相關分析,在最優網絡層參數及最優時間窗口大小固定的條件下,根據相關性大小對輸入特征進行組合實驗。相關系數r計算公式如下。

(12)

在驗證集上進行評估得到最佳的參數配置,如表1所示。

表1 各短期負荷預測模型的最優參數配置

3 算例分析

3.1 超參數設置

數據集為2019年6月25日至2020年6月25日某電力數據集,包括氣象參數和逐時負荷,共8 762×16條數據。以8∶1∶1劃分訓練集、驗證集和測試集。為消除量綱影響,對數據進行歸一化處理,公式如下:

(13)

式中:x為原始值,xmax為極大值,xmin為極小值。

3.2 評估指標

本文的評價指標為:平均絕對百分比誤差(MAPE)和均方根誤差(RMSE)。MAPE可以反映預測值和實際值之間的關系,而RMSE對偏離實際值較大的預測值的懲罰效果更強。其中,評價值越小,模型性能越優。計算公式如下:

(14)

(15)

分區負荷模型驗證時,增加了決定系數(R2)和平均絕對誤差(MAE),其計算公式如下:

(16)

(17)

3.3 結果對比

1)全年負荷預測

為驗證本文提出的基于CNN-BiLSTM-Att-ResNet模型在逐時負荷預測精度方面的優勢,采用5種典型的機器學習模型(CNN-BiLSTM、CNN-BiLSTM-ResNet、CNN-BiLSTM-Attention、XGBoost、BP)進行對比,分別記錄每種模型對測試集進行逐時負荷預測的最優結果,不同模型在測試集的評價結果對比如表2所示。選取測試集中未來一周各個模型的預測結果進行對比如圖2所示,可知本文所提組合模型在測試集上與實際符合擬合度最高,具有較高的預測精度。

表2 不同模型評價比較

圖2 不同模型未來一周的預測值與實際值對比

由表2可知,與機器學習模型(BP、XGBoost)對比,本文提出的模型CNN-BiLSTM-Att-ResNet的MAPE分別降低了2.65%和1.57%,RMSE分別降低了52.85%和44.44%。與經典的深度模型(CNN-BiLSTM、CNN-BiLSTM-ResNet和CNN-BiLSTM-Attention)相比,本文提出的組合模型MAPE分別降低了1.27%、0.94%和0.89%,RMSE分別降低了43.42%、41.42%和39.78%。

分別分析Attention和ResNet對預測結果的影響,在測試集中,CNN-BiLSTM-Attention相比于CNN-BiLSTM,MAPE提高了0.38%,RMSE降低了6.05%。CNN-BiLSTM-ResNet相比于CNN-BiLSTM,MAPE降低了0.33%,RMSE降低了3.42%。所提模型在同時加入Attention和ResNet的情況下,相比于CNN-BiLSTM模型,MAPE降低了1.27%,RMSE降低了43.42%。

為驗證模型在波動性強、隨機性大的電力負荷的預測效果,在圖3中顯示了2022年5月21日前后的日逐時負荷預測結果?？梢娫诓▌有詮姷呢摵蓞^域,所提模型相比于其他模型具有更高的預測精度。

圖3 日負荷預測值與實際值對比

2)分區負荷預測

為驗證模型的泛化性及魯棒性,并評估所提方法的性能,本文進行了分區實驗,將數據集分為6個分區。訓練集為兩個月逐時負荷,驗證集為一周逐時負荷。第一個分區中,訓練數據是2019年6月25日至2019年8月18日收集的逐時負荷數據,測試數據為2019年8月18日至2019年8月25日的逐時負荷數據。依次類推,得出以下分區。表4顯示了所提模型在6個分區的評估指標,模型擬合程度最低為94.5%,最高為98.9%,表明所提模型在各分區均具有較高的預測精度。

表3 六個分區的模型評估誤差

4 結 論

為預測短期電力負荷,本文構建了結合Attention和ResNet的CNN-BiLSTM混合模型,先利用CNN進行空間特征提取,接著輸入到BiLSTM對時序數據進行分析處理,并通過Attention機制賦予不同權重,通過殘差網絡進行連接,最后通過全連接網絡輸出。通過實驗分析,得出如下結論:

1)相比于BP模型和XGBoost模型,本文所提模型在準確率和擬合情況方面均具有明顯的優勢,證明了在波動性強和隨機性大的短期電力負荷預測序列中,所提模型具有更高的準確率。

2)在具有氣候因素和日期因素的多維輸入特征中,為突出本文方法的準確性,分別在基準模型CNN-BiLSTM中增加殘差連接和注意力機制,通過某電力負荷數據實驗,與常用的經典算法比較,本文所提模型的預測精度更高。