基于DWT-Informer的臺區短期負荷預測

李甲祎,趙兵,劉宣,劉興奇

(中國電力科學研究院有限公司, 北京 100192)

0 引 言

電力負荷預測是電力管理系統的重要組成部分。短期負荷預測是指對未來幾小時一天至幾天的電力負荷進行預測的任務,開展短期負荷預測不但能為電力系統的安全、經濟運行提供保障,也是市場環境下編排調度計劃、供電計劃、交易計劃的基礎[1]。精確的短期負荷預測是實現電力系統安全經濟運行的基礎,為電力市場的實時運行提供了重要的依據,同時也是提高發電設備利用率和經濟調度有效性的重要保證[2]。

現有的短期負荷預測方法基本可以分為基于傳統數學統計方法的負荷預測方法和基于機器學習的負荷預測方法兩大類。

基于傳統數學統計學方法的負荷預測,如回歸分析法、卡爾曼濾波法、負荷求導法、指數平滑法等。該類方法的優點為結構簡單,運算及預測速度較快且擁有較好的可擴展性[3]。然而傳統數學統計學方法依賴于統計學規律特征,面對非線性的、不穩定的數據時常常無法準確提取數據特征、學習統計規律,表現較差。這種問題在短期負荷數據預測任務中表現更為明顯。為了進一步提升算法的特征提取和學習能力,基于機器學習的方法應運而生。

傳統機器學習方法包括支持向量機(support vector machine,SVM)、隨機森林等。近十年來,基于進化算法或群智能算法的機器學習模型也被用于負荷預測工作,例如文獻[4]將基于加權灰色關聯度選取的歷史負荷數據輸入支持向量機,并采取人工蟻群算法對參數進行優化,提出了一種基于加權灰色關聯度和改進的支持向量機與人工蜂群算法(ABC-SVM)負荷預測模型。文獻[5-6]對傳統機器學習負荷預測模型進一步改進提高其預測精度。然而傳統機器學習在面對短期負荷預測問題時,由于經典模型結構較為簡單,因此在處理多維數據輸入時具有較大局限性,同時傳統機器學習方法在挖掘長期的復雜非線性時序數據時易丟失大量信息導致預測精度不佳。

在機器學習模型中,近十多年來基于神經網絡的深度學習算法憑借其在預測準確率上的明顯優勢,在時序性短期電力負荷的預測中已經得到了廣泛應用。國內外研究學者通過改進單一預測模型及應用混合模型進一步提升電力負荷預測精度。電力負荷數據可以被視作對特定物理量以特定頻率進行采樣后獲得的等間隔時間序列?；谘h神經網絡結構的長短時記憶網絡(long short-term memory,LSTM)憑借其對時序信息的動態處理能力已經被廣泛應用于時間序列預測任務中。文獻[7]利用高質量大規模電力負荷數據和環境氣象數據對LSTM網絡進行訓練,證實LSTM網絡模型可以根據以往的負荷數據和環境氣象數據,對電力負荷進行精確度較高的預測。文獻[8]建立了基于Wide &Deep-LSTM的深度學習短期負荷預測模型,兼具數值型與類別型數據信息融合特性和時間序列表達特性。文獻[9]提出了一種基于聚類經驗模態分解的CNN-LSTM超短期負荷預測模型,通過K-means算法聚類得到時序特征更加突出的時間序列,利用CNN挖掘數據間的特征形成特征向量,將其輸入到LSTM中進行負荷預測。文獻[10-11]提出了基于GRU等其他深度學習負荷預測模型,在其基礎上改進了特征提取模塊,使負荷預測具有更高的準確性。

注意力(Attention)機制通過對輸入特征賦予不同權重以突出重要特征的影響[12],在圖像處理、自然語言處理等多領域均被證明有益于提高深度學習模型性能,近年來注意力機制也被引入負荷預測問題中。文獻[13-15]提出了基于注意力機制混合模型的短期電力負荷預測方法,并進一步通過結合模態分解等方法充分提取負荷數據中的有效特征。

盡管RNN可以較好地提取負荷的時序特征,囿于計算特性,基于循環神經網絡的網絡的串行計算方式嚴重限制了其并行的能力[16],近年來,其他網絡結構也進入討論范疇。Transformer模型摒棄了傳統循環神經網絡,基于自注意力機制提取序列之間的關聯性,相較于RNN類網絡,Transformer在長期依賴性、信息傳遞效率等方面均具有優勢。文獻[17]在原模型基礎上提出了一種改進后適用于時序數據預測的Transformer模型。文獻[18]提出融合模型XGB-Transformer用于電力負荷預測。文獻[19]提出了用于長序列時間序列預測的新型Transformer模型Informer,該模型采用概率注意機制同時嵌入相關的時間特征,使模型可以有效預測長序列。本文在電力變壓器和用電負荷的時間序列數據集上對Informer進行了測試,其性能優于LSTM等傳統模型。

綜上所述,文中所提出的基于DWT-Informer的臺區短期負荷預測模型,首先采用DWT將輸入的電流數據進行高低頻率分解重組,對電流數據降噪,提高預測精度,再通過結合Prophet模塊的Informer模型對臺區短期負荷進行預測。最終通過消融實驗結果和與其他預測模型對比分析,結果表明該方法能有效提高預測精度。

1 模型基本理論

文中所提出的基于DWT-Informer的臺區短期負荷預測模型,其輸入為臺區的電流數據、電壓數據、歷史有功功率數據,其預測對象為該臺區的有功功率,具體步驟如下:

1)通過Prophet模型對時間信號進行處理,提取時序特征;

2)通過離散小波變換將電氣特性進行信號分解,實現對信號的降噪處理;

3)使用Prophet處理后的時序分量代替原Informer模型對時間分量的處理,將經過降噪后的數據輸入改進后的Informer模型進行預測。

1.1 Prophet模型原理介紹

Prophet通過擬合歷史數據,將時間序列分解為多種不同特征的分量。目前Prophet不僅在負荷預測這一問題上憑借其簡單高效得以廣泛應用,在時間序列整體分解方向上也憑借其高解釋性應用廣泛。它可以將時間序列分解為趨勢項、周期項或節假日項,其表達式為:

y(t)=g(t)+s(t)+h(t)+εt

(1)

式中g(t)表示趨勢項,指時間序列在非周期上面的變化趨勢,其類型分為linear線性變化、flat平穩變化、logistics邏輯回歸變化。文中使用默認設置的linear變化,其表達式如下:

g(t)=(k+α(t)Tδ)×t+(m+α(t)Tγ)

(2)

(3)

其中,k為基本增長率;δ為增長率調整向量;m為偏移量參數;γ為突變點處的平滑處理偏移量;αj(t)為在第j個突變點的指示函數α(t)取值;sj為第j個突變點所在時刻。

s(t)為周期項,一般來說以周或者年為單位,Prophet采用傅里葉級數擬合不同周期的周期性趨勢,其表達式如下:

(4)

其中,P為周期;αγ、bγ為平滑系數,服從正態分布;N為平滑系數的個數。h(t)為節假日項,表示時間序列中那些潛在的具有非固定周期的節假日對預測值造成的影響。εt表示剩余項,其數值反應模型未預測到的波動,可視作高斯白噪聲。

1.2 DWT離散小波變換原理介紹

小波變換(wavelet transform,WT)是對信號進行時頻分析的重要手段。其將傅里葉變換中無限長的三角函數基變換為人為選擇的、有限長度的小波基,解決了短時傅里葉變化窗口大小無法調整的問題,成為對信號進行時頻處理與進一步分析其特征的重要工具。其含義表達式如下:

(5)

其中,ψ(x)為小波基函數;a為伸縮參數,對基本小波函數作伸縮;b為尺度參數反映位移。

對于許多信號,低頻成分相當重要,它常常蘊含著信號的特征,而高頻成分則給出信號的細節或差別,但高頻信號中同樣存在較多白噪聲,因此需要對高頻分量進行進一步細分去噪。

前人研究表明,輸入數據質量對于負荷預測準確性有著重要影響,因此對于電流數據質量有著較高要求。DWT可以將信號分解為不同尺度的子信號,與傅里葉變換相比,離散小波變換能夠更好地表達數據蘊含的信息。用于對電流信號進行降噪處理,使輸入的電流特性更加明確。文中使用的軟硬閾值相結合的DWT降噪方法可被建模如下:

σ=(1/0.6745)×median|yd|

(6)

(7)

(8)

(9)

其中,ya為小波變換后低頻信號;yd為小波變換后高頻信號;y為小波降噪后的電流信號;λ為閾值。

1.3 ProbSparse Self-attention稀疏自注意力機制

自注意力機制的輸入形式為(Query、Key、Value),而后進行縮放點積(scaled dot-product),即:

(10)

其中,Q∈RLQ×d,K∈RLK×d,V∈RLV×d。

第i個query的Attention系數的概率形式為:

(11)

由于稀疏自注意力呈長尾分布,即少數點積對主要注意有貢獻,其他點積對可以相對忽略。使用KL散度度量對query的稀疏性進行度量,第i個query的稀疏性評價公式為:

(12)

第一項是qi對于所有key求最大值,第二項為它們的算術平均值,基于以上評價方法可以得到上述ProbSparse Self-attetion的公式。

2 基于DWT-Informer的預測模型

由于電力負荷影響因素復雜多樣,負荷數據具有高隨機性以及大波動性的特點,因此對輸入數據進行有效的特征處理對于負荷趨勢走向預測的準確性有重要影響,文中則從預測前數據降噪、模型內部編碼層等對預測模型進行改進,提出基于DWT-Informer的預測模型。

2.1 模型整體流程

通過Prophet模型處理時序特征代替原有Informer對時間序列的編碼可以更明顯地提取時序特征,通過離散小波變換對電流信號進行降噪處理使輸入的電流特性更加明確,進而提高Informer對負荷的預測精度,具體流程如圖1所示。

圖1 DWT-Informer模型流程圖

2.2 輸入數據處理模塊

輸入數據處理模塊主要分為Prophet模型對時間信號進行先驗處理模塊及DWT對電氣特性進行降噪處理模塊。

Prophet先驗處理模塊在文中模型中,將時間信息分解為趨勢項、節假日項、以1日、7日、1月為周期的不同周期項,并直接作為Embedding層的輸入。在相同的時間分量輸入維度下,加入Prophet先驗處理模塊不僅包括原有的時間周期信息,還包括了與負荷相關的趨勢項以及節假日項等,在不增加Informer運算量的前提下提高了預測精度。

DWT降噪處理模塊將電流信號分解為高頻與低頻信號分量,對于高頻信號而言,文中選取軟硬閾值折中的方法對高頻信號進行篩選,取式(8)中a=0.8確定其閾值。文獻[20]比較了不同小波函數對電力負荷的處理能力,從中得出結論對于負荷預測任務最準確的為db4小波函數,因而文中選用db4作為小波基函數。大于閾值分量確定為信號產生的有效信息進行保留,而小于閾值的確定為噪聲產生直接舍棄,最后將信號重組后得到對原始電流信號進行降噪處理后的新電流信號。

2.3 負荷預測模塊內部結構

Transformer模型整體框架由編碼器-解碼器(Encoder-Decoder)組成,通過編碼層對輸入序列進行特征編碼,得到隱藏狀態輸出序列后再進行解碼,進而得到預測值?；赥ransformer模型,Informer通過稀疏自注意力機制降低了計算的復雜度,通過自注意力蒸餾減少了預測網絡的參數數量,更適合對時序數據進行預測。

模型的輸入數據為:

(13)

模型輸出為預測的輸出數據,即:

(14)

Encoder編碼器用于提取時序序列數據輸入的遠期依賴性,首先輸入數據進入Embedding層,分為三個部分即數據的Embedding,位置編碼和基于Prophet特征提取的時間戳編碼。

由于Encoder的特征映射存在冗余組合,因此利用distilling操作對具有主導特征的優勢特征進行賦予更高權重,并在下一層生成自注意力機制的特征映射。從j到j+1層的distilling操作的過程如下:

(15)

其中,Conv1d表示時間序列的一維卷積操作,選擇ELU作為激活函數。

解碼器Decoder解碼器使用文獻[21]提出的標準decoder結構,其的輸入向量如下:

(16)

最后通過全連接層獲取最終輸出,該解碼器結構可一次性生成全部的預測序列以縮短解碼時間,改進的Informer結構圖如圖2所示。

圖2 改進的Informer結構圖

3 實例結果

3.1 實驗數據集及數據預處理

文中采用東南沿海某城市一臺區2022年1月1日至2022年12月31日的電力負荷數據集(間隔15 min一個采樣點,每日96點,包括電流數據、電壓數據、無功功率數據、有功功率數據)共35 040組數據,數據集以6:2:2的比例劃分為訓練集、驗證集和測試集。進行訓練前采用min-max方法將原始數據進行歸一化處理,計算公式如下:

(17)

其中,DWT-Informer主要參數如表1所示。

表1 DWT-Informer模型參數表

為了驗證模型的預測精度,衡量指標使用平均絕對值誤差(mean absulute error,MAE)、均方誤差(mean square error,MSE)和絕對系數(R-square)。

(18)

(19)

(20)

3.2 特征提取及分析結果

通過Prophet對時間序列分解后的各組成部分如圖3所示,其中趨勢項通過linear變化可以看出,全年在2月、7月、8月該臺區負荷趨勢系數較高,其可能導致因素為:2月為春節所在月,7月、8月與夏天空調使用率高相關。負荷值一般與月周期、周周期、日周期相關,在傅里葉級數模擬周期性分量圖中,其月、日周期特征相對比較明顯,周周期特征并非十分顯著,反映了每日該臺區居民用戶用電行為習慣為上午5時—12時、15時—21時,用電高峰為19時;每月中下旬用電量較低,月末及上旬用電量較高。通過自定義方式得到中國法定節假日列表,如圖3所示其節日系數在春節、中秋節以及國慶節等節假日擁有較高的數值,反映了節假日特征對負荷影響顯著。

圖3 Prophet時序特征項

3.3 電氣特性降噪處理結果

文中采用以db4作為基礎小波、a=0.8的軟硬閾值方法對原始電流數據進行分解重構,如圖4所示。

圖4 DWT對電流信號分解重構結果

經軟硬閾值篩選后的高頻信號相較于初步分解后的高頻信號,在保留其高頻特征的基礎上濾除了高頻白噪聲。如圖經小波降噪重組后的電流信號相比原始電流信號,在保留其趨勢特征的同時,高頻噪聲幅度明顯下降。

3.4 DWT-Informer模型有效性驗證

3.4.1 降噪處理模塊有效性驗證

為了驗證DWT對電流信號降噪處理對于時序序列預測模型的有效性,對原始訓練數據分別:不對電流信號進行處理、使用離散小波變換對電流信號進行處理,通過LSTM模型、GRU模型、Informer模型進行負荷預測,其結果如表2所示。

表2 DWT結合各模型性能表

從表2中可以看出,經過DWT對輸入電流進行降噪后的預測效果均優于相對比的原始模型。其中,DWT-LSTM、DWT-GRU、DWT-Informer模型的MSE在預測任務的數值比相對應的基礎模型分別降低了0.004 5、 0.004 5、 0.004 3;其MAE在預測任務的數值比相對應的基礎模型分別降低了0.012 0、 0.012 6、 0.020 0;其R2在預測任務的數值比相對應的基礎模型分別提高了0.089 2、 0.085 9、 0.084 8。

在各個衡量指標下,三個模型在輸入經過DWT降噪后的電流數據預測結果均優于原始模型,說明輸入電流數據的優質與否對預測模型的精度有重要影響,同時驗證了DWT對電流信號降噪處理的有效性,即輸入的電流數據經過DWT處理后在多種負荷預測模型上,都擁有更準確的預測結果。

3.4.2 Prophet模塊有效性驗證

為了驗證Prophet對時間特征提取模塊用于Informer的時間戳編碼對于改進Informer預測模型的有效性,對原始訓練數據分別采用:使用Informer自帶時間模態分解模塊、使用Prophet時間特征分解模塊,在Informer模型對電流數據經過DWT降噪處理后進行負荷預測,其結果如表3所示。

表3 Informer模型型性能表

從表3中可以看出,使用Prophet提取后作為時間特征模塊的輸入其預測結果要優于Informer自帶時間模態分解模塊。模型的MSE在預測任務的數值降低了0.004 9;其MAE在預測任務的數值降低了0.022 1;其R2在預測任務的數值提高了0.094 7。

在各個衡量指標下,加入Prophet時間特征提取模塊的改進Informer預測模型預測精度優于原Informer模型,驗證了Prophet對時間處理用于Informer模型的有效性。

3.4.3 多種預測模型對比

為了探究文中方法的準確率提升,使用不同復合模型對相同的數據集進行預測,由于上文消融實驗已證實DWT處理后在多種負荷預測模型上,均擁有更準確的預測結果,選擇復合模型LSTM-D、GRU-D、XGBoost-D、TCN-D與文中所提出的復合模型做對比,其結果見表4。

表4 各復合模型預測結果與真實值比較

從表4中可以看出,相較于模型LSTM-D、GRU-D、XGBoost-D、TCN-D,DWT-Informer的MSE在預測任務的數值分別降低了0.001 9、0.001 3、0.003 1、0.000 9;其MAE在預測任務的數值分別降低了0.006 5、0.003 0、0.009 5、0.002 2;其R2在預測任務的數值分別提高了0.035 2、0.025 3、0.059 6、0.022 7。為了直觀地觀察各模型的準確率,選擇測試集中的12月的兩天共192個點,將其真實值與各模型預測結果相對比,其結果見圖5。

圖5 不同預測模型對比

4 結束語

文中針對臺區短期負荷預測問題提出了DWT-Informer網絡模型,該方法綜合考慮的電氣特性與時間特性對預測精度的影響,通過DWT對輸入的電流信號進行降噪處理,通過將Prophet分解應用于Informer使模型對時間分量的處理在相同的輸入維度下,包含了更多與負荷功率相關的時間特征信息。通過實驗驗證得到了以下結論:

1)通過實驗驗證了LSTM模型、GRU模型、Informer模型與DWT結合均可提高預測精度,進而驗證了DWT對電流信號降噪對于預測性能提高的有效性。

2)通過實驗驗證了將Prophet作為Informer的時間特征提取模塊對于Informer預測性能提高的有效性。

3)通過將文中方法與其他經典模型的預測結果進行對比,得出DWT-Informer方法具有更優的預測性能,其MSE、MAE、R2分別為0.010 5、0.073 9、0.794 9。