基于EEMD-Attention-GRU的大壩變形組合預測模型

劉 俊， 王艷波， 崔旭廷， 曹德君， 賈玉豪

（1.南京市水利規劃設計院股份有限公司，南京 210000； 2.河海大學水利水電學院，南京 210098；3.上?？睖y設計研究院有限公司，上海 200335）

隨著我國筑壩數量的不斷增加，大壩變形性態分析備受關注. 及時獲取變形觀測數據、建立相應的分析模型以預報大壩行為，對大壩的穩定運行具有重大意義［1-2］. 由于水壓、時效、溫度等復雜環境因素的影響，大壩變形表現出非線性、非穩態的特性，這將使得傳統分析方法很難準確反映自變量與因變量之間的復雜非線性關系［3-4］. 如何解決大壩變形非線性在分析過程中的負面影響是當前壩工領域內的熱門主題.

隨著智能算法的發展，一些學者摒棄傳統的大壩變形分析方法，將BP神經網絡、支持向量機等算法應用于大壩變形預測中［5-7］，利用統計模型提取出模型所需輸入參數（水壓、溫度和時效）并作為輸入樣本融合到智能算法中，這在一定程度上提高了模型精度，但并不能從根本上解決變形的非線性問題. 隨后，EMD［8］、EEMD［9］以及VMD［10］等信號處理算法被陸續應用到變形分析中，以降低數據的非線性和非穩定性，然后對分解得到的各個子序列分別建模，構建了大壩變形組合預測方法，有效提升了變形的預測精度.

然而變形不僅具有復雜的非線性，同時具有復雜的時序非線性. 近年來，隨著計算機技術的大力發展，深度學習算法得以迅速發展并成為大壩變形預測的研究熱點. 如郭張軍等［11］將LSTM算法應用到大壩變形預測中；周蘭庭等［12］基于小波分解、LSTM和Arima算法構建了混凝土壩變形組合預測模型；陳竹安等［13］利用VMD信號處理方法和LSTM算法構建了性能優越的大壩變形預測模型. 可以看出當前大壩變形預測領域的深度學習算法以LSTM為核心，涌現了許多不同的變形預測方法. LSTM算法解決了傳統RNN的梯度消失、梯度爆炸等問題［14］，但其網絡結構過于復雜，收斂速度較慢［15］. 門控循環單元（GRU）神經網絡［16-17］在LSTM的基礎上簡化了神經網絡的結構，具有更快的收斂速度. 不論是LSTM或者GRU都能夠描述變形時序關系，但對于時序非線性較強的變形數據，二者均無法得到準確的非線性映射關系. 為此本文引入了Attention機制［18-19］的概念，該方法可以根據輸入信息的重要性，在神經網絡內部實施權重分配，從多步大壩變形輸入信息中突出關鍵信息對變形預測結果的貢獻度并傳遞給下一層，從而優化神經網絡的時序非線性學習能力，達到預期的預測精度.

綜上，本文提出了基于EEMD-Attention-GRU 的大壩變形組合預測模型. 首先通過EEMD 信號分解技術將原始數據分解為若干個頻率不同的穩定分量；然后在GRU神經網絡框架的基礎上引入Attention 機制，在保持原始神經網絡主體結構的同時，深入挖掘模型的時序非線性；最后組合各子序列對應Attention-GRU模型的預測結果，得到最終變形預測結果.

1 方法原理

1.1 EEMD

EMD算法具有自適應性、完備性和正交性三個優點，但也有其自身的缺點. 例如，EMD算法存在模態混淆現象，導致EMD分解得到的IMF分量缺乏物理意義. EEMD通過向原始信號中添加白噪聲來改變極值點分布，從而消除了混雜效應，通過對EMD信號進行平滑處理，有效地解決了EMD信號的模態混淆問題. 對噪聲進行多次平均，可以利用白噪聲的零均值特性使噪聲相互抵消，抑制甚至消除噪聲的影響. EEMD具體的分解過程如下［20］：

1）在原始信號x(t)的基礎上加上白噪聲n(t)，從而形成新的信號y(t)：

2）使用EMD繼續分解最新的時間序列y(t)：

其中ci表示第i個分解量；rn表示殘差序列.

3）重復上述步驟，在每個時間序列具有相同振幅的新白噪聲序列nj(t)添加到序列yj(t)：

其中j表示當前的循環數；cij表示yj(t)的第i個IMF分量；rjn表示yj(t)的殘差序列.

1.2 GRU

GRU 是一種遞歸神經網絡，它和基本RNN 的主要區別在于，RNN 的內存會隨著數據序列的增加而減少，從而引起梯度消失的問題，GRU可以有效地改善這個問題. 同時，GRU也是一種簡化的LSTM算法，它將LSTM中的忘記門和輸入門替換為更新門，因此具有更簡單的網絡結構以及更少的訓練時間. GRU的基本單元如圖1所示，單元的中間計算如下：

圖1 GRU單元內部結構Fig.1 Internal structure of GRU unit

式中：zt和rt分別表示更新門和重置門，更新門決定了前一時刻的狀態信息有多少被帶入當前狀態，更新門的取值越大表明帶入的信息越多，重置門控制前一時刻的狀態信息被帶入候選集?ht的程度，其取值越小，則被帶入的信息越少；σ為sigmoid激活單元函數；f(·)為激活函數，通常選取為雙曲正切函數tanh；*表示前后兩個因素的點乘關系；Uz、Ur和Uh?分別為權值矩陣；bz、br和bh?為偏置值.

1.3 注意力機制

注意機制對深度學習任務有很大的改善作用，它是一種模擬人腦注意力的資源分配機制. 在某一時刻，人腦會將注意力集中在需要集中的區域，減少甚至忽略對其他區域的注意力，以獲得更多的注意力. 注意機制通過概率分布將足夠的注意力分配給關鍵信息，更多地注意到輸入信號中更好地表達信號特性的那部分，提高模型的準確性. 大壩變形在復雜環境的影響之下，不同時間點的變形時間特征是不同的，當前測點可能受臨近時間點變形信息的影響較大，二者所處環境因素更為接近. 同時隨著時間間隔的增大，測點之間變形信息的影響也會逐漸減弱. GRU神經網絡在分析變形時序關系時賦予不同時間點變形相同的權重，忽略了對當前變形影響較大時間點的變形特征，不能充分挖掘變形時序的非線性關系. 而Attention機制的引入，可以賦予不同時間位置的變形特征不同的注意力權重，使模型運行時聚焦于重要特征以提升模型的預測精度，且Attention 機制避免因變形時間序列過長導致的信息丟失問題，其結構如圖2所示.

圖2 注意力機制結構Fig.2 Structure of attentional mechanism

其中：V、W、U為學習參數；an表示注意力分布.

2 模型分析過程

2.1 EEMD-Attention-GRU模型預測流程

以第2節模型理論為依據，構建基于EEMD-Attention-GRU 模型的大壩變形組合預測模型，具體流程如圖3所示，圖中Dense表示全連接層.

圖3 EEMD-Attention-GRU模型流程圖Fig.3 Flowchart of EEMD-Attention-GRU model

2.2 評價指標

本文選取平均絕對誤差（MAE）和均方根誤差（RMSE）等作為評價模型預測好壞的指標，具體公式見式（11）和式（12）：

式中：yi、pi分別表示變形原始值和預測值；n表示研究樣本尺寸.

3 工程實例

3.1 數據獲取和去噪

選取某混凝土連拱壩為研究對象，該壩上游水庫總庫容4.91 億m3，正常蓄水位125.56 m，壩頂全長413.5 m，大壩壩頂高程為129.96 m，最大壩高75.9 m. 選取該壩水平徑向位移作為本文建模依據，具體分析EEMD-Attention-GRU 模型在大壩變形預測中的可行性. 以大壩垂線系統位于13 壩段上的“PL13 上”測點2012年4月5日—2014年8月29日時段內共計877組徑向位移數據為基礎，按照2.1節的實施流程逐步分析，其中前827組數據劃分為訓練集、后50組數據劃分為預測集，研究測點在相應時段內的變形信息如圖4所示.

圖4 研究測點變形信息Fig.4 Deformation information of the studied measurement points

通過圖4可以發現，原始變形值包含大量噪聲，噪聲的存在將增加建模復雜度并導致模型的預測結果失真，進而影響對大壩行為性態的正確判斷. 本文提出基于EMD的原始變形數據去噪方法，通過對原始數據的分解提取高頻分量并保留剩余分量中包含的變形信息，去噪前后以及相應的噪聲如圖5所示. 由圖可知，噪聲部分雜亂無章，刪除該部分無效分量將有效降低變形數據的非線性并簡化建模過程，使預測結果更接近工程實際.

圖5 噪聲部分及去噪前后對比Fig.5 Noise part and comparison before and after denoising

3.2 EEMD分解結果

針對去噪后的變形數據，利用EEMD信號分解算法進行分解，得到如圖6所示的IMF1-IMF9共計9個具有不同頻率的變形分量. 同時可以看出，經過EEMD處理后的變形分量降低了變形數據的非線性和非穩態性，展現出一定的變形規律. 為了減小后續建模復雜度和計算消耗，將9個變形分量分成低頻、中頻和高頻三種頻率信號進行分別建模，其中低頻包括IMF5-IMF9共計五個分量，中頻包括IMF3和IMF4兩個分量，高頻包括IMF1和IMF2兩個分量.

圖6 EEMD分解結果Fig.6 Decomposition results of EEMD

3.3 算法實現和預測結果評價

上文中將基于EEMD 分解的九個變形分量分成了三組具有不同頻率的變形分量IMF低頻、IMF中頻以及IMF高頻. 本節分別對三種頻率的變形分量構造Attention-GRU 預測模型，以前827組數據進行模型的訓練，以剩余時段50組數據進行預測大壩的變形值.

為保證模型能夠穩定輸出高精度的預測結果，需對Attention-GRU神經網絡的參數進行設置. 層數、訓練批次batch_size、隱含層神經元個數、迭代次數epochs以及優化器等參數對模型預測精度的影響較大. 本文針對三種頻率的變形分量統一構建單層GRU神經網絡，且選擇Adam作為梯度優化函數，以加快模型的收斂速度；計算過程中發現，batch_size的取值針對不同頻率分量模型具有較強穩定性，因此將該值統一設置為65；IMF低頻、IMF中頻以及IMF高頻對應的隱含層神經元數分別取值60、60和80，epochs的取值分別為200、250和250.

通過頻率分組、數據集的劃分以及參數的設置，對IMF低頻、IMF中頻以及IMF高頻三種頻率變形樣本分別構建Attention-GRU預測模型，將模型的輸出結果進行重組即可得到大壩變形的最終預測結果. 本文另外選取了EMD-GRU、GRU 兩種方法作為對比分析，以驗證EEMD-Attention-GRU 的有效性，各模型預測結果以及相應的殘差如圖7所示.

圖7 不同模型對應的預測結果和殘差Fig.7 Prediction results and residuals corresponding to different models

首先對比GRU和EEMD-GRU兩個模型的變形預測結果，通過圖7（a）可以看出，GRU模型雖然具有很強的時間非線性擬合能力，然而對于非線性、非靜態的大壩變形數據來說，GRU模型相應的預測結果只能描述變形的大體走勢，而不能準確反映其波動特征；當GRU模型與EEMD結合后分析得到的預測值更接近真實值，且波動程度明顯接近真實值，說明EEMD算法在降低數據非平穩性、提升模型預測精度上有著不可或缺的作用. 對比分析EEMD-GRU 模型與EEMD-Attention-GRU 模型的預測能力，EEMD-Attention-GRU 模型的預測結果在變形“峰值”附近更接近真實值，說明Attention框架與GRU的結合能夠提升算法對變形時序關系的挖掘能力以及對重要特征的篩選能力. 由圖7（b）可以看出，文中提出的模型預測結果對應的殘差曲線與y=0 所在位置包圍的面積也是最小的，說明了提出模型的預測性能是優于其他模型的. 圖8展現了不同模型在大壩變形預測中的性能評價指標條形圖，研究的指標包括MAE、RMSE和R2. 該圖直觀反映了各模型變形預測結果的精度，GRU模型對應的三項指標均為三個模型中最差的，EMMD-GRU模型對應結果遠優于GRU 模型但低于EEMD-Attention-GRU 模型. 再次驗證本文提出的大壩變形預測方法的可行性，EEMD 和Attention 方法的引入分別從原始數據處理和深度學習網絡框架內部機制兩個方面優化GRU 模型，在延續GRU時序分析能力的同時拓展了其應用范圍并提升了分析精度.

圖8 模型預測結果評價指標Fig.8 Evaluation indicators of model prediction results

4 結論

本文提出了基于EEMD-Attention-GRU的大壩變形分析模型，該模型適用于非線性、非靜態大壩變形的預測，預測精度顯著高于其他方法. 主要結論總結如下：

1）從兩個方面降低原始變形數據的非線性，即通過EMD高頻分量的提取對原始數據進行去噪以及通過EEMD方法對變形數據進行分解，得到一組趨于穩定的變形分量.

2）構建Attention-GRU變形預測框架，提升模型對時序關系中關鍵特征的提取，并分別對三種頻率的分量組合進行預測.

3）通過對預測結果的重構得到最終大壩變形預測結果，案例分析表明EEMD-Attention-GRU 的預測精度優于單一GRU模型和EEMD-GRU模型.