一種雷達回波外推的注意力融合和信息回憶的LSTM 方法

程勇，錢坤，康志明，何光鑫，王軍，莊瀟然

(1.南京信息工程大學，江蘇 南京，210044；2.中國氣象局廣州熱帶海洋氣象研究所，廣東 廣州 510641；3.江蘇省氣象臺，江蘇 南京 210008)

1 引 言

雷達回波外推可視為對連續時間序列圖像變化趨勢的估計和預測，即用現有一段時間內雷達回波圖像預測未來一定時間內雷達回波圖像。臨近預報通常是指描述現時天氣狀況和未來兩小時內的天氣預報，其主要預報對象包括強降水、大風、冰雹等災害性天氣。例如，臨近強降水預報的目標是準確、及時地預報未來兩小時內區域降水強度和分布情況。由此可見，雷達回波外推的方法能為臨近預報提供直觀的雷達回波圖像參考，因而如何快速準確地預報出氣象雷達圖像序列已成為氣象領域研究的熱點和難點。

雷達回波圖外推的傳統方法主要有交叉相關外推算法[1]、質心跟蹤法[2]和光流法[3]。交叉相關外推算法通過計算雷達回波等資料在連續時次的空間最優相關，得到對流系統不同位置的移動矢量特征，并基于這些移動矢量對雷達回波等進行外推。然而，在強降水、雷暴天氣下，雷達回波信號受到干擾和遮擋影響，目標的位置和運動狀態可能發生較大變化，致使交叉相關法跟蹤目標的位置和軌跡錯誤。質心跟蹤法是將雷暴視為三維單體進行識別、分析、追蹤，適用于對強雷暴單體進行擬合外推來做臨近預報，但在雷達回波目標較多時，質心跟蹤可能會受到困擾，預報準確度會顯著下降。光流法利用圖像序列中像素在時間域上的變化以及相鄰時間之間的相關性來找到上一時間跟當前時間之間存在的對應關系。然后通過光流場外推最近的降水場。然而，光流法在大雨和雷暴天氣這些復雜的天氣條件下，場景的光度變化過大，會導致光流法無法準確地檢測到物體的運動軌跡。上述三種方法無法在海量的雷達數據中學習規律，因而它們的預測準確率偏低。

隨著計算機技術的發展，時空序列預測的研究已經廣泛應用在交通流預測[4-7]、視頻預測[8-11]和雷達回波外推[12-18]等領域。深度學習方法具備建模高度非線性復雜系統的能力，越來越多的人嘗試將深度學習應用于解決時空序列的問題。將深度學習與雷達回波外推相結合，能夠從海量的雷達數據中找出潛在規律，進而提高對指定地區未來一段時間內的天氣狀況預測準確度。Shi 等[19]將卷積神經網絡(CNN)和長短期記憶網絡(LSTM)相結合，提出卷積長短期記憶網絡(ConvLSTM)的方法，它可以很好地從CNN和RNN的輸入分別學習和建?？臻g和時間表示。由于ConvLSTM 在雷達回波外推上的良好表現，大量研究在其基礎上進一步開展，這些研究往往只關注了時間的傳遞，而忽視了堆疊的網絡單元層與層之間的空間關系。因而Wang 等[20-21]通過在原有的ConvLSTM中引入時空記憶單元M，提出了PredRNN 和PredRNN++算法，這是一種空間記憶可以保存從底層到頂層的空間信息。Tran 等[22]的研究表明，該算法可以應用于雷達回波外推，具有比ConvLSTM 更好的性能。然而，新增的時空記憶單元M在網絡中以“之”字型傳遞，疊加的網絡單元每一層每一時間步都通過它串聯起來，信息傳遞過長就容易導致梯度爆炸，使得預測結果不準確。為了保持長期的時空相關性，Eidetic 3D LSTM[23]和SA-ConvLSTM[17]利用了自注意力機制(self-attention)[24]。注意力機制可以從歷史記憶中找尋信息，能保存更多的時空表征。然而，它們只是利用單一的注意力機制來回憶先前的時間記憶，信息獲取和特征表達能力都較為有限。

為了克服現有模型的局限性，本文針對時空記憶單元M的時空信息傳遞過程長，隨著傳遞次數增加，信息的傳遞會受到干擾，造成預測結果不準確的問題，提出了一種注意力融合模塊(Attention Fusion)。利用注意力模塊將通道信息和時空信息相互融合來獲得更好的長期時空表示，以替代遺忘門的時空記憶更新，從而關聯更多的時空歷史信息，減少信息在傳遞過程中丟失，形成更好的時空表征。同時在編碼過程中隨著堆疊的網絡單元次數的增加，當前時間輸入的信息保留的越來越少，信息丟失嚴重，是一個不可忽視的問題。采用在編碼器和解碼器之間添加信息回憶(Recall)模塊，讓解碼器的結果與編碼器的輸入進行信息的融合，從而回憶起堆疊的多級編碼器信息，進一步保存預測的細節。最后，將兩部分結合起來構建起新的網絡模型 AFR-LSTM(Spatiotemporal LSTM Model with Attention Fusion and Recall)。

2 提出的方法

在本節中，首先介紹了引入注意力融合機制的網絡單元AF-LSTM，再詳細介紹了時空和通道的注意力融合機制。然后，介紹信息回憶模塊（Recall）。最后，提出了結合注意力融合機制和信息回憶模塊的AFR-LSTM網絡模型。

2.1 網絡單元AF-LSTM

在本節中，介紹了如何將時空和通道的注意力融合機制嵌入到ST-LSTM 單元中，形成網絡單元AF-LSTM，如圖1所示。

圖1 注意力融合的時空長短期記憶網絡單元AF-LSTM

AF-LSTM 網絡單元的輸入包含當前輸入Xt、前一單元層輸出的時空記憶單元M l-1、前τ層連續歷史時空記憶單元的集合M l-τ:l-1、前一時刻相同層的隱藏狀態H lt-1和時間記憶單元Clt-1。當前輸入Xt和隱藏狀態H lt-1和時間記憶單元Clt-1保持和ST-LSTM 網絡單元相同，不同的是將前一層輸出的時空記憶單元M l-1和前τ層連續歷史時空記憶單元的集合M l-τ:l-1作為時空和通道注意力融合機制的輸入，以此幫助時空記憶單元M l-1回憶遺忘的信息，從而達到保留信息的目的。改進后的更新M l計算方式如公式(1)所示。

其中⊙是矩陣乘積，τ是連續歷史的時空記憶單元的數量，i't和g't分別代表的是輸入門和輸入調制門。公式(1)中的AttFusion 表示2.2 節中的時空和通道注意力融合計算公式。視時空記憶單元的遺忘門ft'為查詢矩陣，前τ層連續歷史時空記憶單元的集合Ml-τ:l-1表示鍵矩陣和值矩陣。這一模塊的主要作用是通過注意力融合機制控制先前τ個時空記憶單元中強調哪些信息，從而使得網絡產生更加準確的預測結果。該注意融合機制可以很好地控制長期的信息，從而提高網絡的記憶能力。

2.2 時空和通道的注意力融合機制

盡管時空記憶單元M能夠存儲歷史信息，但它無法直接幫助輸入或隱藏狀態選擇所需的特征。相比之下，注意力機制能夠從歷史記憶中查找并選擇信息，從而可以保存更多的時空表征。為了進一步提高時空記憶單元M時空信息保留能力，本文提出了一種時空和通道的注意力融合機制，如圖2所示。

圖2 時空和通道的注意力融合模塊

本文將給定的時空特征遺忘門f t'∈RB×C×H×W視為查詢矩陣Ql，這里的B，C，H，W 分別代表的是特征圖像批量大小、通道數量、圖像高度和圖像寬度。首先直接將其重塑為Ql∈RN×(H×W)×C以匹配后續操作。然后將對應的前τ層連續歷史時空記憶單元的集合M l-τ:l-1∈RB×C×τ×H×W視為鍵矩陣Kl和值矩陣Vl，其中τ指的是時間序列的長度。它們 分 別 被 重 塑 為Kl∈RB×(τ×H×W)×C和Vl∈RB×(τ×H×W)×C。最后，通過公式(2)進行計算，可以得到時空注意力模塊的輸出ST_ATT：

如圖2 中的藍色部分所示，先使用softmax 函數對查詢矩陣Ql和鍵矩陣Kl轉置的矩陣乘積進行了歸一化處理，以表示查詢矩陣Ql和鍵矩陣Kl之間的位置相似度。這個位置相似度代表了給定的時空特征f 't和前τ層連續歷史時空記憶單元的集合M l-τ:l-1之間的相關程度。接著，利用值矩陣Vl計算矩陣乘積作為更新信息的權重，有選擇地將M l-τ:l-1的時空信息集合起來，并將其重塑為原始形狀。最后將它們與上一層的時空記憶單元M l-1相加，并通過一個layernorm 層來得到最終的時空注意力模塊輸出ST_ATT。

通道注意力模塊旨在對通道之間的相關性進行建模。與時空注意力模塊不同的是，它將給定的時空特征f 't∈RB×C×H×W重塑為查詢矩陣Qc，而將前τ層連續歷史時空記憶單元的集合M l-τ:l-1∈RB×C×τ×H×W視為鍵矩陣Kc和值矩陣Vc，并 將 它 們 分 別 重 塑 為Kc∈RB×(τ×C)×(H×W)和Vc∈RB×(τ×C)×(H×W)。然后，根據公式（3），可以計算出通道注意力模塊的輸出C_ATT：

如圖2 中的橙色部分所示，使用softmax(Qc·K cT)∈RB×C×(τ×C)來表示查詢矩陣Qc對鍵矩陣Kc在通道上的影響程度。然后使用值矩陣Vc計算矩陣乘積作為更新信息的權重，有選擇地將M l-τ:l-1通道信息集合起來，并將其重塑為原始形狀。最后將它們與上一層的時空記憶單元M l-1相加，并通過一個layernorm 層來得到最終的通道注意力模塊輸出C_ATT。

相關資料研究表明[14]，對患者腫瘤復發的因素較多，其中包括復發時間、分期、腫瘤分級以及腫瘤大小等，這些因素都對腫瘤的復發將造成影響，針對于滿足手術指征的患者應當盡早實施手術治療。同時吉西他濱與其他灌注化療藥聯合使用較單一用藥效果更好。目前無論是表柔比星還是吉西他濱在治療中高危非浸潤性膀胱尿路上皮癌方面都有著較令人滿意的效果，這與王曉天等研究結果相似[1]。

求得時空注意力模塊的輸出ST_ATT 和通道注意力模塊的輸出C_ATT 后，再進行最后的操作將它們進行集成，如圖2的綠色部分所示。具體而言，將ST_ATT 和C_ATT 先分別經過一個卷積核大小為三的卷積層、一個layernorm 的歸一化層、一個ReLU的激活函數層、一個卷積核大小為一的卷積層，然后對兩個結果執行元素求和，最后利用卷積層生成最后的結果AttFusion，具體計算過程如公式(4)所示。

因為融合注意力模塊的輸出同時包含了時空和通道信息，而這些信息在連續時間序列中的位置是對應的，所以最終的輸出比單個模塊的輸出更具有效性。

2.3 信息回憶模塊(Recall)

在編碼過程中，隨著網絡單元的堆疊，當前時間輸入的信息被逐漸遺忘，導致信息丟失的問題。因此，本文在編碼器和解碼器之間添加了信息回憶模塊，如圖3所示。該模塊能夠將解碼器的輸出與編碼器的輸入進行對應融合，回憶起多級編碼器中的信息，從而更好地保留預測細節，避免預測位置偏差過大。該過程可以用公式(5)表示。

圖3 信息回憶模塊

其中，Enc-1表示用于從數據集中提取深度特征的編碼器輸出，Decl-1表示經過堆疊網絡的解碼器輸出，Decl表示經過將二者的結果相加得到的最終的編碼器結果，l表示層數。

2.4 堆疊融合結構

本文所提出的模型在以往的堆疊結構基礎上加入了信息回憶模塊，具體結構如圖4所示。一次預測過程是由編碼器、四層網絡單元、解碼器和融合模塊組成。時間記憶單元沿著水平方向傳遞，隱藏狀態沿著水平和垂直方向傳遞。時空記憶單元Ml-1以“之”字形方式傳遞，表示為橙色線。前τ層連續歷史時空記憶單元的集合Ml-τ:l-1表示為灰色立方體，作為每個單元的輸入存在。在解碼輸出部分，采用信息回憶模塊將解碼器的結果與編碼器的輸入進行融合，以輸出最終的預測結果X?t。

圖4 堆疊融合結構

3 數據集介紹

3.1 Moving MNIST數據集

Moving MNIST 數據集[25]是預測任務中最常用的數據集之一，每個序列由20 個連續幀的灰度圖片組成，這些圖像中的兩個數字會按照一定的速度和方向在連續時間中變化。在本文的實驗中，每幀圖像的尺寸為64 × 64 像素，數據集的容量是確定的，包括10 000 個序列的訓練集、2 000個序列的驗證集和3 000 個序列的測試集。在本文的實驗中，前十幀將會作為輸入，后十幀作為測試。

3.2 雷達數據集

本文使用2022 江蘇氣象AI算法挑戰賽-AI助力強對流天氣預報中的雷達數據集（https://tianchi.aliyun.com/competition/entrance/531962/information）來評估模型性能。該數據集是江蘇省氣象臺在2019—2021 年4—9 月期間收集的雷達回波數據組成，覆蓋了整個江蘇省區域面積。每張圖像大小為480×560 像素，數據的取值范圍為0～70 dBZ，水平分辨率為0.01 °×0.01 °。數據集包含訓練集、驗證集和測試集，共涵蓋2 萬+次的天氣樣本。在訓練集中，一個序列樣本由20 張間隔為6 分鐘的CAPPI 雷達圖像組成。每個樣本中，前10 張圖像用作輸入，后10 張圖像用于預測輸出，即利用過去一小時的數據來預測未來一小時的數據。從訓練集中隨機選取2 000 個樣本作為驗證集，測試集也包含2 000個樣本。

4 實驗與分析

本章將在兩個數據集上進行實驗，一個是標準的Moving MNIST 數據集，另一個是2019—2021 年4—9 月真實的江蘇省氣象雷達回波數據集，并詳細介紹了實驗的參數設置、評價指標、對比實驗和結果分析。

4.1 參數設置

4.2 Moving MNIST實驗結果

本實驗選用均方誤差(Mean Square Error,MSE)和結構相似性[26](Structural Similarity Index,SSIM) 兩個指標來衡量預測的圖片質量。其中，MSE 是一種常用的衡量數據誤差的方法，它能夠評估數據的變化程度，MSE的值越小，說明預測模型描述實驗數據具有更好的精確度，具體的計算過程如公式（6）所示。而SSIM 是一種更加細致的圖像相似性度量方法，可以衡量兩幅圖像在結構上的相似度。當MSE 越低，SSIM 越高時，表示預測效果越好，因為此時預測結果更加精確，同時在結構上與原始圖像更加相似。

通過對比Moving MNIST 數據集的可視化結果，可以清晰地看出本文提出的AFR-LSTM 方法相比其他深度神經網絡方法表現更優，具體如圖5所示。

圖5 Moving MNIST數據集上不同方法的運行結果

實驗分別計算了不同深度學習預測算法的MSE 和SSIM 指標，結果如表1 所示。相比與其他算法，AFR-LSTM 方法在均方誤差和結構相似性方面表現更為出色，這說明AFR-LSTM 方法在預測圖像質量方面具有較大的優勢。

表1 不同方法在Moving MNIST數據集上的實驗結果(前10幀預測后10幀)

4.3 在雷達數據集上的實驗結果

4.3.1 評估指標

采用臨界成功指數（Critical Success Index，CSI）和Heidke技能評分（Heidke Skill Score，HSS）這兩種常見的氣象評分函數來評價模型在臨近預報方面的性能。采用閾值化方法將預測結果和實際情況進行轉換，如果該值大于給定的閾值，則相應的值設為1，否則設置為0。然后計算真陽性TP(實際為1，預測為1)、假陽性FP (實際為0，預測為1)、真陰性TN(實際為0，預測為0)和假陰性FN(實際為1，預測為0) 的數量。根據這些分類結果，可以使用公式（6）和公式（7）來計算CSI 和HSS。這些評分函數能夠更準確地衡量預測結果和實際情況之間的匹配程度，從而驗證本文提出的模型在臨近預報方面的優越性能。

具體實施時選用了10 dBZ、20 dBZ和40 dBZ三個不同的分類閾值標準，將預測結果和地面真實情況進行轉換后，通過計算CSI 和HSS 指標來評價模型的性能，數值結果越大則說明模型表現越好。

4.3.2 實驗結果

分別計算了不同深度學習預測算法的CSI 和HSS 評分，并對其結果進行了對比分析。實驗結果如表2 所示，AFR-LSTM 模型在所有閾值下均表現出色，CSI 和HSS 評價指標均取得較好結果，表明其在臨近預報方面具有顯著優勢。

表2 不同方法在雷達數據集上的CSI和HSS評分結果（前10幀預測后10幀）

在閾值設置為40 dBZ 時，使用本文提出的AFR-LSTM 模型得到的CSI 和HSS 指標分別為0.273 5和0.299 5，相比于使用MotionGRU模型得到的結果分別提高了26.79%和5.76%，結果更為理想。此外，與基礎PredRNN 模型相比，CSI 指標提高了53.13%，HSS 指標提高了28.1%，表明了本文提出的時空和通道的注意力融合機制以及信息回憶模塊的有效性。此外，添加這兩個模塊后，相較于其他網絡，該模型在實驗中獲得了顯著的提升，這表明了時空和通道的注意力融合機制和信息回憶模塊可以獲得更好的圖像準確度，從而提高預測結果的準確度。最后，SA-ConvLSTM 和E3D-LSTM 的結果優于PredRNN 和PredRNN++，ConvLSTM在所有方法中的性能最差。

為進一步地說明結果，本研究在不同的閾值條件下對比了各個網絡模型隨時間而變的CSI 和HSS 結果曲線。通過圖6 可以直觀地看出，AFRLSTM 模型始終保持著更優秀的預測結果，在所有時間點和所有閾值條件下均表現出較好的性能。因此，證明了本文提出的AFR-LSTM 模型在雷達數據集預測中是一種非常有效的方法。

圖6 不同閾值條件下不同網絡模型所有預測結果的CSI和HSS曲線

為更好地比較和理解結果，本文通過展示不同方法的預測示例來比較不同模型的預測效果，如圖7 所示。從圖中可以看出，隨著時間的增加，ConvLSTM、PredRNN 和PredRNN++模型的預測效果逐漸變差，在最后的預測圖像中，強回波區域明顯消失，只有AFR-LSTM 模型和MotionGRU 模型保存了很好的強回波區域。其他模型預測的強回波區域隨著時間的推移也漸漸弱于AFR-LSTM模型。相較于MotionGRU模型，本文提出的AFRLSTM 模型不僅在強回波區域的預測更加優越，在位置上也更加準確。這是因為，AFR-LSTM 模型同時采用了時空和通道的注意力融合機制和信息回憶模塊。兩種注意力機制融合起來能夠更好地捕捉時空相關性和通道相關性，幫助神經網絡挖掘更多的時空信息，以模擬長期依賴，在雷達回波預報可以保留更多的強回波信息。信息回憶模塊的主要作用是通過引入歷史雷達圖像信息來幫助提升預測的準確性，從歷史雷達圖像中提取信息，并將其融合到當前的預測中，進一步保存預測的細節，較好地避免預測位置偏差過大。

圖7 雷達數據集上不同方法的運行結果

4.3.3 消融實驗

在本研究中，為了證明時空注意力模塊和通道注意力模塊的有效性，進行了消融實驗。具體地，單獨將時空注意力模塊和通道注意力模塊加入到基礎網絡進行實驗，并將實驗結果與融合的AF-LSTM 模型的結果進行比較。同時，為探究信息回憶模塊的有效性，本文單獨將信息回憶模塊加入到基礎網絡和基礎網絡進行對比實驗。所有的實驗結果如表3 所示，其中，Baseline+SP 為基礎網絡加時空注意力模塊，Baseline+CH 為基礎網絡加通道注意力模塊，Baseline+AF 為基礎網絡加注意力融合模塊，Baseline+Recall為基礎網絡加信息回憶模塊。

表3 雷達數據集上添加不同模塊的CSI、HSS和SSIM評分

實驗結果表明，單獨的時空注意力模塊和通道注意力模塊都可以提高預測性能，但是最好的性能是通過融合這兩種注意力模塊來實現的。單獨的時空注意力模塊可以提高CSI 和HSS 指標分別高達7.4%和4.8%，說明時空注意力模塊有助于捕捉時序信息和空間相關性。而單獨的通道注意力模塊對性能提升較小。但是，將兩種注意力機制進行融合可以進一步提高性能，CSI和HSS指標分別提高了9.2%和6.8%。因此，結果表明將兩種注意力機制融合起來能夠更好地捕捉時空相關性和通道相關性，從而提高預測性能。加入了信息回憶機制的基礎網絡在SSIM 指標上表現更好，這表明信息回憶機制有助于更好地保持預測圖片的位置相似度。雖然信息回憶機制在CSI 和HSS 指標上并沒有很明顯的提升，但其更重要的功能是很好地避免了預測位置偏差過大的問題，保證模型在位置準確度上的良好表現。

5 結 論

隨著計算機技術和人工智能的不斷進步，深度學習技術在氣象預測領域中的應用已經越來越廣泛。在這個背景下，本文提出了一種新的雷達回波圖外推方法—AFR-LSTM。通過結合通道和時空的注意力融合機制，更好地捕捉時空相關性和通道相關性，有效幫助卷積神經網絡挖掘更多的時空信息。此外，信息回憶模塊的應用進一步增強模型對預測位置的保存，從歷史雷達圖像中提取信息，并將其融合到當前的預測中，避免了預測位置偏差過大的問題。實驗結果表明，AFRLSTM 網絡模型相比于其他算法能夠獲得更好的圖像準確度，提高了預報的準確度。然而，AFRLSTM 網絡模型結構相較于原始網絡更加復雜，引入了更多的參數量，導致計算復雜度增加，從而增加了訓練的時間，預測速度也有所下降，因此需要在計算資源和時間成本之間進行權衡。在進一步的研究中，可以將考慮如何優化網絡結構和參數設置，以提高計算效率和預測速度。此外也可以考慮將該模型應用于其他氣象場景的預測，如溫度、濕度、風速等方面，以拓展其應用范圍。