基于時-頻注意力機制網絡的水聲目標線譜增強

古天龍 張清智 李晶晶*

①(暨南大學可信人工智能教育部工程研究中心 廣州 510632)

②(桂林電子科技大學廣西可信軟件重點實驗室 桂林 541004)

1 引言

利用輻射噪聲對目標進行檢測是水聲信號處理領域的重要內容[1,2]。水下目標的輻射噪聲具有豐富的線譜成分，特別是在低頻段，提取該線譜成分對水下低噪聲安靜型目標的檢測具有十分重要的意義，因此LOFAR(Low Frequency Analysis Record)線譜檢測是被動聲納目標檢測的重要內容，然而，由于水聲環境復雜，線譜信息淹沒在噪聲干擾中，難以提取。

隨著深度學習技術在水聲傳感中的廣泛應用[3-10]，一些研究者開始探索基于深度學習的線譜增強方法。Ju等人[11,12]從時域數據出發，利用自適應線譜增強器(Adaptive Line Enhancer, ALE)原理[13]，設計了基于深度學習的線譜增強器(Deep-learningbased Line Enhancer, DLE)，采用自編碼神經網絡代替傳統濾波器，增強了系統在時域處理的非線性，提升了低信噪比下的LOFAR譜的線譜檢測效果。楊路飛等人[14]直接針對LOFAR譜，提出雙層長短時記憶網絡(Long Short-Term Memory, LSTM)，利用LSTM處理時序數據的能力，將LOFAR譜中每個頻率對應的值分別作為網絡輸入，增加了網絡在頻域處理的非線性，實現了對LOFAR譜的線譜增強，并提出通過高斯白噪聲實驗來驗證模型線譜增強的合理性。LSTM由于同時具有時域和頻域非線性處理能力，其比DLE具有更高的靈活性。然而，LSTM模型對輸入信噪比有要求，在低輸入信噪比的情況下線譜增強效果較差。

本文提出基于時-頻注意力機制的線譜增強網絡模型(Time-Frequency Attention Network,TFA-Net)，在LSTM的基礎上同時增加了時域注意力機制模塊和頻域注意力機制模塊，提升了基于LSTM的線譜增強效果。其中，時域注意力機制模塊，使網絡更關注對LSTM產生重要影響的時刻的數據。頻域注意力機制模塊采用了改進的深度殘差收縮網絡(Deep Residual Shrinkage Network,DRSN)，使頻域注意力閾值可以更加精準地區分線譜和噪聲。本文的技術路線圖如圖1所示。

圖1 技術路線圖

本文提出了LSTM和DRSN相結合的網絡模型，實現了時域數據處理和頻域數據處理的有效融合；運用了時-頻注意力機制模塊，提取了目標信號在時域與頻域的雙重重要特征；構建了殘差卷積收縮模塊，通過將收縮子網絡中的全鏈接層設計為1維卷積層，獲得更為合理的頻域注意力閾值，從而更加精準地區分線譜和噪聲；大量的實驗結果表明，相比于LSTM，所提出的TFA-Net具有更高的系統信噪比增益：在輸入信噪比為-3 dB的情況下，將系統信噪比增益由2.17 dB提升到12.56 dB；在輸入信噪比為-11 dB的情況下，將系統信噪比增益由0.71 dB提升到10.6 dB。

2 DLE和基于LSTM的線譜增強模型

圖2為DLE和基于LSTM的線譜增強模型的結構示意圖。

圖2 DLE和基于LSTM的線譜增強模型結構

DLE由自編碼神經網絡計算濾波輸出，其輸入節點個數為N，N為濾波器階數，記第k時刻的時域信號為s(k)，輸入節點的輸入數據依次為s(k-Δ),s(k-Δ-1), ···,s(k-Δ-N+1)，Δ為延時步長，以s(k)作為標簽，輸出節點個數為N。DLE利用了深度神經網絡(Deep Neural Networks, DNN)的非線性結構，提升系統增益[15,16]。

基于LSTM的線譜增強模型，以輸入信號的LOFAR譜作為輸入，通過LSTM網絡計算濾波輸出。記LOFAR譜中第k時刻的功率譜為xk ∈RM×1，M為LOFAR譜中的頻率個數，每個頻率對應一個輸入節點，即輸入節點個數為M。第m個輸入節點的輸入數據為一組時間序列數據xk-Δ(m,1),xk-Δ-1(m,1), ···,xk-Δ-N+1(m,1)，N為輸入時間序列長度，由于長短時記憶網絡的特性，N一般比N小得多。以xk為標簽，輸出節點個數為M。由于每個輸入節點數據的維數為N×1，每個輸出節點數據的維數為1×1，即屬于序列到序列(Sequenceto-Sequence, Seq2Seq)中的多對一模式。

綜上所述，由于LSTM具有對時序數據的記憶能力[17-19]，其在網絡結構上可以以各頻譜分量作為網絡輸入。一方面，網絡可訓練參數增多，另一方面對網絡參數的訓練，同時體現在時域和頻域，因此，LSTM比DLE具有更高的靈活性。

3 基于時-頻注意力機制的線譜增強網絡

3.1 模型結構

基于時-頻注意力機制的線譜增強網絡，在LSTM的基礎上同時增加了時域注意力機制模塊和頻域注意力機制模塊。其中，時域注意力機制模塊借助LSTM的隱藏狀態，計算各時間序列的注意力分布，產生新的時間序列數據，使網絡更關注對LSTM產生重要影響的時刻的數據。頻域注意力機制模塊采用了改進的深度殘差收縮網絡，其由多個堆疊的深度殘差收縮模塊組成，每個殘差收縮模塊在傳統殘差收縮模塊的基礎上，將收縮子網絡中的全鏈接層設計為1維卷積層，使頻域注意力閾值可以更加精準地區分線譜和噪聲?；跁r-頻注意力機制的線譜增強網絡的模型結構如圖3所示。

圖3 基于時-頻注意力機制的線譜增強網絡模型結構

TFA-Net的算法流程如下：

(1) 獲取目標輻射噪聲信號LOFAR譜[14]；

(2) 選取延時步長Δ、時序數據長度N；

(3) 將得到的時序數據按照時間序列排序，即x1=xk-Δ-N+1,x2=xk-Δ-N,...,xN=xk-Δ，將x1,x2,...,xN輸入到LSTM層中，借助LSTM的隱藏狀態h1,h2,...,hN，計算各時間序列的注意力分布，產生特征向量V=[v1,v2,...,vN]；

(4) 將特征向量輸入頻域注意力機制模塊；

(5) 頻域注意力機制模塊的輸出為xk-Δ經濾波后的值，目標函數公式

其中，P為樣本數，網絡模型迭代訓練，模型收斂后輸出訓練后的LOFAR譜。

3.2 時域注意力機制模塊

基于LSTM的LOFAR譜的線譜增強任務屬于Seq2Seq的多對一模式，由于LSTM對時序數據具有記憶能力，傳統LSTM只保留最后一個時刻隱藏狀態作為輸出。該文提出的時域注意力機制模塊，同時考慮所有隱藏狀態，加強模型對先前隱藏狀態的記憶，并通過計算每個時刻隱藏狀態與最后一個時刻隱藏狀態的關聯，獲取每個時刻隱藏狀態的記憶權值。

時域注意力機制模塊的結構如圖4所示，通過3個步驟實現。首先，由于LSTM最后一個時刻隱藏狀態的可信度最高，以最后一個時刻的隱藏狀態hN作為查詢(query)，以每個時刻的隱藏狀態hi作為鍵(key)，計算兩者的相似性，得到第i個時刻的隱藏狀態hi的注意力分值ei。該文選擇的相似性計算函數為余弦相似度。

圖4 時域注意力機制模塊結構

其次，引入softmax函數對注意力分值進行數值轉換，對原始注意力分值進行歸一化處理，得到權重系數αi。αi表示第i個時刻隱藏狀態的重要程度。

最后，以每個時刻的隱藏狀態hi作為值(value)，根據權重系數對值進行加權，得到加權后的隱藏狀態vi。

考慮到后續頻域注意力機制模塊的輸入數據格式，時域注意力機制模塊的輸出設計為由vi組成的向量V=[v1,v2,...,vN]，維數為M×N×1。

3.3 頻域注意力機制模塊

頻域注意力機制模塊采用改進的深度殘差收縮網絡，使頻域注意力閾值可以更加精準地區分線譜和噪聲。其由改進的深度殘差收縮模塊堆疊而成，每個殘差收縮模塊在傳統殘差收縮模塊的基礎上，將收縮子網絡中的全鏈接層設計為1維卷積層。改進的深度殘差收縮模塊命名為殘差卷積收縮模塊。

殘差卷積收縮模塊結構如圖5所示。模塊輸入是時域注意力機制模塊的輸出V，將每個頻率所對應的N×1的向量作為一個輸入通道，輸入的通道數為M。首先，輸入V經過2次1維卷積，卷積后的特征向量記為B={b1,b2,...,bM}，卷積核大小D=1×1，卷積核的通道數為M，卷積核的個數K=M，步長S=1。然后，特征向量B直接作為收縮子網絡的輸入，在子網絡中B經過2次1維卷積和sigmoid函數取值，得到縮放參數β，將β乘到相應的特征向量B中，得到針對各特征的自適應閾值τ。

圖5 殘差卷積收縮模塊結構

其中，?表示按元素相乘。最后，將特征向量B和閾值τ按元素軟閾值化，再和模塊輸入V按元素相加，得到頻率注意力機制模塊的輸出。

其中，⊕表示按元素相加，ητ(B)表示軟閾值函數，用于將絕對值低于某一預設閾值的輸入數據設置為零，同時使得絕對值大于該閾值的輸入數據朝著零收縮。

4 實驗結果

為了驗證該文所提出的TFA-Net的有效性，本節分別用仿真數據和實測數據進行實驗。實驗在Python(版本：3.7)平臺Pytorch(版本：1.10)深度學習庫上進行。所構建模型的超參數設置如表1所示。訓練樣本個數P由LOFAR譜的時間長度NS、選定的延時步長Δ、時序數據長度N決定，P=NS-N-Δ+1。

表1 TFA-Net模型超參數設置

4.1 仿真實驗驗證

仿真實驗分為高斯白噪聲實驗和目標線譜實驗。其中高斯白噪聲實驗的目的是驗證模型的抗虛警能力[14]，當高斯白噪聲訓練后的圖譜沒有出現連續的線譜，則可證明模型線譜增強效果的可靠性。目標線譜實驗的目的是驗證網絡模型在低信噪比下的線譜增強效果，仿真實驗信號由公式

產生，其中，Q表示線譜個數，k表示采樣時刻，Ai,fi和φi分別表示第i個線譜的幅值、頻率和初始相位，n(k)為高斯白噪聲。對仿真信號幅值進行歸一化后，采用短時傅里葉變換(Short-Time Fourier Transform, STFT)求取LOFAR譜。LOFAR譜的時域長度NS由信號時長TP、采樣頻率fS、窗口長度NW和重疊率σ計算

4.1.1 高斯白噪聲實驗

高斯白噪聲實驗的參數如下：TP=6.553 6 s,fS=25 kHz,NW=1 024,σ=0.5，頻率間隔為20，最大顯示頻率為4 000 Hz。選擇延時步長Δ=1，序列長度N=3，由計算可得，樣本數P=316，頻率個數M=201。

實驗結果如圖6所示，其中圖6(a)為訓練前高斯白噪聲LOFAR譜，圖6(b)為LSTM訓練后高斯白噪聲LOFAR譜，圖6(c)為TFA-Net訓練后高斯白噪聲LOFAR譜。由圖中可以看出，經TFA-Net和LSTM訓練后的LOFAR譜均未出現線譜，證明了TFA-Net具有較高的抗虛警能力。

圖6 高斯白噪聲實驗結果

4.1.2 目標線譜實驗

目標線譜實驗包含3部分內容：線譜增強實驗、消融實驗和網絡深度尋優實驗。其中線譜增強實驗對比了不同輸入信噪比下，所提出的TFA-Net與傳統基于LSTM的線譜增強網絡的線譜增強效果；消融實驗展示了移除時間注意力模塊和頻率注意力模塊后，模型的線譜增強效果；網絡深度尋優實驗探討了深度殘差卷積收縮網絡中殘差塊的堆疊層數對模型線譜增強效果的影響。

(1) 線譜增強實驗

目標輻射噪聲仿真信號由4個頻率組成，即Q=4，其頻率和幅值分別為f1=100 Hz,A1=4.5,f2=220 Hz,A2=2.5,f3=365 Hz,A3=4,f4=1500 Hz,A4=6，噪聲為高斯白噪聲，TP=19.660 8 s,fS=25 kHz,NW=1024,σ=0.5，頻率間隔為20，最大顯示頻率為4 000 Hz。選擇延時步長Δ=1，序列長度N=3，由計算可得，樣本數P=959，頻率個數M=201。

圖7為輸入信噪比為-3 dB時的實驗結果，其中，圖7(a)為訓練前目標信號LOFAR譜，圖7(b)為LSTM訓練后目標信號LOFAR譜，圖7(c)為TFA-Net訓練后目標信號LOFAR譜。為了量化所提出模型及對比模型線譜增強的效果，定義系統信噪比增益[20,21]

圖7 輸入信噪比為-3 dB時的線譜增強結果

其中，SNRin和SNRout分別表示訓練前和訓練后的LOFAR譜的圖像信噪比，以訓練前的LOFAR譜的圖像信噪比為例，計算公式為

其中，Nx,Ny分別表示LOFAR譜矩陣的行數和列數，f?in(x,y)表示訓練前含噪聲的LOFAR譜中像素點(x,y)處的像素值，f(x,y)表示不含噪聲的LOFAR譜中像素點(x,y)處的像素值。為方便對比，在計算LOFAR譜信噪比時，將含噪聲的LOFAR譜和不含噪聲的LOFAR譜的取值范圍統一，且以最小值作為0 dB。表2所示為系統信噪比增益對比。

表2 輸入信噪比為-3 dB時的系統信噪比增益對比

由圖7可以看出，訓練前的LOFAR譜中4條線譜淹沒在噪聲干擾中，尤其是220 Hz處的線譜，由于幅值較小，難以被觀察到。經LSTM訓練后，LOFAR譜中4條線譜均得到增強，可以觀察到220 Hz處的線譜，但系統的信噪比增益僅為2.17 dB。經TFANet訓練后，4條線譜得到明顯增強，220 Hz處的線譜清晰可見，系統的信噪比增益為12.56 dB。

為進一步驗證所提出的基于時-頻注意力機制的線譜增強網絡的有效性，對不同輸入信噪比下LSTM和TFA-Net兩個網絡模型的系統信噪比增益進行對比，圖8所示為不同輸入信噪比下的系統信噪比增益對比曲線。由圖中可以看出，相比于LSTM，所提出的TFA-Net具有更高的系統信噪比增益，且在輸入信噪比為-11 dB的情況下，仍然能得到10.60 dB的系統信噪比增益。

圖8 不同輸入信噪比下系統信噪比增益對比曲線

(2) 消融實驗

為了驗證所提出的TFA-Net中時域注意力機制和頻域注意力機制的有效性，分別移除TFA-Net中的3個重要模塊，即時域注意力機制模塊、深度殘差收縮模塊、卷積改進模塊，對比移除后模型的線譜增強結果。實驗結果如表3所示。其中，由于卷積改進模塊是針對深度殘差收縮模塊的改進，移除深度殘差收縮模塊后將無法進行卷積改進，因此，不存在只移除深度殘差收縮模塊的情況，表3僅給出了5組對比實驗。另外，由于深度殘差收縮模塊和卷積改進模塊共同構成頻域注意力機制模塊，所以將同時移除深度殘差收縮模塊和卷積改進模塊，用移除頻域注意力機制模塊表示。

表3 消融實驗結果

由表中可以看出，移除任意模塊后，系統的信噪比增益都有所下降。其中同時移除時域注意力機制模塊和頻域注意力機制模塊后效果最差，其次是同時移除時域注意力機制模塊和卷積改進后效果下降明顯，證明了時間注意力機制和頻率注意力機制相結合的有效性。

(3) 網絡深度尋優實驗

為了探索殘差卷積收縮網絡深度對線譜增強效果的影響，構建不同網絡深度的TFA-Net進行訓練，實驗結果如圖9所示，其中圖9(a)、圖9(b)、圖9(c)分別表示堆疊6個、10個和18個殘差模塊時的線譜增強效果。

圖9 不同網絡深度下的線譜增強效果對比

由圖中可以看出，當網絡深度較淺時，增強后的LOFAR譜在時間上出現較強干擾，即如圖9(a)所示，所有頻率處的能量在時間上有強烈波動，目標線譜出現時間上的斷續。當網絡深度較深時，LOFAR譜在頻率上出現強干擾，在多個非目標頻率處出現能量較高的虛假線譜，最強的虛假線譜能量為5.12 dB。當網絡深度選擇適當時，增強后的LOFAR譜在時間和頻率上均有令人滿意的表現，如圖9(b)所示。網絡深度實驗的結果可用來指導網絡深度的選擇，對TFA-Net在線譜增強的應用具有重要意義。

4.2 實測數據實驗

實測數據是在中國某海域里利用水聽器收集到的信號，TP=6.5536 s,fS=25 kHz,NW=1 024,σ=0.5，頻率間隔為20，最大顯示頻率為4 000 Hz。選擇延時步長Δ=1，序列長度N=3，由計算可得，樣本數P=316，頻率個數M=201。圖10所示為實驗結果，其中，圖10(a)為訓練前實測數據LOFAR譜，圖10(b)為LSTM訓練后實測數據LOFAR譜，圖10(c)為TFA-Net訓練后實測數據LOFAR譜。

圖10 實測數據實驗結果

由圖中可以看出，相比于LSTM, TFA-Net的線譜增強效果明顯，可以清楚觀察到200 Hz,440 Hz, 520 Hz等幾個低頻段的線譜，證明了TFANet在處理復雜背景噪聲數據的有效性。

5 結束語

該文針對基于LSTM的LOFAR譜的線譜增強效果不理想的問題，提出基于時-頻注意力機制的線譜增強網絡模型，利用LSTM隱藏狀態之間的關聯性，增加模型在時域的注意力，通過在深度殘差收縮網絡中提取頻域特征，增加模型在頻域的注意力，克服了LSTM同時處理時域和頻域特征時的兼顧問題，實現了系統信噪比增益的大幅提升。大量基于仿真數據和實測數據的實驗表明，TFA-Net可以有效提升LOFAR譜的線譜增強效果，解決水下低噪聲安靜型目標的檢測問題。此外，網絡深度實驗的結果也為TFA-Net的具體應用提供了經驗指導。