聲紋信號-圖形差分場增強和多頭自注意力機制的變壓器工作狀態辨識方法?

張 寒 熊 云 唐 信 王 梟

(1 國網湖南超高壓變電公司 長沙 410000)

(2 變電智能運檢國網湖南省電力有限公司實驗室 長沙 410000)

(3 上海睿深電子科技有限公司 上海 200237)

0 引言

電力變壓器是輸變電設備中的核心設備，其主要用于電壓轉換和電能分配[1]。變壓器結構復雜，在長期運行后不可避免地存在問題，因此其故障率一直居高不下[2]。因此，開展電力變壓器故障檢測與診斷方法研究，及時有效識別變壓器故障，對于保障電網安全、減少經濟損失有著重要的意義。

變壓器最為常見的故障主要分為以下3 種：絕緣故障、過熱故障及機械故障。當設備部件出現故障后，會向外輻射溫度、電磁、光學以及振動信號，常規變壓器狀態檢測方法也主要針對上述狀態量展開分析，如油色譜檢測、紅外熱成像檢測、局放檢測等[3-4]。由于電力變壓器在運行過程中形成的振動信號會向外輻射為聲信號，可作為設備缺陷有效的診斷依據。相比于其他常規檢測方法，聲學檢測憑借其非接觸式檢測安全、測試簡單、無需停電等特點，非常適合于數量眾多的變壓器設備狀態檢測，因此也成為了近些年的研究熱點[5-6]。

針對于變壓器的聲學信號檢測處理方法主要有：傅里葉變換、小波包變換等，利用上述方法獲取設備不同狀態下的時頻特征以進一步挖掘深層狀態特征。錢蘇翔等[7]針對變壓器繞組故障難以辨識問題，提出了一種基于頻率響應法和小波包特征能量提取的變壓器故障診斷方法，實驗驗證了方法的可靠性；耿琪深等[8]提出了一種基于Gammatone倒譜系數和鯨魚算法優化隨機森林的變壓器機械故障聲診斷方法，對某10 kV 干式變壓器正常與典型機械故障下聲信號的計算結果表明，該診斷方法能夠較好地識別出故障信號，并具有良好的抗噪性能和魯棒性。盡管基于聲紋信號的變壓器狀態監測方法獲得了良好的效果，但目前該方法的特征提取仍以人工為主，需要操作人員具備豐富的聲學信號分析及狀態監測經驗；同時，由于電力變壓器應用場景廣、應用數量多、運行周期長，采集獲得的聲紋監測數據往往呈現海量化、多模態化的特征，人工操作將耗費大量時間精力，因此亟需一種智能化的變壓器狀態在線監測方法[9-10]。

深度學習是一種可靠的智能辨識技術，憑借學習性能優異、適應性強等優勢逐漸被應用于機械設備的智能診斷領域。王昕等[11]提出一種基于遷移學習和卷積神經網絡的電力設備圖像識別方法，并利用實際數據驗證了所提方法能夠提升學習效率和精度；黃文禮等[12]針對變壓器結構復雜、維護成本高等特點，提出一種基于深度學習的變壓器故障信號識別算法，并基于實驗證明了所提方法的可行性。然而，上述方法仍存在一定不足：常規神經網絡難以充分利用時間序列數據的內在特性，可能會造成部分信息的丟失進而使得辨識精度下降。同時常規深度神經網絡往往是一個黑箱模型，難以明晰其內部工作原理與辨別邏輯。

近期，Zhang 等提出了一種圖形差分場(Motif difference field,MDF)方法[13]，該方法在將一維時域信號轉化為二維圖像的同時，充分保留了時域信號的時間參量信息與非線性特征，進而在時間序列預測領域得到了應用[14]。但目前在電力設備的狀態監測領域還未見文獻介紹。

針對上述問題，提出了一種基于MDF 信號增強和多頭自注意力機制的變壓器工作狀態辨識方法。通過搭建10 kV 電力變壓器設備的缺陷模擬實驗系統，模擬了變壓器正常狀態、繞組松動狀態、鐵芯松動狀態以及表面放電4 種典型缺陷，采集了相應狀態的聲紋信號，借助MDF 技術將一維時域信號映射為二維圖像，利用多頭自注意力機制的Vision Transformer 分類模型實現了電力變壓器設備狀態的有效辨識，并引入梯度加權類激活映射(Gradient-weighted class activation mapping,Grad-CAM)突出了模型的可解釋性。

1 理論介紹

1.1 MDF

MDF 是一種將時間序列轉換為圖像的方法，具備提高時間序列的可視化和特征提取效果等優勢，目前主要應用于時間序列的復雜性測量、動態系統表征等領域[13]。

假設有一離散總點數為N的時域信號y={y1,y2,···,yN}，可定義時域信號y的圖像集

式(1)中，d表示為步長，n∈(1,N)表示圖像個數，=yi,i=s,s+d,s+2d,···,s+(n-1)·d，s表示為計算的時間窗口長度。

⊙表示哈達瑪積[15]，是由旋轉180?得到。由上述公式可知，利用MDF 方法在將一維時間序列映射為二維圖譜的同時，可充分保留時間序列的狀態特征信息。圖1為該方法的實現流程。

1.2 基于多頭自注意力機制的Vision Transformer分類算法

在將電力變壓器設備的原始時域聲紋信號映射為二維圖像后，為進一步辨識設備的運行狀態，還需選擇合適的深度學習網絡以實現最終的狀態辨識。

Vision Transformer 是一種基于自注意力機制的深度學習模型，其憑借特征提取能力快、特征融合強以及運行效率高等特點被廣泛應用于文本分類、圖像分類等領域[16-17]。擬以Vision Transformer為基礎，通過引入多頭自注意力機制[18]增強算法的深層特征感知性能，最終實現不同變壓器狀態的可靠辨識，其主要實現流程包括以下4個步驟：

(1) 圖像數據的序列化處理

首先對原始圖像集合進行歸一化、縮放等操作，并提取圖像集合的特征矩陣；然后劃分特征矩陣并將圖像塊轉化為序列化數據，通過展平操作將每個圖像塊重塑為一維向量，并按照預定義順序進行編碼，得到代表每個圖像塊的序列化數據，其轉換公式如下：

式(7)中，bk,i表示第k個塊中的第i個位置，F(·)表示特定的非線性變換函數，vec(·)表示將矩陣展平成向量，W0和pk,i是可學習參數。關于編碼方式通常采用字典編碼[19]、哈希編碼[20]等。

(2) 位置嵌入

采用位置嵌入和Patch嵌入相加的方式引入位置信息，位置嵌入如圖2所示，編號0～8 的方框表示各個位置的位置嵌入，而數字框右側方框則代表經過線性投影之后的展平向量。

圖2 位置嵌入示意Fig.2 Schematic diagram of position embedding

(3) 學習嵌入

對輸入的向量進行查詢、鍵、值線性變換，得到相應多頭變換向量，并分別進行自注意力計算，將多頭的結果拼接得到最終輸出。假設輸入的向量為x，查詢、鍵、值線性變換的權重矩陣分別為Wq、Wk和Wv，則有變換后的向量分別為

式(9)中，dk為縮放因子，用于緩解點積計算時的梯度消失問題[21]。

對每個頭的注意力權重αi與對應的值矩陣Vi進行相乘與拼接操作，可得

式(10)中，Concat(·)表示拼接操作，MA 表示多頭自注意力機制，最后再通過一個線性變換得到最終輸出。

(4) Transformer編碼器

引入Transformer 編碼器充分挖掘輸入數據集的深層特征信息，將輸入集中的每個向量映射到一個更高維度的空間。圖3 為Transformer 編碼器的基本框架，由圖3 可知，Transformer 編碼器由交替層的多頭自我注意機制和多層感知器組成。同時，在每個子塊之前應用標準化塊以提升模型魯棒性、降低復雜度，在每個子塊之后應用剩余連接以緩解梯度消失和梯度爆炸問題并加速模型收斂速度。

圖3 Transformer 編碼器框架示意Fig.3 Schematic diagram of Transformer encoder framework

1.3 基于Grad-CAM的特征可視化

常規深度神經網絡通常包含數百個或數千個神經元及其之間復雜的連接和權重關系，這種復雜性使其具有強大的計算和模式匹配能力，但也使其內部的工作機制變得異常復雜，通常難以明晰其內部工作原理與辨別邏輯[22]?；谏鲜鰡栴}，利用實現簡單、計算高效等諸多優勢的Grad-CAM[23]以突出分類結果的可解釋性。

對于任一輸入圖像x，在利用深度神經網絡處理后，可得到預測結果yc以及對應的分類標簽c。再利用反向傳播算法計算得到梯度張量Ak∈Ru×v，其中下標k表示最后一個卷積層的通道數，R表示張量的秩，上標u和v分別表示圖像相鄰像素之間的水平和垂直方向上的梯度分量。

對梯度張量Ak進行全局平均池化操作使其沿通道維度進行池化，進而得到一個長度為k的權重向量w∈Rk，具體計算方式為

將權重向量w與卷積層的特征圖進行加權求和，得到每個位置的激活值LGrad-CAM(i,j)：

式(12)中，ReLU表示激活函數。在將每個像素點位置上的激活值按照權重進行加權求和后，即可得到一個數值，其表示輸入圖像中與分類結果最相關的區域，即Grad-CAM的可視化結果。

1.4 基于聲紋信號MDF 增強和多頭自注意力機制的變壓器工作狀態辨識流程

由前文可知，MDF 方法能夠更好地表征一維時域信號的狀態參量，而基于多頭自注意力機制的Transformer 分類算法則可實現特征信息的深度挖掘。因此，本文結合兩者之間的特點，提出了一種基于MDF 信號增強和多頭自注意力機制的變壓器工作狀態辨識方法，并引入Grad-CAM 突出模型的可解釋性。其具體實施步驟如下：

(1) 聲紋信號采集：在變壓器前方布置聲傳感器以進行原始聲紋時域信號的采集。

(2) 圖像映射：利用MDF方法將采集得到的不同工作狀態下的變壓器聲紋信號映射為二維圖像，進而建立原始二維圖像集合。

(3) 模型訓練：將步驟(2)得到的圖像集合輸入到基于多頭自注意力機制的Vision Transformer 分類器中，首先進行特征提取得到特征圖，其次對特征圖的每個像素點位置進行多頭注意操作，并將結果壓縮為一個向量，接著通過全連接層進行深層感知與特征組合，最后將得到的特征數據通過SoftMax激活函數層實現圖像的分類辨識。

2 實驗驗證

2.1 實驗設置

為驗證所提方法的可行性與有效性，以一臺型號為SC 800/10 的干式變壓器為實驗對象進行實驗，實驗在半消聲室進行，其長寬高尺寸為13 m×10 m×7 m，本底噪聲為18.6 dB?，F場布置如圖4 所示，利用集成有112 通道的聲學傳聲器陣列進行測試，其測試優勢在于同時輸出多組聲紋監測數據，在減少測試時間和成本的同時，提升了聲紋監測的準確度和可靠性。采集聲紋數據時，將陣列采集面與變壓器縱面平行放置，測試距離為1 m，采樣率設置為51.2 kHz，涵蓋了20 Hz～20 kHz的可聽聲范圍。實驗模擬了干式變壓器繞組松動、鐵芯松動以及表面放電3種典型缺陷，缺陷設置方法如圖5所示，具體缺陷設置方法如下：

圖4 現場布置方案Fig.4 Site layout scheme

圖5 缺陷設置方法Fig.5 Defect setting method

(1) 繞組松動缺陷模擬：由文獻[24]可知，引起變壓器繞組松動的原因主要有絕緣層減少、墊塊脫落、短路電流對繞組造成的沖擊等。上述松動故障對繞組振動的影響皆可等效為不同預緊力對繞組振動的影響。本次實驗中通過控制變壓器上鐵額穿心螺桿的預緊力以實現螺桿的不同程度松動，進而模擬實際中的繞組松動缺陷。

(2) 鐵芯松動缺陷模擬：引起變壓器鐵芯松動的主要原因有鐵芯組件中鐵質夾件松動或損傷、壓鐵松動、鐵芯片間絕緣老化等，上述缺陷會導致鐵芯局部過熱、疊片折斷等事故。在本次實驗中通過控制變壓器上鐵額夾緊螺栓的預緊力以實現螺桿的不同程度松動，進而模擬實際中的鐵芯松動缺陷。

(3) 相間放電缺陷模擬：變壓器受安裝位置、潮濕環境等多因素影響，經常導致相間放電現象，相間放電現象會在變壓器重要部件(如繞組和絕緣材料)中產生損壞，并進一步導致短路跳閘等故障。在本次實驗中利用0.5 mm 直徑的銅絲將A 相繞組首尾相連，通壓后造成AB相間短路，缺陷連接方式見圖5(c)。

基于上述實驗臺架采集得到變壓器4 種狀態下的聲紋信號，其時域、頻域波形如圖6 所示。由圖6(a)可知，變壓器在正常運行狀態下的主頻為f=100 Hz，同時也出現了f=200 Hz、300 Hz 等50 Hz偶數倍的諧波分量，能量主要集中在1 kHz范圍內；由圖6(b)可知，繞組松動狀態下的時域信號幅值較正常狀態有所增大，在100 Hz～2 kHz 范圍內出現較多100 Hz 的諧波，主頻為400 Hz，頻譜能量主要集中在1 kHz 以內；如圖6(c)所示，鐵芯松動的頻域信號分布與繞組松動極為相似，主頻也為400 Hz，頻譜能量同樣主要分布在1 kHz 以內；如圖6(d)所示，相間放電的信號波形與前者3 種信號存在較大區別，由于存在放電脈沖，其時域信號波動較大，且頻譜能量呈現寬頻分布的特點，在分析頻段下(f=0 Hz～10 kHz)皆有分布。綜合以上分析可知，基于常規的頻譜分析手段可初步實現變壓器正常與放電缺陷的辨識，而對于繞組松動與鐵芯松動此類變壓器的機械缺陷而言，由于其頻譜能量分布存在類似性，通常難以實現變壓器繞組與鐵芯缺陷的精準辨識。

圖6 變壓器4 種典型聲紋信號時頻域波形示意Fig.6 Time-frequency domain waveforms of four typical voiceprint signals of transformer

2.2 狀態辨識

2.2.1 MDF計算結果分析

引入MDF 技術對變壓器正常狀態、繞組松動、鐵芯松動以及相間放電4 種狀態下的時域聲紋數據進行計算，圖7 為二維圖像計算結果。綜合考慮計算時間與狀態參量的完整性，設定MDF 技術的步長d=1，時間窗口長度s=1000 (時域信號離散點)。由圖7(a)可知，變壓器在正常運行時，其MDF圖像矩陣的極值主要分布在主副對角線兩側靠近中心區域，能量分布較為均勻；繞組松動缺陷圖譜如圖7(b)所示，MDF 圖像的極值區域主要集中在對角線兩側的局部位置及其橫縱坐標上，但相較于正常狀態、其能量更偏向于點狀聚集；如圖7(c)所示，鐵芯松動缺陷的MDF 圖譜相較于繞組松動，點狀能量聚集的特征更為明顯，且呈現明顯的區域分布特性；由圖7(d)可知，放電缺陷的MDF圖譜與前者3 種狀態的圖譜結果完全不同，整個圖譜呈現“細長針狀”的脈沖能量分布特性，這可能是因為在放電過程中，放電(局部放電或者間歇放電)等現象會產生突發性的脈沖峰，該放電信號的瞬時脈沖峰特征在MDF 技術中被進一步表征映射為“細長狹窄針狀”分布特征。由結果可知，相較于常規的信號分析方法，當使用MDF 技術將一維時域數據映射為二維圖像時，成功提取并保留了原始聲紋數據的時間動態特性與非線性特性，且原始數據的也被成功的提取并表征。因此，與傳統的檢測方法相比，可以更好地突出表征被監測設備的實時運行狀態。

圖7 變壓器4 種狀態下的MDF 圖像Fig.7 MDF images of transformer in four states

綜上，變壓器在4種狀態下的MDF圖譜均存在較為明顯的差異，為后續的圖像分類提供了可行性。

2.2.2 實驗模型參數選擇

本文所有方法均在一臺CPU 為英特爾Xeon Platinum 8157、GPU 為NVIDIA GeForce RTX 3090 配置的計算機進行運算，使用語言為Python。實驗采集了每組狀態500 條數據、共計2000 條數據，數據集被劃分為訓練集、驗證集、測試集，所占比例為8:1:1。模型的具體參數設置見表1。模型訓練采用自適應學習能力強、內存需求少的Adam 優化器，為避免過擬合，還在訓練過程中引入正則化方法，設置Dropout 為0.3，選擇交叉熵作為損失函數，定義初始學習率為0.001，訓練迭代次數設置為200。

表1 模型參數設置Table 1 Model parameter settings

批尺寸(Batch size)決定了每次迭代訓練中使用的樣本個數，較大的批尺寸可提高訓練速度，但也可能導致模型不穩定。圖8 為批尺寸為16、32、64、128 和256 時對于訓練集損失率與測試集準確率的影響關系。由圖8 可知，批尺寸過大(128 和256)與過小時(16 和32)皆會導致模型的不穩定，損失率與準確率曲線均出現了一定程度的波動，而在選擇合適的批尺寸(64)后，模型在整體計算過程中較為穩定，并取得了良好的分類效果；同時也可以看出，不同批尺寸在30 次迭代后，曲線均趨于穩定，即模型達到最優。

圖8 不同批尺寸訓練過程的損失率和準確率隨迭代次數變化趨勢Fig.8 Variation trend of loss value and accuracy with iteration times in different batch sizes training process

2.2.3 模型分類性能計算

引入混淆矩陣以定量評估所提方法的識別效果。圖9 與表2 為利用所提方法得到的混淆矩陣計算結果，圖9中橫縱坐標的數字1～4 分別表示變壓器的正常、繞組松動、鐵芯松動及相間放電4 種狀態，混淆矩陣的對角線分別表示每種狀態被識別正確的樣本數。結合圖9 和表2 可知，在200 組數據中只有4 個被錯誤分類，其分類正確率為98%，表2 表明所提出方法的識別精度、召回率以及F1 值皆為98%。上述結果表明所提方法可以實現變壓器狀態的有效檢測，且對于機械與放電缺陷都具有較高的識別精度，可進一步應用于工程實踐中以幫助巡檢人員便捷、及時地檢測變壓器的工作狀態。

表2 評價參數Table 2 Evaluation parameters(單位: %)

圖9 混淆矩陣示意Fig.9 Confusion matrix schematic

2.3 其他模型對比結果及分析

2.3.1 半消聲室數據分析

為進一步表明所提方法的優越性，還將所提方法與基于常規時頻圖譜數據集和多頭自注意力機制的Transformer 對比方法1，基于MDF 增強圖譜和目前流行的深度學習分類模型、引入殘差模塊的卷積神經網絡(ResNet-CNN)的對比方法2 進行對比分析。對比方法1 中，除采用如圖10 所示的時頻圖像作為原始數據輸入外，其余步驟皆與所提方法一致；對比方法2 中，除在對MDF 圖像分類時采取了目前流行的ResNet-CNN 深度學習分類器外，其余步驟皆與所提方法一致。對比方法1 中，為充分考慮信號特征，相關參數設置如下：時間窗口長度t=1 s，頻率顯示范圍為0 Hz～10 kHz，重疊點數設置為100，其時頻圖譜結果見圖10。對比方法2 的網絡結構及參數見表3。

表3 神經網絡結構參數設計Table 3 Structural parameter design of neural network

圖10 變壓器4 種狀態時頻圖像Fig.10 Time-frequency images of four states of transformer

表4 為所提方法、對比方法1 和對比方法2 共計3種方法的識別精度。結合圖10可知，僅圖10(d)的放電時頻圖像存在較為顯著的區別，而鐵芯松動與繞組松動時頻圖像存在相似度，這是因為繞組松動與鐵芯松動兩種異常狀態下的頻譜能量分布皆集中在頻率f=1 kHz 的低頻段，不利于神經網絡的深度學習與特征的有效感知。綜上，由于引入了上述辨識度不高的時頻圖像集作為原始分類集的輸入，因此4 種狀態的辨識精度相較于所提方法均存在較大的劣勢，最大精度差異達到了14%；而對比方法2 由于引入了區分度明顯的MDF 圖像集，4種狀態的辨識精度均得到了一定幅度的提升，但仍要低于所提方法，這是因為基于多頭注意力機制的Vision Transformer具有更深層次的特征表示能力，可通過堆疊多個編碼器層來提取更高級別的抽象特征，能夠更好地感知圖像深層信息特征，從而提高分類的精度。

表4 3 種對比方法的識別精度Table 4 Identification accuracy of three comparison methods(單位: %)

2.3.2 添加噪聲數據分析

在實際現場運行環境中，采集得到的變壓器聲紋信號中不可避免地存在無關噪聲。故本節還在原始信號上添加了不同信噪比(Signal-noise ratio,SNR)的高斯白噪聲，評估上述3種狀態辨識方法的魯棒性。限于篇幅，僅給出鐵芯松動缺陷下的不同SNR時間序列示意(圖11)。

圖11 不同SNR 下的時間序列示意Fig.11 Schematic diagram of time series under different SNRs

表5 為在原始信號添加不同SNR 下的變壓器各運行狀態辨識精度。由表5 可知，隨著SNR 的下降，對于實際運行狀態的分類辨識精度也隨之減小，但始終保持在較高的識別精度(>90%)，說明所提方法在噪聲干擾下仍具備較優的分類性能且魯棒性較強，始終優于其余兩種對比方法。

表5 不同SNR 下各方法的分類準確率Table 5 Classification accuracy of each method under different SNR

2.4 所提方法辨識結果的可解釋性分析

針對常規深度學習網絡的黑箱特性、難以明晰辨識結果等問題，還引入Grad-CAM 對變壓器4 種狀態下的MDF 增強圖像進行可解釋性說明。圖12為4 種狀態下MDF 圖像經過Grad-Cam 算法后獲得的類激活圖。類激活圖中的光暈顏色越深，則代表此區域對于最終分類結果的影響越大。由圖12可知，4 種狀態下經過Grad-Cam 算法獲得的類激活圖分別具備較為明顯的表征效果：在正常狀態下，類激活圖的光暈范圍較為集中，主要分布在MDF 圖像的中心靠左位置；在繞組松動缺陷的類激活圖中，光暈區域較正常狀態增大約1 倍，在圖像的中間區域向外輻射；而對于鐵芯松動缺陷的類激活圖而言，光暈區域則主要集中在右上角；放電缺陷類激活圖中的光暈范圍覆蓋極大，幾乎包含所有能量較高的狹窄脈沖束。綜上，4 種狀態下MDF 圖像的類激活權重關注區域皆不相同，這進一步解釋了深度學習網絡進行分類辨識的計算依據，表明所提方法的分類辨識結果具有較強的可信度。

圖12 變壓器4 種狀態時MDF 圖像的Grad-Cam可視化結果Fig.12 Grad-Cam visualization results of MDF images in four states of transformer

3 結論

針對電力變壓器運行狀態感知能力的不足，提出了一種基于非接觸式聲紋信號檢測的MDF 信號增強和多頭自注意力機制的變壓器工作狀態辨識方法，進行了包含變壓器典型狀態的模擬實驗，所得結論如下：

(1) 提出了一種針對于電力變壓器聲紋信號的映射方法，利用該方法可實現變壓器不同狀態的深層感知與有效表征；

(2) 搭建了10 kV電力變壓器的缺陷模擬系統，模擬了變壓器正常狀態、繞組松動狀態、鐵芯松動狀態以及表面放電4 種典型缺陷，計算結果表明：所提方法能夠實現變壓器不同狀態的有效辨識，且辨識精度相較于常規方法有顯著提升，提升約6%；在實測信號中加入高斯白噪聲干擾模擬實際運行環境下干擾，在SNR為4 dB 情況下，所提方法的辨識準確率仍大于90%，相較于常規方法具備較強的魯棒性；

(3) 對所提方法的分類辨識結果進行了可解釋性分析，驗證了模型分類辨識結果的可信度。

限于實驗數據的有限性，在后續的工作中，筆者計劃增加更多缺陷類型的測試數據，并進一步引入包含不同電壓等級的變壓器實際故障數據，以驗證和提高方法的辨識準確率與魯棒性。