基于二維特征提取方法與混合神經網絡的接觸式采集110 kV三相三繞組變壓器無載調壓異常放電聲紋的識別方法

童 旸, 黃文禮, 李 磊, 晏雨晴

(安徽南瑞繼遠電網技術有限公司,安徽 合肥 230088)

0 引言

電力變壓器在輸電、變電和配電過程中扮演著至關重要的角色,確保其正常運行是保障電力傳輸與供給安全的關鍵環節[1-4]。隨著變壓器運行時間的增長,由于運行負荷、設備老化以及絕緣油渾濁等因素的影響,變壓器的工況不可避免地受到影響,可能出現鐵心松動、繞組變形、匝間短路、直流偏磁和異常放電等故障[2,4-5]。其中,異常放電是變壓器常見故障中危險系數較高的情況之一。多種異常因素,如過負荷、絕緣油污染、繞組故障和散熱器故障等,都可能導致異常放電的發生[5-7]。異常放電初期局部持續發生,隨著放電次數的增多,產生大量熱能,導致介質溫度升高,甚至局部碳化,可能引發熱擊穿風險,導致變壓器損壞等嚴重后果[6-7]。因此,及時準確地檢測異常放電對于變壓器的安全運行和整個電力系統的正常運作至關重要。

傳統的變壓器異常放電監測主要依賴于油色譜的變化觀察,盡管該技術準確性較高,但微小的異常放電很難產生足夠觀測到的化學性質變化,使得該方法難以發現異常放電的早期跡象。近年來,基于聲紋的變壓器工況異常實時監測方法迅速發展,得益于語音識別技術的成熟,利用變壓器在運行時產生的物理振動聲音來判斷其工作狀態成為可能[3,5,8-9]。

目前,大量研究已通過提取采集到的聲音信號特征來判斷變壓器中存在的各類故障。在特征提取方面,主流研究分為時域與頻域兩種信號特征提取方法:基于時域的提取方式主要包括包絡曲線與過零率信息[10-11],用于判斷聲音信號瞬間能量或頻率的變化;基于頻域的提取方式首先使用傅里葉變換[8],將時域信號轉換為頻域信號。由于變壓器正常工作及常見異常缺陷可能發生的頻帶非常寬,最高甚至可以達到超聲頻率。因此頻域信號維度非常大,直接分析將占用大量計算資源,必須進行關鍵頻率提取與降維操作,一般通過諸如梅爾倒譜系數(Mel-Frequency Cepstrum Coefficient, MFCC)、線性預測系數(Linear Prediction Coefficient, LPC)以及線性預測倒譜系數(Linear Prediction Cepstrum Coefficient, LPCC)等方式實現關鍵聲紋信息提取[12-13]。最后,設計聲紋分析算法實現異常故障聲紋的檢測與識別功能。傳統的基于信號處理與機器學習的分析方法包括支持向量機(Support Vector Machine, SVM)、隱馬爾可夫模型(Hidden Markov Model, HMM)以及高斯混合模型(Gaussian Mixture Model, GMM)等[14-16]。隨著神經網絡的出現與發展,后向傳播網絡(Back Propagation, BP)和深度學習網絡(Deep Neural Network, DNN)也被引入到變壓器分析領域[2,7,17],并取得較好的成果。

目前,常見的變壓器異常故障聲紋如鐵心松動、繞組變形等已經被證明可以通過聲紋分析獲得較好的檢測能力[18]。然而,異常放電故障,尤其是準確識別輕微的異常放電現象,依然是富有挑戰的課題,其主要原因有如下兩點。首先,異常放電發生速度極快,通常小于10毫秒,而普遍的變壓器聲紋信號處理需要進行加窗分幀操作,窗體長度通常選取100毫秒到500毫秒,再對每幀進行快速傅里葉變換獲得頻域信號。然而,為了捕捉到迅速的異常放電,窗體需要進一步縮小到20至50毫秒,這極大增加了需要分析的聲紋幀數的數量,而諸如隱馬爾可夫鏈、循環神經網絡(Recurrent Neural Network, RNN)長短時記憶網絡(Long Short-Term Memory, LSTM)都是時序處理網絡[19-20],幀數的增加必然造成計算時間的增加。其次,由于初期的異常放電聲音極易被變壓器本體振動聲音淹沒,僅表現為頻域上的微弱變化。目前常見的梅爾倒譜系數、線性預測系數缺乏對變壓器實際工作的聲紋頻率的優化,同時當前以循環神經網絡為代表的異常故障檢測方法難以兼顧瞬時微弱變化。因此,我們不僅需要對異常放電表現特性進行有針對性的特征提取方法設計,還需要研究一種高精度高敏感度的聲紋特征變化感知分析方法。

本文首先針對變壓器異常放電的特點,即其信號弱且發生迅速,結合關鍵頻率提取與梅爾系數提取思想,設計了一種基于二維化的關鍵聲紋特征提取方法。該方法在保留變壓器工頻本征特性的基礎上,實現了對微弱異常放電的有效提取,并通過高倍率特征維度壓縮。其次,本文設計了一種基于卷積神經網絡(Convolutional Neural Network, CNN)[21-22]與視覺轉換器(Vision-Transformer,ViT)[23]的混合神經網絡架構。該網絡結合了CNN的特征提取能力和ViT的自注意力機制,實現了對微弱異常放電的高精度發現與識別。最后,本文結合110 kV變壓器在無載調壓試驗中的實際放電數據進行了試驗及分析,確定了最佳的變壓器特征提取方法和識別模型參數。通過這一綜合方法,本研究為解決變壓器異常放電的弱、快特性提供了有效的解決方案,并在真實數據上取得了令人滿意的試驗結果。

1 變壓器聲紋預處理與特征提取

1.1 接觸式變壓器聲紋采集與試驗部署

本文采用了接觸式拾音器,該拾音器通過磁吸方式附著于110 kV三相三繞組變壓器外殼,利用變壓器外殼傳導變壓器內部振動產生的聲紋信號。相較于非接觸式的槍體麥克風,該方法的優勢在于省略了變壓器外殼到麥克風之間的空氣介質傳導過程。這一設計不僅避免了空氣介質對微弱聲紋信號的削弱現象,同時減少了環境噪音對聲音信號的干擾,從而提升了聲紋拾音器對微弱信號的感知能力。

為了證明接觸式拾音器的有效性,分別使用兩種拾音器進行信號采集并進行對比。兩種拾音器的聲紋信號采樣率同為44.1 kHz,接觸式部署于變壓器放電試驗的近端側與遠端測外殼上,分別位于1米和2米的高度。非接觸式部署于距離變壓器0.5米與1米位置。接觸式與非接觸式拾音器在跳閘前后的對比聲紋時譜圖如圖2所示。對比可知,接觸式拾音器在近端1米高度的信號(a)包絡最平穩,2米高度的信號(b)雖然保持了較高的信號強度,但是包絡上出現小幅度的波動,這可能與靠近變壓器箱體上部,導致采集到了套管等部件的雜音有關。在變壓器跳閘前,非接觸式拾音器(c)相比接觸式信號強度明顯更小且包絡波動更大;當發生跳閘之后,接觸式拾音器獲取的信號(a)強度下降最迅速, 而非接觸式拾音器(d)甚至出現瞬間信號強度大于跳閘前的情況。這是由于跳閘產生的巨大聲響在封閉場地環境的空氣介質中形成了持久響亮的回聲,并被非接觸式拾音器持續接收,進一步證明了非接觸式變壓器更容易受到周圍環境的影響。由此,該試驗以接觸式拾音器近端1米高度采集到的數據作為試驗數據進行分析。

圖1 變壓器拾音器部署圖:右上為接觸式拾音器,右下為非接觸式拾音器Fig.1 Tansformer voice sensor deployment: contact type-the upper right, non-contact-lower right

圖2 不同部署位置下拾音器采集的聲紋對比Fig.2 Comparison of voiceprints collected by pickups at different deployment positions

本試驗數據基于110 kV三相三繞組變壓器無載調壓試驗。隨著電壓爬升過程,記錄變壓器內部產生的聲紋信號。圖3展示了隨著電壓的爬升,總體聲音逐漸增大的現象;圖4展示了伴隨的放電頻率逐漸上升的情況。

圖3 電壓爬升變壓器聲紋時頻譜圖變化趨勢Fig.3 Spectrum trend when voltage climbs

圖4 電壓爬升過程中異常放電發生變化趨勢Fig.4 Discharge occurrence trend when voltage climbs

1.2 變壓器聲紋樣本預處理

為了對采集到的聲紋信號進行量化分析,本文采用了一系列預處理步驟,包括切分、分幀、加窗以及離散傅里葉變換。處理的輸出將被傳遞到后續的特征提取模塊,流程圖如圖5所示。在本文中,監測的聲紋信號每5秒進行一次切分,采用交疊分段法進行分幀,幀長設置為25毫秒,幀移(步長)為0.5幀長,因此每幀約包含1100采樣點,幀移為550采樣點。這一處理流程有助于更好地對聲紋信號進行分析和提取有用的特征。

圖5 變壓器聲紋樣本預處理流程框圖Fig.5 Block diagram of sample preprocessing flow

為了減少由于分幀對聲紋信號的切分而產生的截斷效應,減輕傅里葉變換時可能出現的頻率泄露問題,通常會使用漢明窗函數進行幀的加窗操作。漢明窗的表達式如下:

(1)

式中:w(n)為窗函數在第n個采樣點的取值;L為窗長。

在進行每幀數據的快速傅里葉變換(Fast Fourier Transform,FFT)操作后,將時域信號轉換為頻域信號。如果將獲得的每一幀頻域信號視為一個多維特征向量,對全部向量進行拼接操作,就能夠得到一個[F,T]的二維特征矩陣,其中F為頻域維度,T為總幀數。在本試驗中,5秒的聲紋數據,采樣率為44.1 kHz,步長為12.5毫秒。因此,此時二維特征矩陣的尺度為22 000×400。由于直接計算將會消耗大量計算資源,因此需要進一步優化特征提取方法,以降低頻率特征維度。

1.3 優化的混合頻率特征提取

聲紋分析目前最常用的特征提取方法是梅爾頻率提取法。該方法首先將頻域信號轉換為梅爾頻域,然后劃分成等寬的梅爾頻帶。這一特征提取方法模擬了人耳對于低頻和高頻的分辨能力,體現了人耳對于頻率的非線性響應。

頻率f向梅爾m的轉換計算式如下:

(2)

式中:Mel(f)為頻率f轉換為對應的梅爾頻率的變換函數。

從梅爾頻率m向頻域轉換計算式如下:

Mel-1(m)=700×(10m/2 595-1)

(3)

式中:Mel-1(m)為梅爾頻率m重新轉換成對應的頻率的逆變換函數。

然而,變壓器的工作頻率主要集中在1 000 Hz以下的50 Hz倍頻。變壓器大部分異常缺陷發生都會引起這些頻率的明顯變化,因此在頻率提取中保留該頻帶的分辨率尤為重要。如表1所示,梅爾濾波器組的峰值頻率很難與50 Hz倍頻對齊,因此使用梅爾濾波器組可能導致1 000 Hz以下關鍵頻率特征的損失。

表1 不同數量的三角濾波器峰值頻率(Hz)Tab.1 Peak frequencies of triangular filters with different amounts (Hz)

因此,本文提出將梅爾頻率與關鍵頻率提取相結合的方法:

(1) 計算使用400個三角濾波器的梅爾濾波器組覆蓋聲紋信號全頻率時每個濾波器峰值頻率;(2)僅計算峰值在1 000 Hz以上的梅爾濾波器組特征值;(3)對1 000 Hz及以下頻段使用20 Hz頻帶交疊最大值采樣法,即從1 Hz起,每20 Hz頻帶取其最大值作為采樣特征,頻帶間交疊1/2,共獲得100維特征向量;(4)該100維特征與獲得的梅爾頻率特征拼接,從而得到一個混合頻率特征。

由(1)獲得的濾波器組中第85個濾波器峰值為985.3 Hz,第86個濾波器峰值為1 002.8 Hz,則(2)中僅計算第86至第400共315個三角濾波器的梅爾頻率特征值。(3)中獲得1 000 Hz以下100維特征值,(4)中可知,5秒聲紋信號經過該方法可獲得尺度為415×400的二維特征矩陣。該混合特征提取方法在保證變壓器工頻分辨率同時,極大壓縮了頻率維度,提升了后續計算資源利用效率。

2 基于混合神經網絡的變壓器異常放電識別方法

異常放電與變壓器工作振動相比能量較輕微,經常不能在時域譜線中表現出來。傳統的包絡突變檢測等方法難以保證檢測的召回率。同時,異常放電發生的時間較短,存在突發性,與時序上下文信號關聯性較少。因此,常見的基于時序的識別方法,如HMM、RNN和LSTM等,往往不能很好地發現異常放電現象的發生。此外,時序分析方法處理時間與聲紋樣本切片長度呈正相關,并呈現指數上升趨勢,不適合分析較長的聲紋樣本切片。相反,對聲紋樣本進行二維化分析既兼顧了瞬時頻率表征與時序之間的關系,又得益于卷積神經網絡對于特征矩陣的出色處理能力,實現了高效的特征語義提取。Transformer架構的識別網絡相較于傳統的直接使用全連接層分類網絡獲得可學習分類權重的方法,使用了一種級聯多個編碼器模塊結構完成對語義特征進一步分析。其中,每個編碼器模塊中包含一個多頭注意力模塊,利用自注意力機制學習語義特征中各個序列化的局部特征與全局語義之間的關聯程度。這進一步實現了在較為稀疏的二維特征矩陣中定位到微弱的異常放電特征,從而實現了高精度的識別表現。完整網絡架構圖如圖6所示。

圖6 混合網絡架構圖Fig.6 Hybrid network structure

2.1 基于卷積神經網絡的二維特征提取

首先,需要對聲紋特征提取階段獲得的二維特征矩陣進行尺度變換,將矩陣的長寬從415×400擴充為448×448,然后轉換為可應用于卷積神經網絡的三維特征張量448×448×1。在設計特征語義提取網絡時,需要解決梯度消失和梯度爆炸的問題,同時防止微弱的異常放電視覺特征隨著卷積層數的增加而消失?？紤]到這些問題,可采用殘差網絡架構。鑒于整體運算速度的考慮,可以選擇使用ResNet18網絡作為特征語義提取網絡。該網絡架構如圖7所示。

圖7 修改后的ResNet18網絡Fig.7 Modified ResNet18 network

首先,ResNet18的特征輸入通道數從3改為1,以適配二維聲紋特征的通道數。之后,遵循原版ViT代碼中的ResNet50搭建細節(https:∥github.com/google-research/vision_transformer),對ResNet18進行相應修改,包括:(1)將原版ResNet18中全部的BatchNorm操作替換為GroupNorm操作;(2)網絡中所有卷積層使用PyTorch中的標準化權重的二維卷積(nn.StdConv2d)替換為普通二維卷積(nn.Conv2d)。經過ResNet18網絡后,將得到一個14×14×512的特征圖,作為后續Vision-Transformer的輸入。

2.2 基于Vision-Transformer的異常放電識別

由于變壓器的異常放電通常會影響頻譜信息的多個頻段,即放電語義與特征圖中的多個局部區域存在較強的關聯性,且不同程度的放電影響力也不盡相同。因此,相較于直接使用全連接層設計分類器, Vision-Transformer的自注意力機制能夠有效實現語義與特征圖序列的關聯對應,從而有效提升識別效果。

CNN+ViT混合網絡架構如圖8所示?？紤]到變壓器聲紋特征相對簡單,且需要盡可能減少網絡參數量以提高處理速度,將ViT網絡中的編碼器模塊的層數從原文Base結構的12層縮減到6層。在3.3節中,我們進行了縮減層數前后的網絡識別效果對比,試驗證明該策略能夠有效減少神經網絡收斂所需的時間,并且保留ViT網絡在自注意力上的優勢。

圖8 異常放電樣本時域頻域譜圖:(a)時域頻域均有明顯變化,(b)時域無明顯變化頻域有明顯變化,(c)時域頻域均無明顯變化Fig.8 The time-domain and frequency-domain spectrum of abnormal discharge samples: (a) significant changes in the time-domain and frequency-domain, (b) no obvious changes in the time-domain and obvious changes in the frequency-domain, (c) no obvious changes in the time-domain and frequency- domain

3 變壓器異常放電識別試驗

3.1 數據與試驗平臺參數

本文的試驗數據來源于110 kV三相三繞組變壓器無載調壓放電試驗中多路拾音器采集的數據。人工從數據中篩選出了240條放電樣本和1 200條未放電樣本,其中80%被隨機選取作為訓練樣本,剩余20%作為測試樣本。每個樣本的長度為5秒,采樣頻率為44.1 kHz,經過快速傅里葉變換后,頻域信號僅保留前22 kHz用于后續分析。圖8展示了三種不同放電強度案例的部分典型樣本。在時域中,(b)與(c)并沒有明顯的包絡變化,而(c)在時頻譜線中也僅出現了幾乎難以察覺的變化,即放電信號所攜帶的能量極低。因此,當放電瞬間的信號能量與非放電瞬間信號能量比例越相近時,該異常放電現象越微弱。

本次試驗平臺使用Linux 18.04操作系統,CPU型號Intel i9 9900X, 內存32 GB,GPU NVIDIA RTX Titan 24 GB。

3.2 聲紋數據特征提取方法對比試驗

為了選取最佳的聲紋特征提取方法,本部分使用了多種不同的聲紋特征提取方法進行比較,包括梅爾頻率系數以及本文提出的二維聲紋特征提取方法。為了找到最佳的二維聲紋特征提取方法,分別使用了不同數量的梅爾濾波器組進行試驗。在該試驗中,所有單幀特征都會通過時序合并的方式轉換為二維聲紋特征。為了保證使用統一結構的神經網絡,所有二維聲紋特征都將被縮放為尺度為448×448×1的特征張量,作為識別神經網絡的輸入。

本次試驗的識別對比結果如表2所示。通過識別率的比較可以發現,所提出的混合特征提取方法整體上要優于直接使用梅爾頻率系數進行特征提取方法。同時,無論是梅爾頻率系數還是所提特征提取方法,增加濾波器組數量時都會提升效果,但濾波器組的增加明顯會增加運算時間,因此需要在濾波器組數量與識別表現之間取得平衡。相較于傳統梅爾頻率特征提取方法,識別率提升約8.3%。相較于全頻段50 Hz最大值特征提取,識別用時減少約0.18秒/樣本。

表2 不同特征提取方法識別用時及識別率對比Tab.2 Comparison of recognition time and accuracy of different feature extraction methods

3.3 異常放電聲紋特征識別方法對比試驗

為了對比不同識別方法對異常放電聲紋信號的識別表現,本部分使用多種常見識別方法進行識別結果比較,其中包括LSTM、ResNet18、ResNet50以及本文提出的CNN+ViT方法。特征提取方法使用本文所提混合特征提取方法,識別結果對比如表3所示。

表3 不同識別方法識別用時與識別率對比Tab.3 Comparison of recognition time and accuracy of different recognition methods

由表3可知,所提方法相較于LSTM網絡,不僅在識別用時上減少295秒(約1.02秒/樣本),而且在識別率上提升18.4%,這說明異常放電與時序上下文關聯度不高,以LSTM為代表的時序識別網絡不適合于該任務。使用ResNet18與ResNet50網絡后,識別率上明顯提升。而單純使用ViT網絡,由于缺乏深度卷積神經網絡的語義提取能力,其提升效果極其有限。所提的CNN+ViT方法識別率表現得到進一步提升,相較于ResNet50識別用時僅增加46秒(約0.16秒/樣本),識別效果提升約4.5%,相較于ViT網絡識別效果提升約4.2%,證明基于CNN網絡的語義特征提取能夠較好的獲取二維化特征中的異常放電特征。

為進一步說明2.2節中本方法模型構建時減少編碼器模塊層數帶來的效果提升,本部分進行了修改前后的模型表現對比,對比結果如表4所示。

表4 編碼器模塊層數縮減前后模型表現對比Tab.4 Comparison of the performance of the model before and after the reduction of the number of encoder module

由上表可知,使用6層編碼器模塊的模型在第10次迭代時達到了最佳效果,而使用12層編碼器模塊的模型需要到第16次迭代才能達到相似的識別率。由此可見,在本任務中,適當減少編碼器層數不僅能夠減少模型的計算參數量,還有助于提高模型達到最佳效果的收斂速度。需要指出的是,兩個模型在達到最佳表現后均出現了下降的趨勢,這可以理解為由于數據總量及數據特征豐富度的局限性導致的過擬合現象。

4 結語

本文通過對采集的110 kV三相三繞組變壓器無載調壓過程中異常放電聲紋數據進行分析,提出了一種優化的二維聲紋特征提取方式,并構建了一個基于卷積神經網絡與Transformer架構網絡的混合異常放電特征識別方法。通過與現有特征提取方法及識別方法在識別用時與識別率上的對比,所提出的混合特征提取方法相較于傳統梅爾頻率特征提取方法,識別率提升約8.3%。與時序神經網絡LSTM相比,在識別用時及識別率上分別提升1.02秒/樣本和18.2%。相對于卷積神經網絡ResNet50,識別率提升4.5%,比ViT網絡識別率提升4.2%。試驗證明所提出的特征提取方法與識別方法在保證識別速度的同時,提高了異常放電聲紋的識別準確性。