基于改進YoloV4的電網變壓器油液滲漏檢測方法

陸志欣，田涵寧，郭國偉

(廣東電網 佛山供電局，廣東 佛山 528000)

0 引言

變壓器作為電網“變電”和“配電”環節的核心電器設備，保證其安全穩定運行意義重大[1]。當前變壓器主要分兩種：干式變壓器[2]和油浸式變壓器[3]，油浸式變壓器因制作工藝簡單、造價成本低、環境適應性強、壽命長等優點，而被廣泛應用，尤其是在特高壓線路和低壓戶外場景。油浸式變壓器相較于干式變壓器，最大的區別就是油浸式變壓器為實現散熱和絕緣功能，內部含有大量的介質液體“油”，俗稱變壓油，是變壓器的重要工作介質，能起到冷卻和滅弧等保護作用。

而在變壓器的工作過程中因質量、安裝運輸、工作環境和負荷多方面原因會造成電網變壓器油液滲漏[4]，不僅影響了變壓器散熱效率，而且導致水分進入、絕緣強度下降，從而引起絕緣擊穿、繞組燒毀等事故，將嚴重威脅電網的正常運行。

為減少電網變壓器油液滲漏情況的出現，電網工作人員會定期對變壓器進行巡檢，但因人力成本的原因，巡檢頻率較低，一般為月檢或季檢，無法實現全天候地對變壓器進行監測。

近年來，電網的重要設備周邊都部署了監控攝像頭，如何利用計算機視覺技術實時監測設備運行狀態，減少巡檢人力資源的消耗和保障巡檢人員的安全成為電網的迫切需求。

目前常用于電網設備監測的計算機視覺方法主要分為兩種：一是基于機器學習的圖像處理方法，通過分析應用場景下圖像的自有屬性特征如顏色、輪廓、大小、紋理形狀等人為設計特征[5-7]，分析出圖像的標志性的信息，標記和識別出圖像內容，最后通過分類器分類。此類方法特征提取簡單，計算量較小，在某些單一場景下表現優秀，但也受限于人工設計特征提取方法的局限性，在現實復雜場景下，易受復雜背景、光照亮度等影響和干擾，方法的魯棒性較差，可用性不強；二是基于深度學習的目標檢測算法，通過遷移當前廣泛應用于通用領域具有優異性能的目標檢測算法，如SSD(Single Shot multi-boxes Detector)[8]、YOLO(You Only Look Once)[9-13]、Retina Net[14]、Faster RCNN(Region Convolution Neural Network)[15-16]、Mask RCNN[17-18]等主流目標檢測方法，將電網設備正常運行狀態和異常狀態作為兩個不同目標來檢測，但這類目標檢測算法都采用卷積網絡模型作為主干網絡如VGG[19]、Residual Net[20]、Dense Net[21]等分類模型實現特征提取，其出發點是卷積結構在視覺圖像處理中擁有較好的空間局部偏置歸納性，可以幫助模型較好地提取局部特征和模型學習，但是局部偏置歸納的特性也限制了模型的全局感知能力和性能。

隨著Transformer[22]的提出，Transformer結構在自然語言處理領域有著廣泛的應用，且表現非凡。ViT[23]將Transformer引入到圖像處理領域，并取得了超越卷積神經網絡的性能。Transformer結構可以實現長距離跨度的相似度或關聯度學習，實現全局的信息感知，可以有效地提升模型的表現。但圖像的數據維度較高，進行高分辨率下的推理計算復雜度高，且優化較不穩定。為了加快推理速度，且進一步提升模型的性能，Mehta等人[24]提出了Mobile-ViT提出一種輕量級的ViT分類網絡模型，保證了較低計算量的同時也兼顧了卷積和Transformer的特性。

為了進一步實現對電網變壓器油液滲漏快速且準確的檢測，本文提出了一種改進YoloV4的電網變壓器油液滲漏檢測方法。本文貢獻主要有以下幾點：

1)本文提出了一種改進YoloV4的網絡模型，使用Mobile-ViT作為模型的骨干結構，利用卷積和Transformer有效地提取目標的局部和全局信息特征，降低了計算量。

2)本文在改進YoloV4模型的基礎上，針對性地提出了一種多尺度特征融合方法，實現了局部和全局信息的多尺度特征融合，增強了上下文語義表達，有效提升算法的檢測精度。

3)本文提出一種改進YoloV4的電網油液滲漏檢測方法及整體系統架構，同時構建了電網油液滲漏相關數據集。

1 電網變壓器油液滲漏檢測系統及方法

1.1 系統總體結構

針對電網變壓器油液滲漏實際應用需求，本文設計了一種油液滲漏檢測系統，系統的總體結構如圖1所示。主要包含有攝像終端，邊緣推理，云端數據和運維中心等4個部分。

其中攝像終端一般指包含有高清攝像頭，通過攝像頭實現對目標24小時的監控成像，獲取高分辨率圖像數據。

邊緣推理設備包含有硬件部分和軟件部分。其中硬件采用Atlas 200DK，主板芯片為昇騰310，內存規格為LPDDR4X 8G，支持16路H.264硬件解碼，功耗為20 W。軟件部分包含有Linux-18.04操作系統，Mind Spore推理框架。通過將圖像進行模型處理后得到輸出結果，將輸出結果與圖像通過網絡同時輸入到云端。

云端服務器包含有兩個方向的信息處理：一方面為接收邊緣設備的數據和預測結果。將獲取的圖像數據進行存儲和進一步標注后的模型訓練。云端服務器也可以將數據和指令傳輸給邊緣服務器實現模型的遠程部署和更新等相關任務。另一方面服務器可以接收和反饋運維中心的指令，運維中心通過下達指令可以調控和管理云端的數據存儲、標注、模型訓練及模型遠程部署等相關任務。此外，云端服務器會將檢測結果直接反饋給運維中心，并進行相應的處理結果提示。

通過基于深度學習的智能監控系統可以有效地實現變壓器油液滲漏的24小時的遠程全天候的監管、訓練和升級，這大大地提升了電網的智能化水平，有效地降低工作量，降低人力成本，提高系統的工作效率。本系統的核心部分為基于深度學習的模型檢測算法。

1.2 YoloV4算法模型

YoloV4目標檢測算法結構主要可分為3部分，主干網絡、頸部結構和預測層3部分構成，如圖2所示。

圖2 YOLOV4模型結構

其主干網絡采用CSPdarknet-53網絡模型作為特征提取模型；從主干網絡中獲取3個特征尺度經過頸部層進行信息的整合，預測層在整合后的特征上進行目標預測。CSPdarknet-53是一個純卷積的網絡結構，其提取的特征信息具備較強的空間歸納偏置；此外，CSPdarknet-53在深層尾部結構中增加了SPP(spatial pyramid pooling)結構，一方面，有利于擴大對全局信息的感知。盡管如此，但卷積結構缺乏足夠的全局信息獲取以及不同位置之間的相似關聯度感知用以目標預測，導致基于YoloV4的目標檢測算法對液面和陰影的檢測效果不佳。此外，CSPdarknet-53網絡結構的計算復雜度相對較高，在邊緣設備上推理速度較慢。

頸部結構采用PA Net結構，通過多尺度聚合不同尺度的特征用以融合多尺度上下文信息，對增強特征表達具有一定的效果。但是此結構特征層次串聯度嚴重，耦合程度較高，淺層的特征需深層網絡依次上采樣后融合處理。再將獲取到的融合特征送入預測層進行特征預測。此結構不利于并行計算，拖慢了檢測推理速度。

預測層包含了分類、坐標回歸和置信度3種預測分支用于頸部結構輸出特征的檢測與分類。

1.3 改進的YoloV4算法模型

針對上述問題和實際需求，為進一步提升YoloV4算法在電網變壓器油液滲漏的檢測性能。本文設計了一種改進YoloV4的油液檢測模型，其結構如圖3所示。本部分將從主干網絡、頸部結構、預測層3部分詳細介紹其結構。

圖3 改進YOLOV4模型結構。

1.3.1 主干網絡

為了改善原有CSPdarknet-53卷積模型對全局信息感知的不足和加快推理速度。改進的YoloV4模型引入Mobile-ViT結構代替原有CSPdarknet-53作為主干網絡。Mobile-ViT模型由MobileNetV2區塊和Mobile-ViT區塊堆疊構成，去除分類任務帶有的1×1卷積層、全局平均池化層和全連接層。其具體結構如表1所示。

表1 主干網絡(Mobile-ViT)結構表

其中：MV2表示MobileNetV2區塊，S1、S2表示Stride為1和2，MViTBlock表示Mobile-ViT區塊，LX表示Transformer的層數為x層。

此外，由于Transformer結構計算復雜度高，基于低分辨率下的特征處理有利于提升模型的運算速度。下面將詳細介紹MobileNetV2區塊和Mobile-ViT區塊結構。

1)MobileNetV2區塊：

MobileNetV2區塊采用深度可分離卷積有效地降低了卷積的運算復雜度和可訓練參數數量，極大地提高了模型的推理速度。

通過1×1的卷積實現特征維度的升維，緩解狹窄維度會降低信息流形特征傳遞的問題，采用3×3的深度可分離卷積提取表達特征，再采用1×1的卷積還原其輸入維度。在本網絡中包含有兩種類型的MobileNetV2區塊結構，如圖4所示。步長S取值為1的區塊結構如圖4(a)所示，采用殘差連接，防止反向傳播時梯度消失，其輸入輸出特征尺度保持不變；步長S取值為2的區塊結構如圖4(b)所示，用于降低特征尺度，實現特征下采樣。

2)Mobile-ViT區塊：

受限于Transformer處理需要二維線性數據流，因此，需將輸入的三維特征轉換為二維數據進行Transformer處理，將處理后輸出進行維度還原回復空間維度。因此，Mobile-ViT區塊包含了展開、Transformer層和折疊等三部分組成。其具體結構如圖5所示。

圖5 Mobile-ViT區塊結構

展開部分，輸入特征先后經過3×3和1×1的卷積，得到尺度為特征F將F劃分成N塊patches，每塊為Fs，其具體表達如公式(1)所示：

(1)

將Fs∈(h×w×d)按照h，w維度進行壓平，得到Fp∈(p×d)，其具體表達式如式(2)所示：

(2)

式中，p=w×h；FP表示展開后的特征；FS表示split后的特征。

然后，經過Transformer層部分的處理，FS(N，h，w，d)轉變為FP(N，p，d)，此部分展開處理與原有的不同，會將h，w，d三個特征維度進行壓縮，得到二維的特征。然而本區塊展開后的特征Fp為三維特征。在本區塊中，將得到的特征輸入FP進行按n次拆分輸入Transformer的處理結構中，其結構如圖6所示。

圖6 Transformer結構

輸入特征拆分為p1…pn，Fpi∈(N×1×d)，其中1≤i≤n；Fpi經過線性層得到FQ，FK，FV∈(nxd)共3個特征，將d分成j組，每組為dk個進行多個注意力處理。其表達式如公式(3)所示：

(3)

式中，Z表示元素個數，×表示矩陣乘法，σ表示Softmax函數；Ft∈(NxN)。

將得到的Ft與Fv矩陣相乘得到Fa′，再將特征聯合其它多頭得到Fa。其表達如公式(4)、(5)所示：

Fa′ =Ft×Fv

(4)

Fa=Concat(Fa′)

(5)

式中，Ft∈(NxN)表示Q特征，Fv∈(Nxdk)為V特征，表示分組特征分為j組，每組數量為dk，Fa∈(N，d)表示注意力特征，Concat表示融合層；

將Fa通過激活層和兩層線性層得到Fout，其具體表達式如式(6)和式(7)所示，通過聚合n層輸入折疊層。

Fpi=FFN(GeLU(Fa))

(6)

FP=Concat(Fpi)

(7)

式中，Fpi∈(Nxd)表示；FFN(·)表示兩層線性層，GeLU表示高斯誤差線性激活層。

在原有的Tran sformer自注意力結構需要與0特征圖里面每個區域進行相似關聯度計算，如圖7(a)所示。但在本文中，Transformer中每個patch采用了p=w×h分塊操作，并分別進行注意力特征計算，由于patch在輸入之前進行了3×3的卷積核計算，而每個patch的w和h的選取都為2，小于3。如圖7(c)所示。patch中的元素可以選擇只與相同位置的元素進行相似度計算。而不需要像Transformer一樣對所有的位置進行計算，一定程度上提升了Transformer推理的速率，如圖7(b)所示。

圖7 Transformer自注意力機制對比

折疊層部分與展開層剛好相反，將展開的部分還原成三維特征，如圖5所示。其具體的表達式如式(8)和式(9)所示：

(8)

(9)

式中，符號表達與式(1)和式(2)中的一致，并先后經過1×1卷積和3×3卷積得到輸出特征，其表達如式(10)所示：

F=Conv3×3(Conv1×1(F))

(10)

式中，F表示特征，Conv3×3表示3×3卷積，Conv1×1表示1×1卷積操作。

1.3.2 頸部結構

頸部結構可分為特征融合層和特征金字塔層兩個模塊。特征融合層分別從主干網絡中多個特征尺度上獲取卷積特征和Transformer自注意力特征；特征金字塔層通過采用并行的雙層金字塔結構實現特征多尺度運算，如圖2所示。

特征融合層分別從主干網絡的3個特征尺度上引出一組卷積特征和Transformer自注意力特征，將提取的特征分別經過1x1的卷積層進行特征聯合得到多尺度特征。

特征金字塔層可分為兩層：第一層是上采樣過渡層，第二層為下采樣過渡層。在上采樣過渡層中，將輸入的多尺度特征并行通過上采樣與淺層特征進行相加融合，其融合的過程為：深層特征采用雙線性插值的方式實現2x上采樣后，結合1×1的卷積與淺層特征實現通道維度對齊；淺層特征通過1×1的卷積層與上采樣后的深層特征通過對應元素相加的方式融合。

在下采樣過渡層中，將淺層特征通過下采樣與深層特征進行融合，下采樣過渡層中的淺層特征采用2×2的不重疊平均池化層實現特征下采樣。其余操作與上采樣過渡層基本相同。

與原有算法相比，特征融合層整合了卷積特征和Transformer自注意力特征，有利于整合局部偏置歸納信息和全局注意力特征信息。金字塔層通過采用并行的雙層金字塔結構實現多尺度信息融合和運算解耦，有利于提升模型精度和提高模型推理速度。

1.3.3 預測層

預測層包含有3個檢測分支，分別為置信度、分類和坐標回歸3種。將輸入的3個尺度的預測特征分別采用3×3的卷積層進行目標預測。本置信度表示為目標預測類別的概率值，置信度預測范圍為[0，1]，由Pr(Object)*IOU(Pred，Groundtruth)組成，其中Pr(Object)包含物體則表示Pr(Object)取1，否則取值為0。判斷是否包含該類物體，IOU(Intersection over Union)表示預測框與目標框的重疊區域占總覆蓋區域占比，這有利于篩選出背景和前景目標區域。類別預測是對包含有目標的框進行概率預測，其值范圍為[0，1]，判斷該目標框的概率匹配某類別的概率，總共包含C個類?；貧w框預測包含有4個值(x，y，w，h)其中x表示橫坐標，y表示縱坐標，w表示寬度，h表示高度。Anchor的個數和尺寸由數據集由聚類統計得到。因此，每次需要預測K*(4+1+C)個值，K為Anchor個數。

1.4 優化目標

對應預測層的3個檢測分支，對應的優化目標損失包含有置信、分類、坐標回歸3類損失。其中置信損失采用MSE損失計算，其如式(11)所示：

(11)

分類損失采用交叉熵損失計算，其具體表達式如公式(12)所示：

(12)

坐標回歸損失主要衡量預測真實值與anchor之間的偏移值的區間，這樣可以有效地降低坐標預測的不穩定性。采用MSE作為其損失如公式(13)所示：

(13)

txi=Gxi-Cxi；tyi=Gyi-Cyi

(14)

twi=log(Gwi/Cwi)；thi=log(Ghi/Chi)

(15)

式中，G表示真實框，C表示anchor的坐標，x，y，w，h表示中心點的坐標、寬度和高度。

總體的損失為置信、分類和坐標回歸3類損失之和。其表達如公式(16)所示：

L=λLloc+βLclass+ηLconf

(16)

式中，L表示總體損失，λ、β和η為系數常數，分別取值為1、1和0.5。

1.5 電網變壓器油液滲漏檢測算法模型實現流程

電網變壓器油液滲漏檢測算法模型具體實現的流程如圖8所示。首先將輸入圖像進行尺寸縮放，將圖像固定在256×256的輸入大小，再將圖像均值化，采用訓練樣本的均值和方差作為圖像均值化的估計參數。

圖8 電網變壓器油液滲漏檢測算法模型流程

然后，將圖像輸入到Mobile ViT主干網絡中進行多尺度特征提取，將提取的特征實現多尺度特征融合，進而構建出多尺度的特征金字塔層特征；在多尺度特征上進行目標預測，得到大量的不同置信度和目標區域重疊的目標候選框，需要進一步進行篩選，主要由置信度閾值和重疊區域非極大抑制兩方面構成。一方面，通過設定置信度閾值排除一部分低置信度的目標候選區域；另一方面將篩選出高置信度區域進行目標框非極大抑制操作(Non-Max Suppression)，將挑選出置信度最高的目標框作為正樣本和標準，依次計算與同類別其它目標框的交并比。最后，將交并比高的目標框進行去除，再繼續從剩下的低交并比目標框中重復此操作，直到篩選完所有的目標框，此操作進一步去除了高置信度且重疊的目標框，得到最后的目標預測框。

2 實驗和結果分析

2.1 數據采集及增廣

目前，針對電網中電網變壓器油液滲漏領域內，沒有通用的開源數據集。通過整理配電日常工作中變壓器出現油液滲漏異常時的視頻數據，對其進行了篩選，截取電網變壓器油液滲漏圖像，同時結合網絡上開源的電網變壓器油液滲漏圖像，總共獲得了4 000張電網變壓器油液滲漏圖像，形成了電網變壓器油液滲漏數據集。圖9為本文構建數據集的部分數據示例。

圖9 電網變壓器油液滲漏樣本示例

再根據4：1的原則做訓練集測試集劃分。訓練集的圖片數據為3 200張，測試集的圖片數據為800張。

同時本文在訓練算法模型前，采用了旋轉、翻轉、明暗度調整、旋轉、隨機擦除和Mosaic等方式對訓練集進行了數據增廣。其示例如圖10所示。

圖10 數據集增廣圖像

2.2 實驗環境及參數

本文實驗固定輸入圖片尺寸為256×256，采用在Image Net上預訓練的模型作為主干網絡。在訓練中將固定主干模型的參數，同時，新增層參數采用Kaiming初始化方式進行初始化。在檢測訓練中，本文設定學習率為0.001，終止學習率為1×10-7，采用步進學習率(Step_lr)的方式訓練35個周期，分別在10，20，25，30上逐次降低0.1，批尺度為64。采用自適應隨機梯度下降的方式進行權重優化，其中衰減權重系數設置為0.95。錨定框尺寸采用Yolov4的聚類策略進行設定，其長寬尺寸比為1∶1，1∶2，2∶1，1∶5。本文實驗設備為NVIDIA RTX2080ti GPU計算平臺，在UBUNTU18.04操作系統下，使用Pytorch2.0深度學習框架訓練算法模型。

2.3 模型評估指標

為了評估檢測模型的檢測效果，本文統一采用目標檢測常用的精度評價指標，值越大表示檢測模型的總體識別準確率越高。同時，為了準確測試出目標檢測模型檢測的速度，本文統一采用速度評價指標FPS(frame per second)，即模型每秒處理圖像的張數，其值越大，證明模型檢測速度越快。

2.4 消融實驗

為了驗證本文方法各部分的有效性，本文對提出的改進的方法(MViT-YoloV4)各組成部分進行消融實驗，消融實驗的結果如表2所示。消融結果表明：直接結合MobileNet ViT和YoloV4的目標檢測方式相對原有YoloV4目標檢測方法有著一定差距，單純引入注意力網絡結構并不能帶來性能上的提升。數據增廣對模型性能有一定的提升；增加特征融合層提升了2.7個百分點，有效地說明了全局信息特征和局部信息特征的有效融合有利于提升模型的檢測效果；增加特征金字塔層可以提升了3.2個百分點；特征融合層與特征金字塔層的增加對模型的表現效果最佳，二者總共提升了5.2個百分點。此外，本文嘗試引入原有YoloV4模型的SPP(Spatial pyramid pooling)結構用于特征維度的對齊，發現其并不能較好提升模型的表現能力。本文推測可能是SPP層可能會破壞原有的全局感知特征，導致造成信息的丟失和特征不對齊等問題，這與純卷積結構的作用效果并不完全一致。

表2 消融實驗結果

2.5 對比實驗結果與分析

為了驗證本文方法整體的有效性，在相同實驗環境下，訓練和測試了Faster R-CNN、SSD、YoloV3、YoloV4、MV2-YoloV4等模型，與本文設計的模型進行了精度、速度和參數量進行全方位對比。實驗結果如表3所示。

表3 模型精度、速度對比

如表3所示，本文方法為MViT-YoloV4，在精度上遠高于Faster R-CNN、SSD、YoloV3等方法，同時比原有的YoloV4模型提升了2.6個百分點，相比MV2-YoloV4(MobileNetV2-YoloV4)模型提升4.2個百分點。同時，在模型速度對比中，本文方法僅低于MV2-YoloV4，高于對比的其他方法，說明輕量化模型比基線模型上存在著一定的速度優勢。此外，本實驗發現推理速度與參數量之間的關系并不存在著對應的近似線性的關系。YoloV4模型參數量比Yolov3要多，但是其推理速度反而要略快些，MV2-YoloV4參數量是YoloV4的1/6，但速度卻快了不到1倍。

從實驗結果表明本文的方法在電網變壓器油液滲漏檢測任務中檢測精度和速度均取得了較好的效果。相對于YoloV4模型，本文方法在電網變壓器油液滲漏檢測精度由92.7%提高到95.3%。此外，在邊緣設備上進行測試對比發現，MViT-Yolo V4在Atlas NPU的基礎上其推理速度可以達到43FPS。圖11為電網變壓器油液滲漏實際檢測效果圖。

圖11 測試效果示例圖

3 結束語

如何快速并準確發現設備異常是保障電網安全與穩定的前提之一。針對電網變壓器油液滲漏檢測問題，本文提出一種改進YoloV4的電網變壓器油液滲漏檢測方法。該方法使用Mobile-ViT作為模型的骨干結構，利用卷積和Transformer有效地提取目標的局部和全局信息特征，降低了計算量。同時本文在改進YoloV4模型的基礎上，針對性地提出了一種多尺度特征融合方法，實現了局部和全局信息的多尺度特征融合，增強了上下文語義表達。本文方法有效地增強了檢測模型的泛化能力和適用性，提高了電網變壓器油液滲漏準確率和速度。但是Transformer結構的計算復雜度依舊相對較高，下一步將繼續在提高模型檢測準確率和速度的基礎上，研究進一步降低模型的計算量和誤檢率的可能性方案。