基于深度學習的變電設備紅外熱像識別

曹恩宇，王旭紅

（長沙理工大學電氣與信息工程學院，長沙 410114）

0 引言

變電站安全可靠的運行關系重大，在電力設備安全運行中，監測變電設備的溫度和診斷分析熱故障是尤其重要的［1］。隨著科技的不斷發展，國內很多變電站通過將紅外監測設備安裝在電力巡檢機器人或者無人機等移動平臺上，以這種智能監測的方式來代替人工巡檢，雖然可減輕人工巡檢的一些負擔，但變電站中的變電設備種類多、分布密集，目前國內大部分的變電站識別和診斷紅外熱像所使用的仍是效率低且復雜的人工方法［2-3］。因此，有必要研究出一種無須人工參與且高效的變電設備紅外熱像識別技術。在變電設備紅外熱像識別技術中，為了保證識別的準確性，必須解決的一大難點就是變電站復雜的環境和密集的建筑物［4］。由于極端氣候造成的雜波和噪聲干擾，以及變電站設備與背景建筑之間的溫差較小，所以背景環境和變電站設備無法有效分離，會導致識別精度較低［5］。

紅外熱像增強算法可以有效改善圖像對比度低、噪聲污染嚴重、視覺效果差的問題［6］。大多數現有的基于Retinex 的方法需要手動設置約束和參數。當應用于不同場景時，這些人為設置的約束和參數可能會受到模型容量的限制［7］，該技術被廣泛應用于圖像增強領域。文獻［8］提出了一種數據驅動的RetinexNet 圖像增強算法，不僅解決了模型容量的限制，而且具有良好的增強效果。經過近幾年的不斷研究，國內許多研究機構開始著手于將深度學習應用于變電設備的識別中，并取得了一定的進展?；贔aster RCNN 的紅外熱像缺陷檢測方法使用深度學習算法，雖然能夠準確地定位和識別紅外熱像，彌補了傳統方法在識別的準確率上的不足，但是沒能優化低對比度情況下的紅外熱像識別精度［9］，而且Faster RCNN 等兩階段模型所需要的檢測時間較長，實時性無法得到保障［10］。將自適應感知模塊和YOLO-v3 網絡結合進行絕緣子缺陷定位和識別的方法，對檢測的定位速度和識別精度均有所提升［11］。由于沒有圖像預處理這一環節，因此在復雜的環境背景中該方法的最終識別效果會被噪聲等因素影響。

本文研究了一種基于深度學習的變電站設備紅外熱像增強和識別的方法。首先使用RetinexNet 圖像增強方法，解決變電站設備紅外熱像溫度分布過于集中、對比度低、變電站背景復雜等問題，為準確識別變電站設備紅外熱像創造有利的條件；然后利用YOLOX-Darknet53 算法對變電設備進行識別。該方法能夠滿足變電站智能監測在準確性、高效性以及實時性上的要求。所設計的變電設備紅外熱像識別流程如圖1所示。

圖1 變電設備紅外熱像識別流程圖Fig.1 Flow chart of infrared thermal image recognition for substation equipment

1 基于RetinexNet 的圖像增強

1.1 RetinexNet 算法介紹

Retinex 理論是由Land 等學者［12］于1971 年提出的，這是一種模擬人眼感知顏色和亮度能力的理論。Retinex 算法可以從圖像中估計出入射光和出射光的強度，減少入射光對反射光的影響，從而增強圖像。Retinex 理論將圖像視為光照分量I和反射分量R的乘積即：

式中，S為原始圖像，I為原始圖像的光照分量，R為原始圖像的反射分量。RetinexNet 算法是一種基于Retinex 理論和CNN 算法的低照度圖像增強算法，該算法集成了圖像分解和連續圖像增強操作，RetinexNet 算法流程圖如圖2 所示。

圖2 RetinexNet 算法流程圖Fig.2 Algorithm flow chart of RetinexNet

1.2 RetinexNet 網絡結構

RetinexNet 算法分為三個步驟：分解、增強和重建，該框架如圖3 所示。其中，分解步驟是對圖像的光照分量I和反射分量R進行分解；增強步驟主要是抑制反射分量R的噪聲，同時矯正圖像的光照分量I；重建是通過式（1），將處理后的I和R相乘，構建出調整后的正常光照下的圖像。

圖3 RetinexNet 網絡結構圖Fig.3 Network structure diagram of RetinexNet

1.2.1 分解

在RetinexNet 網絡的分解步驟中，使用多個3×3 卷積層、ReLU（Rectified Linear Unit）激活函數和池運算來提取不同級別的圖像特征。為了結合U-Net［13］的思想，首先進行上采樣，以確保組合特征圖的大小一致，并將前幾層的特征圖引入更深一層，進行復制和拼接，然后進行特征融合，以獲得更完整的細節特征圖。最后一個3×3 卷積層從特征空間投影光照分量和反射分量，并通過Sigmoid 函數將光照分量和反射分量約束在［0，1］的范圍。

分解模型的損失函數L包括重建損失（Reconstruction Loss）、反射分量一致性損失（Invariable Reflectance Loss）和光照分量平滑損失（Illumination Smoothness Loss），如式（2）：

式中，Lrecon為重建損失，Lir、Lis分別為反射分量一致性損失和光照分量平滑損失，λir、λis則分別為反射分量一致性和照度分量平滑度的系數。

重建損失Lrecon函數表達式：

該函數的作用是使分解出來的反射分量R和光照分量I，盡可能多地重建相應的原始圖像。

光照分量平滑損失Lis函數表達式：

式中，low 和normal 分別代表低光照圖像和正常光照圖像，λg表示平衡結構感知強度的系數，?Ii為所分解出的圖像光照分量的梯度值，?Ri為圖像反射分量的梯度值。假設一個光照分量I，在紋理細節上比較平滑，并且能夠較好地保留整體結構［14］，則該函數通過對反射分量R求梯度，來給光照分量I的梯度圖分配權重，使得分解出的光照分量是分段平滑的。

反射分量一致性損失Lis函數表達式：

式中，Rlow為低光照圖像的反射分量，Rnormal為正常光照圖像的反射分量。根據Retinex 分解理論，圖像的反射分量R和光照無關，因此圖像反射分量的一致性受到該函數的約束。

1.2.2 增強

通過算法的分解網絡可得到低光照圖像的Ilow和Rlow在RetinexNet 算法的增強步驟中，使用增強網絡對Ilow進行調整，使用BM3D（Block-matching and 3D filtering，三維塊匹配濾波）算法對Rlow進行去噪增強。。

RetinexNet 網絡的增強網絡遵循編碼器-解碼器架構。首先，利用編碼器對Ilow進行小尺度逐次下采樣，使網絡能夠學習到大區域的光照分布，下采樣塊由一個步長為2 的卷積層和一個ReLU 組成。其次，利用解碼器對具有大規模光照信息的增強光照圖進行重建。在上采樣操作中，采用多尺度拼接的方法來保持全局照度和局部照度分布的一致性。上采樣塊由ReLU 激活的調整大小的卷積層組成。通過單元求和，在下采樣塊與對應的上采樣塊之間引入跳躍連接，迫使網絡學習殘差。編碼器-解碼器結構含有M對下采樣和上采樣塊，在實驗中M取值為5，在保持良好處理速度的同時，提供了良好的增強結果。最后，將所有重建通道進行級聯，并將結果通過1×1 卷積層和3×3 卷積層進行推送，重建增強光照圖I^low。

一般來說，由于各種條件的限制和隨機干擾，采集的圖像包含大量的噪聲，改變了原始圖像中事物的特征，直接對圖像進行分析會造成偏差。BM3D 算法是一種基于三維變換濾波的算法，是實現圖像和視頻降噪的最佳算法之一。BM3D 算法分為兩個步驟，第一步是基本估計，第二步是最終估計，在基本估計中得到權重參數，然后通過所得到的權重來過濾噪聲。

輸入低光照圖像的反射分量Rlow，經BM3D 算法的基本估計步驟，對圖像進行分塊組合，針對輸入的低光照圖像目標塊，以滑動搜索框的方式找到M個相似塊，對圖像進行DCT 變化后再用歐氏距離衡量相似程度，以從小到大的順序進行排序，得到一個由M個相似塊組成的三維數組；然后將三維數組中每個塊相同位置的像素點構成一個數組，將其中小于超參數的值置零，并統計非零成分的數量，對三維矩陣進行逆變換；最后將逆變換后的塊放回原位，利用非零成分數量統計疊加數權重，將疊放后的圖除以每個點的權重就得到了基礎估計的圖像。通過基礎估計處理后就能很好地消除圖像中的噪點，但是需要去除低頻系數上的噪聲并還原更多的圖像細節。在BM3D 算法的最終估計步驟中，首先根據基礎估計后的圖像與輸入的低光照圖像通過歐式距離衡量基礎圖中的塊與低光照圖像之間的相似度，得到兩個三維數組；然后對兩個三維數組都進行DCT 變換和一維變換，用維納濾波根據基礎估計圖像上的變換系數，對低光照圖像形成的三維矩陣進行系數放縮；最后將系數與低光照圖像的3D 圖塊相乘后放回原位，并做加權平均調整，就得到了最終估計圖的。

1.2.3 重建

RetinexNet 算法在通過增強模型對分解后的低光照圖像的反射分量和光照分量增強后，得到相應的和。在重建步驟中，將其通過式（1）計算，可以恢復出正常光照圖像。

2 基于YOLOX-Darknet53 網絡的紅外熱像識別

在目標檢測算法中，YOLO 系列占據了重要的地位，目前使用最廣泛的是YOLO-v3［16］。最新版本的YOLOX 是由北京曠視科技有限公司于2021 年開發的，與之前的YOLO 系列相比，YOLOX 在識別速度和識別的準確率上更有優勢。

2.1 YOLOX-Darknet53 網絡結構

YOLOX-Darknet53 網絡結構圖如圖4［17］所示，將YOLOX-Darknet53 網絡分為四個部分：輸入端、骨干網絡（Backbone）、頸部（Neck）和預測層（Prediction）。

圖4 YOLOX-Darknet53 網絡結構圖［17］Fig.4 Network structure diagram of YOLOX-Darknet53

（1）輸入端：YOLOX-Darknet53 主要采用兩種數據增強方法，即Mosaic 和Mixup。Mosaic 是YOLO-v3推出的一種非常有效的增強策略，通過隨機縮放、隨機剪裁和隨機排列的拼接可以顯著提高小目標的檢測效果，而Mixup 是一種基于Mosaic 的附加增強策略。通過這兩種數據增強方法，直接將YOLO-v3 baseline提高了2.4 個百分點。

（2）骨干網絡（Backbone）：YOLOX-Darknet53 的Backbone 骨干網絡與YOLO-v3 baseline 的骨干網相同。兩者均采用Darknet53 的網絡結構，該網絡由一系列1×1 和3×3 卷積層組成。由于該網絡有53 個卷積層，因此被稱為Darknet53。

（3）頸部（Neck）：與YOLO-v3 baseline 相比，YOLOX-Darknet53 并沒有改善Neck 結構，而是采用同樣的FPN 結構進行融合。FPN 能夠通過上采樣，從上到下傳遞和融合金字塔的高層特征信息，提高了對小目標的檢測能力，在模型的性能方面也有顯著的優化效果。

（4）預測層（Prediction）：在YOLOX 的預測層，使用了三個解耦頭（Decoupled Head）。此外，預測層還包含了標簽分配策略SimOTA（Simplified Optimal Transport Assignment）、Anchor-free 檢測器、Loss 計算。

2.2 YOLOX 的改進

盡管過去使用的YOLO 系列是一種很好的目標檢測模型，但近年來，這一系列模型并未從目標檢測領域引入無錨框（anchor-free）檢測器、端對端檢測器（NMS-free）和更好的Label Assignment 技巧。為了提升目標檢測的性能，YOLOX 結合了YOLO 檢測器與無錨框檢測器，引入了解耦頭并使用標簽分配策略，有效地提升了目標檢測的速度和精度。

2.2.1 無錨框（anchor-free）檢測器

以往的YOLO 算法中未使用anchor-free 檢測器，多使用anchor-based 檢測器，而在YOLOX 中引入了anchor-free 檢測器。anchor-based 檢測器與anchor-free 檢測器相比，有些許不足之處：首先，在Anchorbased 檢測器中，由于這些錨框只能應用于對應的區域，因此降低了算法性能；其次，錨框會使得模型的復雜度提高，同時也會增加預測圖片的數量。

現在，anchor-free 不僅優化了訓練和解碼階段的復雜度，而且其檢測速度和精度已經不亞于anchorbased［18］。

在引入了anchor-free 檢測器后，YOLOX 變成了一種無錨方式?？梢詫⒚總€物體的中心點指定為正樣本，并提前校準刻度范圍，以指定每個對象的FPN 級別。經過這樣的修改，參數和檢測器GFLOPs 都降低了，因此其檢測速度更快，精度更高。

2.2.2 解耦頭（Decoupled Head）

目前，許多一階段網絡，如RetinaNet 和FCOS 等，都會應用解耦頭。解耦頭結構主要考慮目標檢測中分類和回歸的不同內容，因此采用不同的分支進行操作，以提高檢測效果。

通過實驗，分析了耦合的檢測頭對系統性能的不利影響，所以提出了以下方法。

（1）使用一個解耦頭代替YOLO 的頭部，可使模型的收斂速度更快。

（2）用一個輕量解耦頭取代YOLO 檢測頭，這個解耦頭包含一個1×1 卷積層，該卷積層可使信道尺寸減小，在這個卷積層后面是兩個并行的分支，每個分支都帶有兩個3×3 卷積層。2.2.3 標簽分配策略SimOTA（Simplified Optimal Transport Assignment）

在標簽分配策略中，OTA 所解決的是錨點分配（Anchor Assignment）問題。通常，在分配正樣本和負樣本時，我們根據錨框和分割圖像的交并比IoU（Intersection of Union）進行分配。正、負樣本的分界線與遮擋情況，以及目標的形狀、大小是緊密相關的，而且如何分配正負樣本需要從全局考慮。因此，在線性規劃中，錨點分配通常被視為一個傳輸優化問題。這一策略的核心思想是建立一個代價矩陣。假設一個大小為N×P的代價矩陣中分割圖像的數量為N個，錨框的數量為P個。錨框和分割圖像的損失值由代價矩陣中的元素來表示。每對GT 和anchor 的成本與損失值相關，損失值越大則成本越高。優化傳輸是為了以最小的代價來選擇錨框和分割圖像的匹配度。YOLOX 的開發者發現，在優化傳輸問題的過程中，使用Sinkhorn-Knopp 算法所花費的訓練時間會額外多出25%。因此，可將這個算法過程從整個網絡結構中抹去。

3 實驗過程與結果

3.1 數據集的構建與訓練

為了構建數據集，在訓練YOLOX-Darknet53 網絡之前，本文選擇了8 種變電站中常見的變電設備，分別為隔離開關觸點（isolation）、電流互感器（CT）、隔離開關進線（isolation_in）、避雷器（LA）、隔離開關出線（isolation_out）、電壓互感器（PT）、斷路器（breaker）和接地開關（ground_switch）。

使用紅外熱像儀采集到的樣本數量為3 000 張，其中電流互感器與電壓互感器圖像各500 張，隔離開關觸點、進線、出線的圖像各400 張，斷路器、避雷器圖像各300 張，接地開關圖像200 張。樣本數據集在經過圖像增強后擴展至10 000 張。為保證訓練過程中訓練樣本充足，本文留下數據集中10%的圖像作為測試集，其余的圖像作為訓練集。在硬件方面，訓練所使用的計算機搭載了兩個2080ti 的GPU，并使用MegEngine框架來訓練YOLOX-Darknet53 網絡。為了提升模型的學習速度，在訓練的過程中加入了Adam［19］優化算法和遷移學習。在訓練過程中所檢測到的參數，都會在整個訓練結束后被系統自動保存。

3.2 背景溫度干擾下不同圖像增強算例對比

圖5 為在背景溫度干擾下，分別使用帶色彩恢復的多尺度Retinex 算法（MSRCR）、帶色彩保護的多尺度Retinex 算法（MSRCP）與本文所使用的RetinexNet 圖像增強算法的效果對比圖。在不同的天氣下，變電設備經常會因為與背景環境溫差小，使得紅外熱像對比度低，無法從背景中分割出變電設備。從圖5 中可以看出，本文所使用的增強方法，可以明顯提升變電設備與周圍建筑以及背景環境的對比度，以減少干擾，更易識別。

圖5 背景溫度干擾下不同圖像增強方法對比Fig.5 Comparison of different image enhancement methods under background temperature interference

為進一步說明本文所使用的增強算法的優越性，實驗中分別用峰值信噪比［20］（PSNR）、平均結構相似度［21］（SSIM）兩個圖像融合的質量評價方法來與不同的算法做比對，如表1 所示。兩個數值分別代表著圖像的質量、與原圖的差距。其中PSNR 的數值與圖像質量相關，PSNR 值越大，則圖像質量越好；SSIM 的數值越大，與原圖的差別就越小。

如表1 所示，本文所使用的紅外熱像增強算法的PSNR 值最大，SSIM 值最小，增強的效果最好，對于提升變電設備的紅外熱像識別精度十分有利。

表1 不同的圖像增強算法對比Tab.1 Comparison of different image enhancement algorithms

3.3 YOLOX-Darknet53 網絡的識別算例

本文所使用的YOLOX-Darknet53 網絡總共進行了68 次迭代訓練，耗時150 min，最終損失值如圖6 所示，收斂在2.65。

圖6 損失收斂過程Fig.6 Loss convergence process

在1 500 幅紅外熱像上測試本文所使用的檢測算法，選取的變電設備紅外熱像皆為背景溫度干擾較大的圖像，使用本文提出的圖像增強方法前后的識別結果對比如圖7 所示，算法識別出的不同的變電設備被標記為不同顏色的矩形框。

由圖7 可知，不僅訓練過后的變電設備幾乎都能被識別出來，而且識別的置信度很高。本文通過表2 所列舉的指標對該YOLOX-Darknet53 網絡的性能進行評價。

圖7 圖像增強前后的識別結果對比圖Fig.7 Comparison of recognition results before and after image enhancement

由表2 可知，使用本文所提出YOLOX-Darknet53 網絡，8 種變電設備的平均精確度為96.51%，F1-score 為96.77%，召回率為97.04%。將YOLOX-Darknet53 網絡與YOLO-v3 網絡進行比較，YOLOXDarknet53 網絡比YOLO-v3 網絡的平均檢測速度提高了1.19 ms/張，平均F1-score、平均精確率、平均召回率分別提高了2.65%、3.79%和1.45%。該結果說明了將YOLOX-Darknet53 網絡的檢測算法用于變電設備的紅外熱像識別比使用傳統YOLO-v3 方法的效果更佳。

表2 8 種不同設備的識別結果Tab.2 Identification results of 8 different devices

4 結論

使用RetinexNet 紅外熱像增強算法能夠有效克服夜間、溫度分布均勻等情況下，被檢測設備與背景融為一體難以識別的缺點。在實驗中，通過對使用YOLOX-Darknet53 網絡與YOLO-v3 網絡的算例識別結果進行比較可知，使用本文所提的YOLOX-Darknet53 網絡的平均檢測速度較YOLO-v3 網絡提高了1.19 ms/張，而平均F1-score、平均精確率、平均召回率分別提高了2.65%、3.79%和1.45%。由實驗結果可知，本文所提紅外熱像識別方法具有良好的準確性、實時性，能夠滿足在變電站復雜場景中的實時監測要求。