基于改進PP-YOLOv2的紅外圖像電力設備檢測

高 偉,郭美青,張興忠,劉 軍

(1. 國網山西省電力公司互聯網部,山西 太原 030000;2. 太原理工大學軟件學院,山西 晉中 030600)

1 引言

保持電力設備安全穩定的運行是系統運維的首要任務,及時監測設備的運行狀態,能夠預防由設備缺陷或故障引起的電網事故發生。紅外熱成像技術具有非接觸、全天候監測的特點,在電力系統運維的安全性、可靠性、經濟性等方面具有明顯優勢。但目前對電力設備紅外圖像的分析仍需依賴經驗豐富的工程師[1],需消耗大量人力和時間成本,極大地降低了設備狀態監測效率,因此基于紅外圖像的目標檢測及應用已成為當前電力領域人工智能研究的熱點,而對目標快速精確地定位是實現電力智能巡檢的前提和關鍵。

目前針對電力設備目標定位的計算機視覺技術主要分為兩類:一類是基于圖像處理的檢測方法;另一類是基于深度學習的檢測方法[2]?；趫D像處理的檢測方法大多基于提取目標的某些特征,或再輔以特征的訓練得到特征分類器[3]。曾軍[4]等提出改進的K-means算法對圖像進行分割,然后結合SURF算法和感知哈希算法完成設備的定位。郭文誠[5]通過對電力設備提取Zernike矩特征,再應用相關向量機分類器實現設備的分類識別。但是該類方法通過手動特征提取的方法與目標特性緊密相關,在應用中具有一定的局限性,且檢測時間較長,人工無法短時間實現對大規模復雜設備特征進行提取的設計工作,并不能滿足電網快速發展的需求[6]?；谏疃葘W習的目標檢測方法在電力巡檢工作中的應用,表現效果最好的還是以檢測少類目標或背景簡單的目標為主。劉子全[7]借鑒并改進Mask-RCNN方法,利用圖像語義分割識別紅外圖像中的一個或多個電力設備,實現模型檢測精度的進一步提高。黃銳勇[8]采用CenterNet結合結構化定位的算法模型,從復雜的紅外圖像中以較高的準確率將不同變電站設備及其部件識別定位。

相較于傳統的圖像處理方法,深度學習方法在檢測效果上既提高了精度又提高了速度,但在應對復雜環境變化、精度、處理速度等方面仍需持續改進[9]。因此,研究者們也逐漸將研究重點轉移到保證必要檢測精度的前提下盡可能提高檢測效率。YOLO系列算法以其又快又好的效果在學術及產業界全面風靡,鄭含博[10]提出改進YOLOv3的電力設備紅外目標檢測模型,對設備快速精確地檢測定位;劉楊帆[11]提出改進YOLOv4的空間紅外弱目標檢測方法,滿足了空間紅外弱目標檢測任務的需求。舒朗[12]提出Dense-Yolov5的網絡模型,提高了對紅外目標尤其是特征不明顯的小目標的識別效果。Huang X[13]等首次提出了PP-YOLOv2模型,在檢測速度和精度上均表現出了巨大優勢,本文將該模型首次應用于電力設備紅外圖像的目標檢測。

研究發現原始模型存在幾個問題:模型高性能是根據自然圖像公開數據集中的目標得到,電力場景下的紅外圖像與自然圖像存在較大差異,以往的目標檢測算法沒有充分考慮到這種情況,導致檢測效果不理想,因此不完全適用于該目標檢測任務;深度學習方法需要大量的訓練樣本,而復雜電力環境下獲取大量完備紅外圖像進行分析的難度較高,因此對小樣本數據集下目標檢測有一定難度[14]。針對以上問題,本文基于PP-YOLOv2,提出小樣本條件下的紅外圖像數據擴增方法Mix＿Grid,增強模型的泛化能力及魯棒性;在特征提取階段,融合注意力機制,優化主干網絡,提高檢測精度;在模型訓練損失函數部分,引入梯度均衡機制,解決正負樣本與難易樣本不平衡問題,提高對各類設備的識別能力。

2 數據集及預處理

2.1 數據集構建

本文建立的電力設備紅外圖像樣本數據庫,來源于運檢部門歷次采用FLIR＿P630紅外熱像儀采集的紅外圖譜數據,包括絕緣子、套管、電流互感器、斷路器、變壓器、電壓互感器、隔離開關等八種典型設備類型,圖像分辨率640×480。數據集經篩選剔除后得到的總樣本數為594幅。每張圖像包含多個設備。該數據集是一個相對小型的數據集,圖像數量未達到充足和完善的工業檢測領域要求,為避免卷積網絡的過擬合問題,數據增強技術是解決該問題最有效的方法。部分樣本如圖1所示。

圖1 部分樣本圖

2.2 數據增強

紅外圖像具有對比度較低、設備特征信息不明顯、各目標特征差異集中在較小部位等特點,為保持對真實數據的良好了解,避免嚴重破壞特征的完整性,設計了一種快速、高效的數據增強方法Mix＿Grid,主要通過多樣本數據增強方法與基于區域刪除的Gridmask方法的結合,一方面旨在關注樣本的顯著性區域,豐富被檢測目標的背景,增加數據集的多樣性,另一方面有效加大訓練難度,防止過擬合,在一定程度上增強網絡的泛化能力,使網絡具有更好的魯棒性。Mix＿Grid方法流程如圖2。

圖2 Mix＿Grid數據增強方法流程圖

首先,多樣本數據增強具體過程為:將圖像進行灰度化與高斯濾波處理,去掉不必要的像素點;利用紅外圖像具有明顯的亮度特征,對其進行Otsu閾值分割;采用DBSCAN算法對坐標值進行聚類,對其進行圖像形態學處理,生成mask;兩張圖像分別與mask、1-mask相乘疊加的得到融合圖像。

其次,Graidmask[15]方法通過刪除圖像的信息來減少數據的過擬合,增強模型對圖像局部空間特征的學習,降低模型的泛化能力,提高網絡魯棒性。相較于其它信息刪除方法,Graidmask通過簡單的網格掩碼,刪除均勻分布的正方形區域,以極低的計算預算,避免過度刪除圖像中的重要信息,又避免沒有刪除到目標信息而不能起到增加網絡泛化能力的作用。實現過程如圖2右側所示,主要通過生成一個和原圖相同分辨率的mask,然后將mask與原圖相乘,得到特定區域信息刪除的新圖像。其中虛線框部分為基本的mask單元,(s,k)表示第一個mask單元離圖像邊緣的距離,t為保留圖像的比例,r為mask單元的邊長。

3 電力設備紅外圖像目標檢測模型

3.1 PP-Yolov2模型

PP-YOLOv2模型主要包括特征提取網絡Backbone、特征融合網絡Neck和多尺度預測網絡Head三部分。首先模型選擇ResNet50vd-DCN作為骨干網絡,ResNet50vd是擁有50個卷積層的ResNet-D網絡,并即在ResNet的最后一個階段增加可變形卷積(Deformable Convolution,DCN),引入極少計算量而提高模型檢測精度。其次模型采用路徑聚合網絡(Path Aggregation Network,PANet)作為特征融合網絡。PANet避免了信息丟失問題,先進行自頂向下的特征融合,再進行自底向上的特征融合,使得底層信息更容易傳遞到頂層,拼接后的信息既包含底層特征也包含語義特征。在經過PANet結構后,輸出3維特征圖。Head部分使用卷積對其進行編碼,然后將其經過矩陣非極大抑制算法后處理,調整先驗框得到最終檢測結果。

3.2 改進的PP-YOLOv2模型

數據集通過現場多種拍攝角度收集,可能存在溫度間界限不明顯、目標輪廓模糊、背景干擾較為嚴重、被紅外探測設備顯示的實時數據遮擋,導致檢測難度較大等問題,此時算法的有效性和高效性尤為重要。PP-YOLOv2模型有較強的檢測能力,但它對紅外圖像沒有針對性,特征提取效果較差。針對PP-YOLOv2網絡對因受部分遮擋和紅外圖像信息較少而使設備目標置信度較低、錯檢和漏檢等情況,本文優化PP-YOLOv2模型,在特征提取階段,融合協調注意力機制[16](Coordinate Attention,CA),優化主干網絡,提高檢測精度;在模型訓練損失函數部分,引入梯度均衡機制[17](gradient harmonizing mechanism,GHM)解決樣本不平衡問題,提高對設備特征的預測能力。最終該模型可在復雜背景下對相似目標、遮擋目標均具有很強的識別能力。改進模型的結構如圖3所示。

圖3 改進的PP-YOLOv2網絡結構

3.2.1 CA注意力模塊

原模型中采用通道注意力機制(Squeeze and excitation Network,SENet)[18]為各種深層卷積架構帶來性能提升。但SENet只考慮內部通道信息而忽略位置信息的重要性,位置信息對于生成空間選擇性注意力特征圖極其重要。與通常場景相比,復雜電力場景下的紅外目標檢測中對位置預測的要求更高。而CA注意力模塊同時考慮了通道間關系和位置信息,不僅捕獲跨通道的信息,而且包含位置敏感的信息,因此模型能更準確地識別并定位到目標區域。且注意力機制消耗的顯存和計算量與輸入大小成倍增長,嵌入位置會影響模型訓練和測試效率,因此為了不影響骨干網絡預訓練參數的加載,本文僅在ResNet50＿vd＿dcn的最后三個卷積層添加CA模塊,特征提取網絡命名為ResNet50＿vd＿dcn＿CA,通過把位置信息嵌入到通道注意力,從而使網絡獲取更豐富區域的語義信息,而避免引入更大的開銷,提升網絡獲取全局信息的能力,增強網絡對于目標檢測任務的泛化能力,使其更加符合電力領域高準確率和實時檢測的要求。CA注意力模塊結構如圖4所示,其中r是一個縮放參數,用于減少網絡的參數量和計算復雜度。其步驟可總結如下。

圖4 CA注意力模塊結構

1)分別使用尺寸為(H,1)和(1,W)的池化核沿水平坐標與垂直坐標對輸入特征圖x的每個通道進行編碼,分別得到兩個方向感知的特征輸出和,其計算公式如下

(1)

(2)

式中,w、h分別表示特征圖的寬高,c表示通道數。

2)對輸出特征和進行連接操作,將空間信息在水平方向和垂直方向進行編碼得到中間特征映射f。

f=δ(F1([zh,zw]))

(3)

式中,[,]為沿空間維數的連接操作,δ為非線性激活函數,F1為卷積操作。

3)沿著空間維數將f分解為2個單獨的張量fh和fw。利用另外2個1×1卷積變換Fh和Fw,分別將fh和fw變換為具有相同通道數的張量,得到兩個方向對應輸出。

th=σ(Fh(fh))

(4)

tw=σ(Fw(fw))

(5)

式中,σ是sigmoid激活函數。

4)最終得到經過CA注意力機制模塊的輸出特征圖y。

(6)

3.2.2 損失函數

模型的損失函數由分類誤差、邊界框坐標預測誤差、置信度誤差、用于學習預測框與真實框的損失函數四部分組成。研究發現,自建數據集中存在類別間的正負樣本和難易樣本不均衡問題,如電流互感器與電壓互感器、斷路器與避雷器等設備輪廓特征相近,分類任務較困難,而變壓器、絕緣子等設備特征與其它設備外觀差異較大,較易分類。模型若直接進行訓練,對于正樣本中預測概率不高的,負樣本中預測概率較高的難分樣本,很難被正確分類。

目前解決樣本不平衡問題的方法,比如Focal loss[19],存在過多關注難分樣本,忽略樣本離群點從而影響檢測效果以及超參數需進行大量實驗調整等問題。而GHM方法從梯度分布的角度考慮,表示難度不同樣本的不均衡性可體現在梯度模長的分布上,該梯度均衡化策略可優化訓練過程,進而有效地改進單階段檢測器的性能。因此本文將分類損失嵌入到GHM分類損失中,修正不同屬性樣本的梯度貢獻,從而解決樣本不平衡問題,提高網絡對目標正負樣本和難易樣本的判別能力。損失函數計算過程如下:

1)置信度誤差Lobj的計算公式如下

(7)

2)模型使用LIoU優化真實框與預測框的交并比(Intersection OverUnion,IoU),計算過程如下

LIoU=1-IoU2

(8)

3)用于學習預測框與真實框的IoU的損失函數LIoU＿aware計算公式如下

LIoU＿aware=-(IoU*log(σ(s))

-(1-IoU)*log(1-σ(s))

(9)

式中,s為該預測分支的原始輸出。

4)原始模型的分類損失采用二進制交叉熵表示,如下所示

(10)

利用GHM對分類損失函數進行處理后得到最終分類損失LGHM＿cls,通過交叉熵除以梯度密度,梯度密度大的損失會被抑制,減小簡單樣本和異常樣本的權重,且梯度密度由每次迭代計算所得,因此權值隨著訓練動態改變適應,最終起到樣本均衡的作用。計算過程如下

p=sigmoid(x)

(11)

(12)

(13)

(14)

(15)

(16)

(17)

式中,x表示模型未經過sigmoid激活函數之前的輸出,g為梯度的模長,GD為梯度密度,gn為第n個樣本的梯度模長,ε表示一段可微的距離,δε表示該樣本是否落在區間,lε表示區間長度。βn為梯度密度協調參數。

4 實驗設計與結果分析

4.1 數據集

數據樣本量經Mix＿Grid方法擴充到1235張,包含3364個目標。本文在構建數據集時參考PASCAL VOC數據集的構建方法,嚴格按照標注規范對其進行標注,并劃分數據集,其中訓練集、驗證集、測試集占比分別為70%、10%、20%。各類別樣本分布情況見表1。

表1 數據集分布

4.2 實驗環境與評價指標

操作系統為Linux ubuntu 18.04 LTS,Intel core i7-6800k CPU,采用paddle2.1.0、CUDA 10.1等環境搭建模型,運用搭載2塊GeForce GTX 2080Ti顯卡的服務器進行模型訓練等。利用平均檢測準確率(mean Average Preci-sion,mAP)以及每秒幀數(Frame per Second,FPS)作為模型定量的評估指標,mAP從召回率和準確率兩個角度來衡量算法的準確性,是評價模型準確性的直觀評價標準;FPS為各模型在單塊2080Ti GPU上的推理速度。IOU>0.5被認定為檢測成功。

4.3 模型訓練

訓練過程中四個損失值隨迭代次數增加而變化的曲線如圖5。隨著訓練輪次的增加,收斂速度較快,且誤差波動范圍逐漸縮小,當迭代次數到達800時,損失下降趨勢明顯變緩,且不再趨于降低。這表明模型達到較為理想的訓練,訓練過程中未出現過擬合現象。

圖5 訓練過程中損失曲線

4.4 實驗結果與分析

4.4.1 數據增強方法對比

為了驗證本文所提數據增強方法Mix＿Grid的有效性與實用性,將Mix＿Grid、典型多樣本數據增強方法Mixup[20]、Cutmix[21],信息刪除數據增強方法RErase[22]、Gridmask與二階段目標檢測算法Faster R-CNN[23]、Cascade R-CNN[24]、一階段目標檢測算法YOLOv4[25]、YOLOv5[26]、PP-YOLOv2進行結合。數據增強方法在數據集上的應用效果如圖6。

圖6 不同數據增強方法效果

檢測結果對比如圖7。圖中橫軸“+”表示在模型基礎上所使用的技術。結果顯示,分別結合不同的數據增強方法后,模型性能均有所提高,mAP漲點從2.1%～2.6%不等。此外,Mix＿Grid方法表現最佳,對于分類精度提升具有極大的推動作用。分析其原因可能是RErase隨機選取掩碼區域,容易出現對重要部位全掩蓋的情況;Mixup需在樣本間進行插值,抑制了模型學習特定特征的能力;CutMix選取一個固定的矩形區域,較容易覆蓋重要區域。Gridmask可避免此類問題,因此也證明了所提方法中選擇Gridmask的可行性。最終結果表明,Mix＿Grid結合多樣本數據增強方法與信息刪除方法后,既為紅外圖像的目標檢測提供了數據來源,又可以與不同目標檢測方法相結合,有效提升檢測精度,從而驗證了本方法的先進性與可行性,應用于小型數據集對提高模型檢測的精度有一定積極作用。

圖7 模型與增強方法結合的檢測結果

4.4.2 主流實時檢測模型性能對比

為了驗證本文模型的有效性,本部分將上述主流模型和本文提出的模型在經過數據擴充后的數據集上進行實驗評估,并討論實驗結果。本文方法無論是在mAP還是預測速度上,本文算法表現均優于其它模型。對比PP-YOLOv2,本文方法mAP提升了2.3%,推理速度僅僅相差1FPS,雖增加了極少的計算量,仍滿足目標檢測任務中高精度與良好實時性的要求。實驗結果見表2。

表2 主流目標檢測方法性能對比

4.4.3 不同改進策略實驗對比

為研究每種改進策略產生的性能增益,以PP-YOLOv2模型為基礎網絡,逐步添加CA模塊和GHM策略,并分別計算在擴充數據集上的mAp和FPS。模型分別引入CA模塊和GHM機制后,均帶來檢測精度的性能增益,同時添加CA模塊與GHM機制后,模型檢測精度提升更大,說明兩種改進策略聯合應用檢測效果要優于單一改進的檢測效果,且綜合考慮方法檢測精確度的提升與用時,模型足夠適用于高精度與速度要求的紅外圖像電力設備檢測場景。實驗結果見表3。

表3 消融實驗測試結果

4.4.4 與基準方法對比

改進模型與原始模型檢測的8類設備的PR曲線對比如圖8,進一步比較不同算法之間的性能差異?？梢钥闯龈倪M模型在擴充數據集上各類別的整體檢測效果優于原始模型。其中電流互感器、斷路器、避雷器3類設備AP結果提升較高,說明了本文方法不僅可以提升目標特征提取的效果,對這種設備輪廓相似的組件也有較好的檢測效果,改進策略在模型整體檢測效果上都起到了正向增益效果,有效緩解了復雜場景下引起的紅外目標難檢測問題。

圖8 不同檢測識別模型的PR曲線

本文增加可視化實驗來對比原始算法與改進算法在實際檢測時的效果。從數據集中選取具有代表性的四幅圖:選取圖像溫度場顯著,設備邊界清晰、少目標的樣本時,兩模型檢測準確率均較高,而改進模型檢測目標的置信度處在較高水平,對目標的檢測畫框會更精準些;選取存在目標密集重疊、遮擋嚴重等情況的樣本,PP-YOLOv2出現的錯檢和漏檢情況明顯多于改進模型;選取存在失真、分辨率低、存在邊緣模糊的小目標情況下的樣本,PP-YOLOv2出現小目標漏檢現象,而改進模型對特征不明顯的小目標檢測效果好很多;選取稍遠距離拍攝,存在多種因被遮擋而關鍵區域信息缺失的設備的樣本,此時PP-YOLOv2出現了誤檢與漏檢,比如將隔離開關的一部分誤識別為套管,在加引入CA模塊和GHM策略后,模型對這種干擾情況能夠得到一定程度的改善?？傊?改進方法在絕大多數場景下的檢測準確度高于基準算法,表明改進方法在保證檢測效果的前提下適用于多種場景的紅外圖像目標檢測任務。對比結果如圖9。

圖9 不同模型對同組圖像的檢測效果對比

5 結束語

針對復雜電力場景下對紅外目標檢測任務中存在的目標重疊、相似度高、部分遮擋以及目標樣本稀缺、算法檢測精度與速度不高等問題,本文提出了一種基于數據增強和樣本均衡的電力設備紅外圖像檢測模型。實驗表明,所提數據增強方法可應用于小樣本數據集,對提高模型檢測的精度有一定積極作用,且改進模型在擴充數據集上mAP值達到93.15%,檢測速度達66FPS,優于基準方法PP-YOLOv2,有效緩解復雜場景下多設備引起的難檢測問題,能夠滿足電力場景紅外圖像目標檢測任務的高精度與實時性需求。