基于改進YOLOv5s的輸電線路防外力破壞行為檢測識別

鄭良成，曹雪虹，焦良葆，2，高 陽，王彥生

(1.南京工程學院 人工智能產業技術研究院，南京 211167；2.江蘇省智能感知技術與裝備工程研究中心，南京 211167)

0 引言

電力資源的安全穩定是社會經濟建設和安全發展的重要基石，而作為電力系統大動脈的架空線路則遍布全國各地，由于其分布廣泛且沒有保護條件，因此其安全性往往難以保證。據國內數據統計，30%的輸電線路故障事件是由外力破壞導致的，外力破壞已成為除雷害以外的輸電線路安全運行的最大隱患，常見的外力破壞危險行為主要有：超大工程車輛、低空飛行物、火災、懸掛異物、搭建違章建筑、林區高樹成長壓線、可疑人員蓄意破壞、桿塔沉降傾斜等[1]。其中超大工程車輛由于其自身機械臂較長，在挖掘、裝運、起重、移動等操作中極易對輸電線路造成金屬性永久接地，對輸電線路危害極強，并且由于違章施工現象的層出不窮，致使超大工程車輛成為主要的外力破壞行為，其中主要的超大工程車輛有塔吊、吊車和挖掘機；而以山火，堆積起火為主要形式的火災對輸電線路的危害同樣很大，因為如果不能及時控制火情蔓延，造成火勢升級，其很可能燒斷導線，甚至對桿塔造成破壞，并且短時間內難以對其進行恢復。因此本文以輸電線路下超大工程車輛和煙火為主要外力破壞目標，在輸電線路預警區對其進行目標檢測和預警，提升線路巡的效率，達到對電力線路的保護作用。

與傳統目標檢測不同，基于深度學習的目標檢測算法主要分為兩類：第一類是基于候選區域的雙階段目標檢測算法，第二類是基于回歸問題的單階段目標檢測算法[2]。前者主要有R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN等，第一階段生成候選框(Region Proposal Net)并從其中感興趣區域提取特征；第二階段對候選框進行卷積分類和矯正回歸等操作生成位置框并預測類別，使其擁有更高的精度。由于其雙階段機制的特點，其產生的參數量較大，實時性差，檢測小目標效果差，這種算法適用于高精度目標檢測。而單階段目標檢測算法，如SSD、Retina-Net和YOLO被廣泛應用。這些算法無需提前進行區域候選，而是直接通過輸入圖像來回歸目標邊界框和類別，從而滿足工業生產快速性要求；模型結構簡單，具有更大的開發價值，更適合移動和嵌入式設備應用。馬學森[3]等人通過在YOLOv5l網絡添加CA注意力機制，使網絡有效地抵抗混亂信息的干擾，更好地關注特征信息，提高檢測精度；寧紀峰[4]等人利用YOLOv5網絡，在替換為CARAFE上采樣方式后，在帶來極小參數量的情況下增強了上采樣過程的特征重組能力；張欣怡[5]等人將標準卷積替換為鬼影混洗卷積GSConv，在保證精度的同時使得網絡更加輕量化，王慧贏[6]等人在特征融合層使用GSConv_slimneck結構，增強了特征融合能力，又降低了參數內存。

基于深度學習的目標檢測算法的檢測效果對檢測圖片樣本要求較高，若檢測環境惡劣或目標被遮擋重疊，則效果不理想。此外，對于輸電線路這種難以部署大量設備的工作情況，對檢測算法進行輕量化優化就十分重要[7-9]。而檢測裝置想要減小模型的復雜度往往會導致檢測精度的大幅降低[10-14]。

為了有效解決上述問題，本文以YOLOv5s算法為基礎對輸電線路的外力破壞行為進行目標檢測，首先通過去霧算法CLAHE，提升圖片對比度，提高檢測效果；通過添加CA注意力機制，結合空間和通道信息，增強了YOLOv5s網絡的特征提取能力[15-16]；通過使用輕量級上采樣算子CARAFE，加強特征重組能力和特征語義信息利用能力[17-18]；通過引入GSConv_Slimneck的設計范式，來減輕模型復雜度的同時并保持準確性[19-21]。

1 改進YOLOv5s網絡介紹

1.1 改進后的YOLOv5s網絡結構

YOLOv5家族包括5個成員，分別是YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x、YOLOv5n。每種網絡的深度寬度都不同[7]。其中YOLOv5s的網絡深度和寬度最小，速度也最快，更為輕量化[22-23]。

改進后的YOLOv5s網絡結構如圖1所示，包括輸入端、骨干網絡(Backbone)、頸部網絡(neck)、頭部網絡(Prediction)。首先，針對輸電線路多存在雨霧、煙塵工作環境，本文使用限制對比度自適應直方圖均衡算法(CLAHE，contrast limited adaptive histogram equalization)對數據集圖片進行預處理，提升圖片對比度，達到去霧的效果；然后，由于輸電線路下環境復雜且時常會有工程車輛被異物遮擋的情況出現，因此本文在骨干網絡的特征提取層引入坐標注意力機制(CA，coordinate attention)，以增強對目標車輛的察覺和檢測能力。其次，在原YOLOv5s的特征金字塔網絡中使用的是最鄰近插值法對高階特征圖進行上采樣，這種上采樣方式只考慮到相鄰的亞像素空間，感知范圍較小，不利于對遠距離目標和背景噪聲過大的目標進行特征提取[8]。因此本文在頸部網絡的特征融合層引入輕量級上采樣算子(CARAFE，content-aware reassembly of features)，解決遠距離目標的信息丟失問題，來提高檢測精度，并且只引入了很少的參數量和計算代價。最后，針對輸電線路只能部署邊緣計算設備的情況，本文把平衡模型計算成本和檢測精度作為輕量級網絡設計主要目標，而大多輕量級網絡常使用深度可分離卷積(DSC，depth-wise separableconvolution)來極大地減少參數量，但其不能充分利用不同通道在相同空間位置上的特征信息，造成檢測精度的嚴重降低。因此，本文使用GSConv(Ghost-Shuffle Convolution)替換Neck層的標準卷積(SC，standard convolution)，使模型參數量大幅降低。并在此基礎上引入由GSbottleneck搭建而成的VoV-GSCSP(Vision Over Visibility Via Guided Sparse Context Propagation)輕量級網絡，與GSConv組成纖細頸部網絡(GSConv_slimneck)，減輕模型重量同時獲得更好的特征提取能力和感知能力。

圖1 YOLOv5s改進后網絡結構圖

1.2 改進策略

本文首先使用CLAHE預處理方法對圖片進行去霧操作，然后對YOLOv5s網絡進行添加CA注意力機制、修改上采樣方式為CARAFE以及引入GSConv_slimneck范式的方法改進網絡結構，使YOLOv5s網絡更適用于對輸電線路這種工作環境復雜且部署空間有限的場合。

1.2.1 限制對比度自適應直方圖均衡化CLAHE

傳統的自適應均衡直方圖(AHE，adaptive histgram equalization)通過計算圖像多個局部區域的直方圖，并重新分布亮度，以此改變圖像對比度，完成對圖像的增強，但是AHE對局部對比度提升過大，會導致圖像失真嚴重。而本文引用的CLAHE 算法與AHE的區別主要是：

1)CLAHE對子塊中的直方圖進行裁剪，使其幅值低于所需要的上限，同時將裁剪掉的部分均勻地分布到整個灰度區間上，保證直方圖的總面積不變，達到限制區域對比度的作用。

2)在CLAHE變換中，圖片像素點的值由它周圍4個子塊的映射函數進行雙線性插值所得到，有效地解決了呈塊效應。

針對本實驗出現的雨、霧、煙塵等困難檢測環境，引入CLAHE預處理可以有效地改善圖像的對比度，達到去霧去噪的效果，對比圖如圖2所示。

圖2 效果對比圖

1.2.2 添加CA注意力機制

作為最典型的通道注意力模塊，SENet強調通道間的相關性，重點關注重要通道，減弱其他通道特征的影響，從而達到提高網絡性能的效果，但其缺點是忽略了對于生成空間特征選擇性十分重要的位置信息?？臻g注意力模塊與其類似，只關注于尋找網絡中最重要部分的空間信息進行處理，雖然能夠節省資源用于重要區域，但是這種注意力機制卻忽略了通道間信息，將空間域變換方法局限于原始圖片的特征提取階段?；旌献⒁饬C制兼顧了兩者的優點，同時關注位置和通道信息，其中最具代表性的有CBAM和CA注意力機制，但是CBAM引入了大尺度的卷積核提取空間特征，忽略了長程依賴問題。

Hou[11]等人提出CA(Coordinate Attention)注意力機制，將通道注意力分解為兩個1維的全局池化過程，分別沿縱向和橫向2個空間方向對通道特征進行聚合，這樣可以得到兩個具有獨立方向感知的特征映射，然后在通道注意力的聚合特征向量中嵌入輸入特征圖的位置信息。將兩種不同的特征圖嵌入到兩種不同的注意圖中，每一種注意圖都能反映出特征圖在空間上的長期相關性和位置信息。再將這兩個注意運用到輸入特征圖上，以增強對興趣區域的表達。具體流程如圖3所示。

圖3 CA注意力算法流程圖

1)為了避免將空間信息全部壓縮到通道中，CA注意力通過把輸入特征圖在橫向和縱向兩個方向進行平均池化處理的方法，緩解了2D全局池化的位置信息丟失問題。并且這種2維變換能夠使得注意功能模塊在其中一維空間上獲取長程依賴性，而在另外一維空間上存儲更多的位置信息，從而幫助網絡更加精準地找到所關注對象。

2)在經過上述變換后，將生成的特征圖進行concat重疊操作，并通過一個1×1的卷積來壓縮通道，減少計算量，方便后續的卷積操作，然后通過BN+Non-linear層來編碼縱向方向和橫向方向的空間信息。

3)將生成的特征圖沿空間維度進行分割，生成一對具有方向感知和位置敏感性的特征圖，然后再各自通過1×1卷積層恢復到和原始特征圖一樣的通道數。

1.2.3 改進上采樣方式CARAFE

上采樣算法是各種網絡結構中最廣泛使用的算法之一，YOLOv5s采用的上采樣算法是最鄰近插值法[9]。此方法選擇單個像素灰度值來替換源圖像中最近的像素灰度值。算法簡單，易于實現且速度較快，但是在上采樣時會產生色塊現象，從而導致特征丟失，降低小目標檢測精度[10]；并且最鄰近上采樣算法僅利用像素的空間位置來確定上采樣核心，并不能利用特征圖的語義信息，也就會導致感受野非常小，不能有效地利用周圍的信息。

本文在YOLOv5s中引用的輕量級通用上采樣算子CARAFE，具有輕量化特征的同時還能擁有一個較大的感受野，并且將上采樣核心與特征圖的語義信息進行關聯，根據輸入進行上采樣，進一步提升模型的特征表達能力和對細節的感知能力。在不引入過多參數和計算量的前提下，首先使用輸入特征映射對每個目標位置的內容先預測一個上采樣核，然后根據輸入特性去指導預測的上采樣核進行特征重組，具有較大的感受野，能夠更好地聚合感知領域內的上下文信息。CARAFE主要分為上采樣核預測模塊和特征重組模塊，結構如圖4所示。假設輸入的特征圖尺寸為H*W*C，上采樣倍率為σ，目標是將其轉換為σH×σW×C的輸出特征圖。

圖4 CARAFE上采樣模塊結構

1.2.3.1 上采樣預測模塊

首先，將特征圖的通道數使用一個1×1的卷積來壓縮，以減小計算量，便于后續可以使用更大的上采樣核，壓縮后的特征圖形狀為H×W×Cm。

最后將得到的上采樣核使用softmax函數作歸一化處理，即確保卷積核的權重加起來為1。

1.2.3.2 特征重組模塊

在輸入特征圖中，選取一個以(i，j)為中心，Kup×Kup的區域，將其與預測出的該點上采樣核作內積，得到輸出值。在相同位置的(i，j)雖然通道不同，但仍共享一個上采樣核。

輕量級通用上采樣算子參數如下公式：

參數量=2(Cin+1)Cm+

(1)

1.2.4 Neck部分引入GSConv_slimneck范式

針對輸電線路移動終端的存儲能力有限且實際工作環境復雜：外物遮擋、背景色強和距離遠等不利于檢測的情況，需要在特征增強網絡的設計上既要考慮網絡輕量化，也要兼顧精度。常見的輕量級網絡多使用深度可分離卷積DSC，其通過分割特征提取與通道融合的方式，顯著減少了參數量，但是也正因如此，DSC的檢測精度也隨之降低。相反標準卷積SC[5]則是使用不同的卷積核對3個通道同時卷積，最后再疊加每個通道對應位置的值，使之變為單通道，需要很大的參數量。

因此本文通過在頸部特征融合時，使用鬼影混洗卷積GSConv來代替標準卷積，最大程度地平衡模型參數量和準確度。GSconv結構如圖5所示。

圖5 GSConv結構圖

通道混洗由Han[12]為了緩解通道間特征融合時，使用 1×1 卷積占用過多計算量的問題，提出ShuffleNet中的概念。即首先將輸入通道數C分為G組，令每個卷積核僅負責C/G個通道的卷積計算，然后將結果拼接得到輸出特征，通過分組卷積能夠將計算量壓縮至標準卷積1/G。最后將分組卷積后的輸出特征進行打亂與重組，使不同組的通道信息充分融合，過程如圖6所示。

圖6 通道混洗過程示例

其中1～12為輸入通道數的編號，首先采用Reshape操作將通道拓展為兩個維度，包括卷積組數和每個卷機組包含的通道數，之后采用Transpose操作對兩個維度進行置換，最后采用Flaten操作將兩個維度恢復為原本的維度，經過通道混洗在不增加計算量的情況下，實現了不同組之間的信息融合。

使用輕量級卷積方法GSConv代替SC，其計算成本約為SC的60%～70%，但其對模型學習能力的貢獻與后者不相上下，甚至隨著逐層卷積下采樣的處理，還會丟失大量的特征信息。因此在GSConv的基礎上引入GSbottleneck模塊，將其代替C3模塊中的bottleneck部分，通過一次性聚合成為一個新的跨級部分網絡模塊VoV-GSCSP。GSbottleneck聚合成VoV-GSCSP過程如圖7所示。

圖7 VoV-GSCSP模塊結構

由GSConv和VoV-GSCSP組成的纖細頸部網絡GSConv_slimneck使得網絡模型擁有了更強的特征提取能力和感知能力，從而有助于幫助CA注意力機制更好地捕捉圖像中的上下文信息，提升模型對重要特征的感知能力。同時更強的特征提取能力還有助于增強CARAFE的特征表達能力，增強模型對細節信息的感知能力，有助于檢測精度的提升。

2 實驗

2.1 實驗環境及參數配置

本文的網絡模型訓練平臺搭建在GPU運算服務器，硬件配置如表1所示。

表1 硬件參數配置

本文所有實驗的模型訓練均在此臺GPU運算服務器上進行，所使用的訓練參數均為：在不添加預訓練權重的情況下，輸入圖片大小為640×640，epochs設置為300，batch-size設置為16，調用3個GPU，IOU閾值設置為0.5，初始學習率設置為0.01。

2.2 實驗數據集

本文所使用的數據集圖片類型包括塔吊(Tower Crane)、吊車(Hoist)、挖掘機(Excavator)三類超大工程車輛和煙火(Smoke)共4大類，共計圖片1 825張。其中工程車輛數據集原始圖由某市公司提供，包括塔吊圖片596張，吊車圖片477張，挖掘機圖片483張；煙火數據集圖片來源于網絡搜索，共有269張。經過CLAHE處理后的數據集圖片如圖8所示。

圖8 外力破壞數據集圖片示例

使用LabelImg對其進行標注，將標注完的信息以xml的格式保存在相同的路徑下。然后將數據集按照6∶2∶2的比例分別劃分為訓練集、驗證集和測試集。數據集類別和數量如表2所示。

表2 數據集類別及數量

2.3 模型評價指標

本文參考的精度評價指標有：查全率(R，recall)、查準率(P，precision)和平均精度均值mAP。

以下TP(True Positives)表示模型為正樣本，且被分對了；TN(True Negatives)表示預測該模型為負樣本，且預測對了；FN(False Negatives)表示該預測模型為負樣本，但是預測錯了；FP(False Positives)表示該模型為正樣本，但預測錯了。

查全率R就是在檢索結果中，被正確檢測出是正樣本的模型數量(TP)在所有事實上是正樣本模型的數量(TP+FN)中的比值，公式如下：

(2)

查準率P就是在檢索結果中，被正確檢測出是正樣本的模型數量(TP)在所有被預測為正樣本模型的數量(TP+FP)中的比值，公式如下：

(3)

mAP表示各類的檢測器PR曲線下面積占比的平均值，該指標可以關聯P、R指標，展現模型性能：

(4)

因為查準率、查全率二者通常有高有低、所以在二者變化不大的情況之下，以mAP平均精度均值作為評判網絡精度的標準。

參考的模型輕量化指標有：參數量(Param)的大小、訓練權重文件(Weights)的內存大小。其中參數量是一個模型中參數的總和，參數量一方面會影響內存占用，另一方面也會影響程序的初始化時間；模型權重文件是使用者最終部署時所需的文件，對于空間資源有限的設備來說，模型權重文件盡可能小是一個優勢。

2.4 實驗結果評估分析

2.4.1 注意力實驗對比

為了更好地對比驗證本文所添加的CA注意力機制的有效性，設計在backbone網絡的SPPF模塊前，C3卷積后，分別嵌入SE、CBAM以及CA注意力機制進行對比實驗。

由表3的4組評價指標可見，加入CA注意力后網絡精度提升最高，查準率和查全率均得到了提升?？梢奀A可以作為最優注意力添加進網絡模型。

表3 注意力機制對比表

2.4.2 輕量化實驗對比

從表4中可以看出輕量化結構中，將ShuffleNetV2、MobileNetV2與本文使用的GSConv_slimneck網路在本實驗的外力破壞數據集上進行對比實驗?？梢?，將YOLOv5s特征提取層替換為MobileNetV3結構后，參數量和模型體積分別減小了7.6 MB、4 MB，但精度卻下降了12.6%，下降嚴重；替換為ShuffleNetV2后，參數量和模型體積分別減小了12.3 MB、6.4 MB，但精度卻下降了14.3%，同樣下降嚴重。而將GSConv_slimneck替換原YOLOv5s的特征融合層后，其參數量和模型體積分別減小了1.7 MB、0.9 MB，并且在保證模型輕量化的同時精確度還提升了1.4%。由此證明了GSConv+slimneck可以輕量地保證YOLOv5s特征融合的有效性。

表4 輕量化網絡對比表

2.4.3 消融實驗

消融實驗類似于控制變量的思想，在機器學習領域常使用消融實驗來分析不同的因素對神經網絡實驗產生的影響[13]。為進一步分析各改進模塊組合的影響，本文將CA注意力、輕量級上采樣算子CARAFE和纖細頸部網絡GSConv_slimneck分別進行組合，測試其對精度和參數量等衡量指標的影響。其中“√”表示實驗中使用該模塊。

分析表5，可以從A、B、C看出各改進模塊均對網絡檢測精度有所提升，由D、E、F三組可以看出GSConv_slimneck模塊可以顯著提高CA注意力的特征提取能力和CARAFE的特征表達能力。最終三者的結合更加突出地提升了網絡的檢測精度，相較于原YOLOv5s網絡，Our網絡檢測精度提升了4.4%，參數量降低了3.4%，權重模型內存減小了2.7%，滿足輕量化要求的同時，提升了網絡的檢測精度，對于輸電線路下的危險行為檢測有所改善。

表5 消融實驗結果

為了凸顯網絡改進后效果的直觀性，列舉改進前后網絡的檢測效果如圖9所示，圖 (a)代表原網絡檢測效果，可見在原網絡檢測時存在檢測精度低和漏檢現象。而圖(b)為改進后的Our網絡，可見網絡改進后檢測精度得到了有效提升，并且改善了漏檢現象。

圖9 改進前后網絡檢測效果對比圖

3 結束語

本文針對輸電線路工作環境復雜、小目標檢測精度差和移動設備部署等問題，對YOLOv5s網絡進行了改進，改進點如下：

1)通過添加CA注意力模塊，將空間信息嵌入到通道信息增強網絡對復雜環境和小目標的特征提取能力；

2)將YOLOv5s的最鄰近差值上采樣替換為輕量級上采樣算子CARAFE，擴大感受野，更好地聚合上下文信息；

3)利用GSConv_slimneck作為特征增強網絡，縮減網絡參數量和權重文件內存的同時還可以提升注意力機制和上采樣算子的性能，進一步提高模型的檢測精度。

實驗結果表明，改進后的Our網絡相比于原YOLOv5s網絡提升了對遮擋目標和小目標的檢測能力，更適用于輸電線路的工作環境，改進后mAP提升了4.4%，達到了88.9%；同時改進后的模型也更加輕量化，更適用于在邊緣計算設備上部署，改進后模型參數量減小了3.4%，達到了25.9 MB，權重文件大小減小了2.7%，達到了14.1 MB。但是改進后的Our網絡在檢測速度上還有待提高。在后續工作中可以進一步擴充數據集的種類和數量，并通過不斷優化網絡提升檢測速度，達到預警的實時性要求。