基于級聯網絡的輸電線路螺栓故障檢測

姚聰穎，申靜，湯浩威，姚軍財

（南京工程學院計算機工程學院，江蘇南京 211167）

對輸電線路進行定期巡檢是保證電網安全穩定運行的重要條件[1]，無人機巡檢因安全性高、不受地理條件限制等優勢已經成為我國巡檢的主要運維方式[2]。并且，利用深度學習方法對海量圖像數據中的目標缺陷進行檢測，其檢測精度和效率均遠超人工處理的方式，具有重要的實際研究意義。

螺栓作為輸電線路上的緊固部件，因目標小、數量多、背景復雜、類間差異小等問題，其檢測難度更大[3]。目前，國內外進行了大量研究，文獻[4]使用改進Faster R-CNN 對電力設備以及桿塔異物進行識別，文獻[5]使用改進YOLOv5s 算法對輸電線路螺栓缺銷故障進行檢測，文獻[6]提出了一種輕量級Mobile Net-SSD 和輕量級Mobile Net V2-Deeplab V3+網絡相結合的絕緣子識別與分割方法。但這些算法在精度、復雜性和泛化性等性能上均存在一定不足[7]，需要進一步改進和提高。

針對螺栓目標較小、特征不明顯、數據集背景復雜、噪聲多的問題，提出了一種基于級聯網絡的輸電線路螺栓故障檢測方法。經過仿真實驗，結果表明所提檢測算法是有效的，且精度較高。

1 級聯檢測網絡系統

1.1 級聯檢測網絡系統整體框架

輸電線路螺栓故障檢測即是小目標檢測，一般以無人機或直升機的巡檢照片為輸入，最終將螺栓的位置及狀態作為輸出。為此，提出一種級聯檢測網絡NanoDet-YOLOv5-GN，其分為兩個部分：一階段網絡和二階段網絡。

一階段網絡的主要任務是以邊界框的形式盡可能多地定位巡檢圖像中的連接部位，并且要求相應地提高檢測速度，以達到實時檢測。一階段網絡的定位錯誤會增加輸入到二階段網絡的分割圖像數量，增加網絡負擔，影響整體檢測速度；但一階段網絡的分類錯誤不會影響整體級聯網絡的性能，對于網絡的連接部位分類問題則不做要求。由此第一階段網絡采用輕量級網絡NanoDet，在滿足定位要求的前提下提升檢測速度。第二階段網絡的主要任務是盡可能準確地定位并檢測分割圖像中的螺栓?；诖?，通過改進YOLOv5 網絡（記為YOLOv5-GN），在盡量不影響檢測速度的前提下提高檢測精度。級聯網絡檢測系統流程如圖1所示。

圖1 級聯檢測系統流程圖

1.2 基于NanoDet的連接部位定位網絡

NanoDet 是一種高速輕量級的一階段Anchorfree 目標檢測模型，其具有不亞于YOLO (You Only Live Once)等Anchor-based 模型的檢測性能，且處理速度更快。同時其網絡結構簡單，模型參數較少，適合移動端和嵌入式設備的訓練與移植。

1）NanoDet 網絡結構

NanoDet 網絡可分為三部分：骨干網絡Backbone、頸部網絡Neck 和檢測頭Head。為了保證模型參數盡可能地少，同時滿足對連接部位的檢測任務要求，將ShuffleNet V2 移除最后一層作為NanoDet 的骨干網絡，提取8 倍、16 倍和32 倍的下采樣特征，將其輸入到路徑聚合網絡PAN（Path Aggregation Network）[8]中，以進行多尺度特征融合。

在Neck 部分，采用與YOLO 系列相似的PAN，優化concat 與conv 以實現網絡輕量化。首先，移除PAN 結構中的所有卷積操作，僅保留從Backbone 完成特征提取后的1×1 卷積，以實現特征通道維度的對齊，上采樣和下采樣均使用插值算法完成。此外，不同于YOLO 的concat 堆疊操作，NanoDet 通過直接相加完成不同尺度特征圖的融合。

Head 部分采用FCOS 系列檢測頭并優化，不同于FCOS 系列使用的共享權重的檢測頭，即對不同尺度的特征圖使用同一組卷積來預測檢測框，NanoDet使用不同卷積組完成特征提取。同時將FCOS 系列中的組歸一化改為批歸一化。此外，使用深度可分離卷積替代常規卷積，并減少了卷積數與通道數。

2）損失函數

NanoDet 采用GFL（Generalized Focal Loss）[9]作為損失函數，其優化和說明如下。

FCOS 損失函數包含三個方面：分類表示、檢測框表示和檢測框質量評估。

GFL 將原本的損失函數Focal Loss 從式（1）轉換為QFL（Quality Focal Loss）表示：

其中，當y=1時，pt=p；當y=0時，pt=1-p。

式中，y為質量標簽，取值范圍為[0,1]，γ為標簽質量得分，σ是通過將預測的分類表示與檢測框質量評估相乘所獲得的分數，β為比例因子，用于平衡易分類樣本和難分類樣本間的權重。

通過式（2），GFL 將分類表示與預測框質量評估相結合，解決了FCOS 訓練和推理過程中分類與質量評估不一致的問題。

此外，GFL增加了DFL（Distribution Focal Loss）損失函數，以更快聚焦標注位置附近的數值，如式（3）所示：

通過將DFL 與QFL 相結合，最終得到GFL 的計算方法，如式（4）所示：

1.3 基于YOLOv5-GN的螺栓檢測網絡

YOLO 是一種典型的一階段目標檢測算法，其速度快、泛化能力強[10]，其將邊界框的回歸和目標的分類統一為回歸問題。其算法的流程為：首先將圖像分成S×S個網格，每個網格負責預測中心落在網格內的目標，并生成B個邊界框，共S×S×B個邊界框，每個邊界框要預測目標的位置信息（x，y，w，h）和預測目標的置信度，此外，每個網格還要預測C個類別信息；然后將邊界框置信度與類別概率相乘，得每個邊界框的分數；最后通過非極大值抑制（NMS）過濾得到最終預測結果。

YOLOv5 有四個版本，綜合考慮模型復雜性和精度，所構檢測網絡選取YOLOv5s 版本作為基礎網絡框架，針對巡檢圖像中螺栓的定位檢測問題進行改進（所改進的檢測網絡記為YOLOv5-GN 網絡），以進一步提高檢測算法的精度，其具體描述如下。

YOLOv5 整體架構由五個部分組成：輸入端（Input）、骨干網絡（Backbone）、頸部網絡（Neck）、檢測頭（Head）和輸出端（Output），其網絡結構如圖2所示。

圖2 YOLOv5網絡結構

Backbone 部分通過一系列卷積操作從輸入圖片中提取特征信息；Neck 部分將收集到的特征信息進行融合，并生成三種不同比例的特征圖；Head 部分利用三個檢測頭完成對大、中、小尺度目標的檢測。YOLOv5 的Backbone采用CSPDarknet53網絡，通 過CSP 模塊和Focus 模塊進行特征提取。在Neck 部分，采用特征金字塔網絡FPN（Feature Pyramid Networks）[11]和路徑聚合網絡PAN，FPN 模塊是自上而下的，將低級特征圖與經過上采樣的高級特征圖融合，實現增強的語義特征；而PAN 模塊是自下而上的，將定位信息由淺層傳輸到深層，實現增強的空間特征；兩個模塊結合共同強化了網絡的語義信息和空間信息。Head 層用于生成邊界框以預測類別，YOLOv5 采用GIOU_Loss 作為邊界框的損失函數，相較于傳統的非極大值抑制（NMS）方法更為有效。

1）引入CBAM 注意力機制

由于所定位連接部位的圖像中，螺栓所占比例仍然很小，因此識別困難，影響檢測精度。因此文中所構建檢測網絡中引入CBAM（Convolutional Block Attention Module）注意力機制（如圖3 所示）。注意力機制源于人類視覺系統特性的研究，使用注意力機制可以增加網絡的表征力，即關注重要特征，抑制不必要的特征[12]。CBAM 包含兩個獨立的子模塊，分別為通道注意力模塊CAM（Channel Attention Module)和空間注意力模塊SAM（Spatial Attention Module)。相較于只關注一方面的注意力機制，CBAM 能同時兼顧兩方面，達到更好的效果。

圖3 CBAM結構

在CAM中，通過將輸入的特征圖進行最大池化及平均池化，之后輸入到共享全連接層（Shared MLP）中，再將經多層感知機MLP（multilayer perceptron）輸出的特征進行基于element-wise 的加和以及sigmoid激活操作，最終生成Channel Attention 特征圖。通道注意力模塊如圖4 所示。

圖4 通道注意力模塊

在空間注意力模塊中，將CAM 模塊輸出的特征圖作為輸入，首先做基于channel 的最大池化及平均池化，經concat 操作后進行卷積操作，最后使用sigmoid 激活生成Spatial Attention 特征圖?？臻g注意力模塊如圖5 所示。

2）引入gnConv 遞歸門控卷積

經過第一階段網絡對連接部位的定位裁剪，螺栓在巡檢圖像中的所占比例有所提升，但所占比例仍然很小，網絡對于螺栓特征的提取不充分。為此，引入遞歸門控卷積（gnConv）[13]重構YOLOv5的Neck 網絡。

gnConv 模塊通過門控卷積和遞歸設計實現高階空間交互，使之具有高度靈活性和可定制性，將自注意力中二階交互擴展到任意階，并不會引入大量額外計算，且通過引入高階交互，進一步增強模型容量，具有與自注意力相似的輸入自適應空間混合功能。

由于非線性，深度學習模型兩個空間位置間通常存在著復雜且高階的交互，而普通的卷積操作并沒有考慮到。而動態卷積操作通過引入動態權重，考慮周邊區域的信息交互，以提高模型的性能。

gnConv 利用門控卷積與遞歸操作可以實現任意階數的信息交互，進一步提高了模型的表達能力。其結構如圖6 所示。

圖6 遞歸門控卷積結構示意圖

3）增加檢測層

在卷積神經網絡中，經過不同卷積層提取的特征圖，其圖像大小和特征信息都不同。通常淺層的特征圖分辨率較高，但語義信息不明顯；而深層的特征圖分辨率較低，語義信息更加豐富[14]。

原始YOLOv5 模型只有三個檢測層，當輸入圖像尺寸為640×640時，經Backbone 下采樣后生成的特征圖尺寸分別為80×80、40×40 和20×20，以檢測小目標、中目標和大目標。當檢測目標過小時通常檢測效果不佳[15]，其主要原因是小目標樣本的尺寸過小，而網絡的下采樣倍數比較大，較深的特征圖難以學習到小目標的特征信息[16]。

因此文中加入極小目標檢測層，在原始Backbone 的基礎上加入經四倍下采樣輸入頸部網絡的特征層，使網絡更加關注對于小目標的檢測，以提升對于螺栓的檢測精度。

2 實驗結果與分析

2.1 評價指標

為了評價檢測網絡的性能，采用準確率（Precision）、召回率（Recall）和mAP 值（mean Average Precision）作為評價指標對其進行評價[17]。

目標檢測算法的預測結果通常有四種，即預測正確的正樣本（True Positive，TP）、預測錯誤的正樣本（False Negative，FN）、預測正確的負樣本（True Negative，TN）和預測錯誤的負樣本（False Positive，FP）。

準確率P（Precision）表示預測樣本中正樣本數占所占有的正樣本數的比例，其計算如式（5）所示：

召回率R（Recall）表示預測樣本中正樣本占所有預測樣本的比例，其計算如式（6）所示：

平均精度（Average Precision，AP）的計算如式（7）所示：

mAP（mean Average Precision）的計算如式（8）所示：

2.2 實驗數據集

電塔作為電力部門的重要設施，主要對架空線路起支撐和保護作用。為了避免架空線路通過鐵塔接地短路，導線和鐵塔之間的絕緣主要靠絕緣子串來實現。而輸電線路的螺栓主要存在于絕緣子串與鐵塔和導線連接的部位，其部位分別為以均壓環為主要特征的絕緣子串和導線連接的部位（Equalizing Ring，ER）、絕緣子串與鐵塔塔身連接的部位（Tower Body，TB）、絕緣子串與鐵塔塔臂連接的部位（Cross Arm，CA）、以屏蔽環為主要特征的絕緣子串和導線連接的部位（Hang Cable，HC）、絕緣子串和導線連接的部位（Cable Tower，CT）。對于各連接部位的螺栓分為正常螺栓（Normal Bolt，NB）和故障螺栓（Defective Bolt，DB）兩類。其不同連接部位的兩類螺栓樣本示例如圖7 所示。

圖7 輸電線路上不同部位的螺栓

實驗共收集到輸電線路無人機巡檢圖像共873幅，使用LabelImg 對正常螺栓和缺銷螺栓進行標注。螺栓數據集通過一階段網絡的定位切割及額外擴充獲得，共計1 364 幅圖片，正常螺栓樣本為3 023個，故障螺栓樣本為1 126 個。

2.3 實驗環境和參數設置

所提檢測系統使用Python 完成程序編寫，深度學習模型基于Pytorch1.11.0 搭建。所用GPU 為NVIDIA RTX A4000，CUDA 版本為11.6。

NanoDet 模型訓練中輸入的圖片尺寸為416×416，學習率為0.001，權重衰減系數為0.05。共計訓練500個Epoch，每次訓練的Batchsize 為32。YOLOv5-GN 模型訓練中輸入的圖片尺寸為640×640，學習率為0.01，權重衰減系數為0.000 5。共計訓練500 個Epoch，每次訓練的Batchsize 為32。

2.4 實驗結果

通過對數據集進行80%作為訓練集，20%作為測試集，不同部位的螺栓的檢測實驗結果如圖8 所示。正常螺栓由螺釘、螺母和插銷組成，文中將缺銷螺栓定義為故障螺栓。

圖8 輸電線路螺栓檢測結果圖示

通過圖8 的實驗結果可以得出，采用所提級聯網絡能夠較為準確地定位和檢測連接部位的螺栓；文中主要針對無插銷的故障螺栓的檢測，圖8 中的結果表明，所提網絡可以較好地檢測并區分故障螺栓和正常螺栓，其識別率高、誤報率低。

2.5 結果分析

實驗采用準確率P、召回率R以及mAP 值作為所提方法檢測結果的評價指標，以反映其性能。使用NanoDet 對于各連接部位的檢測結果及使用YOLOv5-GN 對于各連接部位的檢測結果如表1所示。

表1 連接部位及螺栓數據集測試結果

表1 的數據表明，相較于單一網絡對于輸電線路小目標螺栓無法檢測的問題，文中所提級聯網絡較為理想地完成了對于巡檢圖像螺栓目標的檢測，其效果較好。

另外，利用NanoDet 網絡檢測連接部位平均每幅圖像耗時17 ms，使用YOLOv5-GN 網絡檢測螺栓平均耗時22.7 ms，總用時39.7 ms；檢測速度達到平均25.2 幀/秒，檢測速度高于25 幀/秒，即可用于實時檢測，因此，所提檢測系統符合實時檢測的要求。

3 對比與分析

為進一步闡述所提改進模型的有效性，將其與當前典型常用的SSD、YOLOv3 和YOLOv5s 三種目標檢測模型進行對比，其對比結果如表2 所示。

表2 不同算法間的對比結果

從表2 的對比結果可得，與其他方法相比，所提方法在準確率、召回率以及mAP 值上的優勢都非常明顯。主要表現為：（1）相較于YOLOv5s，所提改進方法在精度有較大的提升，并且在檢測速度上也有一定提升，表明在保證速度的同時較大提升了檢測精度，能夠較好地滿足線路實時巡檢的要求；（2）根據前文所提，單一檢測網絡無法檢測過小目標，若將無人機巡檢圖像輸入各其網絡，小目標的特征信息會在下采樣的過程中消失，采用級聯網絡可以較好地克服這種不利因素，且其檢測精度還得到了提升。

綜合分析結果表明，所提算法對輸電線路無人機巡檢圖像中小目標的正常螺栓和故障螺栓具有較好的檢測效果，且檢測速度滿足實際要求，具有較好的應用價值。

4 結論

針對輸電線路無人機巡檢圖像中螺栓尺寸小且特征不明顯等特點，提出一種級聯目標檢測系統。系統采用兩階段檢測流程，第一階段使用NanoDet網絡對初始巡檢圖像進行處理，定位各連接部位并加以分割處理；再利用改進的YOLOv5-GN 網絡對螺栓進行進一步檢測。其中，為了達到精度與速度要求，滿足巡檢實時檢測的要求，針對原始YOLOv5s 的Neck 網絡進行重構，并進行多尺度特征融合，引入注意力機制，提高了對于小目標的檢測精度。同時，采用共收集到的800 幅巡檢圖像對其進行測試，結果表明，所提級聯檢測系統在螺栓數據集上的表現良好，在保證檢測精度的前提下，提高了對于螺栓的檢測精度，其可滿足輸電線路巡檢的實時性要求，具有較好的應用價值。