基于Yolox-BTFPN網絡的輸送帶表面損傷檢測方法

曾寶繁 潘祖望 秦堅貴 賴恒霏

北部灣港防城港碼頭有限公司

1 引言

帶式輸送機是遠距離運輸的重要裝備,廣泛應用于港口碼頭、發電站和礦場等散貨運輸系統。輸送帶作為帶式輸送機的核心組成部分,其損傷是引起帶式輸送機故障的重要原因之一。如果輸送帶損傷不能被及時發現并處理,輸送帶就會面臨損傷擴張甚至斷裂的風險,進而導致整個運輸系統停滯,甚至引發重大安全事故[1]。

現有基于卷積神經網絡的輸送帶損傷檢測方法主要強調基礎通用特征的獲取,并試圖從完整的尺度和類別中學習目標特征,使得檢測模型通常需要依賴大量的樣本數量[2]。受限于輸送帶損傷樣本數量,基于通用特征的輸送帶損傷檢測模型往往容易發生過擬合問題,限制了整體檢測可靠性的提升。因此,需要對通用特征提取網絡進行適應性改進,并通過研究損傷樣本的增廣策略,抑制檢測模型的過擬合問題,從而提高輸送帶損傷檢測的可靠性?；谏鲜鲂枨?提出一種適應于輸送帶表面特性的偏置特征提取模型與輸送帶損傷數據增廣模型。

2 基于Yolox-BTFPN的輸送帶表面損傷檢測網絡

基于Yolox-BTFPN的輸送帶表面損傷檢測流程主體分為3個部分:基于泊松融合的圖像增廣、輸送帶表面損傷檢測的主干網絡CSPDarknet53、BTFPN(Biased Texture Feature Pyramid Network,偏置紋理特征融合網絡)。首先將輸送帶表面損傷數據集輸入網絡,通過泊松融合算法對樣本進行處理。主干網絡結合CSPDarknet53和Focus模塊來獲取輸送帶圖像的多尺度特征圖(P3、P4和P5);然后,將特征圖輸入特征融合網絡BTFPN中進行特征提取和特征融合;最后,解耦檢測頭再根據提取到的特征進行分類和回歸預測,并輸出檢測結果。Yolox-BTFPN檢測網絡的訓練過程采用遷移學習訓練策略(見圖1)。

圖1 檢測流程圖

2.1 輸送帶損傷樣本增廣算法

數據增廣策略是一種增強模型泛化能力的有效方法,但是當原有數據是小樣本集時,模型的后期訓練就無法表現出明顯的收斂趨勢,甚至可能進入模型過擬合狀態。因此提出一種基于泊松融合算法的數據增廣策略,將少量難獲取的損傷區域通過融合的方式快速結合到容易獲取又包含多種干擾的背景圖像中去,快速提升輸送帶損傷樣本的豐富性。

泊松融合(Poisson Integration)算法的主要思想是根據原圖像的梯度信息以及目標圖像的邊界信息,利用插值的方法重新構建出合成區域內的圖像像素。泊松融合的原理見圖2,將原圖像g中指定的區域Ω融合到目標圖像S中,?Ω是其融合后的邊界,這里參數g、Ω、S、?Ω和f*都是已知量。合并后圖像在Ω內的像素值由f表示,在外的像素值由f*表示。

圖2 泊松融合模型

泊松圖像編輯的目的是保留原圖像的紋理,并將其無縫融入到新圖像中,使合并后的圖像看上去盡量的平滑。實現的思路就是將原圖像的梯度保留,應用到目標圖像的邊界中,解出同時滿足梯度和邊緣約束條件的方程,得到目標區域像素f。其中f*和f的散度對應相等,同時保證f*和f的邊界對應相等,則方程的解為泊松方程在黎曼邊界或狄利克雷邊界條件時的解。泊松融合算法生成的樣本見圖3。

圖3 泊松融合效果

2.2 主干網絡CSPDarkNet53

CSPDarkNet53繼承了DarkNet53的網絡主體結構,并在此基礎上替換了部分網絡模塊,其結構見圖4。CSPDarkNet53的主體結構包括1個Focus層,4個不同的Dark模塊,4個CBS模塊,3個不同的CSP層和1個SPP模塊。

圖4 CSPDarkNet53網絡結構

Focus層對輸入的圖像進行切片操作,然后通過Cat操作完成通道疊加,使得圖像的寬度和高度信息被集中到通道信息中,從而主干網絡可以保留更加完整的采樣信息,有助于卷積網絡的進一步特征提取。

CBS模塊是由卷積層、批量歸一化層和激活函數SiLU的順序連接而成,作為CSPDarknet53網絡提取目標圖像特征的基本單元。

CSP_X模塊中的一個分支由CBS模塊串聯連接多個殘差單元(Res unit)組成,另外一個分支的特征圖由CBS模塊處理,最終2個分支通過Cat操作完成拼接。殘差單元包含2個CBS子模塊,結合殘差思想引入了1個捷徑分支(Shortcut),以解決梯度消失問題,有助于網絡堆疊從而擬合更復雜的解空間,提升骨干網絡獲取更深層特征的能力,所以也可以認為CSP_X模塊是一個更大更復雜的殘差模塊。

SPP結構通過連接不同最大池化的方式以改善網絡的感受野,并提高網絡的特征感知能力。

2.3 特征融合網絡BTFPN

多尺度特征融合網絡可以有效地結合骨干網絡提取的語義信息和空間位置信息,顯著提高檢測網絡對小目標與特大目標的檢測能力?？紤]到輸送帶損傷特征中紋理信息占比明顯,因此在設計適用于輸送帶損傷檢測的特征提取網絡時,應該盡可能多的保留和提取淺層信息。受到BiFPN網絡結構的啟發,提出了一種更加專注于輸送帶紋理信息獲取的BTFPN,其結構見圖5[3]。

圖5 BTFPN特征融合網絡結構

與PaNet網絡結構相比,BTFPN在其結構后添加了1條Bottom-Up信息流,將無偏雙向融合網絡結構變為有偏的雙向特征融合網絡結構,使得淺層的空間位置信息向深層語義信息融合。同時借鑒BiFPN網絡結構特點,在P4與P5層的間隔節點之間添加Shortcut連接,并通過刪除重復的融合節點來減少融合網絡的模型計算量。

BTFPN的網絡構建過程見圖6,3個輸入層(P3-in、P4-in、P5-in)分別對應主干網絡3個Dark模塊(Dark3、Dark4、Dark5)的輸出。網絡構建過程主要包含CSP2_X操作模塊、CBS模塊、上采樣操作以及Cat連接操作。CSP2_X操作模塊不同于CSP_X操作模塊,前者將殘差單元堆疊操作更換為CBS模塊堆疊操作。由于特征提取網絡有3個不同尺度的輸出,因此P3、P4、P5特征層可以分別負責小目標、中目標和大目標的預測。

圖6 BTFPN特征融合網絡構建流程

3 測試

由于輸送帶表面各種污漬劃痕可能會對輸送帶縱向撕裂檢測造成干擾,因此同時模擬了輸送帶表面干擾(泥水、油漬)和環境干擾(霧氣、光照、灰塵),使得模擬的檢測環境盡可能地貼近實際的輸送帶工作環境。

在上述復雜模擬環境的干擾下,直接通過圖像采集裝置獲取了400張包含撕裂和劃傷的輸送帶樣本。然后采用泊松融合策略將目標圖像隨機的融合到背景圖像中去,并從中挑選出融合效果較好的120張圖像作為增廣樣本。因此共獲得了520張輸送帶損傷樣本,其中訓練樣本420張,測試樣本100張,驗證集與訓練集比率設置為0.25,具體用于測試的撕裂標簽數量為66,劃傷標簽數量為63。圖7展示了部分輸送帶損傷數據集中的樣本。

圖7 部分訓練樣本

為了進一步驗證本文提出的模型的先進性,選取了輸送帶損傷檢測算法Yolov3-spp[4]、Yolov4-belt[5]以及Centernet作為對比。表1是上述模型在測試集上的檢測結果,表2是不同模型的收斂速度和模型參數量的對比。

表2 不同檢測算法的收斂速度、檢測速度以及時空復雜度對比

由表1可以看出Yolox-BTFPN的4個可靠性指標整體都保持在93.9%之上。說明本文提出的輸送帶損傷檢測模型Yolox-BTFPN相較于其他模型具有更高的可靠性。

由表2可以看出Yolox-BTFPN具有非?？斓氖諗克俣?完全滿足輸送帶損傷檢測的實時性要求,同時擁有這4個模型中最小的Params,圖8更加直觀地展示了Yolox-BTFPN模型的先進性。

圖8 不同檢測算法在測試集上的收斂速度與mAP值對比

4 結語

針對現有輸送帶損傷視覺檢測方法在復雜環境與小樣本條件下的可靠性低以及模型收斂性差的問題,對基于卷積神經網絡的輸送帶損傷特征提取與特征融合模型、基于泊松融合的數據增廣策略等技術開展研究,提出一種更加可靠的輸送帶損傷檢測方法Yolox-BTFPN。經過測試,Yolox-BTFPN在占用更少的Params的基礎上,其mAP、Precision、Recall和FPS等可靠性評價指標,都要明顯優于已有輸送帶檢測模型,同時具有更高的實時性及收斂性。