基于改進YOLO v5的煙包切層斷面異物檢測方法

沈飛翔，陳成軍，王金磊，李東年，代成剛

（青島理工大學機械與汽車工程學院，山東青島，266520）

0 引言

煙包中的雜質、霉變等異物影響著煙支的質量和口感，因此有效剔除煙包中的異物，成為煙企進行質量控制的關鍵環節之一?；跈C器視覺的異物檢測技術已成功用于棉花異纖檢測[1]、水果缺陷分類[2]、印刷電路板表面缺陷檢測[3]和金屬表面缺陷檢測[4]等。本研究擬將機器學習技術應用于基于機器視覺的煙包切層斷面異物檢測中，以識別切層斷面中的雜質、霉變等異物，實現煙包切層斷面質量的監測。

研究者將目標檢測應用到異物檢測中?；谀繕藱z測網絡的異物檢測主要分為兩類：以基于區域建議網絡Faster R-CNN[5]為代表的二階段異物檢測算法和以YOLO[6]和SSD[7]為代表的一階段異物檢測算法。郁巖[8]等采用Faster R-CNN定位微型扁平電機表面焊點的異常，在扁平電機焊點缺陷數據集上取得了91.89%的分類檢測精確率。桂久琪[9]等通過改進的YOLO V4算法，提高了算法對鋰電池表面缺陷的識別和定位能力?；谀繕藱z測的異物檢測算法可以獲取異物的精確位置和類別信息，不需要對數據進行像素級標注，因此具有很好的應用前景。

本研究擬采用基于目標檢測的異物檢測算法。對比了主流目標檢測網絡（Faster R-CNN、YOLO v3-SPP、YOLO v5）在煙包切層斷面數據集上的性能。對比發現YOLO v5獲得了相對最佳的表現性能，但是YOLO v5對小目標異物的漏檢率、誤檢率高。

為了解決YOLO v5對小目標異物大量漏檢誤檢的問題，本研究提出一種煙包切層斷面異物檢測網絡YOLO v5-MFF（Multi Feature extraction and multi-stage parallel Fusion based on You Only Look Once version Five，YOLO v5-MFF），本文的創新性工作主要體現在以下兩個方面：提出了多特征提取網絡、多階段并行融合機制，增強了小目標異物的特征提取能力；引入ACON類激活函數，使模型能夠根據數據動態選擇激活與否及激活函數的表達形式，強化了網絡對數據的表達能力。

1 煙包切層斷面異物檢測模型

根據煙包切層斷面異物檢測具有異物樣本少、小目標異物占比大等特點，本研究提出如圖1所示，YOLO v5-MFF網絡。該網絡使用特征提取模塊和多尺度特征融合模塊對所輸入的異物圖像進行特征提取和特征融合，然后使用檢測模塊對異物進行定位和分類。為了提高小目標異物的檢測能力，特征提取模塊采用多特征提取網絡、多階段并行融合機制和ACON類激活函數，以增強特征提取能力。

圖1 網絡的整體結構圖

1.1 多特征提取網絡、多階段并行融合機制

為了提高網絡對于小目標異物的召回率和檢測的精準率，YOLO v5-MFF將不同深度的特征提取網絡進行多階段并行融合。YOLO v5-MFF的特征提取網絡由主干特征提取網絡和輔助主干特征提取網絡多階段并行融合而成。

如圖2所示，YOLO v5-MFF的特征提取網絡被劃分為五個階段。每個階段均將主干特征提取網絡和輔助主干特征提取網絡提取的特征圖融合，以實現特征的互補。具體操作流程如下：首先，將待檢測圖像輸入到特征提取模塊，傳入的數據被分別輸送給Main-Block1和Add-Block1模塊。兩個模塊獨自進行特征提取，生成各自模塊對應的特征圖。通過將兩個模塊生成的特征圖以add方式進行融合，實現兩個網絡之間的第一階段信息交互，增加特征的多樣性。其次，將融合而成的特征圖，分別傳給Main-Block2和Add-Block2繼續進行卷積。當Main-Block2和Add-Block2計算完成生成特征圖后，即完成第二階段的特征融合。按照上面的方法，依次完成第三及第四階段的特征融合。最后，把第四階段融合成的特征圖傳給Main-Block5。在Main-Block5模塊內完成卷積操作運算后，即生成特征提取模塊最終的特征圖。

圖2 多特征提取網絡、多階段并行融合機制

1.2 ACON類激活函數

深度學習神經網絡可通過激活函數實現模型的非線性化，提高模型的表達能力?，F在主流檢測算法所使用的ReLU、PReLU、Swish等激活函數均采用固定的數學表達形式，這種固定的數學表達會給算法檢測能力的提升帶來不利影響。本網絡引入ACON類激活函數，讓數據來決定激活函數的表達形式，進而提高網絡對特征的表達能力。

ACON類激活函數的定義如下:

如圖3所示，ACON類激活函數通過訓練參數p1( x)和p 2 (x)來調整激活函數的表達形式。通過不同的p1( x)和p 2 (x)可以組合上文提到的三種激活函數，生成更加復雜形式的激活函數，提高網絡模型對數據的表達能力；通過訓練參數β來控制是否激活神經元（β為0，即不激活），讓模型可以在非線性（激活）和線性（不激活）之間進行切換?？傮w來說，ACON類激活函數控制網絡使用不同的激活形式，增強了網絡的特征表達能力。

圖3 通過參數p1( x)、p 2 (x)、β以調整激活形式

2 檢測平臺與數據集

2.1 煙包切層霉斑和雜質檢測平臺

為驗證本研究提出的相關方法，實現煙包缺陷智能檢測，課題組在某卷煙廠搭建了切片機煙包切層異物檢測平臺。檢測平臺主要由傳送帶、工業相機、光源、切割臺組成。平臺可以采集圖像，檢測出煙包切層中霉變和雜質的類別以及位置信息，通過與下位機的數據傳遞、進而指導煙包切割設置的加工作業。下圖4所示的是檢測平臺采集數據并進行檢測的環節。

圖4 煙包切層霉變和雜質檢測平臺

2.2 煙包切層斷面異物數據集PSDDS

本文使用煙包切層霉變和雜質檢測平臺所采集的圖像構建了煙包切層斷面異物數據集(Packet Slicing Defect Data Set，PSDDS)。異物包括 ：紙張、麻繩、鐵塊、煤煙等。經過圖像融合后，共生成了4118張包含異物圖片，其中共有4494個異物目標。如表1所示。

表1 PSDDS數據集類別分布表

3 實驗

3.1 實驗平臺搭建及參數設置

實驗運行的系統環境為Ubantu18.04；深度學習框架為Pytorch；CPU為兩顆12核2.2GHz E5-2650V4的處理器；內存為 128G；GPU為 4塊12G顯存NVIDIA TITANXP。利用GUDA10.2和cuDNN V7.6.5,來實現GPU加速運算。PSDDS數據集中的圖片尺寸為320×320，epoch設置為 300，batch-Size根據模型的顯存占用情況進行調節。

3.2 評價指標

模型以精準率 P（Precision）、召回率 R（Recall）和平均分類精準率mAP(mean Average Precision)作為網絡模型的評價指標。P、R、mAP的計算公式如下所示：

式中，TP為被正確預測的正例數目，FP為被錯誤預測為正例的負例數目，FN為錯誤預測為負例的正例數目，N為檢測的類別數，AP為各類比的檢測精度

3.3 PSDDS試驗結果與分析

3.3.1 消融實驗

消融實驗的重點是研究YOLO v5-MFF網絡各模塊的具體效果，結合三項創新性工作利用PSDDS數據集，進行了五個實驗。實驗一（E1）是YOLO v5L在PSDDS上的檢測結果。實驗二 (E2) 是 YOLO v5L+特征提取網絡（CspdarkNet53+ResNet34）,在PSDDS上的檢測結果。實驗三(E3)是YOLO v5L+特征提取網絡（Cspdarknet53+ ResNet34）+ACON類激活函數，在PSDDS上的檢測結果。各實驗的結果展示在表2中。

表2 各實驗的檢測結果

為了探究多特征提取網絡、多階段并行融合機制對檢測能力的影響，本研究進行實驗E1、E2的對比。分析實驗結果可以發現使用多特征圖提取網絡、多階段并行融合機制使網絡的精準率提高了2.2%、召回率提高了2.5%、平均分類精準率提高1.5%。這充分說明了多特征提取網絡、多階段并行融合機制能夠提高YOLO v5-MFF網絡對小目標異物的檢測能力。

為了探究使用ACON類激活函數增強網絡表達能力的有效性，本研究進行實驗E2、E3的對比。使用ACON類激活函數使算法的召回率提高了2.1%，平均分類精準率提高了0.4%。這表明使用ACON 激活函數，讓數據決定激活函數的形式和激活與否，能夠有效提高YOLO v5-MFF網絡對煙包切層斷面異物的檢測精度。

使用多特征提取網絡、多階段并行融合機制、ACON類激活函數均會增加網絡的推理時間，但受益于YOLO v5的快速推理能力，網絡仍擁有較快的推理速度,處理單張圖片最長時間為21.6ms。

3.3.2 YOLO v5-MFF與主流網絡對比

為了驗證網絡綜合的檢測性能，對比了YOLO v5L、YOLO v5X、YOLO v3-SPP、Faster R-CNN 與 YOLO v5-MFF(YOLO v5L+特征提取網絡(CspdarkNet53+ ResNet34)+ACON類激活函數+K-Means++)。實驗結果如表3所示。

表3 不同網絡的檢測結果

對比YOLO v5L與YOLO v5-MFF的檢測結果，YOLO v5-MFF的檢測效果優于YOLO v5網絡，這充分說明采用多特征提取網絡、多階段并行融合機制是可行的、普適的。YOLO v5-MFF網絡檢測召回率的大幅度提升，說明網絡能夠較好地檢測出煙包切層斷面中的小目標異物。由于模型復雜度的增加，造成了推理速度的降低，但YOLO v5-MFF預測單張圖片仍只需21.6ms。

同時 YOLO v5-MFF 相較于 YOLO v3-SPP、Faster R-CNN，在精準率、召回率、平均分類精準率上都獲得了明顯的提升。這是YOLO v5-MFF的多特征提取、多階段并行融合機制、ACON類激活函數共同作用的效果。綜合來看，YOLO v5-MFF算法具有最優的檢測精度，提高了對煙包切層斷面中小目標異物的檢測能力。

4 結論

本研究提出一種煙包切層斷面異物檢測網絡YOLO v5-MFF，提出了多特征提取網絡、多階段并行融合機制，使網絡提取更多小目標異物的特征，提高了網絡的檢測能力。其次，引入ACON類激活函數，讓數據來決定網絡是否需要激活函數及激活函數的形式，同時構建了煙包切層斷面異物數據集PSDDS。利用YOLO v5-MFF在PSDDS數據集上進行測試，其平均分類精確度達到了95.8%、精準率達到94.3%、召回率達到94.2%，相較于 YOLO v5分別提高了 1.9%、2.2%和 4.6%。同時YOLO v5-MFF對于煙包切層斷面異物的檢測效果也優于Faster R-CNN、YOLO v3-SPP等檢測算法，適用于煙包切層斷面異物檢測。