基于改進YOLOv5的條煙識別研究

劉云飛，楊旭東*，孫棟

基于改進YOLOv5的條煙識別研究

劉云飛1，楊旭東1*，孫棟2

（1.貴州大學 機械工程學院，貴陽 550025，2.貴州理工學院 貴陽 550025）

針對當下煙草物流中心條煙分揀機及人工分揀時會產生錯煙等問題。從兼顧實時性、識別精度出發，基于YOLOv5s算法提出一種收斂速度更快、準確率更高的條煙識別模型。首先在YOLOv5s網絡架構中融入CA注意力模塊來更好地提取特征，提高模型獲取目標位置的準確度；其次將原網絡中的最近鄰插值上采樣算子改為輕量級通用上采樣算子CARAFE，獲得更大的感受野；然后在骨干網絡中嵌入Ghost模塊，對網絡進行輕量化處理；最后在煙草物流中心搭建條煙圖像采集系統，建立條煙圖像數據集。相較于YOLOv5s，本文提出的優化算法計算量減少了45.8%，mAP@0.5值達到了99.3%，在條煙糾錯系統上識別率約為99.9%。本文提出的優化算法能夠高精度滿足高速條煙分揀識別需求。

YOLOv5算法；條煙識別；Ghost模塊；CA注意力機制

目前，我國卷煙的銷售多以條煙為主，卷煙市場流通的有1 000種以上卷煙品牌[1]。在銷售流程中最為關鍵、勞動量最大的是按照訂單對不同品牌的條煙進行分揀打包。由于分揀工作量大，分揀機和人工分揀時都難免會出錯，造成訂單“錯煙”問題，而不同卷煙品牌之間的價格相差較大，錯煙不僅會對煙草公司造成較大的經濟損失，還會帶來信譽影響。

傳統的條碼識別受限于煙姿、煙距以及條碼位置等問題，易出現誤識別，嚴重影響煙草物流中心的分揀效率。隨著圖像識別分類技術日漸成熟，深度學習在機器視覺各領域中逐漸展露其優勢[2]。在此背景下，把卷積神經網絡應用在煙草物流分揀的識別糾錯系統上成為可靠方案。曹東梅等[3]提出利用金字塔搜索策略匹配條煙模板，利用支持向量機實現條煙分類識別，但該方法識別效率太低。周志祥等[4]提出采用2次模板匹配提取條煙圖像特征，用RBM模型作為快速識別算法實現分類識別。李夢雪[5]使用卷積神經網絡AlexNet模型實現條煙圖像訓練分類，加入遷移學習提高了圖像的識別精度。王昊然[6]提出使用YOLOv4目標檢測網絡實現對異型煙條碼精確定位，采用pyzbar對矯正后的異型煙條碼圖像進行解碼，實現條煙識別。

綜上，為滿足當下煙草物流分揀中的高速條煙識別的實時性與準確度要求，基于YOLOv5s目標檢測模型實現條煙的識別分類，并根據識別需求進行部分改進：

1）融合Coordinate Attention（CA）[7]注意力機制來更好地獲取圖像特征，在關注通道間信息聯系的同時，考慮了特征空間的位置信息，提升模型獲得目標位置的準確度。

2）使用輕量級通用上采樣算子CARAFE[8]替換原網絡中的最近鄰插值上采樣算子，該模塊基于輸入特征自適應生成上采樣內核，而不會引入過多的參數和計算量。

3）為減少模型參數引入Ghost[9]模塊對網絡進行輕量化處理，以GhostConv作為基本卷積，并以此構建GhostBottleneck、GhostC3模塊。以更小計算代價獲得更好的性能。

1 YOLOv5概述

近年來，由于YOLO[10]算法的諸多優異性能，被廣泛用于物體檢測領域，官方給出了s、m、l、x 4個網絡模型[11]，其中YOLOv5s深度最小，特征圖的寬度最小?？紤]到高速條煙分揀線的實時性要求，因此選用網絡深度最小的YOLOv5s作為基礎網絡并進行優化。

YOLOv5s網絡結構含Input、Backbone、Neck、Head 4部分[12]。在輸入端使用了數據增強、自適應圖片縮放等預處理操作提升模型泛化能力；Backbone部分采用Conv復合卷積模塊、C3結構、SPP空間金字塔池化提取淺層語義信息；Neck使用FPN+PAN結構實現不同層特征融合，生成多尺度特征金字塔；Head采用分類損失、定位損失、置信度損失以及NMS提高網絡模型的預測性能。

Conv復合卷積模塊是骨干網絡的基礎組成部分，它封裝了卷積（Conv2d）、BN以及激活函數（SiLU）3個功能，同時autopad(,)實現了自動計算填充。其結構如圖1所示。

圖1 Conv結構

Bottleneck結構先用核尺寸為1×1卷積將通道減半，再通過3×3卷積將通道加倍，通過ShortCut參數控制是否進行殘差連接。結構如圖2所示，“+”表示Add操作。

圖2 Bottleneck結構

C3模塊是將BottleneckCSP模塊進行改進。其中一條路徑包含復合卷積和多個Bottleneck堆疊，另一條僅有復合卷積模塊，最后將2支進行通道拼接，如圖3所示。

圖3 C3結構

SPP空間金字塔池化層可用于提取不同尺寸的空間特征信息，可以提升模型對空間布局和物體變性的魯棒性，避免了圖片因Resize導致的信息變形。其結構如圖4所示。

圖4 SPP結構

2 YOLOv5模型優化

2.1 CA注意力機制

注意力機制可以幫助神經網絡更好地處理圖像數據，抑制背景信息，提取最優特征。為提高模型的性能，研究者們通常在輕量級神經網絡中引入SE[13]、CBAM[14]、CA[7]等注意力模塊。SE模塊考慮了特征圖通道間信息的編碼而忽視了位置信息；CBAM結合了卷積和注意力機制，先逐通道提取全局特征，并以此作為空間注意力的輸入，最終生成混合域特征圖，但卷積僅能夠捕獲局部相關性，空間特征聚焦效果不佳。而本文在網絡中嵌入的CA注意力機制，可以將特征坐標嵌入到通道注意力中，以實現目標定位和特征提取。

圖5 CA結構

將平均池化后的特征圖拼接在一起，然后利用核尺寸為1×1的卷積，將其通道降低為原來的/。經過歸一化處理的得到特征圖1，利用激活函數進行非線性操作，得到大小為/×1×(+)的特征圖。其中表示下采樣比例，如式（3）所示。

最后通過加權計算，得到帶有寬高2個維度的注意力權重的特征表達，CA模塊的最終輸出見式（6）。

在骨干網絡中的空間金字塔池化層前引入CA注意力模塊，增強模型對位置信息的提取能力。引入位置如圖6所示。

圖6 引入CA模塊后的骨干網絡

圖7為加入CA注意力機制處理后與原網絡模型的熱力圖對比。由圖7可知，加入CA模塊后，網絡模型對目標檢測區域的關注度和覆蓋度都有顯著提升，證明CA注意力機制能夠幫助深度神經網絡提取到更加關鍵的的特征信息。且CA注意力機制的嵌入使得模型計算參數僅增加了0.37%，以極少的計算開銷提高了網絡的特征學習性能。

2.2 CARAFE上采樣算子

在Yolov5s網絡模型中，通過上采樣和下采樣操作將不同層次的特征圖融合在一起，生成多尺度的特征金字塔，為后續的特征提取與檢測做鋪墊。在原網絡模型中上采樣默認使用最近鄰插值算子‘nearest’，如圖8所示，使上采樣后的像素值等于距它最近的輸入值。

圖7 熱力圖對比

圖8 最近鄰上采樣

由于最近臨插值算子易于實現，能有效減少計算參數，在輕量級網絡中得到廣泛應用。但是其沒有考慮其他相鄰像素點的影響，因此造成上采樣后的特征之間不連續，有明顯的馬賽克和鋸齒現象。在高速條煙分揀線上，要求從觸發到采集傳輸再識別的時間低于80 ms。本研究采用低分辨率工業相機進行圖像采集，因此選用輕量級的通用上采樣算子CARAFE。在帶來很小的參數和計算成本的同時，提升了檢測性能。

將原網絡中的最近鄰上采樣算子改為CARAFE算子，FPN結構中的改進位置如圖9所示。

由表1可知，更改上采樣算子后，模型的mAP@0.5值與mAP@0.5:0.95值均得到了較好的提升，而計算參數（params）僅增加了約1.9%，相對于精度的提升，帶來的計算參數的增加是可接受的。其中mAP@0.5表示在IOU閾值為0.5時的平均精度（AP）均值，mAP@0.5:0.95表示IOU閾值從0.5到0.95，步長0.05的平均mAP。

表1 最近鄰插值算子與CARAFE算子對比

Tab.1 Comparison between the nearest interpolation operator and the CARAFE operator

2.3 模型輕量化

原網絡模型在引入CA注意力機制和CARAFE上采樣算子的同時帶來了大量參數，增加了計算成本，降低了模型收斂速度。因此引入Ghost模塊，搭建輕量級神經網絡架構，降低模型體積，一定程度上減小因模型復雜帶來的實時性能損失。

Ghost卷積旨在用更少的參數生成與普通卷積相同的特征圖。先通過普通卷積得到少量原始特征圖，然后將原始特征圖通過簡單的線性運算生成更多特征圖，最后進行通道拼接。其示意圖如圖10所示。

圖10 一般卷積（a）與Ghost卷積（b）對比

利用Ghost模塊生成的個特征圖，包含了個原始特征圖的恒等映射和(?1)個線性運算，每個線性運算的內核平均尺寸為。由此得到Ghost相較于普通卷積的加速比為：

式中：=/，；卷積核與的大小相近。

由以上計算可知，普通卷積的參數和計算量均約為Ghost模塊卷積的倍。在本研究中以Ghost模塊卷積全面替換普通卷積，并以此構建GhostConv、GhostBottleneck、GhostC3模塊，如圖11所示。

如表2所示，相較于原始模型，輕量化改進后網絡模型參數（params）減少了46.80%，計算量（GFLOPs）減少了47.24%。實驗結果證明了利用Ghost模塊對原網絡模型進行輕量化極大地減少了模型參數和計算量，符合條煙識別的研究需求。

圖11 Ghost系列模塊

表2 輕量化后網絡與原網絡數據對比

Tab.2 Comparison between the lightweight network and the original network data

3 實驗及結果分析

3.1 建立條煙圖像數據集

在某煙草物流配送中心搭建條煙圖像采集系統，對其中某條分揀線的條煙進行圖像采集得到14 310張圖片，涵蓋了42種香煙品類。每類條煙挑選不同煙姿及位置的圖片，按訓練集、測試集、驗證集為4∶1∶1的比例建立條煙數據集，條煙圖像規格統一為1 280×1 024。

3.2 實驗環境及參數

實驗操作系統為Windows11專業版；深度學習框架為Pytorch1.9.1，CUDA12.0；CPU參數為Intel(R) Core(TM) i7-10700 CPU @ 2.90GHz；GPU為NVIDIA GeForce RTX 3090；編譯為Python 3.8。

3.3 評價指標及結果分析

本實驗主要從識別精度和識別速度兩方面對條煙識別模型性能評價。采用參數量（parameters）、計算量（GFLOPs）、mAP@0.5、mAP@0.5:0.95、單幀檢測時間作為條煙識別模型的評價指標。

YOLOv5s與本文算法的識別對比見圖12。在條煙姿態良好時，原網絡模型也能對條煙進行較好的預測且置信度較高；而在條煙姿態較差或有其他遮擋時，原網絡模型檢測框偏移較大，對成像質量差的圖像出現誤識別。改進后的網絡模型在條煙姿態較差或有異物遮擋時也能進行很好的預測，且檢測框更加精準。

為驗證本文算法的有效性，將改進后的網絡模型與YOLOv5-mobileNet、Faster-RCNN[15]、SSD[16]主流檢測模型進行對比。

由表3可知，本文算法模型的mAP@0.5值比yolov5s的提高了5.1%，在自建條煙數據集中識別率達到99.85%，平均識別速度僅為12.8 ms/條。而Faster-RCNN、SSD網絡模型由于參數多，計算代價過大，在實驗中均不能達到高速條煙分揀線識別的實時性能要求；YOLOv5-mobileNet的識別速度較快，但在其精度最低。因此本文算法在模型大小、檢測速度、檢測精度幾方面綜合性能更加優越，更加符合高速條煙分揀線上的識別需求。

3.4 現場測試

為驗證該條煙識別算法的有效性，在某煙草物流中心條煙分揀線糾錯系統上部署此算法。該分揀線工作速度設置為1.5 m/s，每小時分揀量約為7 200條，實時分揀速度約為13條/s，該識別算法在該煙草物流中心分揀線上識別測試結果見表4。經過現場測試表明，該條煙識別算法的識別速度快、精度高，正確識別率約為99.9%，能夠很好地滿足條煙糾錯系統需求，有效解決了物流分揀中心訂單錯煙的問題。

圖12 條煙識別對比

表3 主流網絡對比

Tab.3 Comparison of mainstream networks

表4 煙草配送中心現場實測結果

Tab.4 Field measurement results of the tobacco distribution center

4 結語

針對煙草物流配送中心分揀錯煙的問題，本文基于Yolov5s提出一種兼顧實時性與準確性的條煙識別改進算法，對煙姿較差時定位不準的問題，引入CA注意力機制，在關注特征信息的同時，兼顧位置信息的提??；對低分辨率的條煙圖像，使用輕量級CARAFE算子，減少上采樣時的特征損失而不會引入過多的參數和計算量；利用Ghost模塊構建輕量級網絡架構，減少模型的參數和計算量。實驗表明，該算法模型參數量減少了45.6%，計算量減少了45.8%，mAP@0.5值提高5.1%，分揀識別率達99.9%，有效解決了煙草物流中心訂單錯煙的問題。

[1] 曹越. 條煙光電自動識別分類關鍵技術研究[D]. 四川: 電子科技大學, 2019: 1-4.

CAO Y. Research on the Key Technology of Photoelectric Automatic Identification and Classification of Strip Smoke[D]. Sichuan: University of Electronic Science and Technology of China, 2019: 1-4.

[2] 邱天衡, 王玲, 王鵬, 等. 基于改進YOLOv5的目標檢測算法研究[J]. 計算機工程與應用, 2022, 58(13): 63-73.

QIU T H, WANG L, WANG P, et al. Research on Object Detection Algorithm Based on Improved YOLOv5[J]. Computer Engineering and Applications, 2022, 58(13): 63-73.

[3] 曹冬梅, 郭壯, 李東波. 基于機器視覺的條煙分類識別與定位研究[J]. 機械設計與制造工程, 2018, 47(9): 71-74.

CAO D M, GUO Z, LI D B. Research on the Classification and Location of Cigarette Based on Halcon[J]. Machine Design and Manufacturing Engineering, 2018, 47(9): 71-74.

[4] 周志祥, 楊旭東, 陳波, 等. 基于模板匹配的條煙識別系統研究[J]. 包裝工程, 2020, 41(21): 261-269.

ZHOU Z X, YANG X D, CHEN B, et al. Cigarette Recognition System Based on Template Matching[J]. Packaging Engineering, 2020, 41(21): 261-269.

[5] 李夢雪. 基于視覺的傳動平臺煙條分類與識別算法研究[D]. 成都: 電子科技大學, 2018.

LI M X. Research on Cigarette Classification and Recognition Algorithm of Transmission Platform Based on Vision[D]. Chengdu: University of Electronic Science and Technology of China, 2018.

[6] 王昊然. W煙草公司異型煙分揀線差錯檢測系統研究與應用[D]. 山東: 山東財經大學, 2021.

WANG H R. Research and Application of Error Detection System of Special Tobacco Sorting Line of W TOBACCO COMPANY[D]. Shandong: Shandong University of Finance and Economics, 2021.

[7] HOU Q, ZHOU D, FENG J. Coordinate Attention for Efficient Mobile Network Design[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021: 13713-13722.

[8] WANG J Q, CHEN K, XU R, et al. Carafe: Content- Aware-Reassembly of Features[C]// 2019 IEEE/CVF International Conference on Computer Vision(ICCV). Seoul, South Korea, 2019: 3007-3016.

[9] HAN K. Ghostnet: More Features from Cheap Operations[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020: 56-61.

[10] REDMON J, DIVVALA S, GIRSHICK R, et al. You Only Look Once: Unified,Real-Time Object Detection[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 2016: 779-788.

[11] 許德剛, 王露, 李凡. 深度學習的典型目標檢測算法研究綜述[J]. 計算機工程與應用, 2021, 57(8): 10-25.

XU D G, WANG L, LI F. Review of Typical Object Detection Algorithms for Deep Learning[J]. Computer Engineering and Applications, 2021, 57(8): 10-25.

[12] 楊其晟, 李文寬, 楊曉峰, 等. 改進YOLOv5的蘋果花生長狀態檢測方法[J]. 計算機工程與應用, 2022, 58(4): 237-246.

YANG Q S, LI W K, YANG X F, et al. Improved YOLOv5 Method for Detecting Growth Status of Apple Flowers[J]. Computer Engineering and Applications, 2022, 58(4): 237-246.

[13] HU J, SHEN L, ALBANIE S, et al. Squeeze-and-Excitation Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(8): 2011-2023.

[14] WOO S, PARK J, LEE J Y, et al. Cbam: Convolutional Block Attention Module[C]// Proceedings of the European Conference on Computer Vision (ECCV), 2018: 3-19.

[15] GIRSHICK R. Fast R-CNN[C]// Proceedings of IEEE International Conference on Computer Vision(ICCV) , 2015: 1440-1448.

[16] LIU W, ANGUELOV D, ERHAN D, et al. SSD: Single Shot MultiBox Detecto[C]// European Conference on Computer Vision, 2016: 21-37.

Strip Tobacco Identification Based on Improved YOLOv5

LIU Yunfei1, YANG Xudong1*, SUN Dong2

(1. School of Mechanical Engineering, Guizhou University, Guiyang 550025, China; 2. Guizhou Institute of Technology, Guiyang 550025, China)

To solve the problems of picking errors of strip tobacco by sorting machine and manual sorting in tobacco logistics center, the work aims to propose a strip tobacco identification model with faster convergence speed and higher accuracy based on YOLOv5s algorithm from the perspective of ensuring the real-time performance and recognition accuracy. Firstly, CA attention module was integrated into the YOLOv5s network architecture to better extract features and improve the accuracy of target acquisition. Then, the nearest neighbor in the original network was changed to lightweight general upper sampling operator CARAFE to obtain a larger feeling field. Next, the Ghost module was embedded in the backbone network to lightweight the network. Finally, the tobacco image acquisition system was built in the tobacco logistics center to establish the tobacco image data set. Compared with YOLOv5s, the proposed optimization algorithm was reduced by 45.8%, mAP@0.5 reached 99.3%, and the recognition rate was about 99.9% on the strip tobacco error correction system. The optimization algorithm proposed can meet the requirements of high-speed strip tobacco sorting and identification with high accuracy.

YOLOv5 algorithm; strip tobacco identification; Ghost module; CA attention mechanism

TB487

A

1001-3563(2024)05-0144-07

10.19554/j.cnki.1001-3563.2024.05.017

2023-06-20

貴州省普通高等學校青年科技人才成長項目（黔教合KY字[2021]268）；貴州省煙草公司貴陽市公司科技項目（黔煙筑科[2022]1）；貴陽市科技計劃項目（筑科合同[2022]5-56）