卷煙包裝外觀缺陷數據集構建及深度學習檢測技術研究

宗國浩，張明琰，王銳，王澤宇，王迪，王永勝，鄭超群，馮偉華*

卷煙包裝外觀缺陷數據集構建及深度學習檢測技術研究

宗國浩1，張明琰2，王銳1，王澤宇2，王迪1，王永勝1，鄭超群1，馮偉華1*

（1.中國煙草總公司鄭州煙草研究院，鄭州 450001； 2.河南中煙工業有限責任公司黃金葉生產制造中心，鄭州 450016）

為了提升煙包缺陷檢測的準確率，構建卷煙包裝外觀缺陷識別基準數據集，并開展主流深度學習模型在卷煙包裝外觀缺陷智能檢測中的應用研究。首先，從生產運行中的ZB45型細支煙硬盒包裝機組采集缺陷圖像，經過人工審核與篩選后獲取典型的缺陷數據。然后，根據缺陷的特征與成因，將缺陷數據劃分為23個類別，并逐一進行目標檢測框標注。最終，形成了包含13 000余張缺陷圖像的卷煙包裝外觀缺陷識別基準數據集，并針對煙包缺陷識別、缺陷分類、目標檢測、模型遷移4項任務開展實驗。結果表明，數據集能夠滿足高準確率深度學習模型的訓練需求；通過模型遷移，能夠利用該數據集大幅提高不同牌號卷煙的缺陷檢測效果；DenseNet模型在煙包缺陷識別與缺陷分類任務上表現較好，準確率分別達到93.70%和95.43%，YOLOv5模型在缺陷目標檢測任務上mAP@0.5值達到了96.61%。該數據集能夠作為煙包缺陷檢測領域的基準數據集，研究成果將進一步支撐卷煙包裝領域的數據應用與數字化轉型。

卷煙包裝；包裝外觀檢測；深度學習；YOLOv5；基準數據集

為了保證卷煙產品符合質量標準要求，卷煙生產企業普遍采用高速相機對煙包外觀質量進行檢測，并剔除缺陷煙包。缺陷檢測的準確率不僅影響著流入市場的卷煙產品質量，也關系到機組生產效率和物料消耗，因此提升煙包缺陷檢測的準確率對卷煙生產提質增效具有重要意義。煙包外觀缺陷種類繁多，包裝機寬幅變速且高速運行，加上煙包在傳送帶上存在抖動等因素，導致傳統的模板匹配檢測法面臨檢測范圍小、檢測精準度差等問題[1]。2020年以來，基于深度學習框架的檢測模型逐漸成為煙包外觀檢測方向的研究熱點，已發表的學術研究包括利用自編碼器[2]、生成對抗網絡[3]、YOLO（You Only Look Once）框架[4]等神經網絡模型實現煙包識別與檢測，以期在檢測精準度、檢測速度、檢測智能化等方面實現突破。然而由于缺乏標注數據，多數研究只聚焦于合格煙包與缺陷煙包間的二分類問題[1-3]，并未開展不同缺陷種類的識別研究。同時，由于該領域缺少可公開獲取的大規模數據集，一方面導致深度學習技術落地應用的門檻較高，不利于企業進行技術升級，另一方面導致部分學術成果缺乏驗證基準，不利于成果推廣。

大規?；鶞蕯祿呀浽诙鄠€領域發揮重要價值。2009年普林斯頓大學Li Feifei團隊構建了ImageNet數據集[5]，得益于該數據集的公開發布，深度學習技術在圖像識別領域迅速發展[6]。在通用算法層面，PASCAL VOC數據集[7]與Microsoft COCO數據集[8]的發布極大地推動了目標檢測算法的發展，且均已成為該領域的基準數據集。在業務領域層面，基準數據集也為深度學習技術的應用起到了重要推動作用，已經構建的大規?；鶞蕯祿↖P102昆蟲識別數據集[9]、Mapillary交通標志數據集[10]、CelebA人臉識別數據集[11]等?；鶞蕯祿环矫婺軌驗槟Ｐ蜆嫿ㄌ峁┐罅繕俗祿?，提升模型效果，降低應用門檻，另一方面也為算法評估提供數據基準。

目前，國內外均未見卷煙包裝外觀缺陷識別基準數據集的相關報道，缺少基于多種缺陷分類的煙包缺陷智能檢測模型研究。因此，本研究歷時15個月從生產運行中的卷煙包裝機組采集缺陷煙包圖像數據，對數據進行人工審核與專家標注，構建包括13 000余張缺陷圖像的卷煙包裝外觀缺陷識別基準數據集，并基于該數據集驗證主流圖像識別模型在煙包外觀缺陷智能檢測領域的應用效果。目前，該數據集已部署于中國煙草科學數據中心，面向科研人員提供數據共享服務。

1 卷煙包裝外觀缺陷識別基準數據集構建

1.1 數據采集

1.1.1 圖像采集設備

卷煙包裝流程主要包括內襯紙、內框紙、商標紙的折疊成型及透明紙包裝過程。煙包在包裹透明紙后會造成表面光線反射，不利于缺陷檢測，因此選擇未包裹透明紙的煙包作為研究對象。選取生產運行中的ZB45型細支煙硬盒包裝機組作為數據采集機臺，對煙包進行圖像采集。設備采用4個130萬分辨率的高速彩色相機，分別對煙包的5個面進行拍攝，機位布局見圖1。

1.1.2 缺陷煙包圖像數據采集

為了向深度學習模型提供訓練數據，需要盡可能多地采集缺陷煙包圖像。首先從機臺上采集疑似缺陷圖像，再對采集到的圖像進行人工審核。疑似缺陷圖像的采集方法以灰度檢測為主，通過對模板劃定檢測框，判斷檢測框內像素點的灰度是否超出閾值。設置規則如下：在易出現缺陷的圖像區域設置多個檢測框，擴大檢測范圍；擴大灰度檢出限，提升對疑似缺陷的檢測能力；使用小型檢測框并縮小面積檢出限，提高對微小缺陷（像素面積<30）的檢測能力。通過降低檢測精確率（Precision），獲取較高的檢測召回率（Recall），在盡量捕獲缺陷圖像的同時過濾掉了絕大部分合格煙包圖像。為了檢驗上述方法的漏采情況，選取部分時段進行全采樣，經過對比后發現，盡管存在少部分污漬類缺陷未被檢出，但是所有的破損類缺陷均被正常檢出。未被檢出的缺陷圖像超出了傳統檢測方法的能力范圍，如商標區域非單一顏色，難以利用灰度檢出限進行檢測；反光區域的圖像光澤容易產生變化，難以在此區域進行檢測；由于傳送帶存在輕微震蕩，導致煙盒邊緣區域的缺陷難以檢測。因此，盡管優化了檢測框設置規則，依然無法捕獲所有的缺陷，這主要是由傳統檢測方法的不足導致的。為了便于對數據進行后續處理，由數據加工人員對每張圖像進行篩查，從而篩選出缺陷煙包圖像數據。

圖1 數據采集設備相機機位布局

1.2 數據類別標注

為了充分挖掘缺陷檢測數據的應用價值，由包含了9名具有資深經驗的卷包機組維修技師以及圖像識別領域專業人員的專家小組對缺陷進行標注。在缺陷類別標注過程中，一方面采用細粒度的類別劃分方法；另一方面保持同類別缺陷在成因及圖像特征方面具備一致性。由于煙包缺陷缺乏統一標準，因此，本研究綜合考慮缺陷的圖像特征與成因。將缺陷歸納為污漬類、原料類、破損類3大類型，共分為23個缺陷類別，具體如表1所示。

其中，污漬類缺陷主要為煙包表面沾有煙塵、膠垢等異物，與機臺的清潔保養程度有一定關系；原料類缺陷主要為商標紙本身的印刷或裁切缺陷；破損類缺陷包含了煙包因受到磨損、擠壓、折疊不當而導致的缺陷，其成因較為復雜，材料傳輸異常、機械調整不當、異物等因素都可能導致破損類缺陷。

1.3 數據集構建

在2022年2月至2023年6月間持續開展數據采集。經過數據篩選、缺陷分類、缺陷檢測框標注以及人工審核等數據加工過程，構建了包含13 000余張缺陷圖像的卷煙包裝外觀缺陷識別基準數據集。數據集覆蓋了黃金葉（愛尚）、黃金葉（百年濃香）、黃金葉（小黃金細支）3種不同牌號，包含23種缺陷類別與30種缺陷特征。圖2展示了各缺陷類別的數量統計情況，可以看出數據呈現出一定的長尾特性。數據量大于100張圖像的缺陷有12種，數據量大于1 500張圖像的常見缺陷有5種，分別是上側面頂部斜角翹起、微小污漬、頂面折角破損、盒蓋張開過大、上側面底部翹起。

表1 缺陷分類詳情

Tab.1 Details of defect classification

圖2 不同缺陷數量統計

數據集共含有缺陷檢測框17 000余個。檢測框的標簽體系由4部分組成：特征類別、缺陷部位、嚴重程度、機位。其中特征類別為缺陷主要圖像特征，如內折、外折、翹邊、折痕、歪斜、污漬等；缺陷部位為該缺陷發生的煙盒部位，如正面、背面、上側面、下側面、盒蓋、底面等；嚴重程度主要包含輕微和嚴重2種，不同嚴重程度的缺陷往往具有相同缺陷成因與發生部位；同時，標簽也包含了機位信息。缺陷檢測框標簽體系使得數據集更加靈活，便于在數據集使用過程中按照不同維度對標簽進行組合或分拆，以支持不同的模型訓練任務。圖3展示了部分典型的缺陷特征。

2 基于深度學習的卷煙包裝外觀缺陷檢測技術研究

2.1 檢測任務及數據準備

為了研究基于圖像識別模型的卷煙包裝外觀缺陷智能檢測技術，并驗證數據集在深度學習模型上的應用效果，分別針對缺陷識別、缺陷分類、目標檢測、模型遷移4種圖像識別任務展開實驗。其中，缺陷識別任務需要判斷合格煙包與缺陷煙包2個類別，也是卷煙生產過程中面臨的基本檢測任務；缺陷分類任務需要針對23種缺陷類別進行精準分類，是對煙包缺陷進行自動分析的基本環節；目標檢測任務需要針對30種不同的缺陷特征進行目標類別與位置識別；模型遷移任務旨在驗證數據集在不同煙包上的應用效果。在缺陷識別、缺陷分類、目標檢測3項實驗中，訓練集、驗證集與測試集的比例分別為70%、20%和10%，并采用裁剪、拼接、翻轉、高斯噪聲等數據增強方法對訓練集進行擴充，以增加訓練數據規模。同時，在缺陷識別任務中，引入9 000張合格煙包圖像用于實驗驗證。模型遷移實驗模擬在少量數據的情況下利用基準數據集進行模型構建的應用效果，該實驗包含了1組對照組與2組訓練策略不同的實驗組。對照組只采用少量A牌號數據進行建模，實驗組采用少量A牌號數據與大量B牌號數據進行混合建模，最終驗證模型在A牌號污漬類缺陷檢測中的準確率。其中A牌號選用黃金葉（百年濃香）、B牌號選用黃金葉（愛尚），兩者的外觀及包裝材質具有一定差異，具體見圖4。

圖3 典型缺陷的檢測框展示

圖4 模型遷移所采用的圖像數據

2.2 模型構建

深度學習技術具備強大的非線性擬合能力。為了探究主流深度學習模型在卷煙包裝外觀缺陷檢測方面的應用效果，分別構建了深度卷積神經網絡、殘差卷積神經網絡、輕量化卷積神經網絡、單階段目標檢測模型、雙階段目標檢測模型。深度卷積神經網絡通過增加網絡層數實現較強的擬合能力，本研究構建了VGG16[12]模型，該模型具有13個卷積層和3個全連接層。殘差卷積神經網絡通過在不同層之間建立連接，解決了神經網絡訓練中的梯度消失和梯度爆炸問題。本研究構建了不同層數的ResNet[13]與DenseNet[14]進行實驗。輕量化卷積神經網絡具有較小的模型參數與時間復雜度，在嵌入式系統、移動設備、邊緣計算等資源受限的場景中具有較好應用前景，分別構建ShuffleNet[15]與MobileNet[16]模型作為實驗對象。在卷煙包裝缺陷目標檢測任務中，分別采用單階段與雙階段2種目標檢測模型進行實驗。單階段的目標檢測模型采用SSD[17]、YOLOv3[18]與YOLOv5[19]，雙階段的目標檢測算法采用Faster R-CNN[20]。在構建Faster R-CNN與SSD時使用VGG16作為主干網絡進行特征提取，在構建YOLOv3與YOLOv5時采用DarkNet53與CSPDarkNet53作為主干網絡。其中YOLOv5由輸入端、Backbone網絡、Neck端、預測端等部分構成，相較于前序版本引入了更加輕量化、高效的架構設計，其網絡結構如圖5所示。

圖5 YOLOv5網絡結構

2.3 實驗環境

本實驗部署在安裝了Windows10操作系統的工作站上。硬件環境包括2塊NVIDIA GeForce 3090顯卡、24核CPU、24 G顯存、128 G內存。深度學習模型采用Python 3.7.16編程語言、Pytorch 1.10框架、CUDA 11.4庫、CUDNN 8.2.4庫作為開發環境進行構建。訓練過程中，所有模型均采用經過ImageNet數據集預訓練后的權重作為模型的初始化權重，使用隨機梯度下降算法（Stochastic Gradient Descent，SGD）進行模型訓練。參考主流算法的常用參數設置，并根據具體實驗效果進行參數調優，主要模型參數見表2。

2.4 實驗結果

2.4.1 缺陷識別任務

根據圖像對煙包是否含有外觀缺陷進行識別，實驗結果如表3所示，可見所有深度學習模型在缺陷識別任務上均取得較好效果，準確率均達到80%以上。其中，DenseNet121的準確率最高，達到93.7%，該模型的準確率與召回率也取得較高水平，從召回率可以看出96.46%的缺陷都被模型準確檢出，同時誤剔率只有2.82%。在模型檢測時間方面，所有模型在實驗環境下的單張圖像檢測速度均小于100 ms。由于ShuffleNet V2與MobileNet V2的模型參數量較少，檢測速度達到31.02 ms，基本滿足生產線上煙包檢測的時間需求。但是考慮到實驗環境的硬件配置遠優于生產環境，為了能夠向卷煙生產環境落地應用，模型的檢測速度仍需進一步優化。

2.4.2 缺陷分類任務

主流圖像分類模型在缺陷分類任務中的表現見表4，可見由于分類類別增多導致檢測復雜度有所增加，模型的準確率相較于缺陷識別任務略微下降。但是，在增加網絡深度后，top-1準確率卻快速提升，ResNet101相較于ResNet50提高了7.84%，DenseNet161相較于DenseNet121提高了9.67%。同時，各模型的top-5準確率均達到較高水平，ResNet101與DenseNet161均達到99.64%，表明現階段已經能夠采用深度學習技術較好地解決煙包缺陷分類問題。

表2 模型參數設置

Tab.2 Parameter setting of models

表3 主流圖像分類模型在缺陷識別任務中的表現

Tab.3 Performance of mainstream image classification models in defect recognition tasks

表4 主流圖像分類模型在缺陷分類任務中的表現

Tab.4 Performance of mainstream image classification models in defect classification tasks

2.4.3 缺陷目標檢測任務

針對30種缺陷目標進行模型訓練，訓練效果如圖6所示?？梢娊涍^相同的迭代次數YOLOv3的收斂速度最快，Faster R-CNN收斂較慢，同時YOLOv5在目標分類任務上比YOLOv3收斂更好。

基于測試數據的模型評估結果見表5?？梢钥闯鯵OLOv5整體超越其他模型，達到92.70%的精確率和93.02%的召回率。模型在交并比閾值為0.5時的平均精度（mAP@0.5）達到96.61%，在交并比閾值從0.5到0.95之間各個精度的平均值（mAP@0.5:0.95）達到77.69%。進一步分析YOLOv5對小目標缺陷的檢測效果，見表6。在劃痕、污漬、油污等小目標缺陷識別中，雖然YOLOv5的檢測精確率已經達到較高水平，但是召回率普遍偏低，污漬的召回率只有50%左右，意味著漏檢率接近一半，還存在一定提升空間。

圖6 目標檢測算法訓練過程

表5 主流目標檢測算法在缺陷目標檢測任務中的表現

Tab.5 Performance of mainstream target detection algorithms in defective target detection tasks

表6 YOLOv5模型在小目標缺陷檢測中的效果

Tab.6 Results of YOLOv5 model in small target defects detection

2.4.4 模型遷移任務

模型遷移任務的實驗結果如表7所示，其中實驗組的精確率與召回率均明顯高于對照組。實驗組2先采用大量的B牌號數據進行30次迭代訓練，再通過A牌號對模型進行20次迭代訓練，實現模型對A牌號的參數優化，其mAP@0.5值達到96.25%，高于實驗組1所采用的2種牌號混合訓練的策略。上述結果證明，盡管卷煙包裝外觀不同，但是在引入大量相似數據后依然能夠對卷煙包裝缺陷檢測模型起到大幅提升效果，且在適當的訓練策略下模型效果存在進一步提升的空間。

表7 模型遷移實驗結果

Tab.7 Experimental results for model transfers

3 應用前景

基于卷煙包裝外觀缺陷數據集展開多任務、多模型實驗驗證，證明該數據集具備一定數量規模與質量水平，能夠使深度學習模型快速收斂，滿足模型對數據量及數據標注的需求，能夠作為基準數據集對模型進行評估。此外，該數據集具備一定通用性，卷煙生產企業在積累少量數據的情況下能夠通過模型遷移技術利用該數據集構建智能檢測模型，支撐企業進行包裝檢測技術升級。同時，實驗結果顯示現階段已經能夠采用深度學習技術較好地實現煙包缺陷智能檢測，表明深度學習技術或已進入應用成熟期。

智能檢測模型在卷煙工業企業數字化轉型方面具有重要應用前景。卷煙包裝機涉及的機械部件繁多，難以對每個零部件進行實時監測。如果能夠對缺陷檢測圖像數據進行深度分析，自動化、智能化地對缺陷類別進行識別與分類，并進一步推測缺陷成因，則對實現機臺運行健康狀況智能檢測與故障智能預警提供了新的解決思路，對企業生產提質增效具有重要意義。

4 結語

構建了卷煙包裝外觀缺陷基準數據集，驗證了主流深度學習模型在卷煙包裝外觀智能檢測中的應用效果。從生產運行中的包裝機組采集缺陷圖像，經過人工審核與篩選獲取缺陷數據。根據缺陷的特征與成因，按照23個類別對缺陷數據進行類別標注與目標檢測框標注。最終，構建了包含13 000余張缺陷圖像的卷煙包裝外觀缺陷識別基準數據集。經過實驗分析，多個模型能夠在該數據集上取得優異表現，數據的數量與質量能夠滿足深度學習模型的訓練需求，證明該數據集能夠作為煙包缺陷檢測領域的基準數據集。同時，深度學習技術在煙包缺陷分類任務上普遍取得較好的效果，利用深度學習技術能夠高精度、高效率地實現煙包缺陷智能檢測，且具備向卷煙生產環境落地應用的前景。研究成果將進一步支撐深度學習技術在卷煙包裝缺陷智能檢測領域的快速發展與工程應用，推動卷煙生產企業數字化轉型與高質量發展。

[1] 曾文艷, 王亞剛, 蔣念平, 等. 基于機器視覺的香煙小包裝外觀質量檢測系統[J]. 信息技術, 2014, 38(1): 46-49.

ZENG W Y, WANG Y G, JIANG N P, et al. Study on Detection System for Appearance Quality of Cigarette Package Based on Machine Vision[J]. Information Technology, 2014, 38(1): 46-49.

[2] 朱立明, 王偉, 范霞萍, 等. 基于無監督深度神經網絡的卷煙小包拉線缺陷視覺智能檢測方法[J]. 包裝工程, 2022, 43(17): 273-281.

ZHU L M, WANG W, FAN X P, et al. Vision Intelligent Detection Method of Cigarette Packet Tear Tape Defects Based on Unsupervised Deep Neural Network[J]. Packaging Engineering, 2022, 43(17): 273-281.

[3] 單宇翔, 龍濤, 樓衛東, 等. 基于深度學習的復雜場景中卷煙煙盒檢測與識別方法[J]. 中國煙草學報, 2021, 27(5): 71-80.

SHAN Y X, LONG T, LOU W D, et al. A Detection and Recognition Method of Cigarette Cases in Complex Scene Based on Deep Learning[J]. Acta Tabacaria Sinica, 2021, 27(5): 71-80.

[4] 楊超, 李佳田, 張澤龍, 等. YOLOv4-tiny算法的融合模塊在卷煙小包外觀缺失檢測中的應用[J]. 中國煙草學報, 2022, 28(2): 59-64.

YANG C, LI J T, ZHANG Z L, et al. Application of Fusion Module of YOLOv4-Tiny Algorithm in Cigarette Packet Appearance Missing Detection[J]. Acta Tabacaria Sinica, 2022, 28(2): 59-64.

[5] DENG J, DONG W, SOCHER R, et al. Imagenet: A Large-Scale Hierarchical Image Database[C]// 2009 IEEE Conference on Computer Vision and Pattern Recognition, 2009: 248-255.

[6] AL-SAFFAR A A M, TAO H, TALAB M A. Review of Deep Convolution Neural Network in Image Classification[C]// 2017 International Conference on Radar, Antenna, Microwave, Electronics, and Telecommunications (ICRAMET), 2017: 26-31.

[7] EVERINGHAM M, VAN GOOL L, WILLIAMS C K I, et al. The Pascal Visual Object Classes (VOC) Challenge[J]. International Journal of Computer Vision, 2010, 88(2): 303-338.

[8] LIN T Y, MAIRE M, BELONGIE S, et al. Microsoft Coco: Common Objects in Context[C]// Computer Vision-ECCV 2014: 13th European Conference, Zurich, Switzerland, Springer International Publishing, 2014: 740-755.

[9] WU X, ZHAN C, LAI Y K, et al. A Large-Scale Benchmark Dataset for Insect Pest Recognition[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019: 8787-8796.

[10] ERTLER C, MISLEJ J, OLLMANN T, et al. The Mapillary Traffic Sign Dataset for Detection and Classification on a Global Scale[C]// European Conference on Computer Vision. Cham: Springer International Publishing, 2020: 68-84.

[11] LIU Z, LUO P, WANG X, et al. Deep Learning Face Attributes in the Wild[C]// Proceedings of the IEEE International Conference on Computer Vision, 2015: 3730-3738.

[12] KHAN A, SOHAIL A, ZAHOORA U, et al. A Survey of the Recent Architectures of Deep Convolutional Neural Networks[J]. Artificial Intelligence Review, 2020, 53: 5455-5516.

[13] HE K, ZHANG X, REN S, et al. Deep Residual Learning for Image Recognition[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 770-778.

[14] HUANG G, LIU Z, VAN DER MAATEN L, et al. Densely Connected Convolutional Networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 4700-4708.

[15] ZHANG X Y, ZHOU X Y, LIN M X, et al. Shufflenet: An Extremely Efficient Convolutional Neural Network for Mobile Devices[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 6848-6856.

[16] SANDLER M, HOWARD A, ZHU M, et al. Mobilenetv2: Inverted Residuals and Linear Bottlenecks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 4510-4520.

[17] LIU W, ANGUELOV D, ERHAN D, et al. Ssd: Single Shot Multibox Detector[C]// Computer Vision-ECCV 2016: 14th European Conference, Amsterdam, the Netherlands, Springer International Publishing, 2016: 21-37.

[18] FARHADI A, REDMON J. Yolov3: An Incremental Improvement[J]. Computer Vision and Pattern Recognition, 2018, 1804: 1-6.

[19] ZHU X, LYU S, WANG X, et al. TPH-YOLOv5: Improved YOLOv5 Based on Transformer prediction Head for Object Detection on Drone-Captured Scenarios[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 2778-2788.

[20] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Trans Pattern Anal Mach Intell, 2017, 39(6): 1137-1149.

Cigarette Packaging Appearance Defect Data Set Construction and Deep Learning Detection Technology Research

ZONG Guohao1, ZHANG Mingyan2, WANG Rui1, WANG Zeyu2, WANG Di1, WANG Yongsheng1, ZHENG Chaoqun1, FENG Weihua1*

(1. Zhengzhou Tobacco Research of CNTC, Zhengzhou 450001, China; 2. Golden Leaf Production and Manufacturing Center, China Tobacco Henan Industrial Co., Ltd., Zhengzhou 450016, China)

The work aims to construct a benchmark dataset for cigarette package appearance defect recognition and carry out research on the application of mainstream deep learning models in the intelligent detection of cigarette package appearance defects, so as to improve the accuracy of cigarette package defect detection. The image data of suspected defects were collected from the normal production ZB45 fine cigarettes hard box packaging machine, and the data with respect to real defects were obtained through manual reviews and screening. According to the characteristics and causes of defects, the defect data were classified into 23 categories, the labels and locations of defect were marked with bounding boxes. A benchmark dataset containing more than 13 000 images of cigarette package appearance quality defects was constructed. Experimental tests were conducted for four tasks, namely, cigarette package defect recognition, defect classification, target detection, and model transfer. The results showed that the dataset fulfilled the training requisites for high-accuracy deep learning models; Through model migration, the dataset could be utilized to significantly improve the accuracy of defect detection for different cigarette grades; The DenseNet model achieved better results on the cigarette packet defect recognition and defect classification tasks, with accuracy rates of 93.70% and 95.43%, respectively, and the YOLOv5 model achieved a mAP@0.5 of 96.61% on the defective target detection task. The dataset can be used as a benchmark dataset in cigarette packet defect detection, and the research results will further support the data application and digital transformation in cigarette packaging.

cigarette package; package appearance quality inspection; deep learning; YOLOv5; benchmark datasets

TB487；TS434

A

1001-3563(2024)05-0135-09

10.19554/j.cnki.1001-3563.2024.05.016

2023-11-15

中國煙草總公司鄭州煙草研究院創新專項資助（602021CR0080）