基于C-YOLOv5的煙葉烘烤熟度檢測模型

郝亦龍，吳慧欣*，劉明堂，劉 洋，郝用興

（1.華北水利水電大學 信息工程學院，鄭州 450046；2.華北水利水電大學 電子工程學院，鄭州 450046；3.天昌國際煙草有限公司，許昌 461000；4.華北水利水電大學 材料學院，鄭州 450046）

0 引言

煙草業是我國社會經濟的重要支柱，煙草產業納稅占國家總稅收的比例很高。我國的煙草總產量占全球的39.7%，是煙草主要的生產國和消費國[1-3]。而烘烤是煙葉生產的關鍵環節之一[4]。目前煙草烘烤設備系統普遍存在一系列的問題，包括較差的烘烤質量、較低的自動化水平、需要大量的人工操控烘烤設備、工作條件差，對相關從業者有較高的業務要求等問題。隨著我國人口老齡化加劇和人口負增長時代的到來，以及人工智能技術的快速發展，研究基于人工智能技術的煙葉方法與設計烘烤房設備方案，以解決這些問題，提高烘烤煙葉的烘烤效果和煙葉品質，降低用人成本，具有需求迫切性與現實可行性。

1 國內外研究現狀

國內的烤煙設備與國外設備比較，有基于種植模式等造成的國情不同，也有科技發展水平產生的差別。

歐美等發達國家主要是大農場煙草種植模式。生產規模和種植面積較大，易于保證相同批次的煙葉品種相同、性狀相同，易于實現烘烤自動化。早在1960年美國的Johnson等人在就對密集烤房進行了試驗研究[5]。而最早將圖像分析技術應用于煙葉檢測分級的是Thomas，他在1988年進行了相關研究[6]。

國內煙葉烤房的發展經過了普通的密集化烤房、烘烤能源變化、烤房自動化的一系列發展[7]。但是國內的煙草種植大多數都是小規模煙草種植模式，大規模的煙草種植較少，因此煙草性狀一致性較難保證。此外，由于生產區域與地理氣候條件的差別，適宜的煙草品種也不同，由此造成了性狀的差異性更大。由此導致煙草烘烤的自動化普及率較低，很多地區的煙葉烤房還處于自動化較低的水平。近年，伴隨著工業與自動化技術的發展以及人工智能的應用，自動化程度也逐漸得到了提高。郝同盟基于改進的YOLOv4網絡提高了煙梗檢測的準確率與模型的檢測速度[8]。YICHAO WANG和QIN LANG建立LSTM與XGBoost融合模型SPFM能較好的預測煙葉烘烤狀態[9]。KESU WEI等利用深度遷移學習對近紅外光譜呈現的煙葉成分進行在線檢測[10]。

2 三段式烘烤設備設計

2.1 三段式烘烤存在的問題

常用的三段式烘烤工藝本身有一定缺陷，造成良品率低，產品質量難保證[11]。這種缺陷導致次品的情況包括煙葉油分差、光澤淡等。而且目前使用較多的烘烤房，由于空氣流動不夠充分，煙葉位置固定等的原因，會出現烤房內各區域烘烤溫度不均勻，最終造成煙葉被烤青、烤黑等現象。其次，生產自動化程度低，勞動條件差，勞動強度大[12]。目前國內烤煙房主要的自動化設備是溫濕度自動控制系統，但是在烘烤過程中溫度的調整還是要依據高水平的烘烤師傅的經驗主觀判斷，然后通過修改控制器參數來保證烤制質量。由于這種方法并沒有定量的判斷標準，烘烤質量波動較大，可靠性不高，較難保證烘烤質量，同時也增大了勞動力成本。

烤煙三段式烘烤工藝是煙草加工較為重要的流程[13]，其工藝流程的好壞直接影響到煙草制造的質量，當前人工智能技術，特別是圖像識別技術迅速發展。為了更好地實現加工的標準化、優化工藝生產流程及參數、提高生產控制技術水平，本文提出一種流水線式自動烤煙設備方案，研究開發了一種基于機器視覺與圖像識別技術的煙葉熟度檢測技術。

2.2 設備控制系統

該設備控制系統結構圖如圖1所示。整個設備包括：后臺的服務器，現場工控機、圖像采集模塊、溫濕度傳感器、報警模塊、驅動模塊、顯示模塊、溫控模塊?，F場工控機的輸入端主要接受圖像采集模塊以及溫濕度傳感器采集到的數據，包括煙葉圖像和烘烤房內溫濕度等。工控機輸出端與服務器、報警模塊、驅動模塊、顯示模塊、溫控模塊相連。當圖像模塊采集到烤房內工作時有人進入或其他異常狀態會使報警模塊報警，各色LED燈表示系統工作狀態，紅色為停止工作、黃色為系統異常、綠色為正常工作。工控機與顯示模塊相連，可以將烤房內的溫濕度、以及煙葉熟度等相關信息展示到顯示模塊上。工控機控制驅動模塊，實現物料的自動裝填與輸入，并使物料在烤房內不斷輸送，使保持烤房內空氣流通。圖像采集模塊采集到的煙葉信息發送給工控機，由工控機回傳給服務器，服務器對煙葉進行熟度判斷，判斷后對工控機下達相應的控制指令。服務器可以對數個工控機收集到的圖像數據進行判斷。

圖1 烤房設備控制系統結構圖

圖2 烤房系統組成方案

圖3 人工篩選后的未熟、半熟、全熟煙葉圖片

2.3 烤房系統組成方案

煙葉烤房主體為保溫箱，保溫箱內有回風管、冷凝排、換氣風機組件、排水組件、干燥空氣通風管、通風風機、閉環軌道物料輪轉輸送機構、壓縮機等部件，控制器安裝在箱體上，此外烤房內還有物料裝填機構、輸出機構。

其中閉環軌道物料輪轉輸送機構是用于將物料在保溫箱中輸送，使物料均勻受熱。煙葉物料通過在閉環軌道的循環輪轉，可實現煙葉運動與熱氣流動的循環變化，使得煙葉各部位得到比較均勻的烤制，易于穩定品質，排除由于煙葉在烤房內擺放位置差異，而造成的烤制工藝差別。通過煙葉物料的循環輪轉，也為收集煙葉圖像數據，從入口與出口自動輸入輸出物料，實現流水線加工提供了方便。

2.4 烤房系統運行

裝填機構、保溫箱、輸出機構隔離，能夠保證保溫箱內狀態穩定，減少環境擾動。設備運行分為四個階段：預熱階段，設備空機運行，通過調整加熱、除濕功能使保溫箱內環境達到工藝標準；裝料階段，裝填機構運行，將原料組件載入到工藝機構中；烤制階段，在裝料完成后，執行工藝設定，檢測原料組件狀態，及時將達到標準的產品輸出至輸出機構退出工藝流程；停機階段，將未完成的原料從設備中退出，設備停止運行。

通過上述裝置，可以方便地對烤煙三段式烘烤工藝進行研究、優化，提高生產效率，提高產品品質，降低對材料的浪費。

同時本設備可以采用并聯或者串聯形式，實現多個設備流水線作業，可以通過對單個設備單元進行不同溫度的設定，來控制其達到分段烘烤的效果。也可以使多個設備獨立運行，各自進行烘烤。

3 煙葉熟度檢測

為了能夠實現對煙葉熟度的判斷，本文提出了一種基于YOLOv5改進模型的煙葉熟度檢測判別方法，用于判斷烤煙三段式烘烤工藝中產品的品質，通過上述平臺實現成品和殘次品的自動化檢出，進而實現產品的自動化流水分階段處理。

3.1 數據采集及處理

數據的采集包括從河南省某煙草公司提供的煙葉照片，以及互聯網上煙葉相關的照片。然后對采集到的圖片進行人工篩選，將像素較低以及煙葉狀態呈現較差的圖像舍棄，最終得到4346張圖片。將采集到的圖片按照烤煙三段式烘烤工藝分為未熟、半熟、全熟。

根據劃分的煙葉成熟程度對采樣圖片進行標注，使用標注工具LabelImg生成模型可讀的數據格式。標注工作完成后，共得到未熟2487個,半熟1746個,全熟4231個。共計8464個標注。數據集劃分為驗證集、測試集和訓練集的比例為1:1:3。

3.2 注意力機制

本文選用Yolov5[14-16]目標檢測模型作為基準模型，該模型由四個部分組成。Input負責向模型輸入數據的輸入端、Backbone主要負責特征的提取、Neck負責將特征進行融合、Prediction對目標進行預測。

注意力機制的本質就是定位到感興趣的信息，抑制無用信息，該方法受到人類視覺原理的啟發而來。其原理在于，當人在進行觀察的時候，視覺圖像中雖然有大量、豐富、完整的對象信息，但是，人們往往只會重點關注自己最感興趣、或最引人注目的那部分信息，而其他部分并不會被給予詳細處理，有的甚至被忽略，這種只選擇處理關鍵場景的行為被稱為注意力機制。

CBAM是一種在2018年被提出來即插即用的輕量級注意力機制模塊，該模塊的特點是由串行鏈接的通道注意力模塊和空間注意力模塊組成[17]，圖4是CBAM的原理圖。從圖4中可以看出，被通道注意力模塊處理過的輸入特征會與原始特征融合，作為新的輸入進入到空間注意力模塊。然后，被空間注意力模塊處理過的特征也會與未被其處理過的特征融合，作為最終的特征輸出。其中，通道注意力模塊強化處理輸入特征中的關鍵特征，空間注意力模塊進一步強化處理關鍵特征的位置信息。

圖4 CBAM注意力機制

我們把原始特征F∈RC*H*W輸入到通道注意力機制模塊，則有：

通道注意力機制加強和空間注意力機制加強的具體原理如下：

3.2.1 通道注意力機制加強

通道注意力機制的本質，在于區分各個特征重要性的不同，對于不同的任務可以根據輸入進行特征分配，簡單而有效。通道注意力機制模塊的主要功能是通過建模各個特征通道的重要程度，然后針對不同的任務增強或者抑制不同的通道，突出需要給予重點關注的目標關鍵特征。其原理是通過分析比對相同特征在不同通道之間的關系，通過學習強化被關注目標權重，以此來實現突出目標的關鍵特征。圖5是通道注意力機制的結構圖，其包含一個池化層、多層感知器、以及池化層經過多層感知器后的帶權重層。從圖中可以看出被輸入特征傳入該模塊，池化層會分別對輸入特征進行最大池化和平均池化操作，以此來對特征進行壓縮，通過這一層就能獲取到各個通道之間的全局信息，也可以用通道描述符SC表示。將這些特征都輸入多層感知器，這樣就獲得了每個通道的權重，最后對這些特征進行加權運算并輸出。

圖5 通道注意力機制

式(3)表示一個長和寬分別是H和W的輸入特征經XC過池化層R(XC)后所獲得的通道描述符即SC，其通道數為C。特征中的位置用XC(i,j)表示：

通過對SC進行卷積、激活操作就可以描述特征的全局信息之間的關系。式(4)來表示卷積、激活流程。

3.2.2 空間注意力機制加強

空間注意力的本質就是定位目標并進行一些變換或者獲取權重，使得輸入樣本更加容易學習?？臻g注意力機制用于強化特定區域的關鍵特征信息表達，減弱背景區域的特征表達。就是通過對輸入特征中關鍵區域的特征進行強化表達，達到提高檢測精度的效果。其與通道注意力機制存在一定差異，不同于比較不同通道，其主要是分析相同的原始特征被轉換到另一空間，且保留特征的空間位置信息。將這些位置的特征加權并輸入，分析輸出的權重。

空間注意力機制的結構如圖6所示。從通道注意力機制獲取的加強特征F′要先后進行最大池化和平均池化，用7×7卷積核進行融合，得到卷積層。同通道注意力機制一樣，依舊用Sigmoid激活函數生成權重信息，并與F′進行操作得到空間注意力信息F′′。

圖6 空間注意力機制

式(6)是空間注意力機制的原理表達式：

YOLOv5增加CBAM注意力機制后的結構圖如圖7所示。對增加CBAM注意力機制的YOLOv5模型稱為C-YOLOv5。

圖7 C-YOLOv5模型結構圖

4 實驗與結果分析

4.1 實驗

實驗環境：操作系統為Windows10，編程語言為Python3.9，框架技術為PyTorch，加速環境為CUDA11.6，GPU為NVIDIA GeForce RTX 3090，顯存大小為24G。

模型參數：模型參數條件不同，實驗后得到的最終結果也會有一定差距。為了煙葉熟度識別模型對煙葉熟度具有較好的識別率，我們在其他參數相同的條件下對各項參數進行了一系列的調試，來盡量提高識別的準確率。實驗中，首先通過用測試數據進行測試，然后評估模型性能，并對各項參數做相應調整。綜合考慮實驗硬件配置和模型效果，最終模型參數如下：batchsize為64，學習率大小為0.01，epoch為300。

實驗步驟：采集3類熟度煙葉圖片；對數據進行處理，構建數據集；將CBAM網絡與Yolov5融合，構建為新的模型——C-Yolov5；使用數據集對YOLOv5模型和改進后的C-YOLOv5模型進行訓練。

4.2 實驗結果與分析

圖8和圖9分別是YOLOv5與C-YOLOv5訓練過程中的損失函數與mAP_0.5:0.95變化，圖中橫坐標為訓練次數，縱坐標分別是總損失和mAP_0.5:0.95。此處，mAP_0.5:0.95表示從0.5至0.95，步長為0.05的預測圖相框與標注圖相框重疊程度的平均值。

圖8 YOLOv5訓練損失函數與mAP變化

圖9 C-YOLOv5訓練損失函數與mAP變化

在相同參數下，改進模型后兩種模型的實驗結果對比如表1所示。

表1 兩種模型實驗結果對比 %

從實驗結果可以看出，對全熟的煙葉，YOLOv5和C-YOLOv5總體判斷精確度高于未熟與半熟階段。這說明，在數據集設置階段，由于全熟的煙葉圖片較多，提高了YOLOv5的學習數量，提高了精確度。YOLOv5每個訓練輪次的平均時長為2分27秒，而C-YOLOv5每個訓練輪次的平均時長為2分36秒，總時長用時接近。YOLOv5對3種煙葉的識別精度為89.7%，88.3%，93.4%，相同條件下，改進模型后，精度比之前分別提高了3.5%，4.1%，4.2%。對于整體數據集而言，YOLOv5達到了90.5%，C-YOLOv5達到了94.4%的精度，比原模型高出3.9%。從mAP來看，YOLOv5的mAP_0.5:0.95最終達到0.79，而C-YOLOv5的mAP_0.5:0.95達到0.83，這可以看出改進后的模型訓練結果較好。

5 結語

本文提出了一種自動化烤煙設備，該設備可以從一定程度上實現自動化烤煙三段式烘烤，實現自動投遞物料、烘烤、判斷熟度以及輸出物料。利用該設備提高烤煙三段式烘烤的自動化水平，降低工人勞動強度，提高煙葉烘烤質量。將YOLOv5的改進模型C-YOLOv5模型應用于設備，可以對煙葉熟度自動進行判斷，改進后的模型可以有效的提高識別準確率。本文的不足之處在于，數據集規模較小，場景不是特別豐富，會造成一定程度的過擬合。在后續的研究中，一方面是實現系統的硬件設計與布局，另一方面，提高數據集數據量，優化數據集圖片背景多樣性與復雜性，使其更符合該設備復雜、豐富的應用場景，并重新對算法進行訓練，依據訓練結果，不斷優化算法，使其達到更高的準確率、和場景的適應性。