基于圖像處理與機器學習的初烤含青煙葉辨別及含青程度識別研究*

李 崢，徐志強**，張曉兵，林珈夷，鐘永健，徐均華，張趙鵬，焦得平

(1.浙江中煙工業有限責任公司 技術中心，浙江 杭州 310024；2.上海創和億電子科技發展有限公司，上海 200082)

由于田間農藝管理措施不當，煙葉采收成熟度不足，或烘烤調制工藝與煙葉素質不匹配等多方面原因，將導致初烤煙葉出現含青的現象[1，2].烤煙國標將含青煙葉歸為副組煙，外觀質量表現較差，初烤煙葉按含青程度又分為微帶青和青黃兩種類型.含青煙由于營養物質轉化不充分，內在化學成分不協調，在煙葉評吸時表現出香氣質差、香氣量少、青雜氣重、刺激性強等特點[3-5].含青煙葉由于吸食質量差的特性很難配伍到葉組配方中，工業企業為保證卷煙產品感官評吸質量的穩定，在原料分選環節會嚴格把控含青煙葉混入正組煙葉的比例.

隨著交叉學科與檢測儀器的不斷發展與融合，近年來計算機圖像處理技術在農業領域得到廣泛應用[6-10].該項技術也逐步拓展到了煙葉生產中，例如：李增盛等[11]基于圖像處理技術提取烘烤過程中煙葉圖像的顏色特征和紋理特征，構建了煙葉烘烤階段判別模型；潘治利等[12]利用圖像處理技術提取不同產區煙葉圖像特征，并進行歸類分析；史龍飛等[13]基于機器視覺技術提取不同成熟度煙葉圖像的顏色和紋理特征，實現煙葉成熟度的區分檢測.而目前關于初烤含青煙的研究大多只關注于含青煙葉的成因分析及對應措施，缺少應用計算機圖像處理技術辨別初烤含青煙葉，并識別含青程度的相關研究.而技術手段方面，支持向量機(SVM)因其解決非線性、高維數等問題的特有優勢[12，14，15]，已被應用于圖像處理識別領域.有大量研究[10，16，17]將圖像處理技術與SVM模型結合進行圖像的識別和分類，目前已形成較為成熟的配套使用體系.將圖像處理和機器學習技術綜合應用于初烤煙葉圖像輔助識別，相對于傳統的人工作業，將大幅度提高選葉效率和準確率.

本研究首先通過含青程度參比樣的構建和圖片采集，篩選出提取煙葉圖像含青區域的最優顏色通道和顏色參數閾值范圍，之后基于SVM構建烤煙含青程度識別模型，并進行訓練和測試，以解決不同類型含青煙的識別問題，并提高識別的準確率和效率，實現不同含青程度煙葉的快速準確檢測，為智能化煙葉分級體系構建提供部分研究數據支撐.

1 材料與方法

1.1 供試材料

供試烤煙品種為云煙87，含青煙葉樣品采集于云南、湖南、湖北、貴州、河南、廣西6個產煙省份，樣品產地具體涉及18個地市的41個縣(區).共收集2021年初烤煙葉樣品83份，每份 1.5 kg.供試材料按用途分為兩類，一類為含青程度參比樣，用于煙葉圖像處理方式選擇、含青區域顏色檢測通道確定、顏色通道檢測閾值篩選；另一類為模型訓練及驗證樣品，用于搭建模型的學習數據庫，并驗證模型對含青煙葉類別識別的準確性.

1.2 試驗方法

1.2.1 含青程度參比樣制備

為保證參比樣含青程度梯度界限清晰，組織7名省級及以上煙葉分級技術能手，成立含青程度參比樣制作小組.依據煙葉支脈含青條數及葉面含青程度對各地市的樣品進行篩選.分選出含青程度依次遞增的煙葉17片構成參比樣，經Friedman檢驗和定向成對比較檢驗，相鄰梯度樣品間差異顯著，表明含青程度檔次劃分合理.

1.2.2 模型訓練及驗證樣品

依據GB 2635—92烤煙分級標準，由上述評價小組對各地市的煙葉樣品按正組煙葉、微帶青、青黃3個檔次進行分選，篩選標準如表1所示.剔除不可用煙葉后，最終篩選出無病斑、蟲蛀、葉面完整的正組、微帶青、青黃煙葉各405片.

表1 正組及不同含青程度煙葉篩選標準

1.2.3 煙葉圖像采集

煙葉樣品的圖像采集處理作業在浙江中煙技術中心煙葉評級實驗室進行，圖像采集裝置為定制設備，由上海創和億公司生產.裝置主體由暗箱、拍攝裝置、溫濕度平衡裝置組成.將單片煙葉放置于暗箱中，打開光源，由拍攝裝置進行煙葉圖像采集，相機拍攝角度與工作臺面垂直，以獲取完整的圖像信息.拍攝環境溫度 23 ℃、相對濕度75%.

1.2.4 煙葉圖像處理

為避免煙葉圖像中無關區域的干擾，需對圖像中除煙葉之外的區域進行剔除處理.背景與陰影等無關區域的剔除分析方法為：

1)尋找煙葉本身與無關區域的差異，比較煙葉圖像在RGB顏色空間、HSV顏色空間中各顏色通道的差異性.由于煙葉自身顏色與背景顏色存在明顯差異，分析發現HSV顏色空間中的S通道能夠輕易區分煙葉本身和無關區域.在S通道背景區域像素值為0，因此，提取煙葉本身的像素值范圍為S通道的1～255之間.通過設定提取煙葉本身的S閾值范圍，獲得煙葉的二值化圖像.

2)計算二值化圖像的所有連通區域，去除煙葉本身區域之外的所有小面積區域，獲得煙葉本身的二值化掩碼.

3)將提取煙葉的二值化掩碼轉換為RGB三通道圖像，其中RGB每個通道的像素值均為煙葉掩碼二值化單通道像素值.

4)將煙葉原圖與煙葉三通道掩碼進行矩陣乘法運算，獲得剔除無關區域的煙葉本身圖像.

1.2.5 主脈圖像提取

由于含青程度不僅與含青面積相關，也與含青位置相關，因此需要判定含青像素點是位于葉脈還是葉面.為準確獲取主脈的像素點位置坐標，進行了煙葉主脈圖像提取，具體方法為：

1)對背面透光圖像進行gamma校正，實現對圖像亮暗程度的調節.gamma校正方法如下式：

Pf=255×(Pb/255)(1/G).

其中Pf為校正前的像素值，Pb為校正后的像素值，G為gamma校正因子，取值范圍一般為(0.01，7.99).經篩選本方法G取0.2為最優值.

2)提取校正后背面透光圖像的HSV顏色通道的V通道.

3)計算V通道圖像的最外層輪廓，并將V通道輪廓外的像素值賦值為255.

4)將V通道像素值進行聚類成3個簇，依次為葉脈、葉面、背景，像素值從低到高.根據聚類中心的像素值，提取葉脈.

5)計算上一步獲取葉脈區域的所有外部輪廓，保留最大的輪廓所在區域，將其作為最終的葉脈.由于葉面存在皺縮，尤其是上部煙葉，存在主脈被葉面部分遮擋的情況，此時保留最大連通區域后會丟失部分主脈區域.可通過提取煙葉骨架，判斷所有連通區域是否與骨架區域存在重疊，若有重疊，則該連通區域也為主脈.

1.2.6 煙葉含青區域檢測顏色通道選擇

由于含青煙葉樣本數量較大，為避免數據冗余，出現含青區域識別模糊、含青程度界限不明顯等情況.以制備的含青程度參比樣為分析對象，通過分析其在RGB、HSV、Lab、LUV這4個不同顏色空間的各個顏色參數單通道圖像中青色位置的像素值情況，最終確定Lab顏色空間的a通道和LUV顏色空間的U通道，在煙葉含青區域與非含青區域存在明顯差異，因此選取a、U兩個通道進行含青區域的表征.

1.2.7 煙葉含青程度識別模型的構建

基于支持向量機(SVM)構建煙葉樣品含青程度識別模型.SVM主要用于分類和回歸分析，是一種監督式學習的方法.核函數選用rbf徑向基函數，擬合模型前啟用概率估計，不施加懲罰量，不限制迭代次數，按照誤差值確認停止模型擬合，所以max_iter設置為-1.懲罰因子c表征對誤差的寬容程度，其范圍從0.1～500進行網格搜索(GridSearchCV)，核函數中的參數g表征了模型的復雜程度，其最優值選取從0.001～1范圍內進行網格搜索.最終選取的最優參數c為100，參數g為0.001.

1.3 軟件工具

建模、測試及分析是在Windows Server 2010操作系統下，使用軟件Python 3.9作為編程語言實現，并采用matplotlib 3.5.2庫實現數據可視化.Numpy 1.19和Pandas 1.4庫用于數據整理和分析.通過Scikit-learn庫中的Pipeline將數據標準化和模型訓練串聯，避免數據泄露.

2 結果與分析

2.1 煙葉圖像背景剔除

由于煙葉樣品含青部分與其他部分的顏色表征參數存在差異，采用濾波處理會過濾一些青色像素值.為避免對后期圖像青色提取產生影響，未對圖片進行去噪聲和濾波處理.但為排除煙葉本身之外因素的干擾，對拍攝的原始煙葉圖像進行了背景剔除處理.由于煙葉原始圖像陰影干擾明顯，而透光圖像幾乎不存在陰影，因此，采用透光圖像對煙葉正面和背面圖像進行背景剔除.處理后的煙葉樣品圖像如圖1所示.

(a)剔除背景的煙葉原圖 (b)經透光處理的煙葉正面圖像 (c)經透光處理的煙葉背面圖像圖1 煙葉圖像的處理

2.2 主脈圖像提取

煙葉為典型異面葉[18]，主脈凸起部分位于葉片背面.從拍攝的煙葉圖片效果來看，在背面透光圖像中，可明顯地觀察到主脈，且顯示其與葉面存在明顯差異，因此可對背面透光圖進行處理以提取清晰完整的主脈圖像.提取后的主脈顯示情況如圖2所示.

圖2 主脈提取圖像

2.3 確定煙葉含青區域檢測的顏色通道

煙葉圖像在a通道和U通道分量值的顯示情況如圖3所示，為了準確表征含青程度的顏色特征，還需計算a、U兩個通道的百分位數特征.

(a)剔除背景的煙葉原圖 (b)煙葉樣品在a通道的分量值 (c)煙葉樣品在U通道的分量值圖3 煙葉在不同顏色通道分量的顯示

基于青色在a通道與U通道相對較明顯的結果，為從中選出最佳青色檢測顏色通道的分位值，計算17片參比樣煙葉相應顏色通道的分位數與含青程度排序結果的相關性.將相關性最大的顏色通道分位值作為最終的煙葉含青區域檢測的道，具體步驟如下：

1)計算含青程度依次遞增的煙葉樣品在a、U兩個顏色通道的像素值分位數，分位數范圍分別為(0.1，0.01)，每一個分位數作為一個特征，總共得到200個分位數顏色特征.

2)計算所有分位數特征以及圖片序號在內的相關系數矩陣，得到200×200的相關系數結果.

3)提取各分位數特征與含青煙葉參比樣排序結果的相關系數，相關系數統計情況如圖4所示.由圖4可知，a通道與含青程度的相關系數普遍且明顯高于U通道，因此確定Lab顏色空間的a通道為煙葉含青區域檢測通道.

圖4 a通道和U通道分位數特征與含青程度相關系數

4)將a通道和U通道分位數與含青程度的相關系數結果進行排序統計，并保留排名前10的分位數特征，結果如表2所示.

表2 a通道、U通道與含青程度相關系數排名前10的分位數特征

由表2可知，a通道分位數0.01，0.02，0.03，0.04，0.05，0.06，U通道分位數0.01，0.02，0.03，0.04，與含青程度的相關性較高.其中，a通道0.01分位數與含青程度的相關系數最大.因此，將a通道0.01分位數作為青色檢測的顏色通道.

2.4 確定煙葉含青區域檢測閾值

為了在Lab顏色空間的a通道更為準確地提取青色，需明確與含青程度相關性最高的顏色閾值(L1，L2).a通道顏色像素值范圍為(128，255)，結合實際煙葉圖像，設定青色像素值合理范圍為(128，145).對處于此范圍的顏色閾值進行窮舉，計算相應閾值下的含青比例，并將結果與專家制備的參比樣順序進行相關分析，取相關性最高的合理閾值作為青色檢測的閾值.

窮舉偽碼為：

for L1 in range(128，145)：

for L2 in range(128，145)：

if L1 >= L2：

continue

各閾值范圍下參比樣的含青比例與煙葉含青程度順序的相關系數統計情況如表3所示.可知，相關程度達到顯著水平以上的閾值范圍共6組，其中青色檢測閾值(141，142)條件下，含青比例與含青程度的相關系數最高，因此確定煙葉含青區域檢測閾值范圍為(141，142).

表3 不同閾值范圍下含青比例與含青程度相關系數

2.5 含青程度識別模型測試

將篩選后的正組、微帶青、青黃煙葉樣本分別按照8∶2的比例劃分為訓練集和測試集，采用Lab顏色模型的a通道0.01分位數為建模特征進行模型測試，模型對測試集的混淆矩陣如圖5所示.測試集243個樣本中，對于正組煙葉、微帶青煙葉、青黃煙葉的綜合分類準確率達到86.01%.從混淆矩陣圖可以看出，構建的含青程度識別模型對正組煙葉和微帶青煙葉的區分能力較好.正組煙葉與微帶青煙葉的測試集有81個樣本，其中，正組煙葉預測準確率達到95.61%，微帶青煙葉預測準確率達到87.65%.模型對青黃煙葉的預測準確率為75.31%，其問題主要為青黃煙葉與微帶青煙葉識別界限不清晰，識別準確率有待提升.

圖5 模型在測試集上的混淆矩陣

3 結論與討論

含青煙葉的準確識別是煙葉分級領域的難點，本試驗在煙葉樣品整理過程中制備出一套含青程度參比樣，通過已知煙葉含青程度排序進行煙葉圖像處理方式的選擇，以及含青區域顏色檢測通道和檢測閾值的篩選，保證了從煙葉圖像中提取含青區域參數設置的合理性和科學性.煙葉正面透光圖像可全面反映葉脈、葉面的信息，因此針對煙葉正面透光圖像進行含青區域提取.考慮煙葉為典型異面葉，葉面正面和背面主脈圖像所呈現的信息不同，本文提出了一種通過煙葉背面透光圖像提取主脈圖像的方式.在實際煙葉生產中，對于煙葉等級的判定基本以葉片正面為主，并且在后續分析中發現，判斷煙葉含青程度的更佳方式是通過顏色通道的分位數來表征[19]，而分位數不存在位置信息，因此本試驗未對提取的主脈圖像進行單獨分析.

本試驗采用圖像處理提取識別微帶青煙葉和青黃煙葉的含青區域，并基于最優顏色模型，采用SVM算法構建不同含青程度煙葉的識別模型，模型對測試樣本的研究結果表明準確率達到86.01%.混淆矩陣圖顯示模型對正組煙葉和微帶青煙葉的識別準確率較高，而對于青黃煙葉的識別準確率相對偏低，識別錯誤表現為將部分青黃煙葉識別為微帶青葉.分析認為，與分級人員通過感官辨別含青程度的方式相比，由于存在像素和拍攝角度限制等問題，采用相機拍攝煙葉圖像提取含青區域較易引起圖像出現不同程度的失真情況[20]，后期應將煙葉圖像與分級人員識別結果相結合進行再驗證，最大限度地保證煙葉圖像與分級人員感官的匹配，使煙葉圖像所反映的信息與實際煙葉相符度更高.此外，樣本的數量與代表性對模型的訓練學習效果有著重要影響.由于不同產區煙葉外觀質量存在明顯差異[21，22]，該模型的普適性有待進一步認證.本文所構建的模型為基礎模型，后續可納入更多產地煙葉的差異化特征，在模型搭建過程中進行遷移學習，使模型更具泛化能力，逐步提升模型的普適性和準確度.