基于機器視覺的烤煙煙葉部位的智能識別

趙晨，王濤，郭偉雄，孫光偉，路曉崇，宋朝鵬，陳振國*

基于機器視覺的烤煙煙葉部位的智能識別

趙晨1，王濤2，郭偉雄3，孫光偉4，路曉崇1，宋朝鵬1，陳振國4*

(1.河南農業大學煙草學院，河南 鄭州 450002；2.云南省煙草公司曲靖市公司，云南 曲靖 655000；3.廣東中煙工業有限責任公司，廣東 廣州 510385；4.湖北省煙草科學研究院，湖北 武漢 430030)

采集烤煙不同葉位煙葉圖像并進行預處理，提取煙葉葉長、葉寬、面積、周長和最小外接矩形面積5個葉片絕對形態特征參數，計算狹長度、矩形度、圓形度、葉寬最大處占比、葉寬軸與質心夾角5個相對形態特征；通過主成分分析篩選出特征向量，構建基于K近鄰算法(KNN)、邏輯回歸(LR)、基于線性核函數和徑向基核函數的支持向量機(SVM)和BP神經網絡的煙葉部位識別模型，并對比5種模型的識別效果。結果表明：基于圖像輪廓特征所提取的形態特征參數可以較為有效地反映烤煙部位特征；5種識別模型中，基于BP神經網絡模型的識別效果最好，識別準確度為93.75%，訓練集和測試集的模型決定系數均高于90%。

烤煙；部位；形態特征；圖像處理；智能判別

煙葉的著生部位是煙葉分組和分級的重要依據[1]，直接影響著烤后煙葉的外觀質量[2]和化學成分[3]。在生產實際中，上部薄葉、旱腳葉、杈葉等特殊葉片的實際外觀特征與烤煙國家標準所規定的煙葉部位外觀特征存在矛盾[4]，依靠采收人員的個人經驗對烤煙部位的判斷有差異，導致采后烤煙的差異較大。建立不依賴于人工判別的數字化判別方法來客觀、準確地判別烤煙部位，對保障烤煙質量有重要意義。

目前，多數研究采用機器視覺技術對植物葉片進行無損檢測分類識別。董本志等[5]基于Freeman鏈碼方法對荷蘭牡丹、榆樹和菊花葉片圖像中的拐角點進行檢測，葉面積和葉周長的計算精確度達到90%。董紅霞等[6]基于狹長度、矩形度、球狀性等7項相對幾何特征和紋理特征，利用BP神經網絡對楊樹葉、銀杏葉、楓葉等6種植物葉片進行分類，識別準確率達到98.4%。魏蕾等[7]選取多個特征參數，利用SVM分類器對木瓜、三角楓等4種植物葉片進行識別，準確率達到95.8%。LUKIC等[8]基于Flavia數據集采用Hu不變矩和LBP算法提取特征，SVM作為分類器進行植物葉片分類識別，模型識別準確率達到94.13%。李洋等[9]提出一種基于形態特征的植物葉片識別算法，采用KNN–SVM對三角楓、鵝掌楸等葉片進行分類識別，識別準確率為94.77%。ZHANG等[10]對10種分類器進行評估，發現在不同特征的葉片識別中，隨機森林和邏輯回歸具有較高的準確性和穩定性。

在煙草檢測領域，李翠英等[11]提取了能表征不同部位的煙葉輪廓特征，基于煙葉邊緣擬合的二元正交多項式能實現烤后煙葉部位分類。莊珍珍等[12]采用煙葉形狀與顏色融合特征，基于模糊數學方法實現了烤后煙葉分級。汪強等[13]通過煙葉成熟度與SPAD值之間的函數關系，構建基于HSV顏色特征值的成熟度判別模型TMDHSV，對煙葉成熟度進行判定。機器視覺方法在煙草識別領域的研究主要針對烤后煙葉的分級和煙葉成熟度的識別，大多采用煙葉顏色、紋理圖像特征[14]，對鮮煙葉部位的識別鮮有報道。筆者提出一種基于煙葉形態特征的鮮煙葉部位識別方法，采用機器視覺技術，對所采集鮮煙葉圖像進行預處理，提取煙葉的形態特征參數；采用主成分分析(PCA)進行特征降維，構成煙葉特征數據集；采用SVM、BP神經網絡、KNN和LR分類器對鮮煙葉部位進行識別分類?，F將結果報告如下。

1　烤煙葉片圖像的處理

1.1　圖像采集及預處理

2020—2021年，選取河南農業大學試驗基地規范管理煙田的代表性煙株，上部葉采收15～18葉位、中部葉采收8～14葉位、下部葉采收5～7葉位的煙葉。

將煙葉平鋪放置在黑色背景布中央，將奧林巴斯XZ–1 CCD相機固定在三腳架上，距地面約1.5 m，利用水平儀調節鏡頭與地面垂直，采集煙葉圖像，如圖1所示。共采集480個煙葉樣本，其中上部葉164個、中部葉168個、下部葉148個?？緹煙熑~原始圖像為24位真彩色圖像，分辨率為3648像素×2736像素。按4∶1的比例隨機選取訓練集和測試集。

1、2、3分別為上部葉、中部葉和下部葉。

參照文獻[15]的圖像處理方法，將原始圖像轉化為灰度圖像，通過高斯濾波、最大類間方差法和形態學處理，對圖像中葉片與背景的分離等進行預處理(圖2)，采用Canny算子提取烤煙輪廓邊緣曲線。

1　原始圖像；2　灰度化；3　高斯濾波；4　二值化；5　形態學處理；6　輪廓提取。

1.2　煙葉特征的提取

1.2.1絕對形態特征參數的提取

為準確識別烤煙煙葉部位，對烤煙煙葉的形態特征參數[16]進行提取。對煙葉圖像預處理后提取的輪廓信息構建葉片輪廓的外接矩形[17]，提取葉片的絕對形態特征參數(圖3)。

圖3　烤煙葉片絕對形態特征參數

1) 葉長。葉片輪廓上端和下端距離最大的2點之間連線的像素點個數。

2) 葉寬。葉片輪廓上與葉長2點連線垂直且距離最遠的2點連線的像素點個數。

3) 面積。葉片輪廓包含的像素點個數。

4) 周長。葉片輪廓邊緣的像素點個數。

5) 最小外接矩形面積。葉片輪廓的最小外接矩形面積的像素點個數。

1.2.2相對形態特征參數的提取

在樣本圖像處理過程中，縮放、旋轉和平移等操作對絕對形態特征參數的數值結果影響較大，因此烤煙的葉長、葉寬、面積等絕對形態指標不足以作為分類依據。依據文獻[18]，選取煙葉狹長度、矩形度、圓形度、葉寬最大處占比、葉寬軸與質心夾角弧度5項相對幾何特征，表征煙葉形態特征。

1) 狹長度。葉長和葉寬的比值，用于描述葉片圓形程度。

2) 矩形度?？緹熋娣e與其外接矩形的面積之比，反映葉片對其外接矩形的充滿程度。

3) 圓形度。周長的平方與面積的比值，描述葉片邊界復雜程度。

4) 葉寬最大處占比。葉寬最大處距葉基的距離與葉長的比值，反映葉片寬度變化程度。

5) 葉寬軸與質心夾角弧度。葉寬最大處兩點與質心連線所成夾角對應的弧度值，描述葉片寬度特征。

由圖4可知，烤煙不同部位葉片的狹長度、矩形度和葉寬3個特征參數的差異較大，圓形度、葉寬軸與質心夾角弧度的差異性較小，葉長、葉面積、葉周長、外接矩形面積和葉寬最大處位置這5個特征參數的分散程度較高，差異不顯著?？緹熜螒B特征參數的描述性統計結果(表1)表明，煙葉狹長度、矩形度、葉長和葉周長的變異系數均小于10%，葉面積和外接矩形面積的變異系數達到15%，總體來看，所提取烤煙的形態特征變異系數均小于16%，采用這10個形態特征參數進行鮮烤煙部位識別有效。

表1　烤煙不同部位煙葉形態特征參數的描述性統計

表1(續)

2　煙葉部位識別模型的建立

為避免維數過高導致的數據冗余對分類模型效率和精確度的影響，對烤煙煙葉的10個形態特征參數進行主成分分析。由圖5可知，前2個主成分變量可以解釋10個形態特征數據所包含90.2%(PC1 66.2%、PC2 24.0%)的信息，煙葉3個部位都表現出較好的聚類效果，說明形態特征對于烤煙煙葉部位分類預測具有較好的效果。根據10個形態特征在前2個主成分變量的載荷值，剔除與部位分類相關度較低的形態特征，最終選取對部位分級貢獻率較大的前3個形態特征參數即煙葉狹長度、矩形度和圓形度以及PCA篩選的前2個主成分變量作為特征變量，構建基于K近鄰算法(KNN)、邏輯回歸(LR)、基于線性核函數的支持向量機(SVM–linear)、基于徑向基核函數的支持向量機(SVM–rbf )和基于BP神經網絡的識別模型，比較這5種模型的識別效果。

圖5　鮮烤煙的形態特征主成分分析

選擇模型的決定系數和識別準確度作為評價指標[19]，評價模型效果。

3　模型的評估與驗證

采用所構建的5種模型對不同部位烤煙煙葉進行識別，LR模型的正則化系數、SVM模型的核函數參數以及BP神經網絡模型的隱含層網絡節點個數，均采用遍歷優化法[20]進行篩選；KNN模型中值采用5折交叉驗證法[20]進行篩選，最終，SVM模型中linear核函數的懲罰系數為2.0，rbf核函數的核函數方差為0.4，懲罰系數為1.5；LR模型采用的L2正則化系數為10；BP神經網絡模型的輸入層層數為5，輸出層層數為3，隱含層層數為5；KNN模型中所取近鄰樣本的個數為6。

對3個部位煙葉的識別混淆矩陣如表2所示?？梢钥闯?，KNN模型的誤識次數最少，LR模型的誤識次數最多，基于徑向基核函數的SVM模型誤識次數略低于基于線性和函數的SVM模型的誤識次數。不同模型的誤識都發生在相鄰部位，其中中部葉錯分概率最高，可能是相鄰部位烤煙葉片特征存在相似性，目標區分度較小的緣故。

表2　不同模型對烤煙煙葉部位識別結果的混淆矩陣

基于LR、KNN、SVM和BP神經網絡的模型驗證結果如表3所示。LR模型的識別準確度僅有70.83%；SVM模型的識別結果優于LR模型的，其中采用線性核函數的模型識別準確度為88.54%，徑向基核函數的模型識別準確度為89.58%；KNN模型的識別效果優于SVM模型的，模型識別準確度達到了90.63%，模型決定系數達到了85%以上；基于BP神經網絡模型的識別準確度為93.75%，訓練集和測試集的模型決定系數均高于90%，識別效果最好。

綜合不同模型的驗證結果以及混淆矩陣，發現不同模型識別錯誤都發生在烤煙相鄰部位煙葉，且中部葉誤分概率高?？赡苁荢VM、LR模型都通過非線性函數映射，對形成的超平面進行分割，相鄰兩部位鮮烤煙的外觀特征參數數值分布差異較小，且存在不同煙株的同一部位烤煙外觀特征差異較大現象，因此處于煙株部位分界點葉位的鮮烤煙其部位識別難度較大，這也是導致識別錯誤集中在相鄰部位的主要原因。KNN算法通過尋找相鄰樣本進行分類，針對區域交叉或重疊較多的樣本集具有更高的識別精確度，在樣本數據量小的情況下也不容易出現過擬合現象，能夠較好地對烤煙煙葉的所屬部位進行判定。BP神經網絡算法的預測準確度更高，但所需樣本量較大，在數據量較小的情況下容易出現過擬合。在實際烘烤中，同一烤房采摘鮮烤煙的形態特征相似度較高，使用BP神經網絡和KNN算法可以有效提升識別精度，在智能烘烤體系構建過程中，可以運用此分類模型對烤煙煙葉部位進行智能無損識別。

表3　不同預測模型對鮮烤煙部位的識別效果

4　結論

針對不同部位烤煙煙葉的識別，采用機器視覺技術，提出基于形態特征的識別方法。結果表明，采用烤煙煙葉的狹長度、矩形度、圓形度等形態特征描述葉片形態，實現不同部位烤煙煙葉識別是可行的。處于煙株部位分界點葉位的鮮烤煙形態特征參數數值差異較小，在識別過程中易發生誤分現象，所構建的鮮烤煙部位預測模型表現為基于BP神經網絡模型的識別效果最好，識別準確度達到93.75%，基于KNN算法的模型識別準確度僅次于BP神經網絡模型，為90.63%，LR模型的識別準確度最低。在不同部位烤煙煙葉識別中，BP神經網絡算法的預測準確度更高，但模型訓練所需樣本量較大，在樣本量小的情況下，采用KNN算法可以較好地對煙葉的部位進行判定。

[1] 鄧云龍，崔國民，孔光輝，等．品種、部位和成熟度對煙葉淀粉含量及評吸質量的影響[J]．中國煙草科學，2006，27(4)：18–23．

[2] 蔡杰，朱國蕾，孫曉燕，等．基于不同部位煙葉外觀特征與內在質量分析研究[J]．農業與技術，2019，39(13)：27–28．

[3] 陳敏，郭吉兆，鄭賽晶，等．煙葉部位、產地與卷煙主流煙氣７種有害成分釋放量關系研究[J]．中國煙草學報，2012，18(5)：16–22．

[4] 楊尚明，李宜健，肖云峰，等．特殊外觀特征煙葉部位的識別判定研究[J]．安徽農業科學，2014，42(5)：1534–1535．

[5] 董本志，康欣，任洪娥．植物葉片輪廓特征提取方法研究[J]．計算機工程與應用，2015，51(8)：143–147．

[6] 董紅霞，郭斯羽．一種結合形狀與紋理特征的植物葉片分類方法[J]．計算機工程與應用，2014，50(23)：185–188．

[7] 魏蕾，何東健，喬永亮．基于圖像處理和SVM的植物葉片分類研究[J]．農機化研究，2013，35(5)：12–15．

[8] LUKIC M，TUBA E，TUBA M L．Leaf recognition algorithm using support vector machine with Hu moments and local binary patterns[C]//2017 IEEE 15th International Symposium on Applied Machine Intelligence and Informatics(SAMI)．Herlany，Slovakia：IEEE，2017：485–490．

[9] 李洋，李岳陽，羅海馳，等．基于形狀特征的植物葉片在線識別方法[J]．計算機工程與應用，2017，53(2)：162–165．

[10] ZHANG Q，ZENG S J，ZHANG B．Initial investigation of different classifiers for plant leaf classification using multiple features [C]// International Conference on Digital Image Processing. Guangzhou，China：SPIE，2019：1117922．

[11] 李翠英，賀立源，馬文杰，等．采用輪廓特征的煙葉部位組分類研究[J]．計算機工程與應用，2009，45(26)：236–239．

[12] 莊珍珍，祝詩平，孫雪劍，等．基于機器視覺的煙葉自動分組方法[J]．西南師范大學學報(自然科學版)，2016，41(4)：122–129．

[13] 汪強，席磊，任艷娜，等．基于計算機視覺技術的煙葉成熟度判定方法[J]．農業工程學報，2012，28(4)：175–179．

[14] 楊尚明，李宜健，肖云峰，等．特殊外觀特征煙葉部位的識別判定研究[J]．安徽農業科學，2014，42(5)：1534–1535．

[15] 朱靜，田興軍，陳彬，等．植物葉形的計算機識別系統[J]．植物學通報，2005，40(5)：599–604．

[16] SABZI S，ABBASPOUR-GILANDEH Y，JAVADIKIA H．Machine vision system for the automatic segmentation of plants under different lighting conditions[J]．Biosystems Engineering，2017，161(12)：157–173．

[17] GUYER D E，MILES G E，GAULTNEY L D，et al. Application of machine vision to shape analysis in leaf and plant identification[J]．Transaction of the ASABE，1993，36(1)：163–171．

[18] 高良，閆民，趙方．基于多特征融合的植物葉片識別研究[J]．浙江農業學報，2017，29(4)：668–675．

[19] 劉賽可，何曉群，夏利宇．不平衡數據下模型評價指標的有效性探討[J]．統計與決策，2022，38(19)：5–9．

[20] 宋彥，謝漢壘，寧井銘，等．基于機器視覺形狀特征參數的祁門紅茶等級識別[J]．農業工程學報，2018，34(23)：279–286．

Intelligent recognition of flue-cured tobacco position based on machine vision

ZHAO Chen1，WANG Tao2，GUO Weixiong3，SUN Guangwei4，LU Xiaochong1，SONG Zhaopeng1，CHEN Zhenguo4*

(1.College of Tobacco, Henan Agricultural University, Zhengzhou, Henan 450002, China; 2.Qujing Tobacco Company of Yunnan Province, Qujing, Yunnan 655000, China; 3.China Tobacco Guangdong Industry Co. Ltd, Guangzhou, Guangdong 510385, China; 4.Tobacco Research Institute of Hubei Province, Wuhan, Hubei 430030, China)

The images of flue-cured tobacco leaves at different leaf positions were collected and preprocessed, to extract 5 absolute shape features of leaf length, leaf width, area, perimeter and minimum external rectangular area, and to calculate 5 relative shape features of narrowness, rectangularity, roundness, percentage of leaf width at the maximum and the angle between leaf width axis and center of mass. The feature vector was filtered out by the main component analysis to construct 5 tobacco leaf position recognition models based on K-nearest neighbor(KNN), logistic regression(LR), support vector machine(SVM) with linear kernel function and radial basis kernel function, and BP neural network, respectively. The recognition effects were compared for the five models. The results showed that the morphological feature parameters extracted based on the image contour features could reflect the characteristics of roasted tobacco positions more effectively. It could be seen that the BP neural network-based model has the best recognition effect with a recognition accuracy of 93.75% among the five recognition models, and the model decision coefficient is above 90% for both the training and test sets.

flue-cured tobacco; position; morphological characteristics; image processing; intelligent discrimination

TP391.41

A

1007–1032(2023)04–0405–07

10.13331/j.cnki.jhau.2023.04.005

2022–04–25

2023–05–08

中國煙草總公司科技重點研發項目(110202102007)；中國煙草總公司湖北省公司項目(027Y2019–006)；中國煙草總公司云南省公司項目(2021530000241036)

趙晨(1998—)，女，河南平頂山人，碩士研究生，主要從事煙草調制技術研究，qchen54533@qq.com；*通信作者，陳振國，高級農藝師，主要從事煙草栽培及調制技術研究，hbskys1@163.com

趙晨，王濤，郭偉雄，孫光偉，路曉崇，宋朝鵬，陳振國．基于機器視覺的烤煙煙葉部位的智能識別[J]．湖南農業大學學報(自然科學版)，2023，49(4)：405–411．

ZHAO C，WANG T，GUO W X，SUN G W，LU X C，SONG Z P，CHEN Z G．Intelligent recognition of flue-cured tobacco position based on machine vision[J]．Journal of Hunan Agricultural University(Natural Sciences)，2023，49(4)：405–411．

http://xb.hunau.edu.cn

責任編輯：羅慧敏

英文編輯：吳志立