基于Faster R-CNN復雜背景的茶芽檢測

李赫，王玉，范凱，丁兆堂,2

(1.青島農業大學園藝學院，山東青島 266109；2.山東省農業科學院茶葉研究所，山東濟南 250108)

茶芽檢測在茶樹栽培管理和生產加工中具有重要意義：可以為快速判斷茶樹品種農藝性狀提供支持，從而加速茶樹育種；可以為茶園產量測定、采收時間的判斷提供依據；可以為研發茶葉采摘與加工智能化設備提供技術支持。傳統茶芽檢測方法主要有3種：第1種依靠茶芽顏色和形狀特征來檢測，主要根據茶芽和老葉的顏色差異來區分茶芽和背景[1]；第2種基于傳統機器學習方法檢測茶芽[2]；第3種通過調整閾值將茶芽和背景分割以檢測茶芽[3]。然而在復雜背景下，傳統茶芽檢測方法準確率低、穩定性差，很難精準地檢測到茶芽。

近年來，基于深度學習的目標檢測算法發展迅速，這為精確定位并檢測目標提供了技術支持。首先，R-CNN(region-convolutional neural network)作為將深度學習應用于目標檢測領域的先驅算法，創新性地將傳統機器學習和深度學習結合起來，推動了目標檢測算法的發展[4]；隨后，研究人員通過改變網絡結構，提出了SPP Net(spatial pyramid pooling network)[5]、Fast R-CNN[6]、Faster R-CNN[7]、YOLO(you only look once)[8]等目標檢測優化算法。但目前將基于深度學習的目標檢測技術應用于茶芽檢測難度較大，相關研究較少。

本文提出一種基于Faster R-CNN算法的茶芽檢測方法，該方法分別使用AlexNet[9]、ResNet50[10]、VGG19[11]3種網絡模型作為特征提取器提取茶芽特征，通過比較3種網絡模型對茶芽檢測的準確率和召回率，篩選出茶芽特征提取能力和泛化能力好、檢測速度快、綜合性能優的網絡模型。

1 材料與方法

1.1 設備與軟件

EOS 6D數碼相機，佳能(中國)有限公司；iPhone 8p手機，蘋果(中國)有限公司。數據分析操作環境為Windows 10，圖像數據分析軟件為MATLAB 2020。

1.2 圖像采集及數據集的劃分

需要采集足夠多的訓練圖像[12]。茶芽圖像采集于2019年4月在山東省青島市瑞草園(36°42′N，120°56′E)和山東省日照市御園春(35°29′N，119°29′E)茶園進行。使用數碼相機(分辨率為5 184像素×3 456像素)和手機(分辨率為4 512像素×3 008像素)采集茶樹樹冠圖像，共拍攝400張，圖像存儲格式為JPEG，拍攝角度和拍攝距離隨機。將400張圖像按照4∶1劃分，用于訓練集和測試集。拍攝茶芽圖像中，茶芽以外的信息為背景，背景主要包括茶樹老葉和枝干等。圖1為拍攝的一張茶樹樹冠照片。

圖1 茶樹樹冠照片Fig.1 A canopy photo of tea tree

1.3 數據增強和標記

為提高檢測泛化能力，對采集的圖像從光照、尺度和顏色等方面進行數據增強處理，包括調整圖像光照強度，加深圖像顏色，調整圖像分辨率至730像素×530像素，水平翻轉圖像。然后，在MATLAB軟件中使用image labeler 9.2功能對320張增強處理后的圖像進行標記，得訓練集，其余80張圖像作為測試集以驗證檢測性能。目標標簽對應的茶芽類型為一芽一葉或一芽兩葉。圖2為茶樹樹冠標記處理后的圖像。標簽數據以MAT格式保存，將它轉換為表格數據集格式并輸入Faster R-CNN算法中。

圖2 茶樹樹冠圖像的標記處理Fig.2 Image labeling processing of tea tree’s canopy

1.4 茶芽檢測方法的設計

利用Faster R-CNN算法進行茶芽檢測，主要包括4步處理，分別為特征提取、區域候選網絡、感興趣區域層池化和分類回歸，基本流程如圖3所示。

圖3 茶芽檢測方法的基本流程Fig.3 Basic flow of tea bud detection method

1.4.1 特征提取

特征提取器是Faster R-CNN算法的重要組成部分[13]，它的性能直接影響目標檢測的性能。選取AlexNet、ResNet50、VGG19 3種性能較優的網絡模型作為特征提取器來提取圖像特征，得到特征圖。3個特征提取器包含層的數量分別為8、50和19。一般來說，特征提取器包含層的數量越少，訓練速度越快，特征提取器的性能越好。

1.4.2 區域候選網絡

區域候選網絡是一個二分類網絡，負責接收特征提取器提取到的特征圖，并將特征圖分為目標茶芽與背景，然后使用接近于茶芽尺寸的方框框選出目標茶芽。區域候選網絡只能粗略區分目標茶芽與背景，無法對目標茶芽和背景進行細致區分。

1.4.3 感興趣區域池化

感興趣區域池化層可以顯著提高訓練和測試速度、檢測精度，對目標茶芽和背景進行細致區分。感興趣區域池化層從區域候選網絡讀取不同區域的提名，并結合特征圖進行池化操作，從而獲得特征表達。

1.4.4 分類回歸

分類回歸由全連接層構成，可以獲得區域的精確位置，去除背景，并框選出目標茶芽。從感興趣區域池化層獲得的特征表達輸入全連接層后被分為兩組，分別進行回歸處理和目標茶芽與背景的分類處理，從而框選出目標茶芽。

1.5 參數設置

使用訓練集對AlexNet、ResNet50、VGG19 3種網絡模型進行訓練，使用測試集中的20張圖像進行測試，并在MATLAB 2020軟件中將最大迭代次數和學習率分別設置為20和0.05。根據檢測效果調整學習率，最終確定最大迭代次數和學習率分別為20和0.01。圖4為兩種學習率條件下VGG19網絡模型的茶芽檢測結果。從圖4可以看出，學習率影響茶芽檢測效果：學習率為0.01時，檢測到的目標茶芽數量較多，檢測效果較好。

A.學習率為0.05；B.學習率為0.01。圖4 不同學習率條件下的茶芽檢測結果Fig.4 Tea bud detection results under different learning rates注：使用的網絡模型為VGG19。

1.6 網絡模型性能評估

為比較AlexNet、ResNet50和VGG19 3種網絡模型性能，使用準確率P、召回率R[14]、F1分數S來評估。

其中，T為能夠檢測出茶芽并可確定為茶芽的樣本數量，F為能夠檢測出茶芽但確定為非茶芽的樣本數量，N為不能檢測出茶芽的樣本數量。

1.7 茶芽數量級別劃分

為進一步比較不同茶芽數量條件下3種網絡模型的性能，將采集圖像分為3級，第1級茶芽數量1～5個，第2級茶芽數量6～10個，第3級茶芽數量超過10個[15]。每一級使用30張圖像進行測試。

2 結果與討論

2.1 網絡模型的性能

根據表1，使用ResNet50網絡模型時，茶芽檢測準確率最高，為89.1%，但召回率最低，僅為73.3%。因此，ResNet50網絡模型不能很好地檢測茶芽。使用AlexNet網絡模型時，茶芽檢測準確率和召回率都較低，這與AlexNet網絡模型結構過于簡單有關。使用VGG19網絡模型時，茶芽檢測準確率和召回率都超過85.0%，可以很好地檢測茶芽。比較三者的F1分數，VGG19的最大，說明它的綜合性能最優。圖5是VGG19網絡模型檢測到的一個茶芽。

表1 3種網絡模型的茶芽檢測結果Table 1 Tea bud detection results of three network models

圖5 使用VGG19網絡模型檢測到的一個茶芽圖像Fig.5 An image of tea bud detected by VGG19 network model注：方框內是檢測到的一個茶芽。

2.2 茶芽數量對檢測性能的影響

由表2可知，隨著茶芽數量級別的提高，3種網絡模型茶芽檢測準確率和F1分數都逐漸降低，這說明隨著茶芽數量的增加，使用3種網絡模型茶芽檢測綜合性能均下降。其中，VGG19茶芽檢測準確率保持在80.0%以上，召回率穩定在85.0%以上，F1分數保持在0.850以上，為最優網絡模型。

表2 3種網絡模型對不同茶芽數量的檢測結果Table 2 Detection results of three network models for different numbers of tea bud

2.3 Faster R-CNN與SVM的比較

為比較深度學習方法和機器學習方法在茶芽檢測方面的性能，選擇VGG19網絡模型為特征提取器，比較Faster R-CNN算法與支持向量機(SVM)的茶芽檢測性能，結果如表3所示。由表3可知，基于Faster R-CNN算法茶芽檢測準確率和召回率較高，綜合性能較好。

表3 Faster R-CNN與SVM茶芽檢測性能比較Table 3 Comparison of tea bud detection performance between Faster R-CNN and SVM

2.4 討論

比較了基于Faster R-CNN算法的AlexNet、ResNet50和VGG19 3種網絡模型對茶芽的檢測性能。VGG19茶芽檢測具有較高的準確率和召回率，F1分數最高，綜合性能最好。ResNet50茶芽檢測雖然準確率最高，但召回率最低，F1分數最低，綜合性能最差。與ResNet50相比，VGG19在茶芽檢測時具有較快的運行速度，這使得VGG19在訓練大型數據集時具有優勢。AlexNet茶芽檢測準確率和召回率都較低，性能不突出。對不同茶芽數量的圖像檢測性能比較結果表明，隨著茶芽數量的增多，3種網絡模型的綜合性能均下降，但VGG19茶芽檢測的F1分數始終保持在0.850以上，進一步說明它具有良好的綜合性能。綜上所述，VGG19網絡模型在茶芽檢測方面綜合性能好，能較好地解決復雜背景茶芽檢測準確率低、穩定性差等問題。Faster R-CNN算法與SVM算法比較結果表明，Faster R-CNN算法的茶芽檢測準確率和召回率大于SVM算法，這與以往研究結果一致[17]。因此，深度學習可以應用于復雜背景中的茶芽檢測，為茶樹產量特性評價、茶葉采摘與加工智能化機械設備研究提供技術支持。下一步可使用不同的深度學習算法或更多的采集數據進行研究，還可以探索使用多光譜成像或高光譜成像設備來擴增數據質量，進一步提高檢測性能。

3 結論

以Faster R-CNN算法為框架，分別以AlexNet、ResNet50和VGG19網絡模型為特征提取器對復雜背景茶芽圖像進行檢測。結果表明，使用VGG19的茶芽檢測準確率為86.3%，召回率為96.1%，綜合性能最好。表明本文提出的基于Faster R-CNN算法、以VGG19網絡模型為特征提取器的茶芽檢測方法可以應用于復雜背景茶芽檢測。