基于PP-YOLO深度學習模型的贛南臍橙果實識別方法

章倩麗，李秋生

基于PP-YOLO深度學習模型的贛南臍橙果實識別方法

章倩麗1,2，*李秋生1,2

（1. 贛南師范大學智能控制工程技術研究中心，江西，贛州 341000；2. 贛南師范大學物理與電子信息學院，江西，贛州 341000）

果實檢測在研究臍橙采摘機械化發展中有著重要作用，然而不良天氣條件將對目標果實的檢測和識別產生不利影響。針對霧天和雨天情形下臍橙果實圖像模糊、噪聲復雜，檢測速度較慢和準確率較低的問題，通過采用單階段目標檢測網絡PP-YOLO來研究不良天氣條件下贛南臍橙果實的識別。通過主干網絡ResNet提取特征并結合FPN（特征金字塔網絡）進行特征融合實現多尺度檢測，且基本實現端到端檢測。實驗結果表明，所提出的PP-YOLO檢測模型可實現霧天和雨天情況下贛南臍橙檢測任務，mAP分別為89.06%和91.01%，識別效率分別可達到75.30 fps和75.44 fps，可以嘗試在臍橙采摘機器人的研制中加以應用。

目標檢測；果實識別；機器視覺；PP-YOLO

0 引言

國內外農業生產的發展趨勢都在沿著規?；?、機械化、現代化方向發展，例如嫁接機器人、施肥和噴霧機器人、采摘機器人等設備的陸續研制及優化，未來在農業領域對智能機器的需求將不斷增加[1]。我國是臍橙種植大國，根據江西省贛州市果業局統計，贛南地區是臍橙種植面積世界第一[2]，年產量世界第三、全國最大的臍橙主產區[3]。成熟贛南臍橙的精準高效采收是臍橙整個生產過程的關鍵，影響著臍橙的貯藏、運輸、包裝等環節。目前臍橙主要依靠人力收獲，使得勞動力和生產成本增加。這種落后的方式嚴重制約了臍橙產業的健康快速發展，實現臍橙采收機械化，可以大幅度降低成本的同時也促進了臍橙產業的發展[4]。

機器視覺通過計算機模擬人類視覺采集并學習圖像中的特征[5]，對果實進行識別、檢測、定位，為采收機器人的研究提供重要參考[6]。自1968年視覺系統第一次被引入用于柑橘果實識別以來[7]，國內外眾多學者針對自然環境下的果實識別方法開展了多方面研究工作，包括光照變化、陰影覆蓋、著色度變化、枝葉遮擋、果實重疊等不同條件下果實識別任務所需的特征組合，以及從彩色、深度圖像中提取上述特征和識別果實的方法[8]。

采摘機器人的研究主要有蘋果[9]、櫻桃[10]、番茄[11]等果蔬采摘機器人[12]，針對臍橙圖像主要是品質檢測[13]和分級[14]、缺陷檢測[15]和病蟲害檢測[16]、臍橙表面殘留物[17]的研究，真正將臍橙圖像用于目標識別和定位中的研究較少。徐越等[18]利用顏色特征對重疊蘋果果實進行識別，該方法在光照等自然條件好、成熟果實和未成熟果實差異明顯的情況下可以達到較好的效果，但其適用性有一定的局限。高新浩等[19]利用卷積神蘋果經網絡的視覺處理算法對水果果實與復雜背景進行分割分類及二維定位，并結合景深傳感數據進行果實3D定位，定位精度及果蔬采摘成功率高，但該算法計算復雜度較大。Li等[20]研究了對多個荔枝串檢測定位，先用語義分割分割出背景、果實和樹枝，結合聚類算法聚類出同一荔枝串的果實分枝，通過主成分分析擬合出線性信息對應分枝位置，單個荔枝支路的檢測精度達到83.33%，檢測時間為0.464 s。宋懷波等[21]設計了針對復雜環境下的重度粘連小麥籽粒的檢測方法，基于YOLOv5、混合深度可分離卷積以及壓縮激勵，模型檢測精確率達到93.15%。但是該方法仍存在重度粘連難以識別，且檢測速度較為緩慢。

傳統的視覺定位系統對待檢測物體所處的環境有很強的依賴關系，在惡劣天氣條件下臍橙果實圖像識別更加困難，有效解決雨天和霧天條件下的臍橙果實識別問題，可為實現雨天和霧天臍橙采摘機器人的作業提供技術支撐。目前，真正將臍橙圖像用于目標識別和定位的研究少有報道，針對霧天和雨天條件下的研究更是鮮見。本研究利用贛南臍橙果實圖像在不同特殊天氣下的特征差異，基于PP-YOLO單階段目標檢測算法，對惡劣天氣下的臍橙果實進行檢測研究。

1 模型結構

基于錨框的單階段目標檢測網絡主要組成部分有：主干網絡、檢測頸和檢測頭。PP-YOLO是PaddleDetection基于YOLOv3優化和改進的目標檢測模型，采用加入可變形卷積的殘差網絡ResNet替換DarkNet作為主干網絡提取特征，輸出feature map，檢測頸使用特征金字塔網絡FPN進行特征融合，檢測頭沿用YOLOv3檢測頭分類及定位[22]。網絡結構如圖1所示。

1.1 殘差結構

簡單地將一系列卷積層和池化層堆疊搭建更深層的網絡結構，隨著網絡層數不斷加深，計算成本較高，不利于模型訓練，且會導致梯度消失或梯度爆炸現象和退化問題。若每層誤差梯度小于1，在反向傳播過程中，每傳播一層都乘這個系數，網絡越深連乘次數越多，梯度將越來越小，最終導致梯度消失；反之，若每層誤差梯度大于1，則梯度將越來越大，最終導致梯度爆炸。網絡層數加深導致訓練誤差不降反升，即為退化。針對這一類問題，何凱明等[23]提出殘差網絡結構，該模型局部結構如圖2。

圖1 PP-YOLO結構圖

圖2 殘差結構示意圖

主分支將輸入特征矩陣通過卷積層和激活函數，側分支由輸入直接連接到輸出作恒等映射，主分支和側分支所得到的特征矩陣在同一維度，相加后經過激活函數。通過殘差結構加深網絡，可有效降低訓練誤差。

1.2 特征金字塔網絡

特征金字塔結構，把強位置信息的低層特征和高語義信息的高層特征進行融合，達到多尺度預測，其結構如圖3所示。

圖3 特征金字塔結構圖

從底向上的路徑，通過一些卷積進行特征提取，得到不同尺寸的feature map，同時從頂到下的路徑，feature map進行卷積和上采樣，將強位置信息和高語義信息橫向連接，得到多尺度特征，送到檢測頭再進行預測分類和精準定位[24]。

1.3 遷移學習

遷移學習[25]在深度學習過程中被普遍使用，遷移即將已學習網絡的淺層網絡的參數遷移到新網絡中，新網絡不僅能夠識別底層通用特征，還能快速學習新數據集的高維特征。訓練模型時，模型的損失值隨時間推移而慢慢收斂，最終趨于穩定，其權值初始化需耗費大量時間，通過遷移學習可加快訓練的進程，并且在數據集較小時也能得到較好的效果。

本研究采用遷移學習的思想，選擇在公共數據集ImageNet上預訓練好的分類模型進行權重初始化，減少訓練所需的時間以及資源。

2 數據集制作

2.1 圖像采集

圖像于2020年11月14日17：00～18：30之間在江西省贛州市贛南師范大學的臍橙園所采集，從各個角度對臍橙進行拍攝陰天時的臍橙圖片，拍攝設備為1200萬以上像素的手機?？偣膊杉毘葓D像500張，篩選刪除模糊不清以及不適用的圖片后保留了450張制作數據集。包含完整無遮擋、樹枝樹葉樹干遮擋、臍橙果實相互遮擋的臍橙圖像，且2/3以上的圖像包含10個以上臍橙果實，圖像保存格式為jpg格式。

2.2 制作數據集

霧天圖片共444張，雨天圖片共445張。將陰天拍攝圖片作為輸入，通過加霧算法和加雨算法生成帶霧和雨的圖片。由于數據集為仿真生成，與實際應用環境中獲取的圖像存在一些差異，加載此數據集訓練的模型真實應用效果有待進一步探究。圖片示例如圖4所示。

圖4 部分霧天和雨天的成熟臍橙圖片

首先將圖像數據按照7:3的比例劃分，即霧天310張作為訓練集，剩余134張作為測試集；雨天310張作為訓練集，剩余135張作為測試集。訓練集和測試集互斥。利用圖像標注工具lableImg進行標注，格式選擇VOC格式，得到帶有圖片內目標類別和相應位置信息的xml文件。編輯并運行python腳本，遍歷劃分好的圖像文件和標注信息文件，生成最終模型訓練所需訓練集和測試集文件列表。圖片文件、標注信息文件、訓練集和測試集文件列表、標簽文件，即構成了模型的數據集，具體數據如表1所示。

表1 惡劣天氣下臍橙數據集

2.3 數據增強

由于自制的數據集圖片數量較少，通過采用數據增強操作擴充臍橙數據集，使得模型訓練學習到較完整的特征，減少數據集過于簡單造成的過擬合現象。數據集輸入模型之后，引入隨機因子在線讀取每個batch圖像數據，并進行隨機裁剪、平移、旋轉、重疊。因為每次訓練batch圖像不一致，以及增強的隨機因子極大地擴大了數據集，確保模型能夠有效地進行訓練。

3 模型訓練

3.1 訓練平臺

模型訓練基于百度大腦AI studio，支持在線云計算，采用開源的深度學習框架PaddlePaddle，物體檢測統一框架PaddleDetection。本試驗運行所需的軟硬件信息和環境配置如下：4核CPU，RAM 32 GB，GPU為Tesla V100，顯存16 GB，磁盤100 GB，Python 3.7，PaddlePaddle 1.8.4，CUDA功能70，驅動API版本10.1，運行時API版本9.0，cuDNN7.6。

3.2 參數設置

初始化采用預訓練好的分類模型權重，由于使用單卡GPU，且訓練圖像大約300張，所以batch_size設置為2，初始學習率設置為0.001，最大迭代次數設置為15000。數據集制作使用VOC數據格式，mAP評估方法采用VOC的11point方法。11point，即將所有預測結果按得分從大到小排序，分別計算召回率大于等于從0到1每隔0.1一個點（共11個點）的最大精度值，計算11次的結果相加求和計算平均。

3.3 評估指標及結果分析

目標檢測任務常用網絡模型性能評價指標為精確率(precision)、召回率(recall)、平均精度(AP)和mAP等。計算precision-recall曲線下的面積即平均精度(AP)，mAP即計算每類AP的平均。mAP位于區間[0, 1]，是目標檢測算法最重要的評價指標之一。

精確率(precision)和召回率(recall)計算公式如式(1)、(2)所示：

真陽(True Positives)、真陰(True Negatives)、偽陽(False Positives)、偽陰(False Negatives)具體含義見表2。

在本次贛南臍橙目標檢測任務中，可作以下理解：

a.：臍橙被正確地識別成了臍橙。

b.：樹葉樹枝天空等背景被正確地識別為樹葉、樹枝、天空等背景。

c.：樹葉樹枝天空等背景被錯誤地識別為臍橙。

d.：臍橙被錯誤地識別為樹葉、樹枝、天空等背景。

表2 相關表述

霧天和雨天PP-YOLO模型訓練過程的損失變化曲線如圖5所示，由于采用遷移學習在底層卷積層中共享的權重，訓練損失值在短期內迅速下降并收斂。

圖6所示為在霧天和雨天條件下使用PP-YOLO模型訓練臍橙檢測網絡的平均精度值隨迭代次數變化曲線。受益于預訓練權重，平均精度值在較短的迭代輪次內即得到了較好的效果，后期隨迭代次數增加而上升，最后趨于飽和。霧天mAP達到了89.06%，雨天達到了91.01%。

圖5 霧天及雨天訓練損失值變化曲線

圖6 霧天及雨天mAP變化曲線

使用相同的霧天和雨天數據集設計對比試驗，比較YOLOv3模型和本文的PP-YOLO模型對贛南臍橙的檢測識別性能，實驗所得mAP和檢測效率結果如表3所示。

表3 惡劣天氣下臍橙檢測結果

結果表明，采用PP-YOLO對霧天和雨天條件下的贛南臍橙有較優的識別效果，檢測效率也明顯更高：1）使用同一模型檢測不同天氣環境下的臍橙時，雨天的識別精度和速度要略高于霧天，因為雨天圖像更易于識別；2）在同一天氣情況下，PP-YOLO與YOLOv3相比較，mAP分別提高了3.41%和2.74%，檢測效率分別加快了7.95 fps和6.52 fps。相較于YOLOv3，PP-YOLO模型主干網絡采用了殘差網絡，同時引入可變形卷積在原卷積采樣位置增加偏移，使得卷積核在每一個元素上額外增加一個方向參數，擴大訓練過程中卷積核的范圍，捕捉圖像中的細節信息，能更好地提取圖像特征。因此，PP-YOLO模型檢測性能較高于YOLOv3。此外，霧天圖像噪聲較復雜于雨天圖像檢測難度也較高，因此雨天檢測性能較好。

3.4 模型檢測效果

分別選擇霧天和雨天沒有標注訓練的臍橙圖片采用訓練好的YOLOv3以及PP-YOLO模型進行預測，其結果如圖7和圖8。結果表明，本次采用的PP-YOLO模型泛化性較好，對于未經訓練的霧天和雨天情況下臍橙圖像數據漏檢、誤檢果實較少。但是，仍存在部分果實誤檢情況，且霧天較雨天檢測效果要更差。綜上所述，在惡劣天氣下，本實驗提出模型對贛南臍橙仍擁有較好的檢測能力，且對部分遮擋情況下的臍橙也有較好的識別效果。

圖7 霧天檢測結果示例圖

4 結論

針對在霧天和雨天等惡劣天氣下臍橙果實檢測速度和準確率較低這一問題，本研究運用基于YOLOv3改進的PP-YOLO目標檢測模型對惡劣天氣下贛南臍橙的果實識別問題進行了研究。結合遷移ImageNet數據集訓練的權重模型到臍橙檢測任務中，節省了訓練時間。在霧天和雨天檢測準確率分別可達89.06%和91.01%，檢測效率分別可達75.30 fps和75.44 fps。在提高檢測精度的同時，也均衡了檢測速度。實驗結果表明，相比YOLOv3模型，該PP-YOLO模型具有更高的識別準確率和識別效率，可以有效地檢測惡劣天氣下的贛南臍橙果實，滿足實際應用中采摘機器人的實時檢測要求。當然，由于數據集數量相對較少，模型可能未學習到全部特征；且霧天和雨天的數據為基于陰天臍橙圖像用算法生成，可能與真實情況存在距離，所以在實際應用中的結果還有待進一步研究。

圖8 雨天檢測結果示例圖

[1] 王家碩,陳炳舟,楊廣召,等.農業機器人在農業中應用[J]. 安徽農學通報, 2020, 26(20): 132-133.

[2] 徐麗明,劉旭東,張凱良,等.臍橙采摘機器人末端執行器設計與試驗[J]. 農業工程學報, 2018, 34(12): 53-61.

[3] 李追風,時文濤,姬志發,等.國內外農業機器人研究進展分析[J].南方農機, 2022, 53(5): 156-158.

[4] 彭威.臍橙收獲機的研究現狀及前景[C]. 以創新驅動為引領,加快“中國制造2025”戰略實施研討會暨2016年第六屆全國地方機械工程學會學術年會論文集[A]. 2016.

[5] 胡瀟.可伸縮采摘機械手目標識別與定位研究[D]. 南昌:江西農業大學, 2020.

[6] 仇裕淇,黃振楠,阮昭,等.機器視覺技術在農業生產智能化中的應用綜述[J].機械研究與應用,2019,32(2): 202-206.

[7] Schertz C E. Human energy expenditure for picking oranges [J]. Journal of Agricultural Engineering Research, 1967, 12(4): 281-284.

[8] Gongal A. Sensors and systems for fruit detection and localization: A review [J]. Computers & Electronics in Agriculture, 2015, 116(C): 8-19.

[9] Kuznetsova A, Maleva T, Solovie V. Using YOLOv3 algorithm with pre- and post-processing for apple detection in fruit-harvesting robot [J]. Agronomy, 2020, 10(7):1016.

[10] Zhang Q, Zuo J, Yu T, et al. Visual recognition system of cherry picking robot based on Lab color model [C]. 2017 IOP Conference Series: Earth and Environmental Science, 2017, 100: 012099.

[11] Tong S, Qian D, Fang J, et al. Residual vibration suppression of a tomatoes' string picking robot: A cascade design method [C]. 2016 International Conference on Advanced Mechatronic Systems(ICAMechS).IEEE, 2017.

[12] 王丹丹,宋懷波,何東健.蘋果采摘機器人視覺系統研究進展[J].農業工程學報,2017, 33(10):59-69.

[13] Liu C, Yang S, Deng L. Determination of internal qualities of newhall navel oranges based on NIR spectroscopy using machine learning [J]. Journal of Food Engineering, 2015, 161(sep.): 16-23.

[14] 胡發煥,董增文,匡以順,基于機器視覺的臍橙品質在線分級檢測系統[J].中國農業大學學報,2016,21(3):112- 118.

[15] Xie X, Ge S, Xie M, et al. Image matching algorithm of defects on navel orange surface based on compressed sensing [J]. Journal of Ambient Intelligence and Humanized Computing, 2018,18:833.

[16] Zhang L, Liu M, Li J, et al. Detecting navel orange canker with hyperspectral imaging [C]. 2011 Fourth International Conference on Intelligent Computation Technology and Automation, 2011: 106-109.

[17] Hu H, Huang L, Liu M, et al. Nondestructive determination of cu residue in orange peel by laser induced breakdown spectroscopy [J]. Plasma science & Technology, 2015, 17(8):711-715.

[18] 徐越,李盈慧,宋懷波,等.基于Snake模型與角點檢測的雙果重疊蘋果目標分割方法[J]. 農業工程學報,2015, 31(1):196-203.

[19] 高新浩,王占山,溫貽芳,等.基于景深傳感技術的水果采摘視覺定位系統設計[J]. 湖北農機化, 2019(10): 45-46.

[20] Li J, Tang Y, Zou X, et al. Detection of fruit-bearing branches and localization of litchi clusters for vision-based harvesting robots [J]. IEEE Access, 2020, 8: 117746-117758.

[21] 宋懷波,王云飛,段援朝,等.基于YOLOv5- MD 的重度粘連小麥籽粒檢測方法[J/OL].農業機械學報,2022.http://kns. cnki. nte/kcms/detail/11.1964.S. 20220225. 1020.004.html.

[22] Long X, Deng K, Wang G, et al. PP-YOLO: An effective and efficient implementation of object detector [J]. arXiv:2007.12099, 2020.

[23] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[J]. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016: 770-778.

[24] Lin T Y, Dollar P, Girshick R, et al. Feature pyramid networks for object detection [J]. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017: 936-944.

[25] 張雪松,莊嚴,閆飛,等. 基于遷移學習的類別級物體識別與檢測研究與進展[J].自動化學報,2019,45 (7):1224-1243.

FRUIT RECOGNITION METHOD OF GANNAN NAVEL ORANGE BASED ON PP-YOLO DEEP LEARNING MODEL

ZHANG Qian-li1,2,*LI Qiu-sheng1,2

（1. Research Center of Intelligent Control Engineering Technology, Ganzhou , Jiangxi 341000, China; 2. School of Physics and Electronic Information, Gannan Normal University, Ganzhou, Jiangxi 341000, China）

Fruit detection plays an important role in studying the development of navel orange picking mechanization. However, adverse weather conditions will have an adverse impact on the detection and identification of target fruits. Aiming at the problems of blurry images, complex noise, slow detection speed and low accuracy rate of navel orange fruit under foggy and rainy days, this paper uses a single-stage target detection network PP-YOLO to study the identification of Gannan navel orange fruit under bad weather conditions. Feature extraction is achieved by the backbone network ResNet and feature fusion by combining FPN (feature pyramid network), and end-to-end detection is basically realized. The experimental results show that the proposed PP-YOLO detection model can realize the Gannan navel orange detection task under fog and rainy days, the mAP is 89.06% and 91.01%, and the recognition efficiency can reach 75.30 and 75.44fps, respectively, which can be tried to be applied in the development of navel orange picking robot.

machine vision; fruit identification; target detection; PP-YOLO

TP391.41

A

10.3969/j.issn.1674-8085.2022.06.010

1674-8085（2022）06-0064-07

2022-02-13；

2022-03-06

國家自然科學基金項目(42061027)

章倩麗(1997-)，女，江西撫州人，碩士生，主要從事智能信息處理方面的研究(E-mail:zhangqianli@gnnu.edu.cn)；

*李秋生(1976-)，男，江西南康人，教授，博士，碩士生導師，主要從事智能信息處理、目標識別與跟蹤等方面的研究(E-mail: liqiusheng@gnnu.edu.cn).