基于改進YOLOv5s模型的山地果園單軌運輸機搭載柑橘的檢測

周岳淮，李震,3，左嘉明，龔琬蓉，呂石磊,3，溫威，黃鶯,2*

基于改進YOLOv5s模型的山地果園單軌運輸機搭載柑橘的檢測

周岳淮1，李震1,3，左嘉明1，龔琬蓉1，呂石磊1,3，溫威3,4，黃鶯1,2*

(1.華南農業大學電子工程學院(人工智能學院)，廣東 廣州 510642；2.柳州鐵道職業技術學院自動控制學院，廣西 柳州 545616；3.國家現代農業(柑橘)產業技術體系機械化研究室，廣東 廣州 510642；4.華南農業大學工程基礎教學與訓練中心，廣東 廣州 510642)

由于山地果園運輸機立地條件差，實時作業信息的獲取、反饋、集中化管理較為困難，為了解7SYDD–200型山地果園單軌運輸機搭載貨物情況，合理調度運輸裝備，建立了基于改進的YOLOv5s模型的運輸機搭載柑橘果筐的檢測方法：在果園自然光環境下使用RGB相機(HSK–200)采集運輸機搭載柑橘果筐的圖像數據；建立和優化YOLOv5s模型，部署至嵌入式設備，實現對搭載過程中的“空果筐”“柑橘”“滿果筐”狀態的檢測。在模型的頸部網絡引入CBAM注意力機制，加強模型提取語義信息的能力，解決檢測過程中出現的“雙重標簽”的問題，使用批歸一化(BN)層稀疏的尺度因子衡量各通道對模型的表征能力，并對表征能力弱的通道進行剪枝壓縮，以克服基模型YOLOv5s檢測速度慢的問題，通過多尺度訓練策略對模型進行微調，提高模型檢測準確率。試驗結果表明：改進YOLOv5s模型的檢測方法在柑橘搭載數據集上平均精度均值(mAP)為93.3%；模型的浮點數運算量和大小分別為9.9 GFLOPs和3.5 MB，比YOLOv5s的提高60.3%和21.3%；在嵌入式平臺Jetson Nano部署，其檢測速度為78 ms/幀。

山地果園單軌運輸機；目標檢測；剪枝壓縮；CBAM注意力機制；改進YOLOv5s

南方山地果園立地條件多數為丘陵和山地，果園坡度大，地形復雜，較難形成完善的交通運輸網絡，山地果園單軌運輸機的推廣應用提高了山地運輸的經濟效益，促進了果業的可持續發展[1–3]。

山地果園單軌運輸機主要運輸水果、化肥、小型農機具等，裝載能力較強，可靠性高，且軌道鋪設靈活，但工作環境較為復雜，實時作業信息的集中化管理難度較大，若不按額定搭載量行駛，容易造成安全事故，影響運輸效率[4–5]。及時了解和掌握運輸機的搭載狀況，對提高運輸裝備的資源配置、提升作業安全性和作業效率具有重要意義。機器視覺技術在識別運送裝備搭載情況時具有較好的應用前景。張毅等[6]利用Harris角點特征和特征點匹配方法識別碼垛作業中的煙包，在特定環境識別準確率高，但識別效果受光照影響較大。HUSSIN等[7]通過圓形Hough變換對掛果芒果進行目標檢測，在芒果重疊和遮蔽的情況下，檢測位置偏差較大，準確率較低。傳統視覺算法在自然光變化較大時檢測的魯棒性較低，不適合光線變化較大的果園環境檢測單軌運輸機搭載狀況，而深度學習有望解決傳統圖像處理算法存在的效率低和表征能力不足等問題[8]。金秋等[9]通過微調兩階段目標檢測網絡Faster–RCNN，實現在倉儲環境下對貨物和叉車的識別，識別準確率高，受環境因素影響較小，但檢測速度較慢。王晨等[10]基于YOLOv4網絡，將其骨干網絡改換為更輕量級的MobileNetV3，實現了倉儲貨物的目標實時檢測。湯寓麟等[11]使用改進的YOLOv5算法實現了海底沉船目標的檢測，檢測速度比YOLOv3提升將近1倍。說明單階段目標檢測網絡(如YOLO等)比兩階段目標檢測網絡(如Faster–RCNN)的檢測速度更快，更適合部署于嵌入式平臺，通過遷移學習和模型微調保證檢測精度，滿足使用需求。

為了解山地果園單軌運輸機搭載柑橘情況，建立了一種果園環境中單軌運輸機柑橘搭載情況人工智能分析方法：采集運輸機柑橘搭載圖像后，優化YOLOv5s目標模型，在頸部網絡引入CBAM注意力機制，解決檢測過程中出現“雙重標簽”的問題；通過剪枝壓縮減少模型的參數量和計算量，提高檢測速度，并使用多尺度訓練策略，提高檢測精度，以實現柑橘搭載過程中“空果筐”“柑橘”“滿果筐”的實時檢測。

1　數據處理

根據7SYDD–200型山地果園單軌運輸機常見的搭載1層和2層果筐和柑橘，采集運載拖車中柑橘搭載情況圖像。為滿足自然光下柑橘搭載情況的檢測需求，在華南農業大學的山地果園單軌運輸機測試平臺采集數據?？紤]到果園中樹木遮擋會使光照發生較大變化，采集時間涵蓋了晴天、陰天和多云等多種天氣情況。在搭載過程中，果園運輸機搭載的果品、農資會環繞山嶺任意點裝卸，并且動力電池需能夠為檢測系統提供電源，因此視覺傳感器安裝于運輸機載貨車斗前方，位置高于車斗前方橫桿40 cm，與車斗平面夾角為45°，從而得到完整的載貨車斗圖像。視覺傳感器安裝如圖1–a所示。數據采集設備為HSK–200(鴻視康)，分辨率1920像素×1080像素。

2021年5月至6月，采集原始圖像共872張，共有3種類型，分別為“空果筐”“滿果筐”“柑橘”，樣本標注數分別為1046、688、6720個，如圖1–b所示?？紤]到山地果園中樹木遮擋導致光線變化較大，在原始數據集分別加入高斯噪聲和隨機調整圖像亮度進行數據增強，增強后的數據集共2616張。按照8∶2的比例將數據集劃分為訓練集與驗證集，其中訓練集為2092張，驗證集為524張。

圖1　山地果園單軌運輸機搭載柑橘及果筐圖像的采集

2　改進的YOLOv5s網絡模型

2.1　基模型的選擇

YOLOv5s網絡主要由骨干網絡、頸部網絡和預測網絡構成[12]。骨干網絡中的Focus模塊能夠避免輸入圖像下采樣造成特征信息的丟失，保留圖像更豐富的特征。頸部網絡由特征金字塔和路徑聚合網絡組成，能將深層語義信息和骨干網絡中淺層空間信息進行融合，提高模型表達能力[13]。預測網絡部分，YOLOv5s能夠輸出大、中、小3種尺寸的特征圖，更好地預測不同尺寸的目標。

2.2　算法改進

2.2.1CBAM混合域注意力機制

應用YOLOv5s模型識別“空果筐”和“滿果筐”時會出現“雙重標簽”的問題，為提高識別準確率，在YOLOv5s頸部網絡的C3模塊后引入CBAM注意力機制模塊[14–15]，如圖2所示。

圖2　改進的YOLOv5s子結構

2.2.2模型的剪枝壓縮

融合CBAM模塊的YOLOv5s在嵌入式平臺Jetson Nano上檢測速度較慢，每幀耗時約為184 ms。為提高模型推理速度，減少網絡冗余參數量，基于YOLOv5s卷積層后普遍連接BN層的模型結構，通過稀疏化BN層尺度因子，將表征能力弱的通道進行剪枝，剪枝流程如圖3所示。

圖3　模型剪枝流程

圖4　模型稀疏訓練的評估

2.2.3多尺度訓練

為避免YOLOv5s網絡使用單一尺寸的圖像進行訓練時容易出現識別目標漏檢的情況[16]，為提高模型的魯棒性，采取多尺度訓練策略。改進的YOLOv5s網絡最大下采樣倍率為32倍，且當圖像輸入尺寸為640像素×640像素時檢測精度較高，但檢測速度較慢；當輸入尺寸為480像素×480像素時，檢測速度能滿足需求。為達到檢測精度和速度的要求，選取{640、576、544、512、480}等5個尺度作為多尺度訓練輸入圖像尺寸大小，使模型學習不同尺度輸入的圖像特征，提高模型的檢測精度，且每隔10個輪次后改變圖片大小，再對模型進行訓練。

3　試驗環境與評價指標

3.1　試驗設備和參數設置

模型訓練的服務器配置為Intel(R) Xeon(R) Gold 6142 CPU處理器，內存29 GB，顯卡型號為NVIDIA GeForce RTX 3080 10 GB。在Ubuntu18.04系統和Pytorch框架下實現YOLO算法。試驗平臺硬件配置為Intel(R) Core i5–11400 2.60 GHz處理器，內存16 GB，顯卡為GeForce RTX2060 6GB。嵌入式平臺選用Jetson Nano B01，運行內存為4 GB。

網絡訓練時初始學習率為0.01，初始動量為0.937，動量系數為0.000 5，采用Adam算法進行優化，訓練250個輪次。為提高單GPU訓練效率，使用Mosaic數據增強。

3.2　模型評價指標的選取

選擇平均精度(AP)和平均精度均值(mAP)[17]作為準確度指標；其他指標包括每幀耗時(ms)、浮點運算數FLOPs和模型大小(MB)。

3.3　消融對比試驗

為驗證改進的子結構和訓練策略對模型的影響，對改進機制和策略進行消融對比試驗，其中YOLOv5sA為帶有CBAM注意力的YOLOv5s模型，YOLOv5sAP為引入注意力和模型剪枝的YOLOv5s模型，結果如表1所示。在基模型YOLOv5s加入注意力機制，模型檢測“滿果筐”的平均精度為96.9%，比基模型提高了1.3%，說明注意力機制能夠提高模型提取語義信息的能力；對模型加入注意力機制和剪枝壓縮，并使用多尺度訓練策略，模型檢測平均精度均值為93.3%，在Jetson上的檢測速度為78 ms/幀，檢測精度和檢測速度相比于基模型都有所提升，檢測效果較好。

表1　模型消融試驗的性能指標

3.4　不同模型的檢測效果

為對比與常見目標檢測模型的效果，將檢測結果與典型的單階段檢測網絡RetinaNet–Res50和YOLOv3–tiny進行對比，且均以圖像尺寸為480像素×480像素輸入網絡進行訓練，采用算法默認超參數進行訓練。

RetinaNet–Res50、YOLOv3–tiny和改進的YOLOv5s的性能指標如表2所示。在自定義數據集上, 改進的YOLOv5s的mAP最高(93.3%)，比RetinaNet–Res50高10.2%。此外，RetinaNet–Res50模型較大，不適用于嵌入式設備。在模型大小相近的情況下，YOLOv3–tiny比本模型的mAP低12.4%，2個模型檢測柑橘的平均精度分別為53.1%和85.6%，檢測精度有明顯差異。這是由于YOLOv3–tiny模型輸出只有2種不同尺度的輸出特征圖，對存在粘連且較小的目標檢測效果較差，易出現柑橘漏檢的情況，因此在檢測速度和精度上有更好的性能。

表2　不同模型的檢測性能對比

YOLOv3–tiny和YOLOv5s的檢測結果如圖5所示。僅擁有2種尺寸特征圖輸出的YOLOv3–tiny模型在檢測“柑橘”時，會出現較嚴重的漏檢，與表2中的結果相符，不能很好地檢測存在粘連且尺寸較小的目標；用YOLOv3–tiny和YOLOv5s的檢測時均出現了“多重標簽”的情況，即同時標有“空果筐”和“滿果筐”的標簽，這是由于模型不能準確地提取圖像的語義信息，模型存在特征表達能力不足的問題。改進后模型的檢測效果如圖5–c所示。以運輸機典型的搭載情況進行檢測分析，當模型檢測搭載1層“空果筐”、混載1層“空果筐”和“柑橘”以及搭載2層“空果筐”和“柑橘”時，不會出現漏檢和誤檢。

a　YOLOv3–tiny；b　YOLOv5s；c　搭載1層果筐；d　搭載1層果筐和柑橘；e　搭載2層果筐和柑橘。

4　結論

以果園山地單軌運輸機柑橘搭載為研究場景，采集果園自然光環境下運輸機搭載柑橘圖像數據集；通過改進YOLOv5s模型，在頸部網絡引入CBAM模塊和使用多尺度訓練策略，提升模型檢測精度；使用通道級模型剪枝，實現模型輕量化，實現了對“空果筐”“滿果筐”“柑橘”的目標檢測。結果表明，所提出的檢測方法檢測精度達93.3%，在Jetson Nano上檢測速度為78 ms/幀，適合部署于計算資源有限的嵌入式設備。后續將探索深度學習模型高效壓縮的方法，在保障檢測精度的前提下進一步提高模型的檢測速度，并將該檢測模型輔助三維數字建模，用于水果搭載情況分析。

[1] LIU Y，HONG T S，LI Z．Influence of toothed rail parameters on impact vibration meshing of mountainous self-propelled electric monorail transporter[J]．Sensors，2020，20(20)：5880

[2] 盛玲玲，宋淑然，洪添勝，等．廣東省山地果園機械化現狀與發展思考[J]．農機化研究，2017，39(11)：257–262．

[3] 李震，洪添勝，呂石磊，等．山地果園自走式電動單軌運輸裝備的研究進展[J]．現代農業裝備，2020，41(4)：2–9．

[4] 呂石磊，魏志威，吳奔雷，等．果園單軌運輸機在軌狀態感知系統研制[J]．農業工程學報，2020，36(15)：56–64．

[5] 呂石磊，梁尹聰，李震，等．基于超高頻RFID雙天線雙標簽對照的果園單軌運輸機定位[J]．農業工程學報，2018，34(4)：71–79．

[6] 張毅，王彥博，付華森，等．基于機器視覺的不規則煙包校對碼垛系統[J]．煙草科技，2019，52(6)：105–111．

[7] HUSSIN R，JUHARI M R，KANG N W，et al. Digital image processing techniques for object detection from complex background image[J]．Procedia Engineering，2012，41：340–344．

[8] 畢松，高峰，陳俊文，等．基于深度卷積神經網絡的柑橘目標識別方法[J]．農業機械學報，2019，50(5)：181–186．

[9] 金秋，李天劍．倉儲環境下基于深度學習的物體識別方法研究[J]．北京信息科技大學學報(自然科學版)，2018，33(1)：60–65．

[10] 王晨，袁慶霓，白歡，等．面向倉儲貨物的輕量化目標檢測算法[J]．激光與光電子學進展，2022，59(24)：74–80．

[11] 湯寓麟，邊少鋒，翟國君，等．側掃聲納檢測沉船目標的改進YOLOv5法[J/OL]．武漢大學學報(信息科學版)：1–11(2021–09–01)．https://doi.org/10.13203/j.whugi s20210353．

[12] BOCHKOVSKIY A，WANG C，LIAO H．YOLOv4：Optimal Speed and Accuracy of Object Detection[OL]. arXiv preprint arXiv：https://arxiv.org/abs/2004.10934，2020．

[13] REDMON J，FARHADI A．YOLO9000：better，faster，stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition．Honolulu，USA：IEEE，2017：6517–6525．

[14] WOO S，PARK J，LEE J Y，et al．CBAM：Convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision．Munich，Germany：IEEE，2018：3–19．

[15] 郝帥，馬瑞澤，趙新生，等．基于卷積塊注意模型的YOLOv3輸電線路故障檢測方法[J]．電網技術，2021，45(8)：2979–2987．

[16] 張錦，屈佩琪，孫程，等．基于改進YOLOv5的安全帽佩戴檢測算法[J]．計算機應用，2022，42(4)：1292–1300．

[17] 胡嘉沛，李震，黃河清，等．采用改進YOLOv4–Tiny模型的柑橘木虱識別[J]．農業工程學報，2021，37(17)：197–203．

Detection of citrus carried by mountainous orchard monorail transporter based on improved YOLOv5s

ZHOU Yuehuai1，LI Zhen1,3，ZUO Jiaming1，GONG Wanrong1，LYU Shilei1,3，WEN Wei3,4，HUANG Ying1,2*

(1.College of Electronic Engineering(College of Artificial Intelligence), South China Agricultural University, Guangzhou, Guangdong 510642, China; 2.Automatic Control School, Liuzhou Railway Vocational Technical College, Liuzhou, Guangxi 545616, China; 3.Mechanization Laboratory of National Modern Agriculture(Citrus) Industrial Technology System, Guangzhou, Guangdong 510642, China; 4.Engineering Fundamental Teaching and Training Center, South China Agricultural University, Guangzhou, Guangdong 510642, China)

Due to the poor site conditions of mountainous orchard monorail transporter, it is difficult to obtain, feedback and centralized management of real-time operation information. In order to monitor the proceeding of deliveries by 7SYDD-200 mountainous orchard monorail transporter and reasonably dispatch transportation equipment, the detection method of citrus fruit basket carried by the transporter is established based on the improved YOLOv5s model. Images of the citrus fruit baskets carried by the transporter were collected by the RGB camera of HSK-200 under the natural light environment of mountainous orchards.The YOLOv5s model was established and optimized, which was deployed into the embedded device to detect the states of “empty fruit basket”, “citrus” and “full fruit basket” during the loading process.convolutional block attention module(CBAM) is introduced into neck network of the model to strengthen the ability to extract semantic information and solve the problem of “double labels” in the detection process. The sparse scale factor of the batch normalization(BN) layer was used to measure the representation ability of each channel of the model. The channels with weak representation ability were pruned and compressed to overcome the problem of slow detection speed of the model based on YOLOv5s. The multi-scale training strategy is used to fine-tune the model to improve the detection accuracy. The test results show that the mean average precision of the improved detection method is 93.3% on the fruit dataset. The floating point operation and the size of the improved models were 9.9 G and 3.5 M, respectively, which were 60.3% and 21.3% higher than that of YOLOv5s. The detection speed of the improved model was 78 ms/img, when it was deployed into the Jetson Nano embedded platform.

mountainous orchard monorail transporter; object detection; pruning and compressing; convolutional block attention module(CBAM); improved YOLOv5s

S229

A

1007–1032(2023)04–0491–06

10.13331/j.cnki.jhau.2023.04.018

2022–05–16

2023–04–20

國家重點研發計劃子課題(2020YFD1000107)；國家現代農業產業技術體系(CARS–26)；國家自然科學基金項目(31971797、616 01189)；廣東省省級鄉村振興戰略專項(粵財農[2021] 37號)

周岳淮(1997—)，男，廣東深圳人，碩士研究生，主要從事圖像處理研究，scau_zyh@stu.scau.edu.cn；*通信作者，黃鶯，教授，主要從事智能檢測與控制技術研究，huangying800816@163.com

周岳淮，李震，左嘉明，龔琬蓉，呂石磊，溫威，黃鶯．基于改進YOLOv5s模型的山地果園單軌運輸機搭載柑橘的檢測[J]．湖南農業大學學報(自然科學版)，2023，49(4)：491–496．

ZHOU Y H，LI Z，ZUO J M，GONG W R，LYU S L，WEN W，HUANG Y．Detection of citrus carried by mountainous orchard monorail transporter based on improved YOLOv5s[J]．Journal of Hunan Agricultural University(Natural Sciences)，2023，49(4)：491–496．

http://xb.hunau.edu.cn

責任編輯：羅慧敏

英文編輯：吳志立