機器視覺在大蒜生產中的應用現狀與研究進展

羅昌志，李維華，周進，邸志峰，向陽，朱正波

（1.250100 山東省 濟南市 山東省農業機械科學研究院；2.255090 山東省 淄博市 山東理工大學 農業工程與食品科學學院）

0 引言

大蒜作為我國重要的食品和有藥用價值的作物，種植面積、產量均位居世界前列[1]。隨著智慧農業[2]概念的提出，信息感知、定量決策、智能控制、精準投入等成為農業生產的新手段，大蒜生產方式開始從機械化向自動化、智能化的轉變[3]。以機器視覺為代表的識別、檢測技術大量應用在農業生產中，如何利用信息識別、檢測手段分析大蒜圖像，適用于大蒜生產并提供便利，是一項重要的課題。

機器視覺（Machine Vision，MV）是現代人工智能（Artificial Intelligence，AI）的分支，應用在農業生產領域已有50 多年的歷史[4]。機器視覺結合機器學習（Machine Learning，ML）等技術，作為識別、檢測、分析工具應用在農作物生產的全過程[5-6]，包括產前種苗篩選檢測、定向精確播種，產中的病蟲害識別預防、作物長勢檢測以及產后智能收獲、果實采摘、食品加工等環節[7]。機器視覺相比傳統人工、機械等檢測手段，效率、精度方面有很大優勢，利用機器視覺進行識別檢測，可以大幅提高大蒜生產的自動化、精確化和自動化程度。我國機器視覺技術起步于20 世紀90 年代，在農業領域應用僅有20 多年時間，大蒜生產機器視覺相關設備的研究多處于實驗室階段[8-9]，但研究種類較為齊全。

本文深入分析機器視覺技術帶動大蒜產業發展的潛力，論述機器視覺及相關技術發展現狀，分析國內機器視覺技術在大蒜生產過程中的實際應用現狀，梳理大蒜相關領域研究進展，為大蒜機器視覺設備與技術研究提供參考。

1 機器視覺概述

機器視覺的本質是利用機器代替人工視覺進行判斷和測量[10]，是最常用的非接觸檢測方式之一。其原理是根據像素分布、亮度、顏色等信息提取被測物的特征[11]，通過拍攝裝置將被測物體特征轉換為數字信息，進而對被測物進行識別、檢測、測量。機器視覺是多領域集成、交叉的技術，涉及機械、圖像處理技術、計算機編程等領域，具有使用靈活、自動化程度和效率高等優勢[12]，可作為高效的識別、分析工具應用在農業生產的各個環節。

1.1 機器視覺系統

機器視覺系統是機器視覺最基本的應用方式，典型的機器視覺系統從功能上大致分圖像采集、圖像分析、決策執行3 個部分[13-14]，如圖1 所示。工作時，由圖像采集部分采集、轉換、傳輸目標圖像，再利用圖像分析軟件和識別算法對圖像進行處理，最后由決策執行部分根據圖像處理結果進行相應的反饋和操作。

圖像采集完成對圖像的拍攝、數字轉換、圖像傳輸，傳統的圖像采集硬件包括光源、鏡頭、相機、圖像采集卡等。核心部件相機決定了拍攝圖像的清晰度、識別準確度，按芯片類型分為CCD 相機和CMOS 相機[15]；圖像采集卡的功能是對相機輸出圖像數據的實時采集[16]，并為計算機及分析軟件提供高速通道。近年來，光譜成像、熱成像、激光成像等視覺傳感器[17]在農業上廣泛應用，彩色RGB、可見光-近紅外光譜、3D 與熱紅外等圖像成為圖像分析的數據源，針對不同的農業作物及環節選擇合適的圖像采集手段才能發揮其優勢，促進農業圖像采集方式的發展。目前，傳統的單目視覺、雙目視覺系統由于穩定、高效、簡單、成本低的優勢，仍是農業上應用最廣的圖像采集手段[18]。

圖像分析是機器視覺系統的核心，完成對目標圖像的識別、分析，包括圖像處理和算法分析[19]。傳統的圖像處理過程大致分為圖像預處理、特征提取、分類識別。通過圖像預處理將圖像無關信息消除，最大限度簡化圖像，同時增強圖像質量[20]；再對圖像中被測目標和復雜背景進行分割，分割后對目標顏色、紋理、形狀等進行特征提取，為了提高效率和準確率，一般視覺系統會增加特征優化環節，特征篩選并優化；最后分類器依據優化后的特征得出識別結果。識別、分類算法是研發人員的研究重點，隨著機器學習的發展，深度學習（Deep Learning，DL）及人工神經網絡（Artificial Neural Network，ANN）等技術、遺傳算法、聚類算法等模式識別技術和算法大量應用在農業的圖像識別、分析中[21]，通過組合識別對象底層特征，抽象表示高層的屬性和特征，以更精確地分析識別對象。

決策執行是機器視覺系統的運作反饋部分，系統根據圖像處理結果進行對應操作，如溫室環境的控制、檢測結果的界面顯示、采摘機器人進行的摘取、果實分級中將不達標的果實剔除等，不同設備的功能決定設備對應的操作。

1.2 圖像分割

圖像分割是提取圖像特征的關鍵步驟，其本質是根據不同像素信息將圖像分為不同的特征區域。圖像分割方法中最簡單、最常用的是基于邊緣的分割方法和基于閾值的分割方法，是最早研究的圖像分割方法，具有原理簡單、分割效果好且處理速度快等優點，仍是各領域常用的方法?；谶吘壍姆指罘椒╗22]是通過圖像像素點的差異尋找識別目標的邊緣，具體就是圖像的灰度、色彩、紋理中存在的不連續的像素位置，使用算子對其進行計算處理，得出分割結果，常見的邊緣檢測算子有Sobel、Prewitt、Roberts、Canny 等；基于閾值的分割方法是根據圖像灰度值確定分割的閾值[23]，使目標圖像和背景分離，此方法對于背景和目標圖像顏色差異大的情況分割效果好，最常用的是單閾值法和雙閾值法，蒜種的圖像閾值分割如圖2 所示。

圖2 蒜種圖像的閾值分割Fig.2 Threshold segmentation of garlic seed image

圖像分割方法還有基于區域的分割方法、聚類分割、分水嶺算法分割以及深度學習圖像分割法等。其中深度學習對應的人工神經網絡分割技術相對成熟，卷積神經網絡（Convolutional Neural Networks，CNN）的分割方法[24]突破了傳統機器視覺識別的流程，不再需要分類器頻繁的對特征向量進行識別，通過前期大量的樣本訓練，自動提取目標特征，自動對圖像的特征優化，通過多層特征轉換，把圖像變成更高層次、更抽象的表示，訓練出特征鮮明的識別模型。以蒜種的識別檢測為例，如圖3 所示，前期訓練可將蒜種的顏色、紋理、形狀、大小、殘缺等特征歸類統一。設備工作時，識別蒜種特征后根據模型歸類即可得出識別結果，其準確率遠高于傳統的識別方式。

圖3 蒜種的CNN 技術路線Fig.3 Training process of CNN for garlic seeds

1.3 機器視覺軟件

常用的機器視覺軟件開發平臺有OpenCV、HALCON、VisionPRO、Vision master 等[25]。代 碼型開發軟件OpenCV 因為其開源、靈活的特點被眾多研究者喜愛。劉星星等[26]利用OpenCV 對白葡萄干進行色澤識別，設計一套可實時、多通道處理葡萄干的設備；劉立強等[27]基于OpenCV 的開源庫提出一種除草機器人的識別方法，可對雜草、作物植株實時定位；王玉飛等[28]利用MATLAB軟件和OpenCV 函數庫提取番茄的3 個形狀特征和5 個紋理特征，雙目機器視覺系統進行圖像采集，構建番茄的識別模型，設計番茄識別的平臺軟件。OpenCV 提供了C++、Python、Java 等主流編程語言的接口，支持Windows、Linux、Android、MacOS 等操作系統，其函數庫很多通用算法可以直接調用[29]，OpenCV 模塊如圖4 所示[30]。

圖4 OpenCV 模塊示意圖Fig.4 Schematic diagram of OpenCV module

2 大蒜生產環節機器視覺的研究進展

2.1 蒜種檢測與直立播種

大蒜種植的農藝要求鱗芽朝上、根部向下、直立播種[31]。機器視覺的蒜種識別研究多通過蒜種鱗芽與根部的差異對蒜種朝向進行識別。杜云等[32]利用Canny 算子對蒜種輪廓進行提取，設計出蒜種品質無損分級的辦法；郭英芳等[33]運用Canny 邊緣檢測算法對蒜種輪廓進行提取，并使用SUSAN交點檢測法對蒜種朝向進行識別；楊清明等[34]對蒜瓣圖像進行轉換、分割，開發出基于形態學的蒜瓣朝向識別模型；吳獻等[35]采用一種觀測窗的方法識別定位蒜瓣的尖角位置，并根據質心位置確定蒜瓣的偏角。依據外形輪廓雖然可以快速高效識別蒜種，但對形狀不規則的雜交大蒜識別效果較差，利用深度學習進行樣本訓練，可解決這方面問題。方春等[36]利用深度學習的卷積神經網絡訓練1 700張蒜種圖片，提取蒜種特征并組合高維度邏輯特征，提出蒜種朝向識別的新方法；曹金鳳等[37]提出基于卷積神經網絡和支持向量機的分類優化改進算法，實現蒜種鱗芽的自動識別與修正。

國內大蒜機械式單粒精播播種機存在雜交大蒜播種效果不理想的情況，機械結構改進相對困難，利用機器視覺判斷則可輕松解決問題。大蒜直立機械式播種裝置對蒜種體態調整，再利用機器視覺判斷蒜種形態，矯正蒜種狀態。李玉華等[38-39]設計了基于Jetson Nano 處理器的大蒜鱗芽調整裝置，通過雙卷積神經網絡模型判斷大蒜鱗芽朝向，并通過Y 型料斗對大蒜進行形態調整；侯加林等[40]提出基于雙側圖像識別的蒜種鱗芽正芽方法，設計正芽試驗臺，實現蒜種單粒取種、鱗芽方向識別、鱗芽扶正等功能，扶正率為90.56%。

2.2 大蒜病蟲害與生長信息監測

機器視覺相較人眼更容易發現大蒜生長中的細微變化，判斷其是否健康。研究者通過植株圖像的變化判斷其是否缺少微量元素，預測病蟲害。復雜背景下大蒜病蟲害圖像的分割識別需結合多種方法；張博等[41]將多種害蟲的樣本進行識別，利用金字塔池化與深度卷積神經網絡設計出一種農作物害蟲種類識別算法，有效識別體型較小害蟲，識別率達88.07%；孫俊等[42]利用多通道卷積神經網絡模型的機器視覺系統對復雜背景下的甜菜和雜草進行區分，此方法亦可用于大蒜的雜草識別；曹樂平[43]分析了國內外機器視覺作物病蟲害研究，得出需多方法結合監測才能提高準確率，這對大蒜病蟲害監測有一定參考意義。

作物生長監測和病蟲害監測在識別方法上相似，不同的是生長監測只需提取作物各時期的形態特征，而病蟲害監測往往需要提取每種病蟲害特征。江曉慶等[44]使用游戲設備Kinect，實時監測農作物長勢形態圖像，設計作物長勢算法，可準確獲取后期的三維圖像數據，用于長勢分析；韓文霆等[45]研究了作物圖像，總結出一種作物長勢識別方法；李晨陽[46]采集大蒜生長期圖像，利用卷積神經網絡模型提取大蒜各生長時期的特征，對大蒜生長周期識別的綜合準確率為97.02%；馬戰林等[47]利用遙感影像數據提取大蒜的種植面積，構建了大蒜種植面積模型；劉正春等[48]以山西3 個縣的作物為對象，用四維變量、集合卡爾曼濾波同化算法對作物遙感圖像的葉面積指數進行推演，得出各作物的估產模型。作物生長監測必須依托對應的農業設施，利用固定的傳感器獲取作物的信息，因此前期投入較大，監測系統穩定性較強。

2.3 收獲大蒜的切根和分級

傳統方式收獲大蒜需要大量人工或半機械篩選、切須、分級，大蒜分級靠主觀判斷，蒜須處理質量參差不齊。借助機器視覺技術判斷大蒜等級、根須位置，相比純機械式切割裝置精度更高、傷蒜率更低。楊柯等[49]設計了基于卷積神經網絡的大蒜切根試驗臺，如圖5 所示，用單目視覺系統進行圖像采集，用深度卷積神經網絡訓練模型判斷根部的切入位置，調整雙圓盤切根刀完成切根操作，得到檢測時間為0.088 7 s，切根合格率為95.33%；趙麗清等[50]通過GUI 編程開發大蒜根須切除機器視覺軟件，實現大蒜根須自動精確定位；宋偉等[51]以蒜頭最大橫截面直徑為分級標準，利用VC6.0 進行算法編程，對蒜頭總體篩選的精度達90.937%；Thuyet 等[52]利用卷積神經網絡算法設計出評估大蒜根部修剪狀況的模型，將大蒜分為3 類，可實時分類，準確率達96%。

圖5 深度學習的大蒜切根裝置Fig.5 Garlic root cutting device for deep learning

3 機器視覺在大蒜生產中的制約因素

機器視覺拍攝大蒜圖像時容易受到外界環境變化影響，光照強度變化、光照不均、風速變化大等可能會使拍攝的圖像模糊、失真，導致機器視覺的特征提取存在障礙，影響機器視覺的穩定性、準確性；同時機器視覺也受到自身硬件性能、圖像分析算法準確度、網絡傳輸速度的影響。機器視覺通常實時反饋結果，如果視覺使用復雜的深度學習算法，設備性能較差，圖像采集速度、處理速度慢，導致系統無法應用于大蒜生產。機器視覺系統需要針對大蒜每個生產過程單獨開發，對不同品種、形態的大蒜，識別檢測效果可能存在差距，不能開發通用視覺系統，因此造成成本過高的情況。降低外界環境影響、升級機器視覺設備、提高識別算法性能是提高機器視覺系統可靠性的關鍵。

4 總結與展望

機器視覺技術應用于大蒜生產，在蒜種檢測與直立播種、大蒜病蟲害與生長信息監測、收獲大蒜的切根和分級等環節研究較突出，多數是機器視覺結合深度學習技術在大蒜圖像分割和特征提取方面。外界環境的變化和視覺設備性能仍是制約機器視覺在大蒜生產中發展的關鍵，需要不斷更新完善機器視覺技術，具體分3 個方面：

（1）機器視覺的圖像采集方面應該加強，受制于大蒜生產過程中多變的自然環境，廉價的單目視覺系統等過于單一的感知手段不足以滿足圖像采集要求，可以通過多種感知手段解決，視覺傳感器是當前農業發展的重點；

（2）機器視覺對大蒜劃分提取特征方面應該加強。當前大多關于大蒜的研究都有各不相同的特征，統一規劃特征體系，形成一套通用的特征不僅可減少識別時間，還有助于機器視覺的體系化；

（3）機器視覺系統模型與實踐方面應該加強。雖然當前的視覺系統可以完成大蒜生產環節的基本需求，但是基于機器視覺的大蒜生產設備還處在起步階段，過于復雜的算法和精密儀器雖提高了精度，但拖延生產時效，研究適用的生產設備仍是機器視覺在大蒜生產中最主要的課題。