機器視覺在采摘機器人識別與定位中的應用

焦迎雪，董海濤，武文革

（1.山西鐵道職業技術學院，山西 太原 030013；2.山西機電職業技術學院，山西 長治 046011；3.中北大學，山西 太原 030051）

1 引言

在信息技術的驅動下，農業生產過程的機械化朝著自動化和智能化的方向發展。機器人技術的飛速發展徹底改變了傳統的農業生產方式［1］。長期以來，農業一直是影響國內經濟和社會發展的核心問題，農業機器人的研究和開發具有重要的價值［2］，并形成了豐富的經濟和社會效益。采摘是整個生產過程中最耗時的環節，也是整個生產過程中關鍵環節之一。采摘作為生產的關鍵環節，非常耗時，果蔬采摘具有較強的實時性。因此，研究基于機器視覺的夜間采摘機器人識別與定位技術具有重要的意義。

近年來，國內外的研究人員對采集機器人技術進行了大量研究，并取得了許多優異的成果，但對采摘機器人識別與技術的研究非常少。文獻［3］對夜晚西紅柿的識別和定位技術進行研究，總結了成熟西紅柿的檢測和分類方法，分析了當前番茄采摘存在的主要問題，并對未來的研究重點進行展望。文獻［4］提出了一種低成本的單雙目識別和定位系統。首先，雙目視覺系統可以根據蘋果顏色、形狀和位置特征來識別和定位蘋果，然后位于執行器底部邊緣的單目視覺系統可以在短距離內鎖定并采摘目標。文獻［5］提出了一種基于單眼視覺和超聲檢測的振動水果識別與定位方法。首先，使用Oteu閾值對圖像進行分割，然后用灰色的果實區域填充圖像，然后疊加處理后的圖像序列以獲得合成圖像。韓鑫等提出了一種基于改進的單次多框架深度學習識別方法的機器人抓取系統，以實現零件檢測、分類、定位和抓取等，并通過實驗進行了驗證［6］。由于果實是具有生命的離散個體，不同的生長環境（如光照、遮擋等）會造成個體形狀和顏色的差異，給果實的識別帶來困難，影響識別的準確性。在夜間識別目標水果時，上述研究存在識別精度低、識別時間長等問題，適應性有待進一步加強。

在此基礎上，這里提出了一種基于機器視覺的夜間采集識別與定位方法，使用基于粒子群優化的獨立成分分析方法來降低夜間蘋果圖像中的噪聲，使用PCNN方法對圖像進行分割，并通過邊緣檢測等方法提取目標輪廓，最后使用改進的三點定圓法來提高目標的識別和定位精度。仿真結果驗證了該方法的有效性和可行性。

2 系統結構

采摘機器人識別和定位系統由嵌入式控制器、雙目視覺傳感器和末端執行器等組成。模擬人類采摘蘋果的過程，系統結構，如圖1所示。首先，使用雙目視覺傳感器對樹上的蘋果進行識別和定位，然后選擇一個目標［7］?；诓杉男畔?，嵌入式控制器可以識別目標并將其在短距離內鎖定。機械手根據已建立的基于圖像反饋的控制方法進行采摘［8］。采摘目標后，機械臂將返回到其初始位置并選擇下一個目標，直到采摘了所有已識別和定位目標。機器人移動以重新識別、定位。采摘目標。文中主要研究識別和定位技術。

圖1 系統結構Fig.1 System Structure

3 夜間目標的識別與定位

由于光照和濕度等不利因素，夜間采集的圖像質量較差，并且會伴隨大量噪聲污染［9］。文中對圖像連續進行降噪、分割、輪廓提取和定位，識別和定位過程，如圖2所示。

圖2 識別與定位流程Fig.2 Identification and Positioning Process

3.1 圖像降噪

粒子群優化ICA算法提高了算法的運算效率和降噪精度［10］。ICA算法的核心是求解分離矩陣W，并使用PSO算法實現ICA優化，PSO-ICA算法的基本步驟如下。

（1）對被測信號x進行集中化和白化處理，得到矩陣D和H。

（2）對粒子群進行初始化，隨機生成粒子i初始位置zi和速度vi，對粒子i的適應度進行計算［11］。

（3）通過粒子的適應度來確定粒子的最佳位置，其中，是待求分離矩陣為群體最優位置。

（4）利用粒子群優化算法更新粒子的位置和速度。

（5）正交化分離矩陣。

（6）對粒子適應度進行計算，更新粒子和種群最優位置，并與之前的迭代進行比較，如果是最優值，保留當前值，然后繼續下一步［12］。否則，返回步驟（3）。

（8）種群最優位置pg為待求解的分離矩陣W，算法結束。

3.2 PCNN分割

目前，大部分圖像分割算法都依靠圖像灰度信息，并且常常忽略圖像中的空間信息［13］。常用的分割算法有色差分割、Kmeans 算法、PCNN 算法，均可以有效分割出蘋果圖像，單PCNN算法分割耗時最短。

這里采用PCNN用于蘋果圖像分割，PCNN不僅考慮了灰度信息，還考慮了空間信息。

PCNN 作為第三代神經網絡，被廣泛應用于圖像處理領域［14］。PCNN 可以根據其空間接近度和亮度對圖像像素進行分組，并將其應用于圖像分割以獲得更好的分割結果。簡化的PCNN神經元模型，如圖3所示。

圖3 簡化PCNN神經元模型Fig.3 Simplified PCNN Neuron Model

對模型進行數學描述，在輸入區中，神經元的輸入有兩大通道［15］，如式（1）、式（2）所示。

式中：i，j—神經元的標號；

Fij—神經元輸入項；

Iij—輸入激勵，即與像素點(i，j)相對應的特征值；

Lij—連接輸入項；

Yij—脈沖輸出；

Wij—耦合連接域的連接系數。

在連接輸入器主要作用是對輸入進行調制，獲得內部狀態信號，如式（3）所示。

式中：Uij—內部活動頁；β—內部活動頁連接系數。

在脈沖發生器中，如式（4）、式（5）所示［16］。

式中：γ—動態閾值衰減步長；ve—放大系數。

PCNN 參數設置大多數都是通過實驗反復調試獲取的。參考現有研究成果描述的PCNN模型使用最大熵準則來確定迭代次數，然后對蘋果圖像進行分割［17］。

3.3 輪廓提取

在分割圖像之后，執行輪廓提取以展示圖像紋理的細節。在這里，使用邊緣檢測、凸殼提取和輪廓消除等方法獲得目標蘋果的真實輪廓。

這里采用Canny邊緣檢測算子，邊緣檢測的過程如下［18］。

（1）使用高斯濾波器對輸入圖像進行平滑處理。

（2）計算梯度幅值圖像和角度圖像。

（3）對幅值圖像進行抑制處理。即，將具有最高梯度值的像素保留為邊緣，并去除其他像素。

（4）邊緣檢測和連接：雙閾值和連接分析。

通過邊緣檢測提取的圖像還不平滑，通過凸殼來替換蘋果目標的輪廓，關于凸殼有很多算法文中使用卷包裹方法，步驟如下。

①在點集中選擇橫或縱坐標最小的點。

②以所選點a1開始繪制一條水平線，然后以a1為中心逆時針旋轉該線，直到它接觸到點集中的點為止。設為a2，線段a1a2是凸殼的一條邊。

③繼續圍繞a2點逆時針旋轉線，直到它接觸到點集中的下一個點。設為a3，線段a2a3是凸殼的第二條邊。

④重復前面的步驟，直到下一個點為a1，線段ana1是凸殼的第n條邊。

這里采用自適應方法去除目標蘋果的不真實輪廓，并保留目標蘋果的實際輪廓?；舅枷胧且暂喞笊辖亲鳛槠瘘c，逆時針追蹤輪廓，在凸包的頂點位置標記序號，并基于這些頂點號來確定相鄰輪廓之間的距離［18］。計算出平均距離，并將其平均值設置為閾值，確定兩個相鄰頂點的距離和閾值，如果該值大于閾值，則輪廓不是目標蘋果的真實輪廓。將其刪除。否則，將其視為要保留的真實輪廓。

3.4 改進的三點定圓法定位

為了最大程度地識別目標果實的中心和半徑，減少平均值計算過程中的誤差，采用遺傳算法對三點定圓法進行優化，提高定位的準確性。

假設目標蘋果輪廓上的任何三個點P1(x1，y1)、P2(x2，y2)、P3(x3，y3)，由這三個點確定的圓心為O(x0，y0)。假設連接任意兩個點的線段的垂線的交點圓的中心，則兩條中垂線的，如式（6）所示［19］。

圓的中心和圓上的點之間的距離是圓的半徑長度r，計算如式（7）所示。

圓可以由不在同一條線上的三個點確定，但是對圖像來說，圖像中的點是圖像中的像素。如果目標蘋果輪廓中的三個像素太近，則它們會影響圓或使圓的確定變得困難。因此，如果在目標輪廓上選擇三個點，則應設置閾值，以使所確定圓的中心和半徑盡可能接近目標蘋果的圓，步驟如下。

（1）初始種群，根據三點定圓法計算目標蘋果的中心和半徑，并重復20次。以20組中心和半徑為初始種群，每個圓的中心及其對應的半徑為群體中的個體。

（2）計算每個個體的適應度。遺傳算法在個體被選中的概率中起著至關重要的作用。適應度越好，就越容易被選擇。文中將步驟一中的蘋果目標定位結果與實際蘋果目標像素數之比用作適應度函數，即重合系數。計算如式（8）所示［20］。

（3）選擇適應度較大的解。設置適用度閾值p=90%，將閾值之上的解保存，刪除其它解。

（4）將第三步中獲得的解用作下一代或通過交叉變異遺傳算法生成新解，生成一個新種群。

（5）設定適應度的期望值E=95%。迭代次數T=100。如果種群P(i)中解達到期望值或最大迭代次數時，操作結束。否則，將產生下一代種群P(i+1)，重復步驟（2）～步驟（4），直到重合系數達到期望值或最大迭代次數，定位流程，如圖4所示。

圖4 定位流程Fig.4 Positioning Process

4 算例分析

4.1 降噪效果分析

圖像降噪后，有必要評估降噪效果，主要有主觀評價和客觀評價，主觀評價是通過觀察者肉眼觀察處理后進行評價，受到人的主觀因素影響。這里采用客觀評價，客觀評價是相對主觀評價而言，圖像降噪質量的客觀評估是指在評估過程中通過結合數學原理和工程技術來量化圖像質量，然后評估圖像質量的量化技術，具有操作簡便、重現性強、易于集成等優點，具有廣闊的應用前景?？陀^標準包括均方誤差（MSE）、峰值信噪比（PSNR）等。文中用峰值信噪比來評估圖像的將噪效果，其數學原理，如式（9）所示。

式中：fij—原始圖降噪圖；M、N—圖像的高度和寬度，尺寸相同圖像M×N，PSNR數值越大，降噪能力越強。

對這里提出的PSO-ICA 將噪算法進行了仿真。首先，將自然光下和夜間采集蘋果圖像轉換為灰度圖像，并在自然光下采集的圖像中添加概率P=0.03 的椒鹽噪聲。在實驗中，在MATLAB 中分別采用均值濾波、ICA 和PSO-ICA 去除混合噪聲圖像和夜間圖像中的噪聲。均值濾波窗戶尺寸為3×3（像素）。ICA 正交變換8×8基圖。PSO-ICA 降噪方法，粒子數N=20，最大粒子速度1，學習系數2，慣性權重0.9和0.4，最大迭代數100，仿真結果，如圖5所示。

圖5 降噪結果對比Fig.5 Comparison of Noise Reduction Results

采用均值濾波、ICA和PSO-ICA對混合噪聲的自然光圖像和夜間圖像中的噪聲進行降低，由圖5可知，對混合噪聲的自然光圖像進行降噪，均值濾波算法降噪效果最差，ICA算法次之，PSOICA算法降噪效果最為清晰。

對夜間圖像進行降噪，同樣是均值濾波算法降噪效果最差，ICA算法次之，PSO-ICA算法降噪效果最好，圖片最為清晰。與均值濾波和ICA降噪方法相比，這里提出的PSO-ICA降噪方法具有最低的噪聲和最清晰的圖像。

為了進一步驗證該算法的適應性，對20幅蘋果夜景圖像進行了仿真實驗，并計算了每種方法的平均峰值信噪比和平均運行時間。結果記錄，如表1所示。

表1 算法降噪效果比較Tab.1 Comparison of Noise Reduction Effects of Algorithms

從客觀數據來看，均值濾波后的低噪聲圖像具有最低的峰值信噪比（PSNR）。獨立成分分析（ICA）去噪方法的峰值信噪比（PSNR）較均值濾波提高明顯。PSO-ICA結果具有相對較高的峰值信噪比（PSNR），明顯高于其他兩種方法。就執行時間而言，均值濾波的時間最短，ICA花費的時間最長，但是PSO優化后的ICA執行時間大大減少了。

從峰值信噪比可以看出，均值濾波將噪算法比原始圖像高17.39%，ICA降噪算法高29.50%，PSO-ICA將噪方法比原始圖像高39.06%。表明了該算法在夜間圖像降噪中的有效性。

4.2 分割效果分析

圖像分割的最終目標是將目標與背景分離。分割算法的評估可以通過分割結果與原始圖像中的目標匹配的程度來衡量。在實驗中，K-means和PCNN 用于圖像分割。分割結果的比較，如圖6所示。

圖6 分割結果對比Fig.6 Comparison of Segmentation Results

在這一部分中，使用分割誤差，重疊系數和執行時間全面分析分割算法的性能。分割誤差SE越小，分割效果越好。計算如式（10）所示。

式中：Ai—分割后提取的蘋果目標區域；

A—原始圖像中目標蘋果區域。

重疊系數表示分割后的目標和原始目標之間的匹配程度，值越高，分割效果越好，如式（11）所示。

式中：Ai?A—分割后的圖像和原始圖像。

通過K-means分割得到的目標果實部分丟失，PCNN分割方法可以更完整地提取目標蘋果，效果優于K-means分割。為了更準確地確定這兩種分割方法的性能，驗證PCNN分割方法的適用性，對20種分割后的無遮擋蘋果圖像進行了分割方法測試，并對分割誤差、重合系數和運行時間進行了比較結果，如表2所示。

表2 分割效果比較Tab.2 Comparison of Segmentation Effect

從表2可以看出，K-means分割和PCNN分割的平均分割誤差分別為8.703%和2.225%。平均重疊系數為90.562%和97.358%，平均執行時間為4.642s 和0.691s，PCNN 分割優于Kmeans分割。PCNN分割可以實現目標蘋果的準確提取。

4.3 識別與定位效果分析

根據蘋果類圓特征，利用遺傳算法改進的三點定圓法，實現了重疊果實真實輪廓上的識別和定位。通過比較改進前后的三點定圓法定位結果，驗證了這里算法的適應性。實驗結果，如圖7所示。

圖7 識別與定位結果對比Fig.7 Comparison of Recognition and Location Results

如圖7所示，改進的三點定圓法可以最大程度地識別目標果實的中心和半徑。為了驗證這里定位算法的有效性，分別對20幅枝葉嚴重遮擋（遮擋率＞50%）和少量枝葉遮擋（遮擋率＜50%）及重疊果實夜間蘋果圖像進行了研究，采用假陽性率（FPR）、假陰性率（FNR）和重疊系數（OI）進行評價。重疊系數（OI）按式（8）計算。假陽性率（FPR）表示誤認為背景為蘋果的像素比例。計算如式（12）所示。

假陰性率（FNR）表示誤認為蘋果為背景的像素比例，如式（13）計算。

其仿真測試結果示例，如圖8～圖10所示。

圖8 重疊系數對比Fig.8 Comparison of Overlap Coefficient

圖9 假陽性率對比曲線Fig.9 Comparison Curve of False Positive Rate

圖10 假陰性率對比曲線Fig.10 Comparison Curve of False Negative Rate

當枝葉的遮擋率超過50%時，三點定圓法和這里優化算法的平均重疊系數分別為71.775%和89.05%，平均假陽性率為5.065%和2.825%，平均假陰性率分別為10.43%和8.19%；在枝葉遮擋率小于50%的情況下，三點定圓法和這里優化算法的平均重疊因子分別為86.15%和94.3%，平均假陽性率為2.67%和1.34%，平均假陰性率為8.265%和5.42%；在果實重疊的情況下，三點定圓法和文中優化算法平均重疊系數為69.55%和88.8%，平均假陽性率為5.225%和3%，平均假陰性率為9.895%和6.98。對三個評價參數的分析表明，遺傳算法改進的三點定圓法具有最大的平均重疊系數，且假陽性率和假陰性率均低于改進前，因此，該算法可以在夜間更準確地定位目標蘋果。

5 結論

這里基于采摘機器人的體系結構，提出了一種基于機器視覺的夜間采摘識別與定位方法，采用粒子群（PSO）優化的獨立成分分析（ICA）用于對夜間蘋果圖像進行將噪，通過PCNN分割方法分割圖像，通過邊緣檢測等提取目標輪廓，最后通過改進的三點定圓法對目標果實進行定位。主要結論如下：（1）與均值濾波和ICA將噪方法相比，文中提出的PSO優化ICA的將噪方法具有最低的噪聲和最清晰的圖像。（2）通過K-means分割得到的目標果實部分丟失，PCNN分割方法可以更完整地提取目標蘋果，效果優于Kmeans分割。（3）這里的識別與定位方法在夜間遮擋小于50%時識別率為94.3%，遮擋大于50%時識別率為89.05%，有效提高了識別和定位的準確性?？紤]到實驗設備和數據的規模，研究仍處于起步階段?；诖?，逐步改進和完善將成為下一步工作的重點。