采摘機器人機械臂運動控制與目標抓取研究
——基于嵌入式和機器視覺技術

劉力維

(北京信息職業技術學院,北京 100018)

0 引言

近幾年來,隨著“中國制造2025”的啟動和人工智能的發展,國內的各行各業出現了越來越多機器人的身影,如機器人醫生、機器人快遞員、機器人服務生、農業機器人等。相較于過去人們印象中“身軀笨拙、只能做簡單工作”的機器人,現在機器人的身手越來越靈活,落地應用場景也日益豐富。目前,我國是全球水果第一生產大國,果園種植面積也在不斷擴大,水果的采摘需要大量勞動力,采摘機器人的需求也在日益提高。為此,設計了基于嵌入式和機器視覺的采摘機器人機械臂運動控制與目標抓取系統,旨在實現對目標水果的定位識別和采摘。

1 采摘機器人機械臂設計方案

1.1 系統整體方案設計

采用嵌入式平臺設計采摘機器人機械臂研究平臺,實現包括目標識別、運動控制、避障運動和目標抓取的控制。采摘機器人機械臂研究平臺的結構如圖1所示。

為了實現對采摘機器人機械臂的運動控制與目標抓取,設計了如圖2所示的控制處理流程圖。采摘機器人機械臂主要是利用圖像處理、目標定位重構和機械臂運動控制3個模塊,實現對目標物體的抓取。其中,圖像處理模塊是通過機器相機獲取目標物體的圖像,利用圖像處理技術對圖像進行噪聲消除、目標檢測等處理;目標三維重構是將圖像處理模塊求解的目標物位姿等信息進行三維重組,結合相機標定、物體和采摘機器臂的空間幾何關系,得到其空間坐標信息;機械臂運動控制模塊獲取到目標物體的空間坐標,對機器臂進行運動規劃,實現對目標物體的抓取。

圖1 采摘機器人機械臂研究平臺的結構圖Fig.1 The structure diagram of the research platform for the mechanical armof the picking robot

圖2 系統控制處理流程圖Fig.2 The flow chart of system control processing

1.2 視覺定位系統設計

為了實現對目標物體的識別和定位,采用位置式的視覺定位系統,結構如圖3所示。

圖3 視覺定位系統結構圖Fig.3 The structure diagram of visual positioning system

為了從第一視覺獲取目標物體相對于采摘機械臂的空間位置,將相機安裝固定在采摘機械臂上,嵌入式平臺通過對采集到的目標圖像進行計算和分析,結合坐標轉換計算出相對于采摘機械臂的坐標位置,再根據機械臂的實際位置設計出機械臂采摘該目標物體的運動軌跡,傳遞給運動控制系統,實現對目標物體的采摘。

1.3 運動控制系統設計

采摘機器人機械臂的驅動控制實際上是對多個自由度關節上的伺服電機進行控制,包括速度、轉矩、位置控制3種方式。結合應用需要,筆者采用位置控制模式,其控制結構如圖4所示。采摘機器人機械臂運動控制系統是一個半閉環的控制系統,系統通過實時采集伺服電機內部位置傳感器的轉角、轉速信息到嵌入式微處理器,實現對電機轉角位置進行精確的計算。

圖4 采摘機器人機械臂運動控制系統結構圖Fig.4 The structure diagram of manipulator motion control system of picking robot

2 目標物體識別與抓取策略

2.1 目標物體識別與定位

為了對采摘機器人目標物體的識別和定位進行分析,以蘋果作為采摘目標,根據實際需求將蘋果作為待定位的物體,對蘋果的中心進行定位,如圖5所示。目標物體識別與定位流程為:①目標物體圖像預處理;②目標物體輪廓提取與識別;③求解目標圖像坐標。

圖5 蘋果目標圖像Fig.5 Apple target image

1)目標物體圖像預處理。目標物體圖像預處理主要是為了消除相機在拍攝過程中引入的環境噪聲,對有用的信息進行增強操作,簡化圖像數據,提高圖像算法處理效率。目標物體圖像預處理流程包括灰度化、高斯濾波、二值化、閉運算和開運算等。二值化后的蘋果圖如圖6(a)所示。

2)目標物體輪廓提取與識別。目標物體的圖像經過預處理后,會開始顯現出清晰的輪廓。采用界跟蹤算法Suzuki 85對二值圖像邊界進行提取,在OpenCV的計算函數為FindContours( ),獲取到的目標輪廓如圖6(b)所示。

圖6 蘋果目標圖像處理Fig.6 The image processing of apple target

提取到目標物體的邊緣輪廓后,會有很多無用的甚至是影響識別的輪廓信息,為了得到目標物體的輪廓和實現定位,還需要從眾多目標輪廓中進行辨識。在此,采用輪廓特征(包括輪廓面積、最小外接矩形長寬比、輪廓面積與最小外接矩形面積比等)為辨識條件實現對蘋果輪廓的識別。

3)求解目標圖像坐標。假設蘋果的中心點和質心坐標一致,可以通過求出蘋果輪廓的中心點獲得其中心像素坐標,從而實現對蘋果目標的定位。首先,計算出蘋果圖像的輪廓矩,尺寸M×N的圖像f(i,j),其p+q階的幾何矩陣mpq的計算表達式為

(1)

其中,當p=q=0時,m00為零階矩,表示輪廓內白色區域像素之和,也就是整個輪廓的總像素面積;當p=1、q=0時,m10為一階矩,表示白色區域像素的x坐標值之和;當p=0、q=1時,m01為一階矩,表示白色像素的y坐標值和。那么,可以求出圖像質心(i,j)的坐標為

(2)

通過以上方法計算出目標物體輪廓的質心,得到其中心點坐標,便可以根據相機標定的關系求出其在世界坐標系中的空間坐標。

2.2 目標物體抓取策略

采摘機器臂包括跟蹤式和攔截式兩種目標物體抓取的方法。前者是針對靜止中的目標,通過機械臂對目標進行實時跟蹤,在此過程中不斷測量目標物體的位置和姿態,直到機械臂末端和物體之間的誤差為0;后者則是針對移動中的目標,根據目標物體的移動速度對機械臂末端的抓取位置進行預測,從而控制機械臂進行理想的抓取。

由于采摘機械臂在抓取過程中,需要主動避開樹枝等障礙物,因此結合系統需求選擇跟蹤式和攔截式相結合的抓取方式。在對采摘目標跟蹤過程中,當出現障礙物時會先采用攔截式的方法逐漸逼近目標物;而當采摘機械臂和目標物體之間的距離和誤差較小時,便開始采用跟蹤式的方式進行抓取。目標物體抓取流程如圖7所示。

圖7 目標物體抓取流程圖Fig.7 The flow chart of target object grabbing

3 機械臂運動控制

采摘機器臂的運動控制是抓取目標物體的核心,主要任務是在采摘機器人的工作空間中控制采摘機器臂,完成姿態、運動軌跡和目標物體的抓取。常用的機器人運動軌跡方法包括蜂群、人工勢場、模擬退火等算法,這些算法在進行軌跡求優過程中需要對采摘機器人機器臂進行建模,隨著自由度的增加會大大增加計算量。由于嵌入式平臺計算能力有限,這樣會導致路徑搜索效率比較低。

因此,采用快速隨機搜索樹(Rapid-Xploration Random Tree,RRT)對算法采摘機器臂運動軌跡進行規劃,基本思路是:將采摘機器臂末端執行器作為搜索樹的根節點,按照特定的標準確定搜索樹上的1個已知的節點,搜索標準是設定采摘機器臂路徑規劃的約束條件,再對已知的節點進行大量擴展,直到找到采摘的目標點。RRT算法通過選擇隨機的采樣點使得機械臂向先前沒有搜索到的區域進行搜索,可以不斷完善搜索樹。該算法具有搜索能力強、速度快的特點,能夠滿足多自由度采摘機械臂對實時性的要求。RRT算法的常用步驟如下:

1)初始化采摘機械臂作業環境,設定起點Xinit、終點Xgoal和機械臂規劃區域。

2)在機械臂規劃的區域內,隨機生成一個采樣點Xrand。

3)在所建立的樹中,尋找隨機采樣點Xrand最近的節點Xnear。

4)根據樹的生長特點,連接Xrand最近的節點Xnear,設定這個方向為樹的生長方向,并設定樹的生長步長StepSize,讓樹StepSize以朝著生長方向生長,每個步長產生一個新的節點Xnew。

5)判斷生長過程中的連接線是否存在障礙物:若有,放棄這一節點;否則,將新的節點添加進來,一直重復以上步驟,直到新產生的節點距離Xgoal小于步長StepSize,停止樹的增長,連接該節點和終點Xgoal。

RRT算法規劃的路徑花費較大、彎折會比較多,如果直接采用RRT算法規劃的路徑來控制采摘機械臂,會讓采摘機械臂在作業過程中出現速度和加速度突變的情況,造成機械臂振動過大,故采用稀疏節點產生機制對RRT算法進行優化,如圖8所示。

圖8 基于稀疏節點方式的RRT算法流程Fig.8 The RRT algorithm flow based on sparse node mode

圖9 基于稀疏節點方式優化后的路徑示意圖Fig.9 The schematic diagram of optimized path based on sparse node mode

4 仿真結果與分析

為了驗證采摘機器人機械臂的運動控制與目標抓取的準確度,進行了實際的抓取試驗。為了避免環境因素的干擾,采用抓取靜止蘋果目標的方案。定位和采摘結果如表1所示。

表1 定位和采摘結果

由表1可以看出,采摘機器人對目標蘋果的識別和定位準確度比較高。雖然定位存在誤差,但成功采摘率達到了100%,具有一定的準確性和穩定性。

5 結論

為了實現對水果目標的定位和采摘,基于嵌入式和圖像處理技術,引入RRT算法,設計和實現了基于嵌入式和機器視覺的采摘機器人機械臂運動控制與目標抓取系統。采摘試驗結果表明:系統對蘋果的識別和定位準確度比較高,成功采摘率達到了100%,具有一定的準確性和穩定性。