基于多深度相機融合的機械臂抓取系統

洪誠康,楊 力,江文松,羅 哉

(中國計量大學 計量測試工程學院,浙江 杭州 310018)

0 引言

賦予機器人感知能力是計算機視覺和機器人學科的一個長期目標。相機就是機器人的眼睛,機器人可以通過相機與環境交互進行目標檢測和目標抓取,在工業上可以自動化抓取貨品和工件,生活中可以為生活不方便的人提供幫助。

常規的機器人抓取系統分為抓取檢測系統、抓取規劃系統和控制系統,本文主要圍繞抓取檢測系統展開。目前最廣泛的基于機器視覺的抓取檢測系統分為2D平面抓取和6自由度抓取。2D平面抓取[1-4]指夾爪垂直于物體自上而下抓取物體,分為預測平面內抓取接觸點的方法和預測定向矩形框的方法。6自由度抓取[5]指夾爪在3D空間從不同角度抓取物體,根據輸入點云分為基于局部點云的方法和基于完整點云的方法,其中基于局部點云的抓取方法分為兩種:①評估候選抓取的抓取質量,MOUSAVIAN等[5-6]提出一種6-DoF GraspNet算法,該算法用可變自動編碼器對不同抓取姿態建議進行采樣,并用抓取評估器模型對采樣的抓取姿態進行細化;MURALI等[7]通過引入一種基于抓手信息和場景原始點云的學習碰撞檢測器,進一步改進了6-DoF GraspNet;另外,ZHAO等[8-9]提出的RegNet、FANG等[10-11]提出的GraspNet-1Billion和LIANG等[12]提出的PointnetGPD,均采用端到端的神經網絡將一個單視圖點云作為輸入預測夾具的抓取姿態。②從已有抓取姿態中轉移抓取姿態,在定位目標對象之后,利用基于對應模板的方法將抓取點從相似且完整的3D模型轉移到當前局部點云視圖對象[13-14]。采用基于3D模板的抓取方法可以將部分點云與模板對齊,從而獲取完整的物體信息,然而模板數量較少,可能不能學習到具有區別性的特征,而且泛化能力弱,抓取數據集以外物體的成功率相對較低?；诰植奎c云的方法在采集數據過程中,因復雜環境下的遮擋問題使目標物體點云形狀缺失或變形,導致預測結果不穩定。因此,提出一種基于多深度相機融合的方法來預測抓取結果,該方法通過拼接融合不同視角下的點云形成完整的目標物體形狀,從而豐富目標物體的3D信息,使抓取預測結果更加準確。

基于GraspNet-1Billion和6-DoF GraspNet,本文提出一個更具魯棒性的端到端的神經網絡GraspNet-Robust,并針對神經網絡的抓取質量評估部分進行改進。借助神經網絡分析點云的幾何特征,再結合力閉合度量法[15]和抓取力螺旋空間場(Grasping Force Spiral Space Field,GFSSF)對預測姿態進行評估雖然效果良好,但是會使一些抓取點因點云形狀缺失或畸變導致魯棒性較差,召回率較低。因此提出GFSSF的方法,查找并統計預測可抓取點球鄰域內的其他候選抓取點,如果90%候選點的抓取置信度得分S≥0.6,則將該球鄰域的半徑作為該抓取點的最大擾動范圍。通過結合GFSSF和評估抓取置信度分數的方法,提高了抓取預測結果的魯棒性,實驗結果顯示成功率提高了4%。

1 系統搭建

本文搭建了一個機械臂自動化智能抓取系統,主要硬件采用兩個Intel公司生產的RealSense D435i深度相機、平行二指柔性夾爪、爾智公司生產的AR5機械臂(可重復定位精度為±0.03 mm)和Windows系統的PC,系統搭建如圖1所示。

具體實現過程如下:

(1)用兩個固定位置的深度相機實時拍攝工作臺上的物體,兩個相機相距90 cm,距離工作面高度為70 cm,分別從物體的前上方和后上方45°左右進行拍攝,通過將兩個相機的視錐最大化來覆蓋工作平臺上的物體。

(2)當機械臂接收到采集物體的指令時,兩個深度相機同時拍下當前物體同一幀的彩色圖和深度圖,通過提前標定好的相機內參將深度圖轉化為點云圖,并將RGB信息賦給點云。

(3)將兩個相機的拍攝位姿通過立體匹配法計算求得兩個相機坐標系之間的旋轉平移矩陣。將相機2坐標系下的點云經過旋轉平移轉換到相機1坐標系下,拼接成一個完整的待抓取目標物體的點云圖像,再將點云進行去噪和降采樣處理。

(4)將預處理過后的點云輸入GraspNet-Robust神經網絡,輸出預測執行抓取夾爪的6D姿態,其中包含夾爪的3D位置和3D方向,以及夾爪的抓取寬度。因為該抓取姿態是相機1坐標系下的抓取姿態,所以在輸入機械臂運動控制模塊前,先借助手眼標定的結果將相機1坐標系下的抓取姿態轉換到機械臂工具坐標系中心點(Tool Center Point,TCP)下。

(5)機械臂將當前的進給坐標系轉化到激活的TCP下,接收到上位機傳輸的運動參數后,利用機械臂的運動控制模塊將機械臂末端夾爪沿直線運動到預測位置,夾爪根據預測抓取寬度閉合,抓取物體后將機械臂移動到預先設定好的位置,放置被抓取的物體后進入監聽狀態等待下一次抓取指令。

抓取流程如圖2所示。

2 抓取視覺檢測

2.1 多相機標定

本文采用兩個深度相機融合的方法,旨在將兩個深度相機獲取的深度信息融合,獲取更加完整的物體點云圖。然而將兩幀點云直接用迭代最近點(Iterative Closest Point,ICP)方法進行配準時因為點的個數較多,消耗時間太長,影響機械臂抓取的實時性,所以采用先標定后拼接的辦法。將相機1和相機2固定在機械臂工作臺周圍,同時拍攝同一個標定板棋盤格,利用雙目相機立體匹配的原理將雙相機視角下同一標定棋盤格上的角點一一對應,計算兩個相機坐標系的旋轉平移矩陣。具體方法如下:

假如世界坐標系下有一點P坐標為(Xw,Yw,Zw),P1為點P在相機1坐標系下的點,坐標為(X1,Y1,Z1),P2為點P在相機2坐標系下的點,坐標為(X2,Y2,Z2),(R1,T1)為世界坐標系到相機1坐標系下的旋轉平移矩陣,(R2,T2)為世界坐標系到相機2坐標系下的旋轉平移矩陣,因此根據轉換關系可以得到:

P1=R1P+T1;

(1)

P2=R2P+T2。

(2)

令(R,T)為相機2坐標系到相機1坐標系下的旋轉平移矩陣,則有

P2=RT(P2-T)。

(3)

將式(1)和式(2)代入式(3)并化簡可得:

(4)

T=T1-RT2。

(5)

在雙相機標定預處理實驗中采集16組匹配的圖像,根據每組標定板棋盤格上多個角點的位置,獲得相機2到相機1坐標系下的旋轉平移矩陣,并計算得到圖像平均重投影誤差為0.217,采集的標定板姿態與相機視點如圖3所示。

2.2 點云預處理

2.2.1 點云拼接

分別用兩個相機從兩個角度拍攝待抓取物體,得到RGB-D圖像。因為用深度相機拍攝獲得的點云比目標物所在的工作空間更寬廣,所以先用直通濾波器設置兩個視角下的背景遮罩,濾去深度圖像中待抓取物體和機械臂工作平臺以外的背景點。根據深度圖和相機標定獲得的相機內參,將深度圖轉化為點云圖,并將RGB圖像中的RGB信息對齊賦值給對應點,然后根據2.1節兩個深度相機的標定結果,獲得完整的待抓取物體的點云圖像,如圖4所示。

2.2.2 點云降噪

深度圖像存在噪聲,雖然3D卷積神經網絡(Convolutional Neural Network,CNN)對傳感器噪聲具有魯棒性,但是抓取采樣算法仍然可能產生一個導致姿態失調的空閑抓取點,因此對拼接后的點云進行降噪處理。首先采用k鄰域去噪算法,通過k-維樹(k-dimension tree)對散亂點云建立拓撲關系,找到每個任意點附近的k個點,計算任意點到k個點的平均距離和標準差,設置距離閾值為平均距離加兩倍標準差,視距離閾值以外的點為離群點并剔除[16-17]。

然后采用體素化降采樣的方法,保持原有物體的3D特征并輸入下一步神經網絡。該方法是對輸入的目標點云創建一個3D體素網格,在網格劃分的每個體素內,用其中點云數據的重心代替該體素內的全部點,通過提取重心點的方法對點云進行降采樣。該方法在減少點云數量的同時仍能保持物體的形狀特征不被破壞,而且點云在空間中均勻分布?？傮w效果如圖5所示。

2.3 預測抓取姿態的神經網絡

2.2節獲得了待抓取物體的完整點云圖像,將點云圖像輸入GraspNet-Robust的神經網絡,輸出結果為相機坐標系下二指平行夾爪的6D抓取姿態估計。GraspNet-Robust實現了端到端的抓取預測,將6D抓取姿態分為夾爪到待抓取物體的接近向量、夾爪在抓取點垂直于接近向量平面內的旋轉矩陣和夾爪的抓取寬度。在預測過程中,預測接近向量為機械爪二指末端點到物體表面抓取點的接近向量,因此還需估計機械爪可行的抓取深度才能成功抓取,定義抓取姿態參數為

式中:R∈3×3表示夾爪沿著接近向量,經過抓取點垂直于接近向量的平面內的旋轉矩陣;V∈3×1表示機械爪的接近向量,即機械爪末端中心到物體表面抓取點的平移向量;W∈表示機械爪的抓取寬度;D∈表示機械爪的抓取深度。具體參數表示如圖6所示,其中圖6c為預測夾爪抓取姿態可視化效果,且抓取位姿在相機1坐標系下。

2.3.1 神經網絡模型

本文將GraspNet-Robust的神經網絡模型分為接近網絡、操作網絡和容差網絡3部分,網絡總體模型如圖7所示。神經網絡前面的主干部分采用PointNet++的編碼和解碼部分[18]。將輸入的N×3點云進行4次特征提取,主要操作為在歐幾里得空間中,先通過最遠采樣法下采樣點云數量,每次下采樣的點云個數為[2 048,1 024,512,256],然后經過特征提取層,通過k鄰域球查詢的方式查找并聚合球內固定數量的點云來構建局部區域集,球查詢的半徑分別為[0.01,0.02,0.03,0.04](單位:m),對應每次球體內的聚合點云個數為[64,32,16,16]。每個局部區域集采用PointNet[16]神經網絡方法進行編碼變成特征向量,然后將這些特征向量經過兩層特征傳播層,通過反向插值的方法將基于k個鄰域的反向距離加權平均作為點的特征向量,借助“跳躍連接”(skip link)與上一層特征提取層的點特征向量聚合,最終得到M×(3+C)的張量。簡單來說,3+C表示從k鄰域中提取相機捕捉到的目標中精細幾何結構的局部特征。

將M個候選點輸入接近網絡,通過3層多層感知器(Multilayer Perceptron,MLP),維度分別為[256,302,302],輸出一個M×(2+V)的張量,其中:2表示一個二進制的類別,判斷該抓取點是否能抓取;V為該點預測的接近向量,定義抓取向量Vij表示第i個抓取點的第j個接近向量,通過預測V個接近向量的得分,挑選得分最高的Vij作為該候選點的接近向量,并通過索引獲得該接近向量的3D空間位置坐標。

通過接近網絡得到可抓取候選點以及候選點預測的抓取接近向量后,需要預測機械爪面內的旋轉矩陣R、抓取深度D、抓取寬度W和抓取置信度得分S。

因為機械爪的抓取深度隨不同的候選點變化,難以直接回歸,所以將抓取深度分成K個類,本文將其設置為4類,分別為[0.01,0.02,0.03,0.04](單位:m)。在將M×(2+V)的張量輸入操作網絡前,先將M個點的特征信息與PiontNet++解碼后M個點的特征信息對齊,再拼接特征信息,用于篩選抓取候選點并豐富每個候選點的抓取信息。將可抓取的候選點調用PointNet++中的CylinderQueryAndGroup函數,分割該候選點及其附近點云并聚合成半徑固定的圓柱體形點云簇。然后給每個候選點建立一個統一的坐標表示,將每個候選抓取點設置為新的坐標系原點,該候選點的接近向量為坐標系的Z軸方向。根據4類給定的抓取深度,按照每個抓取深度分別沿接近向量靠近該候選點坐標系所在的圓柱體區域,直到在圓柱體內采樣的點云數量達到固定值(設置為64個點),此時圓柱體的最大高度即為候選點預測的抓取深度。經過維度分別為(64,128,256)的3層共享參數的MLP,將經過對齊和聚合后的張量轉化為高維特征信息,用于后續特征處理。

將預測的抓取深度與上述M個點的特征信息對齊并聚合,輸入操作網絡,經過維度分別為(128,128,36)的3層卷積層,輸出預測的各個抓取位姿參數,包括抓取平面內的旋轉矩陣R、抓取寬度W和抓取置信度得分S。采用力閉合度量法預測抓取得分,即根據摩擦系數μ預測每個抓取姿態的抓取置信度得分。設置抓取得分

S=1.1-μ。

(6)

設置Δμ=0.1為摩擦系數的變化步長,將μ從1逐步減小到0.1,直到無法抓取物體,因此將抓取置信度得分分為10類。摩擦系數μ越低的抓取得分越高,抓取成功率也越高。抓取寬度通過抓取點的距離信息得出,因此采用直接回歸的方式。

與此同時,將M×(2+V)的張量輸入容差網絡,用于篩選具有魯棒性的可執行抓取姿態。本文提出通過抓取力螺旋空間場F來提高抓取姿態預測的魯棒性,由于每個抓取候選點有多個可抓取的姿態,需要從諸多抓取姿態中選取抓取成功率最高的抓取姿態,而因為只采用網絡輸出的抓取得分S排名靠前的抓取姿態作為結果,所以抓取成功率并不能達到最優。為了提高抓取成功率,采用抓取力螺旋空間場F的方法來判斷抓取結果,對于數據集中標記的抓取姿態中的每個可抓取點,在其最大球鄰域內,若滿足90%的候選點抓取置信度得分S≥0.6,則該球體的半徑即為抓取點的最大可抓取擾動范圍,表示為

Tij=radius(P(S≥0.6)>0.9)。

(7)

通過GFSSF預測的每次抓取的最大擾動范圍,即能夠容忍可能具有錯誤的、可抓取姿態的最大范圍,然后將操作網絡和容差網絡的信息聚合,選取抓取得分最高的K′個抓取姿態。這種通過力螺旋空間場最大擾動范圍結合抓取得分排名進行抓取的方法,提升了預測抓取姿態的成功率。

2.3.2 損失函數

在訓練過程中,通過下面的目標函數,對整個網絡進行更新:

L=LA({ci},{sij})+αLR(Rij,Sij,Wij)+
βLF(Tij)。

(8)

式中:LA為接近網絡的代價函數;ci為第i個點預測能否抓取的二進制數;sij為視點j到抓取點i的預測置信度得分;LR為操作網絡的代價函數;Rij為抓取點平面內的旋轉矩陣,為了簡化預測回歸的值,將其轉化為抓取點平面內的旋轉度數,本文將平面內的旋轉角度分為12類,因為選用的二指平行的機械爪是對稱的,所以預測的旋轉角度范圍在0°～180°之間;Sij,Wij分別為直接回歸的抓取置信度得分和抓取寬度;LF(Tij)表示容差網絡的代價函數,Tij為容差網絡預測抓取點可以抵抗的最大擾動距離。

接近網絡的代價函數表示為

(9)

操作網絡的代價函數表示為

(10)

式中:d為抓取的深度距離;因為Rij為多分類任務,所以Lcls采用softmax激活函數結合交叉熵損失函數計算損失值,Lreg采用平滑L1損失函數計算損失值。Ld為不同抓取寬度類別下的平均損失。

容差網絡的代價函數表示為

(11)

3 機械臂抓取控制

3.1 機械臂與相機的手眼標定

3.1.1 手眼標定的算法

通常深度相機與機械臂安裝分為“眼在手上”和“眼在手外”兩種,“眼在手上”指深度相機安裝在機械臂末端,使末端執行器坐標系和相機坐標系相對不變;“眼在手外”指深度相機安裝在機械臂外,使機械臂基坐標系與相機坐標系位置固定不變,末端執行器坐標系和標定板坐標系同時移動,且保持相對位置不變[19]。本文采用“眼在手外”的標定方法,標定相機1與機械臂基坐標系的位置關系。令:

根據各個部分變換關系可得:

(12)

(13)

(14)

(15)

AX=XB。

(16)

其中:A根據機械臂正向運動參數直接獲取,B根據深度相機標定棋盤格位姿求得。根據傳統線性求解法求得X在相機1坐標系相對于機械臂基坐標系下的齊次變換矩陣,為后續機械臂抓取物體做準備。最后得到的齊次變換矩陣可拆分為旋轉和平移矩陣。

3.1.2 手眼標定的定位精度實驗與分析

令機械臂末端夾持棋盤格標定板,棋盤格與夾爪的相對位置固定不變。移動機械臂依次到達13個不同位姿,采集相機視野內的圖像,并記錄每次運動過程中機械臂末端夾爪中心在機械臂基坐標系下的位姿,包括X,Y,Z坐標,因為AR5機械臂的定位精度達到±0.6 mm,遠小于待抓取物體尺寸和夾爪尺寸,對抓取結果沒有影響,所以將可直接讀取的機械臂末端位姿數據視為真實值。將相機坐標系下棋盤格的坐標通過3.1.1節中標定的結果轉化到機械臂基坐標系下,并與真實值進行比對分析。因為通過雙相機的標定結果將相機2的點云轉化到相機1坐標系下,兩幅點云基本重合(如圖4),所以只要將合成后的點云轉換到機械臂基坐標系下即可。通過計算13個位姿,由相機獲得的機械臂基坐標系下沿X,Y,Z軸的運動變化量與真實值之間誤差的平均值分別為2.677 784 mm,2.351 656 mm,2.232 656 mm。

因為在實際操作中,物體尺寸和夾爪的可抓取尺寸遠大于定位誤差,而且以上求得的誤差并未影響所抓取的物體,所以認為手眼標定的精度足夠高,能夠滿足目標抓取任務的需求。

3.2 機械臂運動控制

機械臂使用爾智公司生產的AR5六軸機械臂,分別為基座、肩、軸、腕1、腕2、腕3。采用RJ-45連接器即雙絞線以太網接口,連接機械臂控制系統和上位機,通過TCP/IP協議分配端口實現機械臂與上位機之間的通信,并利用與AR5機械臂配套的SDK接口對機械臂進行編程,控制機械臂運動。抓取系統中機械臂的運動路徑借助機械臂自身的運動模塊結合運動學模型,通過上位機與機械臂交互,將上位機預測的機械臂基坐標系下夾爪的3D位置和3D方向傳輸給機械臂,機械臂借助機械臂系統運動解算規劃出一條運動路徑,向作業空間內的指定位置移動。運動過程中,以機械臂基坐標系作為參考坐標系,以夾爪為機械臂末端執行器的工具坐標系作為進給坐標系,在安全模式下工作,防止機械臂與工作臺發生碰撞以及機械臂自身軸旋轉發生碰撞。

4 實驗與分析

4.1 神經網絡模型訓練

本文GraspNet-Robust神經網絡模型在GraspNet-1Billion數據集上訓練,包括在190個復雜場景下由兩種深度相機(Kinect 4 Azure和RealSense 435)在不同視角下拍攝的512張RGB-D圖像。其中100個場景圖片用于訓練集,90個場景圖片用于測試集。每幅圖像通過力閉合方法密集標注6-DOF抓取姿勢,數據集共有超過11億個抓握姿勢。該數據集中包括88種物體,因為這些物體有適合抓握的尺寸,而且在形狀、質地、尺寸、材料等方面各不相同,所以多樣的局部幾何形狀可以為算法帶來更好的泛化能力。

網絡訓練環境在Ubuntu 16.04 LTS系統下、單個GeForce GTX 3090 16 G顯存的GPU上訓練,采用基于Cuda 10.1環境的Pytorch 1.6.0計算架構,并用Adam優化器進行優化,用LambdaLR方法調整學習率。共訓練18個周期,樣本數批次為4,初始學習率為0.001,第8個周期后學習率降至0.000 1,第12個周期后降至0.000 01,第16個周期后降至0.000 001。式(8)～式(10)中的超參數設置為λ1,λ2,λ3,α,β=0.5,1.0,0.2,0.5,0.1,神經網絡中C=256,V=300。最后用獲取的權重文件預測實際抓取結果。圖8所示為訓練過程中的總體損失函數下降圖(即式(8)的值),圖9所示為基于力螺旋空間場的容差網絡的損失函數下降圖(即式(11)的值),圖10所示為接近網絡預測候選抓取點的精確度,圖11所示為預測候選抓取點的召回率。

測試時將拼接后的點云文件輸入神經網絡,最后輸出一個50×17的張量,表示前50個抓取置信度得分最高的抓取姿態。其中17維的數據包括抓取置信度得分、抓取寬度、抓取深度、夾爪平面內旋轉矩陣和夾爪的平移向量。神經網絡預測結果如圖12所示,其中選取了前50個抓取得分最高的夾爪抓取姿態進行可視化,不同抓取深度對應不同的顏色。

4.2 機械臂抓取結果驗證

本文在實際環境中搭建了完整的機械臂抓取系統。在Windows 10系統下,PC端用以太網接口連接機械臂,用USB 3.0接口連接機械爪,用兩個USB 3.0接口連接兩個深度相機。在機械臂工作平臺上放置多樣物體,包括數據集中的物體和數據集外未知的物體,分別進行抓取預測,然后將抓取數據傳遞給機械臂和機械爪進行抓取,抓取成功率實驗結果如表1所示,可見平均成功率達到了91%。

表1 已知物體和未知物體的抓取成功率對比

當物體包含于數據集時,其預測結果比預測未知物體的成功率高6%。本文提出用雙相機點云融合的方法對物體進行點云拼接,對比多視角融合預測結果與單視角(俯視)預測結果,以及有無點云預處理的預測結果,結果如表2所示?？梢娤嗤トl件下,相比單相機視角,雙相機視角拼接點云方法的抓取成功率提高了4%。

表2 單相機、雙相機的抓取成功率和時間對比

本文提出的機械臂抓取系統旨在實時抓取,為驗證采用多相機融合點云方法的機械臂抓取系統反應時間的快慢,本文記錄了雙深度相機從拍攝一幀RGB-D圖像到輸出預測得分最高的前50個結果的時間,并與相同操作下的單相機進行比對。結果表明,在采用點云預處理的前提下,相比單相機方法,雖然雙相機方法預測過程的平均處理時間多0.313 9 s,50次抓取實驗即為15.695 s,但是單相機方法平均每抓取失敗一次會浪費2 s,因此雙相機視角下的高抓取成功率更加滿足實際應用。

為了評估容差網絡中改進力螺旋空間場的有效性,本文對改進的容差網絡進行了消融實驗。首先,用GraspNet-1Billion數據集對不包含力螺旋空間場的GraspNet-Robust神經網絡進行預訓練,輸入雙相機獲取的點云數據,直接選取得分最高的抓取姿態進行抓取;然后,用GraspNet-1Billion數據集通過包含力螺旋空間場的GraspNet-Robust進行預訓練,查找并統計每個抓取姿態標記的可抓取點最大球鄰域內的其他候選抓取點的抓取得分,若抓取姿態每個抓取點鄰域內90%候選點的抓取置信度得分S≥0.6,則認為該抓取點為有效抓取點。對兩個預訓練結果進行測視,輸入相同的點云數據,挑選S最大的抓取姿態進行抓取。如表3所示,在相同實驗條件下抓取100次,其中已知物體和未知物體各50次,相比直接評估回歸抓取分數,通過結合GFSSF和評估抓取分數方法抓取的成功率提高了4%。

表3 有無力螺旋空間場消融實驗

5 結束語

本文建立了一套機械臂自主抓取系統,通過程序完成機械臂從目標檢測到抓取目標。為了解決單深度相機視角下3D特征不穩定的問題,提出多視角點云融合目標的方法,并與單視角方法分別進行了50次抓取實驗,結果多視角點云融合方法的抓取成功率為92%,比單視角點云方法的抓取成功率高4%。同時建立了一個端到端的神經網絡,提出通過力螺旋空間場來評估預測結果,并與無力螺旋空間場的神經網絡分別進行了100次抓取實驗,結果表明有力螺旋空間場的神經網絡的抓取成功率達到91%,相比提高4%,增加了預測結果的魯棒性?；谏疃葘W習的抓取預測還需要龐大的數據集支撐,因為已包含在數據集中的已知物體抓取成功率比無數據集的未知物體抓取成功率高6%,所以通過豐富數據集,可以使所提方法具有更優的泛化能力。雖然多視角點云融合目標方法相比單視角點云的預測結果準確,但是處理時間更長,其比單視角增加了0.313 9 s的預測時間,影響了機械臂的實時性,因此未來研究將提高多視角點云融合方法的預測速度。