基于單目視覺的散堆鉚釘識別與定位技術

喻 強,莊志煒,田 威,李鵬程

(南京航空航天大學 機電學院,江蘇 南京 210016)

0 引言

飛機零部件的連接形式通常有鉚接、螺接和焊接等,由于鉚接具有連接強度穩定可靠、易于檢查和排除故障、適應性強等優點,在飛機裝配中得到了廣泛應用,整架飛機連接方式中鉚接占比達到60%～80%[1]。然而由于鉚釘型號眾多、數量巨大,自動送釘系統面臨著巨大的挑戰。

國內外研制的自動送釘系統規格種類很多,大體分為振動料盤式送釘系統[2-3]、抽屜式送釘系統[4-5]、陣列管道式送釘系統[6-7]、懸掛式送釘系統[8]和機器人送釘系統[9]5種方案。相比前4種類型自動送釘系統,機器人送釘系統由于在占地面積、輸送的鉚釘規格、儲釘數量、穩定性和可擴展性等方面具有明顯優勢,在鉚釘型號多且數量大的工況下具有良好的適應性。

機器人送釘系統的關鍵技術在于快速高效地識別散堆鉚釘并定位,為機器人抓取散堆鉚釘提供精準的位置信息。南京航空航天大學的李宇飛等[9]提出一種基于視覺伺服的機器人送釘系統,通過在機器人末端安裝工業相機和抓取裝置實現散堆鉚釘的定位與抓取,然而該方案并不是直接對儲料盒中的散堆鉚釘進行視覺識別和定位,而是通過機械裝置將儲料盒中的鉚釘運送至接料托盤,將鉚釘由散堆狀態轉變為單層稀疏分布狀態后才能進行后續工作。儲料盒中的散堆鉚釘屬于散亂零件,目前針對散亂零件的識別與定位大多采用三維視覺的方法,即通過對獲取的目標三維點云進行預處理、分割、識別和配準估算得到零件的位置,三維點云主要通過Kinect[10-11]或RealSense[12]傳感器、多相機[13-14]和結構光[15]等獲取,所獲取的點云精度直接影響位置的匹配精度,而獲取高精度的點云勢必會對傳感器、工作環境和點云預處理提出更高的要求;同時提取的點云特征也不宜過多,否則位置估計時會降低算法的效率和魯棒性。另外,對于散堆鉚釘這種接觸和遮擋十分嚴重的零件,該類方法存在識別困難的問題。相關企業也推出了機器人拾取散亂零件(Bin-picking)的系統,例如日本FANUC公司研發了基于iRVision的Bin-picking系統,該系統采用4個相機完成三維視覺重建和目標定位[16],還有德國ISRA Vision公司的3D Shape Scan系統、丹麥Scape Technologies公司的Scape-Tech Discs系統等[17]。然而,以上系統也只適用于特定產品且價格昂貴,難以大規模推廣使用。

哈爾濱工業大學的周靜輝[18]提出一種三網絡級聯算法引導工業機器人抓取散堆零件,文中以雙目同步采集的圖像作為輸入數據集,采用設計的淺層網絡并配合相應的損失函數和訓練方法得到了單目深度估計算法。然而實際生產過程中使用的鉚釘種類多達幾十種甚至上百種,各種規格鉚釘的需求數量也從幾顆到幾百顆不等,采用深度學習的方法來訓練各種散堆鉚釘的深度估計算法不夠便捷和高效,而且級聯的3個算法運行時會消耗大量計算資源,實時性較差。

由于目前視覺方案無法滿足機器人送釘系統識別與定位散堆鉚釘的需求,本文提出一種基于單目視覺的散堆鉚釘識別與定位方法,該方法基于灰度匹配的散堆鉚釘識別算法,將單目視覺與激光位移傳感器結合,同時采用一種重復定位拍照的測量方法實現對散堆鉚釘空間位置的準確測量。該方法的主要創新點如下:

(1)建立鉚釘反射光強模型,并基于該模型構造了釘桿灰度值模板。用灰度值模板識別散堆鉚釘的準確率高、實時性好,對光照變化也具有較強的魯棒性。

(2)采用參數化方法構造鉚釘模板,可根據鉚釘的尺寸參數快速構造出相應的模板,降低了系統的操作難度,后期如果需要增加新類型鉚釘,也無需更改硬件,因此可擴展性強。

(3)提出基于異類傳感器數據融合的鉚釘定位技術,將單目視覺與激光位移傳感器結合,解決了單目視覺無法獲取鉚釘z方向上的深度問題;同時,為解決單目視覺在測量不同深度的鉚釘位置存在原理性誤差的問題,研究了一種重復定位拍照的測量方法,可保證自動送釘系統抓取鉚釘時的最大位置偏差不超過1 mm。

1 基于模板匹配的散堆鉚釘識別

模板匹配是一種常用的圖像識別方法,可用于完整性檢測[19]、目標識別[20-21]和目標定位[22]等,因其簡單實用、魯棒性強,在工業檢測領域得到了廣泛應用。模板匹配方法一般由構造目標物體的標準圖像模板和進行相似度計算確定目標在圖像中的位置兩部分組成。在自動送釘系統中,因為已知儲料盒中鉚釘的具體型號,所以可以使用模板匹配方法檢測鉚釘在圖像中的位置。

1.1 鉚釘模板的構造

目標模板可通過示教和參數化構造獲得。鉚釘雖然形狀簡單,但是種類很多,通過參數化的方法構造鉚釘模板可大大減少示教這種重復性勞動,并提高構造模板的效率;同時,更換鉚釘型號時,通過更改鉚釘的尺寸參數可以很容易地獲得新的鉚釘模板。鉚釘模板同樣有像素灰度值描述和邊緣輪廓描述[23]兩種描述方式。圖1所示為儲料盒中散堆鉚釘的圖像,可見鉚釘交叉堆疊、姿態各異,鉚釘外輪廓模糊不清,傾斜狀態下鉚釘的邊緣輪廓很難用尺寸參數描述,因此無法基于鉚釘的邊緣輪廓構造相應的模板。觀察發現,在環形光源照射下,鉚釘釘桿上有明顯的反射光帶,而且在反射光帶兩邊沿徑向的像素灰度值逐漸降低,這種灰度特征可用于區分鉚釘和背景,因此采用像素灰度值描述鉚釘模板。

因為鉚釘的灰度值并不像輪廓那樣可以直接由鉚釘尺寸參數給出,所以采用參數化方法構造基于灰度值的鉚釘模板,需要首先研究鉚釘的灰度分布規律。分析鉚釘圖像發現,鉚釘釘頭部位為圓錐體,在圖像中所占比例較小,在不同傾斜角度下,釘頭部位的圖像灰度分布沒有明顯的規律;釘桿部位為圓柱體,在圖像中占據較大比例,其灰度沿釘桿軸線呈對稱分布且灰度值沿徑向從中心到邊緣逐漸減小,有明顯的規律,因此將釘桿作為鉚釘識別的感興趣區域來構造模板。釘桿表面可以看作為理想的漫反射體(朗伯反射體),考慮入射光的方向時,漫反射光的光強與入射光的方向和入射點表面法向夾角的余弦成正比,即朗伯余弦定律[24],根據該定律構造的朗伯漫反射模型為

Ild=kdIlcosθ。

(1)

式中:Ild為反射光強;kd為材質的反射系數;Il為入射光強度;θ為入射光方向與入射點表面法向的夾角,即入射角。

如圖2所示,環形光源從上往下垂直照射在釘桿表面上,可近似看作為光強一定的平行光,則釘桿上某一點的反射光強滿足規律

(2)

式中:w為入射點與釘桿中心軸線間的水平距離;r為釘桿半徑。

圖像中釘桿的灰度值與反射光強可近似認為是線性關系,通過歸一化處理消除照明亮度變化對構造模板的影響,則釘桿模板中位于點(u,v)像素位置的灰度值t(u,v)為

(3)

式中:d為釘桿直徑;u為該點在像素坐標系下的橫坐標;η為比例系數,表示世界坐標系中1 mm長度所對應的像素坐標系中的像素數量,由相機內參數標定可知η=f/(sxzc),系數η與焦距f、像素尺寸sx和物距zc有關。

模板的寬度Wt和高度Ht為:

(4)

式中:L為鉚釘總長,Hc為鉚釘沉頭高度,(L-Hc)為釘桿的長度。

綜上所述,由釘桿直徑d、鉚釘總長L、鉚釘沉頭高度Hc和比例系數η這些已知的參數即可自動構造出基于灰度值的鉚釘釘桿模板(如圖3),所構造模板的灰度分布與實際鉚釘圖像相符。

由于儲料盒中的鉚釘散亂分布,導致鉚釘與模板圖像的方向可能并不相同;當鉚釘處于不同深度時,其成像大小也會發生變化。因此,在構造鉚釘模板時,還需考慮鉚釘旋轉和縮放。

考慮鉚釘縮放即要確定縮放比例系數s?？s放比例與鉚釘所處的深度有關,鉚釘所處的深度越深,離鏡頭越遠,成像尺寸越小,反之成像尺寸越大。如圖4所示,長度為L的鉚釘,當其處于測量平面上時,成像尺寸依然為L;當其處于測量平面上方H1高度時,成像尺寸為Lup;當其處于處于測量平面下方H2高度時,成像尺寸為Ldown。成像尺寸滿足以下關系:

(5)

式中H為測量平面與相機中心之間的距離,H=300 mm。鉚釘儲料盒的尺寸為100 mm×100 mm×60 mm,測量平面設置在儲料盒的中間位置,則當H1=H2=30 mm時,計算得到縮放比例系數的取值范圍為0.9≤s≤1.1。由此可見,雖然鉚釘的深度變化較大,但是成像尺寸變化的幅度并不很大。在0.9≤s≤1.1的范圍內將搜索空間離散化,即縮放比例系數s按照一定步幅Δs取值,從而獲得不同大小的鉚釘模板,理論上,Δs的取值越小,匹配的精度越高,但由此也會帶來巨大的資源消耗,嚴重影響匹配速度?；诨叶戎档哪０迤ヅ鋵δ繕宋矬w的尺寸變化具有一定魯棒性,實驗表明,目標圖像的尺寸變化幅度在±5%以內時,幾乎不影響匹配精度。根據Δs的取值,將s的取值范圍劃分為M個區間,由此構造出M組不同大小的模板。

與模板的縮放類似,需要確定旋轉角度β的取值范圍和旋轉步幅Δβ。因為散亂分布的鉚釘的方向是隨機的,所以0°≤β≤180°?；诨叶戎档哪０迤ヅ鋵δ繕宋矬w的方向變化也具有一定魯棒性,容許的方向變化幅度與模板尺寸有關,一般情況下,對于半徑為100像素的模板設置旋轉步幅Δβ=1°,模板像素尺寸越大,旋轉步幅設置得越小[25]。根據Δβ取值將β的取值范圍劃分為N個區間,即可構造出N組不同方向的模板。結合模板的縮放,共構造M×N個具有縮放和旋轉變化的模板,依次用這些模板與待搜索的鉚釘圖像進行匹配,便能檢測出圖像中尺度和方向有變化的所有鉚釘。

1.2 模板匹配

完成鉚釘模板t(u,v)構造之后,將模板t(u,v)放在被搜索圖像f(r,c)上平移,被模板覆蓋的區域稱為子圖f(r+u,c+v),計算模板與子圖的相似度s(r,c),當相似度大于設定的閾值s′時,認為在當前位置(r,c)上找到了匹配的目標物體,以上即是模板匹配過程。常用的基于灰度值的相似度量方法有絕對誤差和(Sum of Absolute Differences,SAD)算法、差方和(Sum of Squared Differences,SSD)算法和歸一化相關系數(Normalized Cross Correlation,NCC)算法等[26]。SAD算法和SSD算法在照明條件穩定的情況下性能很好,但是如果光照變化導致待搜索圖像的灰度值發生了變化,則有可能失效;而NCC算法對光照變化是魯棒的,計算結果不隨光照的變化而變化。因為自動送釘系統在設計時就考慮了光照變化可能帶來的影響,所以在系統外圍加裝遮光罩并安裝了內部光源,以保證光照環境的穩定性。因此,簡單且計算效率更高的SAD算法可以很好地滿足匹配精度的要求,故采用SAD算法計算模板匹配的相似度

s(r,c)=

(6)

式中T為模板尺寸。計算模板與子圖上每個像素灰度差的絕對值再求和,實際上計算的是兩幅圖像的L1距離,計算的s(r,c)越小,表明模板與子圖的相似度越高,當模板與子圖完全相同時,s(r,c)=0。

采用一般的方法遍歷整個圖像計算每個像素點上的相似度耗時長,實時性要求較高的自動送釘系統無法接受,因此采用圖像金字塔進行分層搜索[27-28]。如圖5所示,先構建模板和待搜索圖像的圖像金字塔模型,再從金字塔最頂層逐層往下搜索,可大大降低算法復雜度,使算法滿足工業應用的實時性要求。

2 基于異類傳感器數據融合的鉚釘定位

對于單目視覺,相機在進行標定并得到相機與測量平面之間的位姿關系后,只能對該平面上的物體進行二維測量,無法通過無人工標志的單幅圖像重構空間三維信息[29]。因此,提出一種基于異類傳感器數據融合的鉚釘定位技術方案,將單目視覺與激光位移傳感器結合,通過一種重復定位拍照的測量方法,獲得滿足抓取精度要求的目標位置信息。

在該方案中,單目視覺用于測量鉚釘在水平面上的位置(x,y),激光位移傳感器用于測量鉚釘的深度z,將這兩種傳感器獲得的數據整合即可得到鉚釘的空間位置(x,y,z)。采用單目視覺測量(如圖6),當鉚釘處于測量平面時,相機可準確測得其所在的位置;然而對于不在測量平面上的鉚釘,相機仍根據該平面計算得到鉚釘的位置,此時會出現位置偏差,位置偏差滿足下面公式:

(7)

式中:Δ1為鉚釘處于測量平面上方H1高度時的位置偏差;Δ2為鉚釘處于測量平面下方H2高度時的位置偏差;R為鉚釘與相機光軸線之間的距離。

其中,當鉚釘位于儲料盒4個邊角且處于最高點或最低點時,測得的鉚釘位置偏差最大,此時R=70.7 mm,H1=H2=30 mm,H=300 mm,根據式(7)計算最大位置偏差值為Δ1=7.86 mm,Δ2=6.43 mm。由于鉚釘釘桿的最小直徑為3 mm,而且采用真空吸嘴完成鉚釘的吸附抓取,需要將吸嘴與釘桿中心的位置偏差控制在1 mm以內,顯然計算出的位置偏差已經超出抓取鉚釘所允許的偏差范圍。經過第1次拍照,測得鉚釘的粗略位置(x1,y1),控制機器人將相機平移至鉚釘位置(x1,y1)上方,相機高度保持不變,再次進行拍照測量,對于處在最上層的鉚釘,此時的R已經縮小為R=Δ1=7.86 mm,計算得到的位置偏差Δ1=0.87 mm,將第2次拍照測得的位置記為(x2,y2),如此循環,使相機中心不斷逼近鉚釘。位置偏差Δ1與逼近次數i的關系曲線如圖7所示,可見位置偏差隨逼近次數的增加呈指數下降,在第2次逼近時,位置偏差已經在抓取鉚釘允許的偏差范圍內,因此只需要拍照兩次便可以獲得一個滿足抓取精度要求的鉚釘位置測量值。

當單目視覺獲得鉚釘位置(x,y)后,控制機器人將激光位移傳感器的光束投射在該位置的鉚釘上,測得鉚釘的深度值z,最終得到鉚釘的空間位置(x,y,z),實現鉚釘定位。詳細過程如圖8所示,其中正方形方框為檢測窗口,圓形標志為相機中心。首先控制機器人將相機移動到儲料盒正中心上方,檢測窗口覆蓋整個儲料盒,拍照測得鉚釘的粗略位置(x1,y1);然后控制機器人將相機水平移動至位置(x1,y1)處,縮小檢測窗口尺寸后再次拍照測得鉚釘的位置(x2,y2);最后控制機器人將激光位移傳感器的光束投射到(x2,y2)位置,此時光束正好投射在被測鉚釘上,測得該鉚釘的深度z,最終獲得鉚釘的位置信息(x2,y2,z)。

為提高自動送釘系統的魯棒性,末端執行器會輸出相應的負壓反饋信號來判斷真空吸嘴是否成功抓取鉚釘,若第1次未正常抓取,則通過判斷負壓反饋信號使系統再一次執行抓釘動作。因為真空吸嘴具有z方向上的自由度,所以將第2次要到達的鉚釘深度更改為z+2,即鉚釘的位置信息更新為(x2,y2,z+2),以保證第2次能夠成功抓取。

3 實驗驗證

為驗證所提方法的可行性,設計并搭建了自動送釘系統,如圖9所示,主要包括工業機器人、抓釘末端執行器、儲料盒和工控機等。其中工業機器人的型號為FANUC M-10iA 12,抓釘末端執行器上搭載華?？萍嫉腁3600CG18相機,并配合Computar M0814-MP2鏡頭使用,相關參數如表1和表2所示,激光位移傳感器選用SICK的OD2-P250W150I2。

表1 相機技術參數

表2 鏡頭技術參數

由于飛機裝配需要的鉚釘型號眾多,無法一一驗證每種鉚釘,選取其中5種具有代表性的、形狀尺寸差異較大的鉚釘進行散堆鉚釘識別實驗,足以驗證方法的可行性。實驗選取的鉚釘及其圖像特點如表3所示,主要從灰度匹配算法有效性、灰度匹配算法照明亮度變化魯棒性、灰度匹配算法實時性和機器人抓釘節拍4方面進行評估。

表3 實驗選用的鉚釘及其特點

3.1 鉚釘傾斜角度閾值設置

鉚釘釘桿的灰度值模板均是以水平姿態下的鉚釘建立的,而儲料盒中的散堆鉚釘與水平面有一定的傾斜夾角。隨著鉚釘傾斜角度的增大,釘桿上的反射光帶亮度會逐漸降低,當傾斜超過一定角度時,反光帶的形狀將由矩形退化成細長的三角形。因此,在進行算法有效性驗證之前,需要根據算法對不同傾斜角度鉚釘的識別結果設置一個合理的傾斜角度閾值,并將該閾值下的相似度評分作為識別鉚釘的判斷條件。

首先在儲料盒放置一顆第5種鉚釘并將該鉚釘傾斜0°～45°;接著在每種傾斜角度下采集10張圖片;然后采用灰度匹配算法對采集的圖像進行識別,并根據相似度進行評分,完全相似評分為100分;最后計算該傾斜角度下這10組評分數據的平均值。

實驗結果如圖10所示,鉚釘的傾斜角度在0°～20°范圍內變化時,相似度評分降低較緩且均在85分以上;鉚釘的傾斜角度大于20°時,相似度評分急劇降低。因此,選擇20°作為灰度匹配算法識別鉚釘時傾斜角度的閾值,即相似度評分在85分以上的鉚釘可被認為是目標類型的鉚釘。同時,實驗發現,散堆狀態下傾斜角度在20°以內的鉚釘數量足夠多;末端執行器上的真空吸嘴為硅膠材質,比較柔軟,完全可以吸附傾斜角度在30°以內的鉚釘,因此將20°設為鉚釘傾斜角度的閾值,可滿足自動送釘系統識別與抓取鉚釘的要求。

3.2 算法有效性驗證

算法的有效性驗證主要驗證灰度匹配算法是否能夠準確識別出散堆狀態下的鉚釘。首先完成圖像的采集工作,在5個儲料盒中分別裝滿表1中的5種鉚釘,然后用相機采集散堆鉚釘的照片,獲得第1組共5張圖片;完成第一次拍照后,取出20%的鉚釘,充分攪拌剩余鉚釘后,再次拍照獲得第2組圖片;重復上述操作5次以模擬鉚釘不斷消耗的過程,可獲得5組共25張散堆鉚釘圖片。采用灰度匹配算法識別每張圖片,并在原始圖像中將識別到的鉚釘用最小外接矩形框出,統計在不同鉚釘余量下正確檢出與錯誤檢出的數量。

實驗結果如圖11所示,灰度匹配算法能夠有效識別出不同型號的鉚釘,且對顆粒較大的鉚釘識別準確率能夠達到95%以上;對于小顆粒的鉚釘,識別準確率也能達到85%以上;對于錯誤檢出的鉚釘,都存在一個共同的特點,即其相似度評分較低。在一幅圖像檢出的所有鉚釘中,錯誤檢出鉚釘的相似度評分都排在相對靠后的位置,相似度評分排名前5的鉚釘均為正確檢出的鉚釘。自動送釘系統每次拍照后只需抓取其中一顆鉚釘,因此按相似度評分高低將所識別出的鉚釘排序,每次只抓取排名第一的鉚釘便能保證系統正確抓取。從圖11還可以看出,同一型號鉚釘的5張圖像是在不同深度下拍攝的,但5張圖像檢出的鉚釘數量差異不大,可見灰度匹配算法具有很好的尺度不變性。

3.3 照明亮度變化魯棒性驗證

選擇第5種鉚釘驗證灰度匹配算法對照明亮度變化的魯棒性。在儲料盒中裝滿鉚釘并保持鉚釘不動,然后在儲料盒附近一固定位置放置一塊單色紙,保證該單色紙在相機視野范圍內;將單色紙區域的灰度值作為光源亮度的映射值,并轉換成百分比的形式;從5%開始不斷提高環形光源的亮度,并采集鉚釘圖像,共采集20張圖像;隨后采用灰度匹配算法對每張圖像進行識別,并在原始圖像中將識別到的鉚釘用最小外接矩形框出,統計正確檢出與錯誤檢出的數量。

實驗結果如圖12所示,即使照明亮度在30%～70%范圍內變化,算法仍然能夠檢出足夠數量的鉚釘,檢出數量差異不大而且準確率均在90%以上。因此,灰度匹配算法對照明亮度的變化是魯棒的。

3.4 算法實時性驗證

灰度匹配算法處理圖像所消耗的時間直接影響到機器人的抓釘節拍,因此需要評估灰度匹配算法的實時性。選擇第5種鉚釘進行圖像采集,在每次拍照之前充分攪拌,共拍攝50張圖片。所采用的工控機配置為CoreTM i5處理器和16 GB DDR3內存,在工控機上運行灰度匹配算法來處理采集的圖像,并在算法的首尾添加計時器,記錄處理每張圖像所消耗的時間。實驗結果如圖13所示,灰度匹配算法處理每張圖像平均耗時335 ms,最大耗時381 ms。

3.5 機器人自動抓釘驗證

在評估完灰度匹配算法的實時性后,還需評估機器人采用所提方法的抓釘節拍。機器人執行抓釘動作之前,需要進行運動軌跡規劃,即對機器人運動過程所經過的點位或軌跡加以規定或示教。如圖14所示,機器人先從棄釘點A出發運動至拍照點B,觸發拍照獲得某顆鉚釘的位置后,運動到測距點C測得該鉚釘的深度,然后將真空吸嘴運動到抓取點D,開啟真空吸氣吸附該鉚釘,吸附成功后沿原路返回到棄釘點A,關閉真空吸氣丟棄鉚釘,至此完成一個抓釘循環。其中拍照點B位于相機距測量平面上300 mm處,測距點C位于激光位移傳感器距測量平面上200 mm處,抓取點D則是位于真空吸嘴與測量平面重合的位置,棄釘點A在距拍照點B水平方向450 mm處。在這些點位中,點A和B固定不變,點C和D則需要加入不同類型補償值,包括相機獲得的視覺補償值Pc和激光位移傳感器獲得的深度補償值Pl。機器人抓釘的動作順序如表4所示。

表4 機器人抓釘動作順序

機器人的運動軌跡設置完成后,即可開展自動抓釘實驗。首先在儲料盒中裝滿1號鉚釘,機器人開始自動循壞抓釘,將儲料盒中的鉚釘全部抓取完后,分別記錄抓取完該型號鉚釘所用的總時間T和所抓取的鉚釘數量N,則該型號鉚釘的抓釘循環時間t1=T/N;然后,單獨測量機器人由棄釘點A運動至拍照點B所消耗的時間t2,即可獲得機器人由開始拍照到成功抓取鉚釘后回到拍照位置所需的時間t=t1-2t2,即該型號鉚釘的機器人抓釘節拍。測量完成后,更換儲料盒中的鉚釘型號,用該方法測量剩余4種鉚釘型號的機器人抓釘節拍,結果如圖15所示。

實驗表明,5種型號鉚釘的機器人抓釘節拍差別不大,其中3號鉚釘的機器人抓釘節拍最長,達到3.32 s。自動鉆鉚設備的鉆孔鉚接加工速度為6顆/min,即抓送一顆鉚釘的耗時最長不能超過10 s。采用所提方法時,機器人的抓釘節拍最長不超過4 s,成功抓取鉚釘后,由機器人快速運送到輸釘管口,輸釘管直接將鉚釘吹至自動鉆鉚設備上,實驗驗證剩余時間足以保證所抓取鉚釘成功送達。因此,機器人采用所提方法抓取鉚釘能夠滿足自動鉆鉚設備加工速度的需求。

4 結束語

本文針對基于單目視覺的散堆鉚釘識別與定位方法進行研究,提出基于灰度匹配的鉚釘識別算法,及單目視覺與激光位移傳感器相結合的鉚釘定位方法,相應的研究成果如下:

(1)基于灰度匹配的鉚釘識別算法能夠有效識別出不同型號的鉚釘,識別準確率在85%以上;自動送釘系統每次抓取按匹配相似度高低評分排名第一的鉚釘,可滿足自動送釘系統正確識別與抓取的要求。

(2)基于灰度匹配的鉚釘識別算法對30%～70%的照明亮度變化具有較強的魯棒性,且算法處理每張圖像的平均耗時為335 ms,最大耗時為381 ms。

(3)將單目視覺與激光位移傳感器相結合,并基于灰度匹配的鉚釘識別算法和重復定位拍照的測量方法,為機器人抓取散堆鉚釘提供精準的位置信息。采用該方法時的機器人抓釘節拍也滿足自動鉆鉚設備加工速度的需求。