無標定六自由度砌磚機械臂視覺伺服控制

謝 苗，李佩達

(遼寧工程技術大學 機械工程學院，阜新 123000)

0 引言

隨著國家工業革命進程的不斷深入，工業自動化的程度也逐漸提高，機械臂的使用也更加普遍化，機械臂的應用可以代替工人做一些重復的工作，降低工人的勞動強度，保證工作人員在一些危險環境中的生命安全，同時也大大降低產品的生產成本。大多數的機械臂在工作過程中的運動路徑都是一成不變的，通過精確記錄運動軌跡來實現機械臂的整套動作。如果機械臂的周圍環境參數發生變化，比如光線、目標物體距離和位置發生改變，或者機械臂出現新的任務等待完成，就必須要重新對機械臂進行軌跡計算和規劃。這樣就需要增加很多成本，需要更多的時間花費在研發上，這就大大增加了產品的生產成本。因此，需要研發自動化程度更高的機械臂控制系統[1]。

目前出現可以自動識別機器人末端執行器與目標位置之間距離的技術，該方法通過使用激光雷達或立體攝像機等敏感視覺傳感器，計算RGB-D數據獲得三維位置。但是開發該自動化系統十分困難，加之該技術對工作環境變化過程中產生的噪聲十分敏感。雖然在模擬過程中從傳感器框架移動到機器人框架很容易，但是在實際的環境中測量傳感器和機器人之間的距離很困難，在實際環境中傳感器框架和機器人框架的匹配需要非常高的技巧。所以在實際的工作環境中需要更加簡單、穩定的控制方法[2]。

針對目前機械在實際的作業環境中出現的問題，本文提出一種將六自由度機械臂與RGB攝像頭相結合的方法。將末端執行機構的速度作為輸入變量，執行機構的速度是通過雅可比矩陣與圖像平面中目標的特征誤差的乘積得到。首先，RGB攝像頭獲得目標物體圖像，從而計算出圖像中的特征點[3]。然后機械臂在任意位姿下，開始伺服運動，從攝像機得到的圖像中獲得相應的數據，得出手臂在目標位置和當前位置的偏差。最后，生成特征平面的點與攝像機速度映射的逆雅可比矩陣，并將其與目標物體的特征誤差相乘。作為該控制系統輸入的結果[4-6]。該系統是一種新的基于機器人系統的姿態估計方法。本文闡述該視覺伺服系統與映射相機空間和圖像空間的原理，設計了獲取目標特征點和攝像機與目標物體相對姿態的方法。最后通過實驗，得出該機械臂視覺伺服控制系統具有良好的控制精度[7]。

1 機械臂視覺伺服數學模型

為了解決井下砌磚過程中，磚塊位置不固定導致井下砌磚機器人的機械臂無法正常抓取的問題，本研究將從視覺伺服的數學模型進行分析，并針對機械臂的雅可比矩陣進行求解，最終設計機械臂末端執行器姿態估計方法[8]。

本文所研究的六自由度砌筑機械臂視覺伺服控制方法的主要目的是提高機械臂在運動時的精度，有效的減小其誤差值的大小，用e(t)表示：

s為t時刻下輸入圖像的特征向量；

s*為輸入圖像在期望位置的特征向量；

m(t)為圖像坐標系中一組圖像的測量向量；

a為攝像機內部系統的參數。

因為目前s*數值的大小是恒定不變的，s數值大小的變化只和配備攝像機的具體運動過程有關，而且攝像機的位置是被安裝在六自由度砌磚機械臂末端的執行器上的，六自由度砌磚機械臂控制著攝像機的動作，其結構簡圖如圖1所示[9]。

圖1 六自由度砌磚機械臂結構簡圖

首先，本文描述基于圖像的視覺伺服控制(IBVS)，即s*，將實時測量到的圖像信號與目標位置/姿態的圖像信號直接進行比較，利用所獲得的圖像誤差進行閉環反饋控制，它由一組可以立即在圖像數據中獲得的特征組成[10]。然后，提出了基于位置的視覺伺服控制(PBVS)，其利用相機的參數建立圖像信號與機器人的位置/姿態之間的映射關系，在伺服過程中，借助圖像信號提取機器人的位置/姿態信息，并將它們與目標位置/姿態比較，形成閉環反饋控制，其中s是確定的一組三維參數，必須從圖像測量中估計[11]。根據不同的相機安裝方式，(IBVS)也有兩種不同的類型，(以電容插入PCB為例)，object(電容針腳)與target(孔洞)的位置變化與否也不一樣,包括eye in hand和eye to hand，前者相機安裝在機械手上，與機械手位置相對固定[12]；object電容綁定在tool上，相對于相機的位置不變；target孔洞是圖像視野中要去的目標位置，隨著機械手移動而改變[13]。后者相機安裝在機械手外的固定位置；object電容綁定在tool上，在相機所拍的圖片中位置是變化的；target孔洞是已經確定了的目標位置，因為相機位置固定，所以位置不變。(以上條件為假設PCB板放在固定的平臺上，若PCB位于流水線上，則object與target都是位置可變化的實體)[14]。

設定六自由度砌磚機械臂執行機構上相機的空間速度為vc=(vc wc)，vc是相機框架原點的瞬時線速度，ωc是相機框架的瞬時角速度[15]。

其中Le=Ls。

如果機械臂運動時的誤差值e(t)表示為：

得到下面的微分方程：

E(S)進行拉普拉斯變換e(t)，E(S)則由下式給出：

在中值定理中，得到如下方程：

在式(6)中，通過計算得出，機械臂運動精度的誤差值e(t)最終可以收斂到最終值0，說明該視覺伺服控制系統是穩定的。利用式(3)和式(4)，得出下式：

其中Le+=-(LeTLe)-1LeT。

2 雅可比矩陣的求法

在圖2中，相機空間的幾何關系的坐標為X=(X Y Z)的3D點，在圖像中投影為坐標的X=(x y)的2D點，可以得出[16]：

圖2 相機空間的幾何關系

m=(μ,v)給出了以像素單元表示目標物體圖像點的坐標，a=(cu,cv,f,α)表示一組攝像機的固有參數：cu和cv表示主點坐標，f表示焦距，α表示圖像平面坐標的比率。

取方程(11)時間的導數可以得到：

通過方程將三維點的速度與攝像機的空間速度聯系起來：

從式(13)中得：

將式(14)導入式(12)，得到：

在雅可比行列式Lx中，Z表示點相對于相機深度。因此，任何視覺伺服控制必須估計Z值[17]。

控制六自由度砌磚機械臂的6個自由度，至少需要通過3個特征點來設計六自由度砌磚機械臂的控制方案。通過特征向量x=(x1x2x3)，可以通過簡單地疊加三個點的雅可比矩陣，得出如下結果：

3 姿態估計方法

為了在六自由度砌磚機械臂中計算點Z到相機幀的深度，在圖3中表達了六自由度砌磚機械臂末端執行機構的位姿計算策略。通過AR設備標記目標對象[15]。首先，通過以下過程檢測出目標對象的4個頂點[18]。

圖3 三維物體的幾何關系

1）首先對輸入的圖像進行二進制處理，提取出暗區。

2）其次將頂點1是封閉區域中外部矩形的第一個點進行設置。

3）再次設置頂點2是頂點1在閉合區域的輪廓線中的最遠點。

4）通過遞歸搜索等高線中頂點1和頂點2的最遠點。

在得到4個頂點的坐標數值后，估計物體的姿態，具體仿真過程如圖4(a)～圖4(b)所示。

圖4 仿真過程

若定義六自由度砌磚機械臂上的攝像機坐標系的單位向量是i,j,k,其中，i是x軸的單位向量，j是y軸的單位向量，k是z軸的單位向量，得到方程：

4 仿真實驗

通過在井下砌磚機器人的機械臂執行機構上安裝RGB攝像頭來進行具體的仿真試驗，通過機器人編程的標準軟件ROS工作空間，進行程序的開發，在實驗過程通過使用POSIT算法作為姿態估計方法，具體如圖5所示。

圖5 視覺伺服實驗過程

運用控制變量法分別討論當上文的λ和E被賦予不同的值時，觀察機械臂誤差值e(t)的收斂曲線的變化，具體仿真結果如圖6(a)～圖6(i)所示。

圖6 機械臂位姿誤差參數化仿真分析

實驗過程中對圖6(a)～圖6(i)的關鍵數據做了參數化分析，結果如表1和表2所示。

表1 機械臂視覺伺服運動精度仿真結果

表2 機械臂視覺伺服運動精度實驗結果

通過上述井下砌磚機器人的機械臂視覺伺服實驗的仿真結果，可以得出最合理的閾值E和λ。通過對表1和表2的分析得出，當λ的數值從0.1上升到0.5時，視覺伺服控制系統處理的時間減少到原來的五分之一；而當λ值從0.5上升到0.8時，減少的數值不再呈線性關系。視覺伺服增益與視覺伺服控制系統處理的時間不存在線性關系。當與圖4相比較時，可以得出如果λ值更大，瞬時的運動速度也會更大，因此就可以得到需要更多的時間，來收斂到特征點誤差值為零的結論。

對三組當λ分別為0.1、0.5和0.8時，E=1mm、E=5mm和E=10mm的結果進行比較時，發現當λ的值不變時，使閾值變小，特征點誤差會更接近零，所以井下砌磚機器人的機械臂視覺伺服控制精度結果會更好是不正確的。因為關聯二維圖像點和三維姿態時所使用的相機參數的誤差影響了精度的結果。在仿真分析和實驗過程中，通過進行多組試驗仿真，得出設置E值在5左右是十分合理的。

在模擬器環境和實際環境中比較井下砌磚機器人的機械臂的位姿精度發現，在表1的絕對平均值中，兩者的位姿誤差沒有明顯差異。雖然機器人的尺度、光照、攝像機的參數在模擬器和真實之間存在差異，但對于視覺伺服控制來說，這些影響很小。因此，視覺伺服對變化的條件具有一定的魯棒性[19]。

5 結語

本文針對井下砌磚機器人的控制系統的姿態估計問題，提出一種根據目標位置的視覺伺服機械臂姿態估計方法。該方法僅需RGB攝像機獲得圖像并數據處理，無需標定，將以往的機械臂控制方法簡單化。采用視覺伺服實現井下砌磚機器人的機器人控制，并在仿真環境和實際環境中進行了有效驗證。通過仿真數據與實驗數據可以得出，該視覺伺服控制方法具有良好的姿態估計精度和有效的機器人執行效果。與此同時，分析確定合理的增益和誤差閾值，進一步提高了視覺伺服控制系統的穩定性和效率，具有很好的控制精度[20]。