基于線結構光的飛機蒙皮鉚接間隙自動檢測

朱永國，卓 鑫，黃佳亮，胡元帆

（1.南昌航空大學 航空制造工程學院，南昌 330063；2.南昌航空大學 飛行器學院，南昌 330063）

0 引言

傳統鉚接質量檢測方法是借助塞尺、千分表和卡規等設備進行手工檢測。該方法依賴人工操作，效率低、檢測精度較低，且易對工件造成損壞。與傳統檢測方法相比，數字化三維視覺測量技術具有精度高、效率快的優點[1-3]。DubinSki等采用視覺測量方法檢測MC-21飛機蒙皮表面損傷質量，在飛機設計與維護階段提供幫助[4]。Buckhorst采用數字化三維測量技術，通過無人機攜帶工業相機快速地檢測飛機表面，并自動記錄檢測位置的索引圖像和表面缺陷，提高了飛機裝配效率[5]。Gramopadhye等采用主動和漸進式零件訓練相結合的方案模擬機身視覺檢測任務，以此改善視覺檢查任務的決策性能[6]。崔焱等提出了基于機器視覺的手機蓋板表面缺陷檢測系統，通過機器臂攜帶工業相機采集手機蓋板缺陷圖像，利用圖像差分算法快速識別出手機蓋板表面缺陷，提高了檢測效率[7]。杜雨馨等采用十字激光器實時解算掘進機機身位姿，得到機身相對于外部環境的傾角與偏離位移，實驗表明該方法精度較高[8]。丁超等基于結構光原理對深孔類零件的內表面輪廓進行三維重建，深孔直徑檢測精度可達亞像素精度級別[9]。常樹鶴等設計一套激光信息融合檢測系統在線識別焊縫熔絲，在保證成形質量的同時，自動實時引導電弧焊路徑，提高了生產效率[10]。徐尤南等提出了一種基于線結構光雙目測量系統的管片位姿測量方法，通過雙目測量系統獲取管片邊緣點的坐標，結合最小二乘法求解管片實際位姿，提高了管片位姿測量精度[11]。王堅等提出基于機器視覺的瞄準鏡缺陷檢測算法，實現了缺陷的快速識別與定位，縮短了檢測時間[12]。

線結構光測量方式與其他測量方法相比，具有效率高、精度高、成本低的優點[13-15]，為此，本文在以上文獻研究的基礎上，以飛機蒙皮鉚接裝配質量控制為研究對象，提出一種基于線結構光的飛機蒙皮鉚接間隙自動檢測方法，以實現飛機蒙皮鉚接間隙檢測的自動化和數字化，克服傳統飛機蒙皮鉚接間隙檢測方法效率低、精度差等不足。

1 飛機蒙皮鉚接間隙自動檢測系統搭建

圖1所示為基于線結構光的鉚接間隙自動檢測系統，圖2所示為飛機蒙皮鉚接間隙自動檢測流程。

圖1 蒙皮鉚接間隙自動檢測系統

圖2 飛機蒙皮鉚接間隙自動檢測流程

1）如圖1所示，數字化測量設備主要包括一字線激光器、工業相機和工業機器人等。一字線激光器用于投射激光光條；工業相機用于獲取鉚釘光條圖像；工業機器人控制線結構光傳感器移動，實現飛機蒙皮鉚接間隙連續自動檢測。

2）計算機集成軟件集圖像采集、圖像預處理、中心線提取、特征點檢測、系統標定、坐標轉換等功能于一體。

如圖2所示，首先通過系統標定和圖像處理技術獲取相機內參、畸變系數、光平面系數和手眼關系矩陣，將坐標統一機器人基坐標系下表示；其次，根據鉚釘分布特點和手眼關系矩陣規劃自動檢測路徑，通過離線編程代碼導入到機器人當中；然后，由機械臂帶動線結構光傳感器完成自動拍攝；最后，通過坐標轉換和圖像處理技術獲取鉚接間隙特征的三維坐標，以此求解出鉚釘頭與蒙皮表面之間的間隙。

2 測量模型構建

如圖3所示，一字線激光器射點Q發出的激光在蒙皮表面上形成光條Lm，由于鉚釘頭檢測范圍小，且其為平面，可將光條Lm近似為直線。將Lm與Q點構成的平面記為光平面π，點P為光條直線Lm上一點，P點在成像平面上的投影點為P′。

圖3 線結構光測量模型

圖3中，各坐標系分別為像素坐標系Of-uv、圖像坐標系O-XY、相機坐標系Oc-XcYcZc，OOc的長度即為相機的焦距f。

建立圖像坐標(x,y)與像素坐標(u,v)的關系式：

式(1)中，(u0,v0)為圖像坐標系原點O的坐標值；dx、dy為像元大小。

在成像過程中，由于相機自身制造的誤差導致圖像出現畸變。圖像畸變按畸變方向可分為徑向畸變和切向畸變。設(x,y)為畸變后的圖像坐標，即圖像真實坐標，(x′,y′)為畸變前的圖像坐標，即圖像理想坐標。當同時發生以上兩種畸變現象時，真實坐標與理想坐標的關系可用下式表示：

式(2)中，k1，k2，k3為徑向畸變系數；p1，p2為切向畸變系數；r為像點到中心點的距離，r2=x2+y2。

建立像素坐標(u,v)與相機坐標(xc,yc,zc)的關系式：

式(3)中，尺度因子cx=f/dx，cy=f/dy，s為傾斜因子，當像素坐標系u，v兩軸垂直時s=0，M為相機內參矩陣。

光平面π方程用式(4)所示：

式(4)中，AL、BL、CL、DL為光平面方程參數。

聯立式(1)～式(4)，即可求得點P在相機坐標系下的三維坐標值。

3 檢測系統標定

要實現坐標統一在機器人基坐標系下在表示，需對鉚接間隙自動檢測系統進行標定，標定內容包括相機標定、光平面標定和手眼標定。

3.1 相機標定

相機標定用于獲取相機內參和畸變系數，光平面標定用于獲取光平面方程，結合相機標定和光平面標定即可求解相機坐標系中任意一點的三維坐標[16]。圖4所示為相機標定流程。

圖4 相機標定流程

采用單應性矩陣H表示像素坐標系與相機坐標系之間的坐標轉換關系：

式(5)中，H由旋轉矩陣R和平移矩陣t組成：

定義hi為H的第i列，hji為矩陣第j行第i列的元素，ri為R的第i列，M為相機內參。

聯立式(3)和式(5)，可得：

式(7)中，λ為放縮因子，r1、r2為正交向量。

利用式(7)，可得：

令Aa=M-TM-1，Aa為對稱矩陣，可化簡為：

式(9)中，aij為Aa矩陣中對應位置中的元素。

采用cholesky算法分解矩陣a，可得相機內參和畸變系數：

外參用式(11)表示：

畸變系數使用極大似然估計求解，最優化目標函數如式(12)所示：

式(12)中，m為角點個數，n為標定圖片的數目，mij為第i幅圖像第j個角點的坐標值，Pj為相機坐標系中第j個角點的坐標。

3.2 光平面標定

圖5所示為光平面標定流程。

圖5 光平面標定方程

光平面方程已由式(4)給出，采用奇異值分解擬合光平面方程。設交點的相機坐標為(xi,yi,zi)，若交點的個數為n，擬合步驟如下：

1）求所有交點的平均坐標

2）求交點坐標與平均坐標的差值矩陣Mv

3）設定目標函數d=min||MvX||，其中d為所有交點到光平面距離之和，其中X=[ALBLCL]T，約束條件為：||X||=1。

4）對差值矩陣進行奇異值分解。

式(15)中，Mv=UΣVT，U為n階正交矩陣，Σ為n×3對角矩陣，V為3階正交矩陣。且滿足條件||VTX||=||X||=1。

5）當且僅當VTX=[000...1]T時，d取最小值，得：

6）將求解出的X與交點坐標代入光平面方程即可計算DL。

3.3 手眼標定

采用平面靶標對手眼關系標定，標定前需建立標定板坐標系Om-XmYmZm，該坐標系Xm軸、Ym軸與相機成像平面重合，Zm軸垂直于成像平面，標定板坐標系到相機坐標系的轉換矩陣為Mb。

設q0、q1為末端執行器移動前后對標定板同一位置獲取的一組點，其標定板坐標分別為(xm0,ym0,zm0)、(xm1,ym1,zm1)，基坐標分別為(xb0,yb0,zb0)、(xb1,yb1,zb1)。標定板坐標和基坐標的轉換關系式為：

式(17)中，Ma0、Ma1和Mb0、Mb1分別為q0、q1兩點所處空間位置相機坐標系到基坐標系、標定板坐標系到工具坐標系的轉換矩陣。

由于機器人本體與標定板均未移動，兩點的轉換矩陣不變，可得：

對式(18)進行移項，可得：

綜上式(17)～式(19)，可得：

式(20)中，Ma通過機器人示教盒獲取，Mb為相機外參，可通過相機標定求解的內參和畸變系數計算得到。

聯立式(8)與式(20)，可得：

根據李群理論[17]，對式(21)兩邊移項并取對數，可得：

令logMa=[Lα]、logMb=[Lb]。式(22)可化為[Lα]=Mc[Lb]McT=[McLv]，即：

當存在多組點時，利用最小二乘法進行求解，可得：

利用式(24)，可得：

將Rc代入式(21)，即可求解出tc。

4 自動檢測系統坐標系統一

在鉚接間隙自動檢測系統中，須建立統一的坐標基準，由于機器人本體位置保持改變，因此可把坐標系統一在機器人基坐標系下。圖6為機器人坐標系模型。

圖6 機器人坐標系模型

圖6中，Ob-XbYbZb為機器人本體上的基坐標系，Ot-XtYtZt為末端執行器上的工具坐標系。Ma為工具坐標系到基坐標系的轉換矩陣；Mc為相機坐標系到工具坐標系的轉換矩陣，Mc的表達式為：

式(26)中，Rc為旋轉矩陣，tc為平移矩陣。

利用式(26)，得點P在基坐標系下的坐標(xb,yb,zb)為：

式(27)中，Ma為工具坐標系到基坐標系的轉換矩陣。

5 鉚接間隙檢測

5.1 鉚接間隙特征提取

1）中心線提取

鉚釘光條圖像經過二值化處理后所，光條寬度并未達到亞像素精度級別，為了便于鉚接間隙特征點的檢測，需提取光條中心。由于圖像中光條區域占比不大，且呈直線特征。Zhang-suen骨架抽取法具有計算量小，精度高的優點，故采用Zhang-suen骨架抽取法[18]提取中心線邊緣特征，再采用幾何中心法確定光條中心。Zhang-suen算法根據圖像的8鄰域連通特性刪除邊界點，設圖像中某一點的像素點為p，則p的8鄰域示意圖如圖7所示。

圖7 p的8鄰域圖

圖像像素點的灰度值只有0和255兩種取值，定義N(p)表示p點的8鄰域中灰度值不為0的點的個數，S(p)表示將p點的8鄰域以p1，p2，p3Kp8的順序排列，相鄰兩個像素灰度值出現0到255的次數。中心線提取步驟如下：

（1）對圖像進行遍歷，當像素點p灰度值不為0時，計算N(p)、S(p)，并將這些像素點記錄標記點群。

（2）刪除符合下列條件的像素點。

（3）對刪除部分像素點后的標記點群重新計算N(p)、S(p)。

（4）重復步驟（1）至（3），直到不再出現符合刪除條件的像素點。

（5）按列遍歷標記點群，將每列的幾何中心作為中心點。

2）特征點檢測

鉚接間隙特征點是角點的一種，Harris角點方法能提取特征點[19]，為此引入Harris角點方法提取鉚接間隙特征點，具體步驟如下：

（1）分別計算圖像f(x,y)在x，y兩個方向的梯度fx，fy。

（2）計算x，y方向上的梯度乘積。

（3）采用大小為n×n的濾波模板對圖像進行遍歷，并將梯度乘積與圖像函數之積進行高斯加權求和，得到Mg，g為高斯濾波函數。

（4）計算每個像素點的Harris響應值R，R值為大數值時該像素點是角點。其中λ1,λ2為矩陣Mg的特征值，且λ1＞λ2，k為響應系數，k值越大，角點數量越少。

過濾出大于某臨界值Rt的R值，這些像素點即為角點。

5.2 鉚接間隙求解

鉚接間隙求解如圖8所示，Pl(xl,yl,zl)，Pr(xr,yr,zr)分別為鉚釘頭左右兩側的特征點，Lm為光條擬合直線，Pfl(xfl,yfl,zfl)，Pfr(xfr,yfr,zfr)分別為Pl，Pr到光條直線Lm的垂足點。由圖可知左側間隙值ΔGL為Pl，Pfl兩點間的距離，右側間隙值ΔGL為Pr，Pfr兩點間的距離。

圖8 鉚接間隙求解模型

鉚接間隙求解步驟如下：

1）使用圖像處理技術獲取鉚接間隙特征點，包括鉚釘頭特征點Pl，Pr與蒙皮表面特征點群Ps，并結合求解的標定參數還原特征點在機器人基坐標系下的三維坐標。

2）設置一個距離度量Δd區分出Pl，Pr與Ps，其中點群Ps坐標為(xsi,ysi,zsi)。

3）對點群Ps進行空間直線擬合，擬合后的直線為Lm，設Lm直線方程為：

將式(33)轉換為矩陣形式：

設點群Ps共有n組點，采用最小二乘法空間直線擬合求解Lm直線參數：

計算鉚釘頭特征點Pl，Pr到直線Lm的垂足Pfl，Pfr的坐標。PlPfl，PrPfr與直線Lm的方向向量之積為0，結合式(33)即可求得Pfl，Pfr的坐標：

左右兩側間隙值求解：

5.3 自動檢測軟件開發

以VS2010為開發平臺，基于C++語言，結合Opencv與Basler API函數，開發圖9所示的鉚接間隙自動檢測軟件。

圖9 鉚接間隙自動檢測軟件模塊設計

軟件的部分界面如圖10～圖13所示。

圖10 數據管理界面

圖11 系統標定界面

圖12 鉚接間隙求解界面

圖13 圖像處理界面

6 實驗

6.1 蒙皮鉚接間隙自動檢測系統搭建

基于以上的理論研究，構建圖14所示的蒙皮鉚接間隙自動檢測系統。

圖14 蒙皮鉚接間隙自動檢測平臺

6.2 鉚接間隙自動檢測實驗

鉚接間隙自動檢測系統選用圖15的鋁合金板鉚接件進行實驗，該鋁合金板長53cm，寬30cm，鉚釘排列數目為8×5。

圖15 鋁合金樣板圖

實驗中選取左側3列的15個鉚接間隙值與參考理論值進行作差比較，其中參考理論值通過萊卡T-scan掃描獲得。左側間隙測量數據如表1所示，右側間隙測量數據如表2所示。

表1 左側間隙測量數據（mm）

表2 右側間隙測量數據（mm）

由表1和表2可看出，左、右側鉚接間隙檢測誤差的最大為0.006mm。經過計算可得，左側鉚接間隙的均方差為2.24×10-3mm；右側鉚接間隙的均方差為4.74×10-3mm。因此，構建的鉚接間隙自動檢測系統具有較高的準確度和工程應用可行性，能滿足實際工程需要。且和T-scan方法相比，更經濟，能自動檢測。

7 結語

1）建立了基于線結構光的鉚接間隙測量模型，引入Harris角點檢測方法實現了鉚接間隙求解，提出了線結構光鉚接間隙自動檢測方法。該方法可提高鉚接間隙的檢測效率，實現了飛機蒙皮鉚接間隙的數字化和自動化檢測，也能保證檢測數據的可靠性和穩定性。

2）構建了鉚接間隙自動檢測實驗平臺，實驗結果表明該方法具有較高的準確度和工程應用可行性，能滿足實際工程需要。