鋼拱架鉸接孔視覺定位方法研究

黃 海，朱國力，陳向陽，彭丹丹

（華中科技大學機械科學與工程學院，湖北 武漢 430074）

1 引言

巖石隧道掘進機（Tunnel Boring Machine，簡稱TBM）是指在常壓情況下全斷面開挖巖石的刀盤式機頭掘進機，是集掘進、出渣、支護等功能為一體的隧道掘進大型復雜成套設備［1］。TBM掘進過程中，快速地將弧形鋼拱架拼接成環，對隧道圍巖進行支護，防止坍塌事故的發生是至關重要的［2］。然而目前鋼拱架仍然由人工搬運對準拼接，存在拼接效率低、支護不及時等問題。隨著我國工業自動化的不斷發展，傳統人工拼接方法已無法滿足工業需求。機器視覺技術是一種利用相機代替人眼進行檢測的技術，具有非接觸性、精度高、速度快等優點，目前在工業方面已有廣泛應用［3-4］。文獻［5］利用機器視覺技術建立了工件識別系統，對零件進行圖像采集與處理，識別零件形狀特征以實現零件的分揀工作；文獻［6］通過圖像形態學處理和邊緣檢測，提取軸類零件的輪廓特征，搭建了軸類零件定位與測量系統；文獻［7］運用改進的形態學梯度濾波算子和灰度矩法對板料邊緣進行定位，計算板料偏移量，提高了自動裁切機的精度；文獻［8］對鉚接薄板孔組視覺測量方法進行了研究，通過閾值分割、感興趣區域提取等處理，實現了孔組幾何參數的計算。

在空間圓定位方面，文獻［9］證明了空間圓透視投影到圖像上會形成一個橢圓，但是橢圓中心并不是空間圓圓心的對應投影點。針對此問題，文獻［10］利用極線約束和順序一致性原則進行左右圖像橢圓邊緣點的匹配，利用雙目視覺重建空間圓上多個邊緣點，并通過Levenberg-Marquardt 非線性最優化方法擬合得到空間圓表達式；文獻［11］利用同心圓模型對圓心坐標進行補償，在已知內外圓環半徑情況下，根據交比不變性和直線不變性求得空間圓圓心實際投影點；文獻［12］在橢圓上找到兩條特殊弦，根據橢圓錐空間幾何性質，推導出空間圓圓心和法向量的封閉解，但是該方法存在雙重解問題。

結合鋼拱架實際結構，首先利用圖像處理提取鋼拱架鉸接孔輪廓特征，然后通過空間幾何關系得到鉸接孔圓心在圖像上的實際投影點，最后根據雙目視覺成像模型，計算鉸接孔圓心的空間坐標，實現鋼拱架鉸接孔的精確定位，幫助機械手抓取鋼拱架進行精準拼接，實現鋼拱架自動化拼接成環。

2 鉸接孔特征提取

鋼拱架自動化拼接過程中，主要通過機械手抓取左右兩鋼拱架往中間平移靠近，直至左右兩鋼拱架上的鉸接孔對準為止。因此以鋼拱架鉸接孔進行定位，用左右兩相機拍攝鋼拱架拼接段圖像，通過模板匹配找到鉸接孔感興趣區域，接著對感興趣區域圖像進行二值化、邊緣檢測、輪廓連接、擬合橢圓等處理，提取得到鉸接孔輪廓特征。

2.1 模板匹配

機械手抓取左右兩鋼拱架從兩端往中間靠近，為保證拼接過程中相機始終能夠拍攝到左右兩鉸接孔，需設置一個較大的視野范圍。因此，鉸接孔只占實際采集圖像的一部分，需對鉸接孔進行初定位，找到感興趣區域，以便進一步處理。模板匹配是一種在原圖中尋找與模板圖像類似區域的方法，這里采用基于灰度的歸一化相關系數匹配法：

式中：R（x，y）—匹配程度；

T（x，y）—模板圖像；

（Ix，y）—相機采集圖像；

（w，h）—模板圖像尺寸。

首先根據鉸接孔的形狀特征和灰度特征，制作出模板圖像，如圖1（a）所示。此處只需要對鉸接孔進行初定位，為提高模板匹配速度，將原圖和模板圖像均縮小為原尺寸的1/4，計算原圖上每個像素位置的匹配程度R（x，y），找到匹配程度最高的兩個位置，即為左右兩鉸接孔所在位置。以這兩個位置為基準，設定一定范圍自動框選得到感興趣區域圖像，實現兩鉸接孔的初定位效果，如圖1（b）所示。

圖1 模板匹配結果Fig.1 Result of Template Matching

2.2 圖像二值化

實際鉸接孔表面加工粗糙，凹凸不平，且孔內背景復雜，為防止后續邊緣檢測生成過多干擾邊緣，需對感興趣區域進行二值化處理。同時為了消除光照影響，設計了一種自適應閾值計算方法。根據鉸接孔表面比孔內灰度值更高，且鉸接孔表面面積與感興趣區域總面積之比大致為一定值k的實際情況，統計感興趣區域圖像的灰度直方圖，如圖2（a）所示。得到每個灰度值i對應的像素數Ni，設感興趣區域圖像總像素數為S，通過計數排序算法計算自適應閾值T如式（2）。利用該閾值，對感興趣區域圖像進行二值化處理，效果，如圖2（b）所示。

2.3 輪廓特征提取

目前邊緣檢測算法的研究已較為成熟，常用算法有Roberts、Prewitt、Sobel、Canny 等，其中，Canny 算法檢測出的邊緣效果較好。利用Canny算法對二值圖像進行邊緣檢測，將檢測出的相鄰邊緣點連接成輪廓，如圖3（a）所示。實際鉸接孔是圓孔形，但是由于相機成像平面與鉸接孔表面存在一定角度，鉸接孔投影到圖像上會呈橢圓形。所以根據輪廓長度篩選出鉸接孔輪廓后，用最小二乘法擬合成橢圓，得到橢圓方程表達式如式（3），橢圓擬合效果，如圖3（b）所示。

圖3 鉸接孔輪廓特征提取Fig.3 Contour Feature Detection

3 空間圓圓心精確定位

空間圓經過透視投影后在圖像上形成一個橢圓，但是橢圓中心和空間圓圓心并非對應關系。在參考文獻［12］的基礎上進行改進，通過雙目視覺解決了空間圓平面法向量計算結果存在雙重解的問題，并利用消影線和橢圓參數矩陣計算得到空間圓圓心的實際投影點。

3.1 空間圓平面法向量計算

為獲取空間圓圓心實際投影點，首先需要計算空間圓平面的法向量。通過圖像處理提取到左右圖像中鉸接孔橢圓輪廓特征，將橢圓輪廓進行離散化處理，得到橢圓輪廓點的像素坐標。設相機光心為點G，遍歷橢圓輪廓點，找到點p、q，使得∠pGq對應最大頂點角。作一平面Gbc，該平面垂直于平面Gpq，且平分∠pGq，平面Gbc與橢圓輪廓的交點為點b和點c，如圖4所示。根據參考文獻［12］，空間圓平面的法向量計算公式，如式（4）所示。

圖4 空間圓透視投影示意圖Fig.4 Perspective Projection of Circle

式中：n1，n2—空間圓平面法向量的雙重解，設f為鏡頭焦距，則up’、ub’可由式（5）計算。

利用雙目視覺，左相機圖像可得到雙重解nl1、nl2，右相機圖像可得到雙重解nr1、nr2，其中，各有一個正確法向量，但由于存在誤差，兩個正確法向量不會完全相等。計算左右圖像法向量之間的夾角，如式（6）所示。

找出θ1、θ2、θ3、θ4之中的最小值θmin，θmin所對應的法向量nl、nr即為左右圖像正確法向量，從而解決了空間圓平面法向量雙重解的問題。

3.2 空間圓圓心坐標計算

空間中的平行平面于無窮遠處相交，其交線在圖像上的投影即為該平面的消影線。通過相機標定得到相機的內參矩陣M，空間圓平面在相機坐標系下的消影線L計算公式，如式（7）所示：

根據鉸接孔投影橢圓的方程表達式（3），定義該橢圓方程的參數矩陣w為：

則空間圓圓心在圖像上的實際投影點o坐標為［13］：

分別計算出空間圓圓心在左右相機上的實際投影點ol和or，利用雙目視覺成像模型計算出空間圓圓心的世界坐標，實現空間圓圓心的精確定位。

4 實驗驗證

為驗證本鉸接孔定位方法的精度和有效性，搭建了鉸接孔視覺測量系統，如圖5所示。視覺測量系統由相機、鏡頭、光源和計算機組成，其中工業相機型號為大恒水星系列MER-1220-9GM，分辨率為4024×3036 Pixels，幀率為9 Fps；鏡頭型號為Computar V1628-MPY，焦距為16mm；光源為白色漫反射條形光。鋼拱架放在移動平臺上，該移動平臺可精確測量出物體移動距離。實驗的計算機配置為：Inter core i7-9750H，Window 10 操作系統，64位，Microsoft Visual Studio 2017，OpenCV343。

圖5 視覺測量系統Fig.5 Visual Measurement System

將左右鋼拱架固定在移動平臺上，利用本鉸接孔定位方法計算得到左右鋼拱架鉸接孔圓心世界坐標，平行移動該平臺4mm，再次計算左右鋼拱架鉸接孔圓心世界坐標，從而得到鉸接孔圓心的移動距離，重復移動10次，與平臺移動距離進行對比。然后分別移動8mm、12mm、16mm，重復以上實驗過程，鉸接孔圓心移動距離測量結果，如圖6所示。左鉸接孔測量誤差，如表1所示。右鉸接孔測量誤差，如表2所示。由實驗結果可知，左右鋼拱架上的鉸接孔均能夠穩定的檢測得到，并且可計算出兩鉸接孔圓心的空間坐標；鉸接孔移動距離測量結果均在實際移動距離附近上下波動，波動范圍為±0.2mm以內；鉸接孔圓心移動距離測量結果的相對誤差在0.3%以內，實現了鋼拱架鉸接孔的高精度定位。

表1 左鉸接孔圓心移動距離測量誤差Tab.1 Moving Distance Measurement Error of Left Hinged Hole Center

表2 右鉸接孔圓心移動距離測量誤差Tab.2 Moving Distance Measurement Error of Right Hinged Hole Center

圖6 實驗測量結果Fig.6 Results of Experimental Measurement

5 結論

針對鋼拱架自動化拼接需要對鉸接孔進行定位的實際需求，提出了一種基于雙目視覺的鋼拱架鉸接孔定位方法。首先設計了鋼拱架鉸接孔特征提取的圖像處理方法，包括模板匹配、二值化、輪廓提取、橢圓擬合等步驟；然后根據空間圓的透視投影性質，利用雙目視覺解決了空間圓平面法向量計算存在雙重解的問題；最后研究了空間圓圓心在圖像中的實際投影點計算方法，并基于雙目視覺成像模型計算鉸接孔圓心的空間坐標。實驗結果表明，該鋼拱架鉸接孔定位方法穩定性好，且定位精度可達±0.2mm，實現了鋼拱架鉸接孔的高精度定位，滿足實際作業需求，可為鋼拱架自動化拼接提供技術支撐。