基于激光與視覺融合的船舶掃描和吊具防撞系統及方法

劉東輝 柳 飛 劉 奇

1 青島海西重機有限責任公司 青島 266530 2 中國石油大學（華東）經濟管理學院 青島 266580 3 山東科技大學自動化學院 青島 266590

0 引言

岸邊集裝箱起重機（以下簡稱岸橋）是集裝箱碼頭作業的重要機械，是位于船舶上空進行集裝箱吊運的起重設備，其效率、安全、作業正確性對碼頭作業有著重要影響。岸橋具有吊具鋼索長、起升和小車速度快的特點。在船舶上方作業時，由于司機無法看清下方情況，可能會發生著箱過快導致箱損，甚至與船上結構碰撞造成損失。同時，由于船舶作業時受到潮汐漲落、纜繩松弛、配重變化等影響，會發生晃動、漂離岸邊（離幫）等現象，對作業安全造成影響。

目前，國內外針對集裝箱碼頭岸橋下船舶的船舶輪廓掃描系統[1]是通過利用激光掃描儀對船舶輪廓進行掃描實現防撞功能，但功能較為單一；而且受到激光掃描儀精度的限制，現有系統僅能夠檢測足夠大的障礙物，無法滿足船舶船槽等精確定位的需求，無法對船舶上目標集裝箱吊裝鎖孔進行精確定位。此外，由于環境對激光掃描儀的影響及掃描系統自身的故障因素，激光設備的可信度較差，無法保證實現海陸側的軟著陸。

為解決上述現有技術的不足，本文提出了一種基于激光與視覺融合的船舶掃描和吊具防撞系統及方法，通過激光與視覺的數據融合提高船舶輪廓的掃描精度，保證吊具工作的安全性。

1 系統組成

1.1 系統結構

如圖1 所示，基于激光與視覺融合的船舶掃描和吊具防撞系統包括激光掃描儀、視覺采集儀、船舶掃描視覺控制器、船舶掃描激光控制器、光電模塊、DP 模塊、岸橋PLC 控制器、起升編碼器、小車編碼器和觸摸屏終端等。

其中，激光掃描儀選用3 個2D 激光掃描儀，用于接收船舶掃描激光控制器下發的掃描指令，根據掃描指令對船舶輪廓和船舶上集裝箱堆碼輪廓進行連續掃描。

視覺采集儀采用2 個攝像機，用于接收船舶掃描視覺控制器下發的圖像拍攝指令，根據拍攝指令對船舶輪廓和船舶上集裝箱堆碼輪廓進行連續圖像拍攝。

船舶掃描視覺控制器根據船舶輪廓立體空間圖像定位船舶導槽和目標集裝箱鎖孔，并將視覺檢測的船舶導槽和目標集裝箱鎖孔定位信息傳輸至船舶掃描激光控制器；船舶掃描激光控制器用于接收掃描數據，得到船舶輪廓點云數據，并給其他模塊傳送指令。

岸橋PLC 控制器用于接收起升編碼器、小車編碼器以及掃描激光控制器的指令的信息，控制岸橋小車的移動、吊具的升降等。

DP 模塊為轉換模塊，連接岸橋PLC 控制器和船舶掃描激光控制器，用于岸橋PLC 控制器和船舶掃描激光控制器之間的通信協議轉換及通信數據傳輸。光電模塊將獲取的船舶輪廓轉換為圖像，通過顯示模塊進行可視化顯示。

1.2 系統連接方式

激光掃描儀和視覺采集儀均通過以太網線連接至交換機，交換機通過以太網線連接激光控制器和視覺工控機，通過電源線連接激光控制器和視覺工控機為其供電，激光控制器通過數據線與岸橋PLC 控制器連接，進行數據傳輸。系統硬件連接如圖2 所示。

圖2 系統硬件連接

2 硬件位置設置

硬件位置的設置需要結合岸橋和船舶的相對位置、掃描的范圍、精度等要求。為了提高船舶掃描精度以及方便進行數據的融合，對激光掃描儀及視覺采集儀的位置進行了以下設置。

如圖3 所示，2 個2D 激光掃描儀固定安裝在岸橋小車上，位于岸橋小車中心的左右兩側，可隨岸橋小車沿著海陸側移動，從而沿貝行方向（即船體左右方向）向下同步掃描船舶上箱區輪廓數據；另一個2D 激光掃描儀同樣固定安裝在岸橋小車上，位于岸橋大車中心的相對位置，可隨岸橋小車海陸側移動，從而沿貝列方向（即集裝箱船體前后方向）向下掃描集裝箱船箱區輪廓數據。

圖3 系統硬件安裝圖

視覺采集儀（即2 個攝像機）均固定安裝在岸橋小車上，分別安裝在岸橋小車中心的左右兩側，2 個攝像機組成雙目視覺，可隨岸橋小車海陸側移動，從而沿貝列方向（即集裝箱船體前后方向）向下拍攝集裝箱船箱區輪廓數據。

3 船舶掃描

3.1 船舶掃描系統工作原理

上述2D 激光掃描儀的安裝角度和安裝位置通過配置文件的方式輸入到船舶掃描激光控制器中，從而檢測上述最高障礙以及相鄰集裝箱和導箱架的高度。

岸橋小車的2 個攝像機組成雙目視覺，通過雙目視覺立體成像原則進行攝像機標定，攝像機內、外參數代入重建模型，通過配置文件的方式輸入到船舶掃描視覺控制器中。

船型掃描激光控制器接收掃描數據和狀態數據，進行運算及處理，得到船舶輪廓點云數據。上述狀態數據包括通過岸橋PLC 控制器獲取的編碼器信息數據和吊具開閉鎖狀態數據，通過對小車位置所對應的激光電源數據進行匯總處理，得到整個船舶輪廓的點云數據圖。3 個2D 激光掃描儀數據可以進行相互矯正，并且互為備份，若某掃描儀出現故障，其他掃描儀可以繼續滿足作業任務。

船型掃描激光控制器還同時接收船舶掃描視覺控制器發送的目標物體準確的空間位置信息，根據船舶輪廓信息和目標物體準確的空間位置進行校正和綜合處理，得到最終的船舶掃描運算結果。將運算結果發送至觸摸屏終端，該觸摸屏終端包括顯示器和報警裝置，通過顯示器顯示該運算結果。

3.2 船舶掃描具體方法

基于激光與視覺融合的船舶掃描和吊具防撞系統實現，包括以下步驟：

1）初始化激光掃描儀安裝參數和岸橋結構參數。激光掃描儀的安裝參數包括安裝高度、安裝角度、激光到吊具距離等；岸橋結構參數包括鞍梁高度、鞍梁寬度、大梁前端高度等。其中，激光掃描儀安裝參數和岸橋結構參數通過配置文件的方式輸入到船舶掃描激光控制器中，以便后續船舶掃描激光控制器進行數據處理。

2）基于激光掃描儀安裝參數，以激光掃描儀的安裝位置為原點，將激光掃描極坐標數據轉換到激光直角坐標系?；谟沂肿鴺讼?，以岸橋大車運行方向為X軸，以岸橋小車運行方向為Y軸，以岸橋起升方向為Z軸，旋轉角度（如小車傾斜）順時針（從原點看）為正角度，逆時針為負角度。

3）視覺采集儀標定，即標定雙目攝像機的內外參數?；谝暡钤韀2]提出雙目立體視覺運用，由2 臺攝像機的圖像平面和被測物體之間構成一個相似三角形模型，已知2 臺攝像機之間參數和圖像坐標關系，可以計算出2 臺攝像機拍攝圖像中物體空間特征點的三維坐標位置?；€距離是指2 臺攝像機投影中心連線距離，設為B，2 臺攝像機在同一時刻觀看空間物體的同一特征點P，分別在左攝像機（左眼）和右攝像機（右眼）上獲取點P的圖像坐標為P_left ＝(X_left，Y_left)，P_right ＝(X_righ，Y_righ)。根據2 臺平行攝像機設置原理，2 臺攝像機在同一平面上，則特征點P的圖像坐標上的Y坐標相同，即Y_left ＝Y_righ ＝Y，則由三角形相似性原理得到：

通過以下順序完成視覺采集儀的標定，即對于攝像機標定，基于攝像機成像模型的理論，采用張氏平面標定法，利用平面棋盤模板，對雙目攝像機進行立體標定；對立體標定進行校正，通過實驗獲取攝像機的內、外參數以及畸變參數，對比校正前后的攝像機參數得到平視狀態的參數值。在本實施例中，通過配置文件的方式，將攝像機內外標定參數輸入到船舶掃描視覺控制器中，為后續求取三維空間坐標做準備。

4）基于視覺采集獲取船舶空間位置數據。獲取船舶輪廓的連續二維圖像，基于所獲取的二維圖像坐標與雙目攝像機標定的內外參數，得到船舶輪廓立體空間圖像。

二維圖像坐標為照片像素點坐標，對于基于視覺采集獲取的二維圖像，從不同顏色集裝箱中識別目標集裝箱并獲取其圖像中心坐標，該圖像坐標計算方法包括截取目標圖像、目標模板匹配、目標圖像預處理、目標圖像二值化、目標識別匹配、參數優化、目標坐標計算、反饋圖像坐標。其中，對獲取的二維圖像進行預處理包括去霧處理、圖像分割等。其中，對霧天天氣條件下的二維圖像進行去霧處理，利用暗通道提取完成去霧處理流程，通過去霧效果的客觀評價標準，實現從有霧二維圖像中提取圖像特征信息；考慮到二維圖像中集裝箱顏色的不同，基于顏色模型實現圖像分割。

5）基于激光掃描獲取船舶輪廓點云數據。獲取激光掃描數據，形成船舶輪廓點云數據，即得到三維集裝箱上作業箱區輪廓數據。

在岸邊橋式集裝箱起重機大車移動時，船舶掃描激光控制器收到大車移動信號，此時，船舶掃描激光控制器根據該接收的信號，清除之前的箱區配置文件數據。

當岸邊集裝箱起重機到達新區域時，大車移動信號變為0，此時船舶掃描激光控制器將2D 激光掃描儀向前轉動一定角度并掃描相鄰托架和工作托架的輪廓，并且2 臺2D 激光掃描儀也實時掃描和更新配置文件。

岸橋小車向前移動時，2D 激光掃描儀向前旋轉一定角度，以檢測障礙物并更新當前和相鄰隔間的輪廓；岸橋小車向后移動時，2D 激光掃描儀垂直朝向地面旋轉，以更新當前和相鄰隔間的障礙物輪廓。

6）融合基于視覺采集的船舶輪廓立體空間圖像和基于激光掃描的船舶輪廓點云數據。

視覺采集通過獲取立體圖像，對圖像進行預處理，對圖像中的目標進行識別，采用特征點提取獲得圖像中的信息；激光掃描采用獲取目標點云數據后進行坐標系轉換，平面分割和平面擬合獲得船舶上集裝箱擺放平面；通過特征點深度信息恢復等進行數據融合。

7）根據編碼器信息數據，結合基于掃描獲取的岸橋輪廓數據，對融合數據進行分析處理，確定最終的船舶輪廓。

在本實施例中，利用編碼器信息結合激光掃描獲取的岸橋輪廓信息，對步驟6）獲取的融合數據進行劃分，確定船舶上的點，對所有船舶上的點進行統計，確定其在格點圖中對應的位置，以此構成船舶輪廓，完成船舶輪廓的準確識別。

4 吊具防撞

對于船舶輪廓的精確識別有助于實現吊具以及吊具所吊集裝箱與障礙物發生碰撞，保證作業過程的安全性。同時，對于吊具及其所吊集裝箱的位置判斷以及準確的碰撞判斷和控制同樣重要。

船舶掃描激光控制器通過來自2D 激光掃描儀的集裝箱船箱區輪廓數據信息，并檢測當前作業貝位的最高障礙物的高度信息。

在識別到船舶輪廓的同時，實時檢測小車位置、起升高度和集裝箱在船舶上堆放位置和高度。如圖4 所示，在吊具上架上安裝激光掃描儀反射板。通過激光掃描儀反射板標記，實現對吊具的連續跟蹤，從而現吊具高度信息的準確獲取。

圖4 吊具上架反射板安裝示意圖

船舶掃描激光控制器通過接收的視覺檢測的最高障礙物信息進行數據校正，根據校正后的最高障礙物的高度和吊具高度進行碰撞判斷，根據設定的防撞保護距離進行防撞保護，并根據碰撞判斷結果下發控制指令和告警，控制岸橋小車的移動、吊具的升降等，實現小車運行方向的吊具防撞保護、起升方向的軟著陸和小車運行方向相鄰貝位的吊具防撞保護的功能[3]（見圖5）。

圖5 吊具防撞示意圖

5 目標集裝箱鎖孔定位

岸橋小車上的2 個攝像機組成雙目視覺，通過雙目視覺立體成像原則進行攝像機標定及校正，攝像機內、外參數代入重建模型，通過圖像預處理及邊緣檢測，實現目標集裝箱識別，提取集裝箱鎖孔圓，定位鎖孔并獲取鎖孔三維坐標，以滿足船側集裝箱精準定位抓箱。

6 結論

本文敘述了一種基于激光與視覺融合的船舶掃描和吊具防撞系統及方法，通過面陣激光得到三維點云數據，獲得當前船舶上貝位集裝箱的位置、高度以及相鄰貝位集裝箱的位置、高度信息；通過雙目攝像機獲取船舶RGB 圖像，基于視覺模型，確定當前船舶上貝位集裝箱的邊界框和相鄰貝位集裝箱的邊界框；根據視覺采集獲取的數據對激光點云數據進行校正，檢測識別集裝箱船舶的各參數特征，實現船舶輪廓的精確識別，提高岸橋的自動化效率。