基于雙目視覺的吊卡識別及其方位檢測方法

針對鉆井自動化中的吊卡方位需要人工參與，存在識別定位緩慢和準確性差等問題，建立了基于雙目視覺的吊卡自動識別和方位檢測系統。通過搭建雙目相機視覺檢測系統，對獲取的吊卡圖像進行標定、立體校正和立體匹配，進而獲取吊卡圖像的深度圖。在原YOLOv5s目標檢測算法的主干網絡中引入卷積注意力機制模塊，將要識別的目標即吊卡圖像進行增強，進一步提高吊卡的識別準確率，結合深度圖計算出吊卡中心位置相對機械手的距離和偏轉角度，從而實現自動送管。通過在鉆井平臺的試驗，驗證了吊卡識別和檢測方法的有效性。所得結論可為鉆井平臺自動化程度的進一步提高提供技術借鑒。

吊卡識別；方位檢測；雙目相機；YOLOv5s算法；卷積注意力機制模塊；試驗驗證

Elevator Recognition and Orientation Detection

Method Based on Binocular Vision

In order to solve the problems such as manual involvement，slow recognition and poor accuracy in elevator positioning in drilling automation，a binocular vision based elevator automatic recognition and orientation detection system was built.By means of building a binocular camera visual detection system，the obtained elevator images were calibrated，stereo corrected，and stereo matched to obtain depth maps of them.A convolutional attention mechanism module was introduced into the backbone network of the original YOLOv5s target detection algorithm to strengthen the target to be recognized，i.e.，the elevator image，further improve the recognition accuracy of elevator，and figure out the distance and deflection angle of the elevator center position relative to the manipulator combined with depth maps，thus achieving automatic pipe feeding.The effectiveness of elevator recognition and detection method was verified through tests on drilling platforms.The conclusions provide technical reference for further improving the automation level of drilling platforms.

elevator recognition；orientation detection；binocular camera；YOLOv5s algorithm；convolutional attention mechanism module；experimental verification

0 引 言

在鉆井平臺作業中，需要頻繁進行起鉆和下鉆作業，其中的管柱處理不僅占用了大量鉆井時間［1］，而且需要多人配合完成，存在明顯的效率和安全問題。近些年發展起來的鉆井管柱自動化操作技術實現了將單根鉆桿從排管架輸送到鉆臺面、在鉆臺面將鉆桿連接成立根、將立根有序排放在立根區內指定位置等步驟的自動化操作，初步實現了鉆井管柱操作的過程自動化，不再需要人工接觸操作管柱［2-6］。

目前，不論國外還是國內生產的自動化鉆機，在自動化操作過程中，仍需要人工通過攝像頭來判斷管柱位置以及吊卡方位，還不能實現完全的無人自動化，且人工識別還存在緩慢和準確性差等問題，這些都極大影響著排管操作過程的流暢性、安全性及操作速度。

針對上述問題，筆者設計了一套視覺檢測系統，進一步提升了鉆井自動化程度，首次實現了管柱和吊卡的自動識別和檢測。因吊卡自身隨時都存在前后和左右的晃動，故機械手在推送過程中不僅要檢測吊卡的左右位置，還要檢測出吊卡的深度信息，然后才能對管柱推送進程進行準確的調整。本文只介紹吊卡的自動識別與定位檢測技術。

李進付：基于雙目視覺的吊卡識別及其方位檢測方法

1 吊卡檢測任務及方案

在自動化鉆井平臺進行下鉆操作時，二層臺機械手從指定指梁內抓取管柱并拉出，再推送至吊卡處。圖1是二層臺機械手將管柱推送至吊卡處的示意圖。

在推送立柱過程中，因為吊卡的位置不固定，前后和左右都在搖擺，需要實時檢測吊卡相對機械手的方位信息，即吊卡相對機械手的距離和偏轉角度，以確保二層臺機械手能夠準確地將管柱推送到吊卡中心處。

吊卡識別及方位檢測方案如下。

（1）雙目相機視覺檢測：采用雙目相機，得到吊卡圖像的深度圖。

（2）吊卡識別：采用改進的YOLOv5s算法識別圖像中的吊卡及其中心位置。

（3）吊卡方位檢測：通過吊卡中心位置的深度信息，計算出吊卡方位，即吊卡相對機械手的距離和偏轉角度。

2 基于雙目相機的吊卡相對距離測量

因為目前的深度相機無法滿足鉆井平臺所要求的防爆功能，所以通過2個防爆相機組成雙目視覺檢測系統。在2個不同位置的相機內生成不同的圖像，吊卡在2幅圖像中的位置差異稱為視差，利用視差再轉換為吊卡相對相機平面的深度信息，最終轉換為吊卡相對機械手的距離。

2.1 雙目相機標定

使用張正友標定法對雙目相機標定［7］，除了計算出左右2個相機的內參數矩陣，還要計算出左右2個相機的空間位置關系，即2個相機之間的旋轉矩陣R和平移矩陣T。

設空間中任意一點的坐標矩陣為P，其在左右2個相機坐標系下的坐標矩陣分別為Pl和Pr，根據相機的針孔成像模型，可得：

式中：Rl和Rr分別為左、右相機的旋轉矩陣；Tl和Tr分別為左、右相機的平移矩陣。

式（1）中消去P，可得：

Pr=（RrRl-1）Pl+（Tr-RrRl-1Tl）（2）

若以左相機為參考基準，則右相機相對于左相機的旋轉矩陣R和平移矩陣T分別為：

2.2 圖像立體校正

利用幾何圖形變換關系，使得2個相機的成像平面處于同一平面。采用Bouguet算法進行立體校正［8］，構造變換矩陣Rt為：

Rt=r1Tr2Tr3TT（4）

其中：

式中：r1、r2及r3分別為變換矩陣Rt的3個列向量。

將左右2個相機坐標系分別沿旋轉矩陣R的正方向和反方向各自旋轉90°后，相應的旋轉矩陣分別記為R1和R2，進而得到左右2個相機立體校正后的投影矩陣RL和RR分別為：

校正前后的結果對比如圖2所示。校準前左右2個相機的吊卡圖像不在一個水平線上，經過立體校正處理后，左右2幅吊卡圖像的對應點處于同一水平線上。

2.3 圖像立體匹配

將左右2個相機圖像上的對應點進行匹配，計算左右圖像匹配點的視差，進而得到圖像的深度信息。采用SGBM（Semi-Global Block Mathing）算法進行立體匹配［9］。該算法是通過動態規劃的方法，構建左右2個相機匹配像素點之間的最小代價路徑，并將其轉化為視差圖。代價的累計函數如下：

式中：p為像素點；d為視差；Lr為當前路徑的累計代價函數；c為當前像素點的代價；P1、P2分別為相鄰像素點視差存在較小和較大變化時的懲罰系數；r為某條路徑的像素點；在此為像素點P左邊的相鄰像素點；γ為各個方向路徑長度不同形成的影響量；γ＝minLr（p-r，i），其中i為任一點視差。

之后通過平行雙目視覺的幾何關系，將視差圖轉換為深度圖。轉換公式如下：

式中：Hd為深度；f為歸一化的焦距；b為2個相機光心之間的基線距離。立體匹配結果如圖3所示。

圖中深度圖的顏色越深表示深度越大，如地面離相機較近在圖中為淺藍色，墻壁離地面較遠在圖中為深紅色。

3 基于CBAM的YOLOv5s吊卡識別算法

盡管YOLOv5s算法在公開數據集上有著不錯的性能表現［10-11］，但鉆井現場應用時仍會出現誤檢或者漏檢的情況：尤其是當所送管柱與吊卡位置重合時，吊卡的位置檢測會出現錯誤；當天氣環境變化時，也容易造成漏檢。為此引入卷積注意力模塊CBAM（Convolutional Block Attention Module），以提升YOLOv5s算法在復雜場景下的檢測性能［12］。

3.1 卷積注意力機制模塊

CBAM是一種用于增強卷積神經網絡（CNN）性能的注意力機制模塊，結構如圖4所示。其由通道注意力模塊和空間注意力模塊2部分組成。

在通道注意力模塊中，先對輸入特征矩陣函數F（H×W×C）分別進行全局最大池化和全局平均池化操作，得到2個1×1×C的特征矩陣；之后2個特征矩陣經過兩層隱含層的多層感知機（MLP），并通過矩陣逐元素加法操作相結合；最后通過Sigmoid激活函數生成通道注意力特征矩陣Mc，將Mc與原始輸入特征矩陣F進行矩陣逐元素乘法操作（哈達瑪積），得到空間注意力模塊所需輸入特征短陣Fc。Fc也是通道注意力模塊的輸出特征矩陣，其計算公式如下：

Fc=σ（MLP（AvgPool（F））+

MLP（MaxPool（F）））⊙F（9）

式中：σ為Sigmoid激活函數；⊙為哈達瑪積；MLP為圖中的多層感知機；MaxPool（F）為對輸入特征矩陣函數F全局最大池化；AvgPool（F）為對輸入特征矩陣函數F全局平均池化。

在空間注意力模塊中，使用通道注意力模塊的輸出特征矩陣Fc作為輸入特征矩陣。首先對輸入特征矩陣Fc分別進行基于通道的全局最大池化和全局平均池化操作，得到2個H×W×1的特征矩陣；接著，將這2個特征矩陣在通道維度上進行拼接；之后通過一個7×7卷積操作，將通道數降為1，即H×W×1；再利用Sigmoid激活函數生成空間注意力特征矩陣Ms，與原始輸入矩陣Fc相乘得到經過CBAM后的優化特征矩陣F′。計算公式如下：

F′=σ（f7×7（［AvgPool（Fc）；

MaxPool（Fc）］））⊙Fc（10）

式中：f 7×7表示7×7的卷積操作。

CBAM注意力機制模塊中的通道注意力模塊可以增強有效通道、抑制無效通道，空間注意力模塊可以增強有用信息而排除噪聲和冗余信息［13-16］。

3.2 吊卡識別主干網絡總體架構

圖5為YOLOv5s的主干網絡架構。圖6為圖5的改進結構，即加入了2個CBAM：一個是在CPS1_3和特征融合模塊CBL之間；另一個是CBL和空間金字塔池化結構SPP之間。

改進的YOLOv5s算法可根據采集的圖像實時生成吊卡檢測錨框，錨框的中心點作為吊卡的中心位置，吊卡識別結果和吊卡中心位置如圖7所示。

3.3 機械手旋轉角度計算

識別出吊卡及其中心位置后，通過其像素坐標（x，y）計算出相對雙目相機坐標系原點的距離，結合吊卡中心位置的深度Hd，即可計算出吊卡相對相機的偏轉角度，如圖8所示。

偏轉角度θ計算公式為：

雙目相機位置和二層臺機械手的相對位置是已知的，通過坐標系轉換，可得到機械手相對吊卡的偏轉角度和深度，實現自動送管。

4 試驗驗證

4.1 吊卡識別性能試驗

一共采集了1 000張不同天氣情況、不同位置的吊卡圖像，并使用數據增強方法（增加隨機噪聲、隨機亮度、隨機掩碼等）將圖像數據擴充到4 000張，將數據集劃分為訓練集、驗證集和測試集，比例為7∶1∶2。使用目標檢測任務中常用指標評估模型性能，包括精確率（Precision）、召回率（Recall）、平均精度（Average Precision，AP）以及多類別平均精度（Mean Average Precision，mAP）。

分別采用YOLOv5s、YOLOv5s+CBAM以及SSD（Single shot multibox detector）［17］進行了試驗驗證。模型的部分訓練參數統一設置如表1所示；其余超參數采用YOLOv5s算法官方代碼中的默認參數值。輸入深度學習網絡圖像的分辨率全部設置成640×640，使用VOC2007數據集的訓練權重作為3種檢測算法的預先訓練權重，模型各訓練300個周期后結束。

圖9為3種方法在吊卡識別模型訓練過程中的表現情況。對比3種算法損失函數曲線的變化和平均精度曲線的變化可知，基于CBAM的識別模型訓練收斂快，同時識別精度更高。

3種方法對吊卡模型的識別效果對比如表2所示。首先，SSD相比YOLOv5s具有較高的精確率，但是其模型更大，識別時間更長。在YOLOv5s上引入CBAM結構，在檢測時間少量增加的情況下，識別效果得到了顯著的提升，3個評估指標都超過了99%?？梢奀BAM模塊有效提升了模型的性能，相較于原YOLOv5s算法，多類別平均精度提高了7%。

4.2 吊卡方位檢測精度試驗

在中石化四機石油機械有限公司組裝的自動化鉆井平臺上，對吊卡的識別及其方位檢測方法進行了實際驗證。

首先在鉆臺面對吊卡的方位檢測精度進行了試驗，雙目相機外部安裝有防爆外殼。為了盡量模擬實際的工作場景，深度相機的位置固定不動，將吊卡打開放置于鉆臺面，如圖10所示。

通過吊卡左右兩邊的吊鉤改變吊卡的前后位置以及偏轉角度，模擬吊卡在二層臺上的晃動情況。檢測范圍也盡量模擬實際場景，將雙目相機到吊卡的距離范圍設置為3～5 m，偏轉角度范圍設置為-30°～30°。

使用深度檢測的絕對誤差、相對誤差及角度檢測的絕對誤差這3個指標來對視覺檢測系統進行評估。采用鋼卷尺測量吊卡到深度相機的距離、數顯角度尺測量吊卡相對深度相機的偏轉角度，以此作為人工測量值，將算法程序輸出的結果作為檢測值，用正負表示角度的左右偏向，試驗結果如表3所示。

從試驗結果可知，在雙目相機視覺檢測對吊卡方位的檢測中，其深度最大相對誤差為3.28%，角度檢測的最大絕對誤差為2.5°，由于吊卡開口大小是管柱直徑的幾倍，上述誤差并不影響管柱的推送。

之后在二層臺上進行了實際驗證，雙目相機安裝在井架二層臺的擋風墻處。在二層臺上無法測量吊卡的真實距離和偏轉角度，但通過實際操作驗證可知，通過對吊卡的識別及方位檢測，機械手送管柱至吊卡處的過程已無需人工干預，其過程實現了完全自動化。

5 結 論

針對自動化鉆井平臺的吊卡方位需要人工判斷的實際問題，建立了基于雙目視覺的吊卡自動識別和方位檢測系統。

（1）在YOLOv5s目標檢測算法的主干網絡中引入CBAM注意力機制，將要識別的目標即吊卡圖像進行增強，從而進一步提高了吊卡的識別精度。

（2）采用2個防爆相機構成雙目相機系統，生成吊卡圖像的深度圖并計算出吊卡中心位置的深度信息，再通過坐標系轉換，計算出機械手相對吊卡的偏轉角度和深度，從而實現自動送管。

（3）在實際鉆井平臺進行了測試，由于相機與吊卡的距離遠、且相機安裝了防爆玻璃，使計算出的吊卡相對距離和偏轉角度都有些誤差，但吊卡開口是管柱直徑的幾倍，所以該誤差并不影響管柱的推送。該系統的成功應用，將進一步提升鉆井自動化和無人化程度。

［1］ ?羅健，劉傳世，楊中興，等．管柱自動化技術在石油鉆機中的應用［J］．中國設備工程，2022（14）：222-223．

LUO J，LIU C S，YANG Z X，et al.Application of pipe automation technology in oil drilling rigs［J］.China Plant Engineering，2022（14）：222-223.

［2］ 王定亞，王耀華，于興軍．我國管柱自動化鉆機技術研究及發展方向［J］．石油機械，2017，45（5）：23-27．

WANG D Y，WANG Y H，YU X J.Research and development trend of domestic automated drilling rig［J］.China Petroleum Machinery，2017，45（5）：23-27.

［3］ ATCHISON B.Automated well control：a step change in safety［J］.Digital Chemical Engineering，2022，3：100022.

［4］ 楊傳書，張好林，肖莉．自動化鉆井關鍵技術進展與發展趨勢［J］．石油機械，2017，45（5）：10-17．

YANG C S，ZHANG H L，XIAO L.Key technical progress and development trend of automated drilling［J］.China Petroleum Machinery，2017，45（5）：10-17.

［5］ 劉清友.若干智能鉆井裝備發展現狀及應用前景分析：以四川盆地頁巖氣開發為例［J］.鉆采工藝，2022，45（1）：1-10.

LIU Q Y.Development status and application prospect for several intelligent drilling equipment： a case study of shale gas development in Sichuan Basin［J］.Drilling ＆ Production Technology， 2022，45（1）：1-10.

［6］ 郭華，周超，鄭清華，等.中國海上固定平臺模塊鉆機自動化技術現狀及展望［J］.中國海上油氣，2022，34（4）：194-202.

GUO H，ZHOU C，ZHENG Q H，et al.Present status and prospect of automation technology of offshore fixed platform modular drilling rig in China［J］.China Offshore Oil and Gas，2022，34（4）：194-202.

［7］ ZHANG Z.A flexible new technique for camera calibration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.

［8］ BOUGUET J Y.Pyramidal implementation of the lucas kanade feature tracker description of the algorithm［M］.Intel Corporation Microprocessor Research Labs，2000.

［9］ GEHRIG S K，EBERLI F，MEYER T.A Real-Time Low-Power stereo vision engine using Semi-Global matching［C］∥International Conference on Computer Vision Systems.Berlin，Heidelberg：Springer，2009：134-143.

［10］ ZHANG Y，GUO Z Y，WU J Q，et al.Real-time vehicle detection based on improved yolo v5［J］.Sustainability，2022，14（19）：12274.

［11］ ZHU X K，LYU S，WANG X，et al.TPH-YOLOv5：improved YOLOv5 based on transformer prediction head for object detection on drone-captured scenarios［C］∥2021 IEEE/CVF International Conference on Computer Vision Workshops （ICCVW）.Montreal，BC，Canada，2021：2778-2788.

［12］ WOO S，PARK J，LEE J Y，et al.CBAM：convolutional block attention module［C］∥ Proceedings of the European conference on computer vision （ECCV）.Cham：Springer，2018：3-19.

［13］ 劉彥清．基于YOLO系列的目標檢測改進算法［D］．長春：吉林大學，2021．

LIU Y Q.An improved algorithm for object detection based on YOLO series［D］.Changchun：Jilin University，2021.

［14］ 何敏．改進YOLOv5絕緣子及其破損檢測算法研究［D］．武漢：武漢紡織大學，2022：000328．

HE M.Research on insulator and damage detection algorithm of improved YOLOv5［D］.Wuhan：Wuhan Textile University，2022：000328.

［15］ GUO M H，XU T X，LIU J J，et al.Attention mechanisms in computer vision：a survey［J］.Computational Visual Media，2022，8（3）：331-368.

［16］ NIU Z Y，ZHONG G Q，YU H.A review on the attention mechanism of deep learning［J］.Neurocomputing，2021，452：48-62.

［17］ LIU W，ANGUELOV D，ERHAN D，et al.SSD：single shot MultiBox detector［C］∥European Conference on Computer Vision.Cham：Springer，2016：21-37.