增強現實眼鏡輔助的線纜連接器裝配狀態智能檢錯方法

李樹飛，鄭聯語，劉新玉，王天睿

(北京航空航天大學 機械工程及自動化學院,北京 100191)

0 引言

線纜連接器裝配指將線纜線束中的導線安裝到連接器上指定的孔位中，為保證航空產品的可靠性與穩定性，線纜連接器裝配完成后需要對其安裝狀態進行檢錯，防止連接器上存在錯裝導線或者漏裝導線的孔位。其中，錯裝導線的孔位表明在連接器裝配過程中操作人員誤將導線安裝到了不允許安裝導線的孔位，而漏裝導線的孔位表明操作人員忘記將對應導線安裝到需要安裝導線的孔位。為有效識別這兩種錯誤操作導致的不匹配孔位，本文提出使用增強現實(Augmented Reality, AR)眼鏡(HiAR G200)智能檢錯線纜連接器的裝配狀態，該檢錯方法可高效準確地判別連接器上的漏裝導線或者錯裝導線的孔位，進而代替低效費時的手工檢錯操作。

目前AR輔助的智能裝配技術深入融合生產過程中，以提高裝配效率和質量，降低裝配人員自身技能和經驗對手工裝配[1]的影響。在AR輔助裝配與檢錯研究中，波音公司前瞻性地應用谷歌眼鏡協助操作人員組裝機身內部的線束，并應用AR技術提供移動端輔助手段對Boeing 737發動機的排氣系統進行故障排除[2]。為解決機艙空間的狹小和結構復雜性給裝配過程帶來的挑戰，LIU等[3]引入了基于計算機視覺的輔助系統，以集成裝配計劃、裝配訓練和指導、裝配狀態檢查和裝配質量評估功能。針對線纜裝配中線束布局優化難題，劉佳順等[4]提出一種基于運動仿真的活動線纜虛擬布局設計方法，進而實現活動線纜由經驗性的手工布局設計向基于建模仿真的虛擬布局設計的轉變。針對航天產品艙體模型的連接器組裝及檢驗過程，YIN等[5]提出基于目標檢測技術的AR裝配引導方案，對無該產品裝配經驗的操作人員實時進行虛實融合的裝配情景引導;王發麟等[6]提出面向復雜機電產品的線纜虛實融合裝配方法，給出了AR/虛擬現實(Virtual Reality, VR)融合裝配的體系框架和系統的運行流程，以輔助布線工藝人員制定表格化指導文件來完成布線任務;李旺等[7]從裝配作業常用工藝出發，開發了增強現實的裝配工藝編輯系統解決了工藝信息內容編輯問題;ZHENG等[8]引入可穿戴增強現實設備，并訓練深度神經網絡模型識別航空產品中線纜上字符編號與支架零件，輔助完成飛機艙體中的線纜裝配任務。目前，對航空產品中線纜連接器裝配狀態的檢測任務包括引腳與孔位的位置偏差檢查和導線與孔位不匹配檢錯兩方面。前者主要是在公頭和母頭連接器的配對過程中診斷引腳和孔位的位置偏差[9]。借助力傳感器信號，機器人系統被應用于檢測此類位置偏差[10]，如ZHAO等[11]引入3D視覺測量平臺來檢測連接器引腳的異常分布與位置。后者的目的是確保線纜連接器裝配正確，因為并非所有連接器的孔位都可以連接導線，尤其是在航空產品中。AR/VR輔助裝配技術為線纜連接器裝配狀態的檢測提供了良好的可視化解決途徑，但是針對線纜裝配中導線與連接器孔位的不匹配裝配狀態檢錯任務，AR眼鏡輔助的自動化和智能化檢測算法及其性能分析還缺乏深入研究。

為判定線纜連接器的裝配狀態，使用目標檢測技術從圖像中定位連接器區域，并檢測連接器孔位為檢錯過程的基礎環節。常用的經典目標檢測算法主要包括模板匹配[12]和局部特征檢測，前者直接利用像素灰度匹配，對圖像的幾何形變適應性差，后者主要利用圖像局部信息構造具有幾何不變性的特征描述子，如角點檢測[13]和SIFT特征點匹配[14]等，其對復雜場景圖像也難以表現良好的性能。近年來，深度卷積網絡目標檢測器在ImageNet[15]、Pascal VOC[16]和MS COCO[17]等大規模圖像數據庫上表現出了絕對的優勢。REN等[18]提出了以Faster R-CNN為代表的雙階段目標檢測模型，由RPN(region proposal networks)網絡提取候選目標，再經分類損失判斷目標類型;LIN等[19]提出了FPN(feature pyramid networks)網絡模型，融合多層次的特征圖以有效檢測圖像中不同尺度的目標;REDMON等[20]首次提出單階段的目標檢測網絡YOLO以滿足場景中實時性目標檢測的需要，其將完整輸入圖像劃分為多個柵格以在輸出層回歸目標位置與類別。但是這種設計模式相對降低了準確率，故隨后提出了YOLO v2[21]和YOLO v3[22]版本，在保證速度的同時大幅提高了準確率。LIU等[23]提出SSD(single shot multi-box detector)目標檢測模型，采用多尺度特征圖并借鑒了Faster R-CNN中錨(anchor)的概念，提高了對小目標的檢測性能;LIN等[24]在單階段目標檢測模型RetinaNet中深入討論了類別不均衡問題，調整損失函數的參數讓模型在訓練過程中重點關注與目標難區分的樣本，使得單階段目標檢測的性能與雙階段的模型旗鼓相當。

航空產品的線纜連接器上多數分布一系列孔位，應用目標檢測技術可以定位圖像中這些孔位的坐標并識別其安裝狀態?；跈z測到的孔位，進一步判定漏裝導線或者錯裝導線的孔位，一般有兩種解決途徑：①根據孔位坐標值對這一系列雜亂無序的孔位進行分布排序，進而確定每一個孔位對應的唯一編號，以便與連接器的理想裝配結果進行對比判定。連接器上的孔位為多層環形排列，對于每一層環形分布的離散點(即孔位)，當其分布位置與圓或橢圓等二次曲線的坐標偏差為正態分布時，最小二乘法[25]可有效擬合其形狀，但若存在較大誤差的樣本點時，該方法不能滿足使用要求。②根據目標檢測模型定位的連接器孔位分布圖與正確安裝的連接器孔位圖像進行匹配比對，以便直接判別線纜連接器上漏裝導線或者錯裝導線的孔位。針對兩幅圖像的匹配比對問題，MORDOHAI等[26]采用張量投票機制有效可靠地解決了在存在離群點以及缺失紋理信息情況下圖像的特征點匹配難題;LIN等[27]進一步提出一種平面張量投票機制來推斷并恢復特征曲線上的缺失點，以獲取構成幾何圖形的本真離散點完成目標物體間的匹配，并以平面上孔洞填充實驗為案例驗證了算法的有效性和準確性?？紤]到張量投票機制在孔位數量較少時難以表現優越的性能，根據孔位的分布規律進行孔位編號，可作為有效的線纜連接器裝配狀態檢錯手段。

綜上考慮，針對線纜連接器安裝狀態的檢錯問題，本文提出一種AR眼鏡輔助的線纜連接器裝配狀態智能檢錯方法來替代手工檢錯操作并進一步可視化裝配結果。采用基于深度神經網絡的零件檢測模型識別圖像中的連接器及其孔位，進而基于扇區劃分和圓環聚類對檢測出的無序孔位進行分布排序以獲得其對應的唯一編號。比對連接器的理想裝配結果判定連接器在實際組裝線纜線束的過程中是否漏裝或者錯裝導線，將這些錯裝或者漏裝的孔位顯示在AR眼鏡的屏幕上警示操作人員。通過應用證明，本文提出的孔位檢測模型精度足以令人信服，該連接器裝配狀態檢錯方法顯著提高了航空產品中線纜連接器的安裝效率與裝配過程的可控性。

1 線纜連接器裝配信息與圖像數據集

1.1 線纜連接器裝配語義信息

線纜連接器的裝配語義信息可使用二元組[C,O]表示，C和O分別為某一連接器的連接器類型和裝配指令標識。連接類型C映射至連接器屬性集合{f,l}，其中f表示該連接器上是否有中心孔位，l表示該連接器的孔位層數；裝配指令O映射至連接器的裝配結果{P1,P2,…,Pn}，其中Pi表示該連接器的第i個孔位中是否需要安裝導線，其取值為Y(安裝)或N(不安裝)。如圖1所示，左側為不同類型的連接器攜帶的裝配語義信息，右側為兩種不同類型的連接器分別對應的理想裝配結果。值得注意的是，并非所有連接器孔位都需要安裝線纜中的導線，理想的裝配結果給出了需要安裝導線的孔位以及不能安裝導線的孔位，這也說明了連接器裝配狀態檢錯環節在線纜連接器組裝操作中的必要性與重要程度。大多數連接器上分布有1個主定位銷和4個副定位銷，并且主定位銷指明了連接器孔位的起始編號位置。以線纜連接器裝配語義信息中的理想裝配結果作為檢測基準，在裝配操作完成后順序對比每個編號孔位的實際裝配狀態，進而判斷連接器上是否存在漏裝導線或者錯裝導線的孔位。

1.2 復雜裝配場景下的連接器圖像集

航空產品裝配中使用的連接器數量和種類繁多，為了訓練可以有效檢測連接器及其孔位的神經網絡模型，制作對應的圖像數據集至關重要。本文使用AR眼鏡手持端的高清數字相機配合相機上的光源在裝配現場捕獲連接器的圖像，在采集圖像數據集的過程中，需要控制相機以不同的角度來拍攝連接器以提高數據集的普適性，即捕捉60度傾角范圍內的連接器圖像(如圖2a)，同時在圖像中盡可能表現出現場背景的繁雜、光照強度的變化和運動模糊對圖像質量的影響，從而獲得包含各種現場工況的數據集。實驗獲取了1 724張連接器圖像制作連接器圖像數據集，該數據集中的圖像包含從上午8點到下午6點光照強度的變化導致的不同成像效果，以及晚上燈光作用對連接器成像的影響。圖2b展示了不同拍攝角度以及不同裝配場景下的連接器圖像。

連接器圖像數據集中包含航空產品中常用的11種不同類型的連接器。由于圖像中的連接器孔位尺寸過小且特征不明顯，難以直接在含有復雜裝配背景的連接器圖像中識別連接器孔位，圖像中的連接器孔位檢測分為兩個階段：第一階段在連接器圖像中找到連接器并識別其類型，將連接器區域從圖像中裁剪下來作為單獨的圖像以便進行后續處理;第二階段在裁剪的連接器區域圖像上進行孔位檢測并識別其孔位中是否安裝了導線。如圖3上半部分所示為從連接器圖像上裁剪下來的連接器區域，在此基礎上進行檢測從而識別每類連接器上的孔位以及孔位周圍的定位銷，這些定位銷與連接器的孔位編號存在空間上的對應關系，其中主定位銷的面積最大，也是連接器的第一個孔位位置。如圖3下半部分所示：J1和J2分別表示連接器母頭上未安裝導線和安裝導線的孔位;P1和P2分別表示連接器公頭上未安裝導線和安裝導線的孔位;DP1和DP2分別表示連接器母頭上的主定位銷與副定位銷，DP1在幾何尺寸方面也是連接器母頭上面積最大的定位銷;DH1和DH2分別表示連接器公頭上的主定位銷和副定位銷，且DH1是連接器公頭上幾何尺寸最大的定位銷。

以圖3中的幾種連接器為例進行分析，定位銷由于相機拍攝角度和光照情況的變化會表現出不同的特征，如顏色及幾何形狀的改變，DP1和DP2以及DH1和DH2之間的區分度低易混淆，這些無疑增大了檢測的難度；連接器母頭上的孔位特征少，尤其是未安裝導線的連接器孔位特征十分不明顯，而連接器公頭上的孔位尺寸極小。因此，訓練孔位檢測模型以便檢測識別這些樣式多、特征區分度低以及尺寸變化大的孔位與定位銷是一項很有挑戰性的工作。

1.3 連接器圖像數據集分析與統計

本文統計了這11類連接器上孔位和定位銷的數量以進一步分析連接器圖像數據集。如圖4所示，每一類連接器上存在唯一的面積最大的定位銷，其周圍分布4個輔助定位銷；采集的圖像數據中第3類連接器上分布多達41個孔位，而有些連接器上僅分布有6個孔位，連接器裝配狀態檢錯的基礎是完全準確無誤地檢測識別不同類型連接器上數量差距明顯的孔位。

將從連接器圖像上裁剪下來的連接器區域的圖像統一縮放至1 024×1 024像素，分析連接器公頭和母頭上每一個孔位和定位銷的幾何長度數值，統計數據中的孔位長度指的是標簽中孔位標注矩形框的長度。圖5統計了不同長度的孔位與定位銷在數據集中所占的數量，以連接器母頭上的孔位J1和J2為例，在1 024×1 024像素的圖像中，J1和J2的孔位長度分布范圍為20像素～90像素，其中孔位長度為30像素和50像素的孔位占最大比例。另一方面，連接器公頭上的孔位(P1和P2)和母頭上的主定位銷(DH1)之間尺寸變化范圍很大，連接器公頭上最小的孔位長度僅為16像素，而其上最大的主定位銷的長度為140像素。這要求孔位檢測模型擁有不同的感受野來檢測到不同尺度的圖像特征，進而檢測識別這些孔位與定位銷。

2 線纜連接器裝配狀態檢錯流程與方法

2.1 線纜連接器裝配狀態檢錯整體流程

線纜連接器裝配狀態的可視化檢錯在AR眼鏡平臺上自動化完成，其整體流程如圖6所示，具體主要步驟如下：

步驟1連接器圖像采集。啟用AR眼鏡手持端的高清1 600萬像素的相機在線纜連接器組裝完成后從裝配現場捕獲連接器圖像，并預先輸入存儲不同類型的線纜連接器裝配語義信息。

步驟2連接器孔位檢測。對連接器圖像進行歸一化預處理，將連接器圖像縮放至1 067×800像素，通過連接器檢測模型預測，輸出縮放圖像中連接器區域的坐標與連接器類型，根據坐標從原始1 600萬像素的圖像中裁剪連接器區域作為單獨的圖像，并將圖像縮放至1 024×1 024像素。通過融合FPN架構與BiLSTM[28]結構的孔位檢測模型，在裁剪的連接器區域中識別圖像中的定位銷與孔位，包含連接器公頭或者母頭上安裝線纜導線及未安裝導線的孔位。連接器的孔位檢測模型是本文的核心貢獻之一，其原理及詳細設計見2.2節。

步驟3連接器孔位編號。根據孔位檢測模型輸出的孔位預測框的頂點坐標計算每個孔位的中心點坐標，所有孔位表示為其中心點坐標處的離散點。計算所有離散點的中心位置，按照每個離散點與中心位置的角度將其劃分到不同的扇區，根據每個離散點與中心位置的距離，將每個扇區中的孔位分離到不同層次的圓環上，以面積最大的定位銷(即主定位銷)為基準，從外向內對不同層次的圓環上的離散點逆時針分布排序。詳細算法設計見2.3節。

步驟4裝配狀態判定。更新連接器上所有孔位的檢測結果與編號，順序遍歷所有編號的孔位，對比航空線纜裝配語義信息中理想的裝配結果和實際裝配狀態，判定該連接器上漏裝導線與錯裝導線的孔位，通過型譜圖將這些孔位高亮顯示在AR眼鏡的屏幕上，完成線纜連接器裝配狀態的智能檢錯操作。

2.2 連接器及孔位檢測網絡模型

本文采用深度目標檢測器RetinaNet從包含裝配現場復雜背景的圖像中定位連接器，輸出連接器在圖像中的坐標并識別其類型，根據輸出坐標將連接器從圖像中裁剪下來作為單獨的圖像，用于后續檢測孔位與定位銷。

為實現高精度檢測圖像中不同尺度的孔位與定位銷，神經網絡在進行特征提取時需要同時關注尺度較大的特征和尺度極小的特征。淺層網絡的視野范圍小，不能充分提取圖像中的特征信息，因此借鑒FPN特征金字塔網絡結構在淺層網絡的小視野下充分融合深層圖像特征來檢測圖像中不同尺度的孔位與定位銷。此外，由于這些孔位規律分布在連接器上，在深層網絡上使用BiLSTM代替卷積操作來提取圖像中孔位之間的空間關聯特征以提高網絡對孔位的特征提取性能，從而使得網絡一方面關注圖像中不同尺度的邊緣與圖形特征，另一方面搜尋提取特征在空間分布上的關聯性。本文提出孔位檢測網絡的整體結構如圖7所示，將裁剪后的1 024×1 024像素的連接器區域圖像輸入孔位檢測網絡模型，輸出孔位在圖像坐標系中的坐標與孔位類型，該孔位檢測網絡模型主要包括以ResNet50[29]網絡結構為主干的特征提取分支、特征金字塔分支和輸出層分支，在特征金字塔分支中，逐漸融合不同層次的特征：

(1)

(2)

其中：con1×1(fi)表示對fi特征圖進行1×1的卷積滑窗操作;upsamble(bi)表示對bi特征圖進行上采樣擴充2倍操作;add(bi,gi)表示對特征圖bi和gi進行疊加操作;B_C提取層采用BiLSTM網絡結構在深層特征圖中提取搜尋特征的空間聯系性，其結構如圖8所示。該提取層首先對輸入特征圖進行維度擴充，進一步增加其對孔位空間結構關系的特征提取能力，實現方式為在特征圖的窗口以3×3滑動窗口將每個像素及周圍8個點的像素值串行輸出疊加至最后通道，這樣特征圖由(B,H,W,C)的維度映射為(B,H,W,3×3×C)的維度。這個操作中沒有引入新的訓練參數，僅是對特征信息的重組與維度調整，為了適應BiLSTM對輸入數據的維度要求，對進行特征信息擴充后的特征圖再次進行維度調整，調整后的維度為(B×H,W,3×3×C)。將該圖像序列數據送入鏈式BiLSTM網絡，輸出(B×H,W,C)維度的特征圖，此特征圖提取了孔位的位置關聯特性，最后將輸出的特征圖的維度恢復至(B,H,W,C)，以傳遞到之后的網絡層次。

本文僅在ResNet50網絡的輸出層Res5c_relu和Res4f_relu后使用該B_C提取層，因為淺層特征圖不足以提取圖像中的本質特征信息，且淺層特征圖的尺寸大通道少，導致輸入BiLSTM網絡的數據序列相對較短，而鏈式BiLSTM網絡中基本單元數量偏多，致使網絡的訓練難度提高甚至可能損壞網絡的精度，所以在淺層特征圖上并不引入該B_C提取層。

為提高對連接器公頭上尺寸極小的孔位的檢測能力，在特征金字塔分支的前兩層分別添加分類子分支和回歸子分支作為輸出層分支，其結構與RetinaNet網絡中的分類子分支和回歸子分支結構相似。其中，這兩個子分支中最底層的特征圖上每點像素對應一個錨，這兩層特征圖的每點像素上的錨分別對應輸入圖像中162和322的像素面積，以及4和8的滑動步長，同時為保證對圖像中尺寸偏大的定位銷的檢測能力，擴充這兩層特征圖上的錨的數量，每個錨的面積分別乘以[20,21/3,1+22/3]3種倍數進行面積擴充，再將其長寬比調整為[20,21/3,1+22/3]3種型號，從而特征圖上每點像素對應9種錨，他們的幾何長度對應輸入圖像上16～82像素的變化范圍。

由于連接器公頭和母頭上的孔位與定位銷共有8種類別，分類子分支預測特征圖上每點像素上的9個錨表示該點屬于這8種類別的可能性。而回歸子分支預測檢測的潛在目標距離此錨的4個相對坐標偏移值v，進而得出預測框表明檢測的孔位或定位銷的位置：

vw=log(w-wa),vh=log(h-ha)。

(3)

(4)

式中λre超參數權衡兩種損失函數的優化迭代對模型訓練過程的影響，本文模型訓練中λre=1。

(5)

(6)

式中：RC為最小包圍框BC的面積，最小包圍框BC的坐標與面積由式(7)和式(8)計算得出：

(7)

(8)

2.3 無序孔位的分布排序編號與比對檢錯

(1)離散點映射與重組 根據連接器定位模型與孔位檢測模型的結果，得知該連接器的類型ti，所有識別的孔位與定位銷根據其中心坐標映射為離散點。首先將定位銷對應的離散點劃分至集合dset，此集合中面積最大的定位銷(標記為Od)作為孔位排序的基準；其次所有孔位對應的離散點重組到集合Pset，計算此集合中所有離散點的中心Pc。

(3)離散點排序編號 針對集合Pset以Pc為極點，PcOd為極軸建立極坐標系，如圖9c～圖9d所示。從外向內遍歷集合中不同層次的圓環，每層圓環上的離散點根據其極角γi逆時針方向進行排序編號。

算法1連接器孔位(離散點)劃分與聚類。

輸出：不同層次圓環上的離散點集合SC1,SC2,…,SCli。

1:function CLUSTERING (fc,li,S)

3. if fcthen //中心孔位劃分至單獨的集合

4. Pe←PiPi為距離Pc最近的點

5. S←S-{Pe}

6. li←li-1

7. SCli+1←SCli+1∪{Pe}

8. end if

9. nequ=?(|S|-2*li)/(2*li)?+1 //扇區的數量

10. nres=(|S|-2*li)%(2*li)+2*li//最后一個扇區中離散點的數量

11. 集合S中的點根據其在以Pc點為極點的極坐標系下的極角從小到大排序并更新S

12. 集合S中的后nres個點映射到扇區集合Snequ,其余點順序平均劃分至nequ-1個扇區集合S1,S2,…,Snequ-1

13. S1,S2,…,Snequ-1,Snequ中的點按照其與Pc點的距離從小到大排序并更新

14. for Si∈S1,S2,…,Snequ-1,Snequdo

15. for Pj∈Sido //計算每個扇區中的相鄰離散點的距離變化值

16. drj←‖Pj+1,Pc‖-‖Pj,Pc‖

17. Sdri←Sdri∪{drj}

18. end for

19. end for

20. for Si∈S1,S2,…,Snequ-1,Snequdo //搜尋每個扇區中的離散點的距離突變點

21. ID←{id1,id2,…,idli-1} ID為Sdri中最大的前li-1個值的索引

22. for idj∈ID do //每個扇區中的離散點聚類到不同的圓環

23. SCj←SCj∪{Si[:idj]}

24. Si←Si-Si[:idj]

25. end for

26. SCli←SCli∪{Si}

27. end for

28. if fcthen //返回不同層次圓環上聚類的離散點集合

29. return {SC1,SC2,…,SCli}

30. else

31. return {SC1,SC2,…,SCli,SCli+1}

32. end if

33. end function

為保證每個扇區中包含來自所有圓環層次上的離散點，每個扇區上離散點的數目最少為孔位層數li的2倍，如圖10中#9所示，對應算法1的第9步。該離散點劃分與聚類算法在進行扇區劃分時首先確定最后一個扇區上離散點的數量，然后將剩余的離散點平分到每個扇區，進而確保每個扇區內包含所有層次的圓環上的離散點，如圖10中#12所示，對應算法1的第12步。所有孔位的離散點聚類劃分至不同的扇區后，每個扇區上的孔位離散點根據其至Pc的距離進行排序，距離突變點表明相鄰離散點間的距離存在突變，即此對相鄰離散點屬于連接器上不同的圓環層次，每個扇區上的孔位離散點在算法1的第16步驟根據距離突變點聚類至不同層次的圓環上，如圖10中#16所示。

連接器上的孔位分布排序完成后，順序遍歷所有編號的連接器孔位，逐個比對連接器上孔位的真實裝配狀態與裝配指令中的理想裝配結果。以連接器公頭為示例(如圖11)，P2為連接器上安裝導線的孔位，P1為未安裝導線的孔位，理想裝配結果表明左側矩形線框對應的4號孔位不能安裝導線，但是檢測結果發現該孔位在真實情景中安裝了導線，故該孔位存在錯裝導線操作，同理右側鉅形線框對應的6號孔位漏裝了導線。

3 性能分析與檢錯案例

3.1 連接器及其孔位檢測性能分析

本文將連接器圖像數據集中的1 346張圖像作為訓練集，剩余的378張圖像作為測試集。將訓練集中的圖像送入RetinaNet網絡訓練連接器檢測器，采用Pascal VOC數據集中的平均精度均值(mean Average Precision, mAP)作為評價指標，交并比(IoU)閾值設置為0.5，即候選框與標簽中的注釋框的交并比閾值高于0.5時可作為正樣本，使用訓練完成的連接器檢測器預測測試集圖像中連接器的種類并回歸其在圖像坐標系下的坐標，如表1所示為本文訓練的連接器檢測器對11種不同類型的連接器的檢測識別性能。

表1 連接器檢測性能分析

分別從連接器數據集中的訓練集和測試集中將連接器區域裁剪下來作為單獨的圖像，同時剔除一些質量過差的圖像樣例，最終得到1 009張圖像作為孔位圖像訓練集，360張圖像作為孔位圖像測試集。本文沒有應用任何數據增廣手段，僅使用訓練集中的孔位圖像以隨機梯度下降優化器在2塊GPU(RTX 2 080)上來訓練孔位檢測模型，批尺寸(batch)設置為2，即每塊GPU負責1張1 024×1 024像素的孔位圖像，初始學習率設置為0.01，經過40×103次迭代后學習率縮小10倍，60×103次迭代后再次縮小10倍，進行80×103次迭代訓練，同時在參數更新中設置動量值為0.9，訓練過程中使用權值衰減策略并設置其值為0.000 1。此外，筆者甚至嘗試過僅使用1塊GPU來訓練本文的模型，也能夠取得相當有競爭力的性能。

為驗證本文提出的孔位檢測網絡的有效性，將其與目標檢測網絡Faster R-CNN、SSD、YOLO v2、RetinaNet和YOLO v3在孔位圖像測試集下的精度進行比較，這些目標檢測器在當前最流行的公開目標檢測數據集如PASCAL VOC和MS-COCO上取得了相當有說服力的非凡結果。如圖12所示為本文所提孔位檢測模型對一些連接器樣例的檢測識別結果，表2列出了本文所提孔位檢測模型與一些目標檢測網絡的性能對比。

表2 孔位檢測性能分析

YOLO v3網絡往往對圖像中的小目標表現出顯著的性能，本文提出的網絡和YOLO v3相比，在連接器孔位(J1、J2、P1和P2)上的檢測性能提升比較明顯，表明孔位檢測網絡中的BiLSTM結構能夠提取這些孔位之間的空間關聯性。此外，本文孔位檢測模型對J2類型孔位的檢測性能提升最為顯著，表明了網絡的損失函數(focal loss)的有效性，因為J2孔位正是孔位圖像數據集中數量較少的樣例且和J1的相似性大，容易混淆。這也表明本文提出的孔位檢測模型在訓練過程中關注到了此類樣本。

為了進一步說明本文提出的孔位檢測模型的有效性，借鑒MS COCO數據集上的評價指標，計算候選框與標簽中的注釋框的交并比在不同閾值下的mAP值，如圖13所示。其中，橫軸AP50～AP80表示交并比閾值由0.5提升到0.8，隨著交并閾值的提高，YOLO v3和本文提出的孔位檢測模型之間的mAP值差距愈加明顯，本文提出的孔位檢測模型對交并比的波動表現出了更強的魯棒性，即使在設置較大的交并比閾值時，依然能夠保持較為理想的精度。

3.2 孔位排序編號結果與檢錯案例

以連接器圖像數據集中的類型3連接器為例，圖14可視化了該連接器孔位編號的流程。使用RetinaNet網絡定位出圖像中的連接器后，孔位檢測器識別該連接器上所有孔位與定位銷，之后示意了該連接器的孔位在孔位扇區劃分、孔位層次聚類和離散點排序編號操作下的效果。

在對連接器的孔位進行扇區劃分時，需要保證每個扇區能夠覆蓋到每層圓環上的離散點，以便后續將每個扇區上的離散點根據距離聚類到不同的圓環上，圖15進一步顯示了孔位扇區劃分操作對于不同類型的連接器孔位的劃分效果。對于幾種圓環層數不同的孔位集合，該方法劃分的每個扇區中都包含了各層圓環上的離散點，并能夠將最后排序的中心離散點分離出來。

即便由于拍攝角度的問題導致連接器圖像存在形變，檢測的孔位并非分布在規整的多層圓環上，該孔位分布排序算法能夠對這些混亂的孔位離散點進行分布排序以獲得其編號，如圖16所示。實驗結果表明，對于相機拍攝角度存在45度傾斜造成的孔位坐標偏差，該算法表現了很強的適應性，能夠準確獲得這些孔位的編號。在使用AR眼鏡手持端拍攝連接器圖像進行線纜連接器裝配狀態檢錯時，一般不會存在大于30度的傾斜拍攝角度，故該算法可有效編號連接器的孔位。

經過孔位編號排序算法后可以得到每個孔位對應的編號，結合其識別孔位的真實裝配狀態，對比存儲在航空線纜裝配語義信息中的理想裝配結果，便可知曉哪些孔位漏裝了導線，哪些孔位錯轉了導線，進而將錯裝或者漏裝導線的孔位展示在型譜圖上。本文使用的AR眼鏡CPU為高通驍龍820，計算機端CPU為i7 9700k，GPU使用一塊RTX 2 080，AR眼鏡和計算機端使用WiFi通信。離線訓練完成連接器及孔位檢測模型后，以連接器圖像數據集中的類型5連接器為樣例，AR眼鏡將手持端拍攝的圖像發送至計算機端，如圖17所示。通過計算機端在線檢測圖像中連接器與孔位，經過孔位排序算法，AR眼鏡拍攝的連接器圖像上的孔位得到其編號與真實裝配狀態，進而對比線纜連接器裝配語義信息中的理想裝配結果，判定了該連接器上4號孔位錯裝了導線，而6號孔位漏裝了導線，最后將判定信息返回至AR眼鏡，高亮該連接器型譜圖上的孔位警示操作人員。在從現場實時采集連接器圖像及判定信息返回至AR眼鏡以可視化結果的總循環過程中，時間消耗包括圖像數據傳輸、檢測模型運算和判定信息返回，其中連接器檢測模型可以在160 ms內快速得到檢測結果，孔位檢測模型可以在400 ms內獲取檢測結果，加上圖像數據傳輸和判定信息返回的時間消耗，AR眼鏡可以在1 s內進行線纜連接器裝配狀態自動化檢錯，完全可以滿足裝配現場作業實時性要求，顯著提高了線纜連接器的工業檢錯效率。

4 結束語

航空產品中線纜連接器的裝配過程依靠手工完成，為保證裝配操作正確性，連接器安裝線纜中的導線后需要手工對其裝配狀態進行檢錯。針對此耗時的裝配狀態人工檢錯任務，面向孔位檢測和分布排序以及可視化孔位匹配環節，本文提出了AR眼鏡輔助的線纜連接器裝配狀態智能檢錯方法，使用AR眼鏡手持端在裝配現場拍攝連接器圖像，進而檢測圖像中的連接器及其孔位，連接器孔位經過排序編號后順序對比理想的裝配結果以判定漏裝或錯裝導線的孔位，最后在AR眼鏡上可視化型譜圖以提示操作人員自動化完成連接器裝配狀態檢錯任務。該方法中，針對連接器孔位的小目標檢測問題，本文提出一種融合FPN網絡結構與BiLSTM網絡單元的孔位檢測模型，一方面可以有效提取不同尺度的孔位特征信息，另一方面可以有力尋找孔位特征之間的空間關聯性。針對無序孔位的分布編號問題，本文提出了孔位的扇區劃分策略與孔位的多層次圓環聚類方法，該算法可以抵抗由于拍攝角度變換引起的連接器圖像形變問題。以連接器圖像數據集中的11類連接器為案例進行了充分實驗驗證，數據表明孔位檢測模型有效解決了孔位小目標的檢測識別問題，孔位分布排序算法能夠正確編號不同類型的連接器孔位，并且能較好地適應AR輔助工人裝配操作時從不同角度拍攝的連接器圖像。本文提出的檢錯方法可有效應用于航空產品的連接器裝配操作中，達到智能化檢測連接器上漏裝導線或者錯裝導線的孔位的目標。

在后續的研究工作中，在智能算法方面，將考慮圖像中連接器及其孔位的同步檢測問題，以進一步簡化裝配狀態檢錯的流程，同時進一步改進孔位分布排序算法，以應對連接器圖像的極端形變情況，保證檢錯的準確性和可靠性；另一方面，雖然該智能化檢錯方法在AR眼鏡上取得了良好的可視化展示效果，但進一步針對連接器的動態和靜態虛實注冊實驗，降低AR應用系統中的虛實注冊誤差，也是我們即將開展的研究工作。