基于自適應子模式流形學習的三維工件位姿估計方法

李 林，魏新華，沈寶國，2

（1.江蘇大學農業裝備工程學院，江蘇鎮江212013；2.江蘇航空職業技術學院航空工程學院，江蘇鎮江212134）

基于自適應子模式流形學習的三維工件位姿估計方法

李 林1，魏新華1，沈寶國1，2

（1.江蘇大學農業裝備工程學院，江蘇鎮江212013；2.江蘇航空職業技術學院航空工程學院，江蘇鎮江212134）

為了實現復雜工業環境中單目視覺三維工件的實時精確定位，提出了一種基于自適應子模式流形學習（SP-IVP）的三維工件位姿估計方法.給出了通過非線性降維框架和重構高維空間的流形構建方法，獲得最優保持本質變量連續性的低維特征子空間；實現了基于該流形構建方法的工件位姿估計；進而給出了自適應子模式的分割規則，并提出了遮擋情況下基于SP-IVP的工件位姿估計方法.以3種常見工件為試驗對象，水平旋轉和垂直旋轉為零件的本質變量，完成了遮擋以及無遮擋情況下的工件位姿估計.結果表明：所提出方法的平均位姿估計時間為73.6 ms，可滿足實時處理的需求；螺絲鉗、曲柄軸和圓柱體定位準確率為95.4%，96.1%，98.4%；在不同遮擋情況下，新方法的識別率高于其他方法，并且進行子模式分割的識別率高于不進行子模式分割的方法.

流形學習；子模式；工件定位；本質變量；位姿；鄰域

目標位置和姿態信息的檢測是工業生產中的核心技術之一.隨著工業生產水平的不斷提高，對系統的智能化、實用性要求越來越高，目標物體位姿的微小偏差都會影響智能系統工作的成敗.目標的識別與定位技術［1－2］水平限制了機器人在工業上的使用范圍.為適應現代化生產線的需要，如何提高系統定位實用性和準確程度，成為系統設計和研究的主要任務.

流形學習作為一種能恢復數據內在非線性幾何結構的非線性降維技術，自2000年提出后就受到越來越多的機器學習和數據挖掘領域研究人員的關注.H.S.SEUNG等［3］認為人的視覺感知可能以流形方式存在.任何一幅圖像可以看成是高維圖像空間中的點，圖像空間的維數為圖像像素的個數，每一維描述了圖像在對應像素位置上的光的強度.筆者認為人對同一對象的視覺感知圖像集在高維圖像空間中會形成低維流形，且僅由少數幾個變量控制，如光照強度、光照方向、視覺方向等.圖1給出了人類視覺感知示意圖，其中視覺看到的目標是具有3個維度信息的，6個工件的三維圖在低維流形中對應著某個點.

圖1 視覺感知中的流形

同一期的《Science》分別從算法層面上給出了參數少、運算快、易求全局最優解的經典算法等距映射（isometric map，ISOMAP）和局部線性嵌入（local ly linear embedding，LLE）.此后，流形學習吸引了相關領域研究人員的注意，迅速成為當前機器學習、數據挖掘、統計數據分析、模式識別及計算機視覺等方向的研究熱點［4－5］.

雖然流形學習已經應用到很多實際問題中，但是低維流形空間并未直接應用于三維目標定位問題中.文中通過分析流形結構，在工件的位姿估計中直接引入流形學習框架，這對流形學習的應用是一個非常重要的擴展.

文中給出流形的構建過程，并提出基于流形學習的工件位姿估計方法，闡述了自適應子模塊的形成過程，并進行試驗分析以驗證算法的有效性.

1 流形構建

1.1 流形學習過程

不同流形學習算法的區別在于所嘗試保持流形的局部鄰域結構信息以及利用這些信息構造全局嵌入的方法不同［6］.流形學習的目的在于挖掘非線性數據隱含的本質變量，其本質變量提取的基本步驟如下：①根據輸入高維數據的歐氏距離構建流形結構；②針對不同算法需要保持的局部或者全局特征構造優化問題；③對優化問題求解，得到數據的低維表示.

文中流形學習的目的是找到一個能夠保持目標本質變量連續性的低維空間及相應的高低維間的映射關系，并將該映射關系用于目標定位中.該流形的學習過程如下：①在訓練階段，根據高維樣本對應的本質變量間距離來構造流形結構圖，其中本質變量在訓練階段已知；②通過非線性降維技術，得到高維數據空間與低維表示空間之間的顯性映射關系；③得到低維空間對應的表示：有相近本質變量的輸入樣本在低維空間的坐標也會相近；④ 在實際的定位過程中，通過顯性的映射關系將候選圖像投影到低維空間，找到低維空間中距離候選圖像最近的映射點，從而得到目標的位姿信息.

1.2 基于保持本質變量的流形構建

為了進行高維輸入的低維表示，采用文獻［7］中的LPP算法來實現，并獲得高維輸入和低維表示之間顯性的映射關系.另外一類實現該目的的方法稱為基于核的方法［8］，由于核函數的計算量非常大，限制了該類方法的應用.另外，基于核的方法僅在高維空間和低維空間的映射關系匹配一個核函數的時候是有效的，且輸入數據必須在流形結構中，而不是接近或偏離這個流形.

對給定的高維數據集X，假設其位于某未知流形M上，并進一步假設M能夠被參數化表示為式中：f是一個未知的連續可微函數，且對于x∈X，存在u∈U使得x＝f（u）；U是能夠生成X的本征自由維度的集合，且U的幾何結構是唯一的.流形學習方法的目標是計算與U有相似的幾何結構的低維表示集合y.

假設xi，yi都是輸入樣本，對應的本質變量分別是ui和uj，其中ui＝（ui1，ui2，…，uid），uj＝（uj1，uj2，…，ujd）.為了保持本質變量之間的相鄰關系，文中構建了一個基于輸入樣本本質變量關系的新流形.

嚴格意義上講，文中構建流形目的是要尋找低維表示集Y使其能夠滿足以下優化問題：

式中Sij為變量之間距離dij的懲罰因子.

對于2個本質變量相近的樣本xi，xj，若它們之間有很小的本質變量距離dij，則它們具有較大的相似度Sij.為了使式（2）目標函數最小化，如果‖yiyj‖L2對應的權值Sij較大，‖yi－yj‖L2將會很小.因此，yi和yj在低維空間中是相近的.式（2）中列出的約束條件是為了去除低維空間中的尺度因子.

通過直接的代數計算，可得到：

在LPP中，一般假設在X和Y間存在一個線性映射，也就是存在一個n×m投影矩陣U，使得對于任意xi，i＝1，2，…，N，它的低維表示yi滿足下式：

將式（5）帶入式（4）得到：

式（6）是要找到一個被m個方向擴張的子空間，使得輸入樣本之間的相似度能夠在線性投影假設的情況下最好地得以保持.

從式（5）可見，這m個方向正好是U的列向量.令P＝XLXT和Q＝XDXT，則式（6）變為

U的m個列向量是下述廣義特征值問題前m個最小特征值所對應的特征向量：

為了避免平移干擾，假定X以原點為中心，U列向量為式（8）中前m個最小特征值對應的特征向量.通過計算得到投影矩陣U后，樣本xnew的低維表示ynew可以由下式獲得：

通過融合新的流形結構和基于LPP的流形學習方法，得到保持本質變量連續性的流形學習方法，其算法輸入為訓練數據集X，輸出為X的低維表示Y，詳細步驟如下：① 在輸入數據間構建鄰接關系圖；② 計算高維數據對之間的本質變量距離；③計算數據對之間的相似度，并形成相似度矩陣S；④計算矩陣P和Q；⑤解決一般化的廣義特征值問題（8），并得到投影矩陣U；⑥通過Y＝UTX獲得任意輸入樣本X的低維表示Y.

圖2給出了對曲柄軸的投影圖像使用基于保持本質變量連續性的流形學習方法得到的流形結構圖.

圖2 基于本質變量連續性的流形構建

2 基于SP-IVP的工件位姿估計

2.1 基于流形學習的工件位姿估計

工件定位分為離線學習階段和在線檢測階段.離線學習階段針對采集的樣本構建基于本質變量的流形，得到高維空間到低維空間的顯性映射以及高維空間的低維表示.在線檢測階段即對待估計圖像進行位姿估計.

基于保持本質變量連續性的零件定位算法，其思想是將高維待檢測定位的圖像降到低維度進行比較測量.選擇最近似的位姿，進而通過位姿優化獲得零件的精確位姿.可分為以下2步：

1）在待檢測定位的圖像中，構建滑動窗口，該窗口與訓練時所獲得的圖像像素一致.令滑動窗口圖像為It，則降維度后所獲得的低維表示為

計算所有的yt與所構建流形最小歐氏距離dmin.當dmin小于某一數值時，所對應的高維窗口圖像中包含目標零件.此時，令在低維中與yt距離最近的流形中的點所表示的零件位姿，為此時滑動窗口中零件的初步位姿pinit.

2）由于1）步中所獲得為初步位姿，為獲得精確位姿，需以該位姿為初始參數，進行位姿優化.文中采用最小二乘法進行調整，通過使用Levenberg Marquard［9］算法進行魯棒的非線性優化迭代來得到優化的位姿.在優化過程中，通過使圖像邊緣點與對應CAD模型投影邊緣點之間的距離平方最小化來實現參數的優化.最小化之后，就可以得到精確的位姿參數.

2.2 自適應子模式的選擇

在實際的工件位姿定位過程中，由于受到環境（噪聲、遮擋等）以及工件本身（不同位姿的投影圖像相似）的影響，僅使用單幅圖像進行工件的位姿估計得到的準確度較低.為了解決該問題，可在進行位姿估計前首先對目標圖像進行子模式分割，然后分別對各子模式進行位姿估計，最后融合各子模式的位姿估計結果得到最終精確的位姿信息.

子模式的分割數量在很大程度上決定了最終位姿估計的準確度和速度，為了有效進行子模式的分割，提出了子模式的自適應分割方法.其詳細的分割過程如下：

1）默認最少的分割數量為N1×N1，N1為正整數（一般設置為2），當前的分割數為N＝N1.

根據經驗可知：當工件紋理信息豐富時，子模式的數量會較多；當工件屬于弱紋理信息時，子模式的數量較少.圖3給出了圓柱體的子模式分割結果.

圖3 自適應子模式集

2.3 基于SP-IVP的工件位姿估計

結合2.2給出的自適應子模式的選擇，提出基于子模式（sub-pattern）-保持本質變量連續性（intrinsic variable preserving）的工件位姿估計方法，圖4給出了該方法的流程圖.

圖4 基于SP-IVP的工件位姿估計流程圖

基于SP-IVP的工件位姿估計主要分為3個階段：離線處理階段、預處理階段和在線估計階段.

1）離線處理階段.

離線處理階段在進行位姿估計之前就可以進行，其作用主要是建立已知模型的流形學習方法.該階段首先使用CAD軟件對已知的工件建立三維模型，然后采集工件由3D 2D投影的圖像并保存其相應的位姿信息；然后對二維圖像集進行子模式分割，得到各個子模式的集合，最后對子模式集合建立基于保持本質變量連續性的流形結構用于后期的位姿估計.

2）預處理階段.

預處理階段的作用是提取工件的位置信息.在實際應用中，位置估計的背景非常復雜，如何有效提取目標信息進行后期的處理是非常關鍵的步驟.

預處理階段中，選用H通道的彩色直方圖進行目標和背景的分離.目標和背景的H通道彩色直方圖可分別表示為

背景和目標的分離閾值D［h］可以通過下式計算得到：

式中δ大于0，可用來去除Bn［h］和fn［h］小的值，避免分割點為0.

通過H通道彩色直方圖可以建立原始圖像Itest的映射圖.假設｛Xi｝i＝1，2，…，N表示Itest的像素點，映射圖的計算式為

式中：S（Xi）為像素點Xi屬于目標的概率；b（Xi）為像素點Xi的均一化值；ε1和ε2為2個閾值，ε1＞ε2.

3）在線估計階段.

在線估計階段即實時對目標進行精確的位姿估計，子模式位姿初估計是基于保持本質變量連續性的流形學習方法對子模式進行位姿的初步估計.估計過程中并不是所有的子模式都進行位姿估計，根據2.2中選用的相似性檢測方法，僅對不存在相似度高的塊的子模式塊進行位姿估計.

對子模塊進行位姿估計后，需要剔除偏差較大的子模式塊檢測結果.剔除原則采用反檢原則，即對該子模塊估計的位姿進行全部還原，提取CAD模型中該位姿對應的投影圖像，將該圖像與測試圖像進行相似性測量，若相似度高，認為該子模塊為有效塊，并保存相似度信息，否則認為該子模塊的位姿估計結果不準確，將其剔除.對每個子模塊的位姿估計結果進行檢測，得到有效的位姿估計集.

對位姿估計集進行信息融合，得到目標的初步估計結果，信息融合方法采用最大投票準則，即選取與測試圖像距離最近的位姿估計結果.

選用上述方法對位姿估計的精確度只能達到圖像采集的間隔大小，為了能進一步得到更精確的目標位姿信息，采用迭代最近點和高斯-牛頓組合的方法對粗估計的位姿信息進行更精確的估計.

3 試 驗

3.1 參數設置

在工業零件定位的過程中，零件的位姿包括空間中的位置和姿態共6個參數信息.試驗的目的在于提出并驗證基于保持本質變量連續性的零件定位算法的可行性，并以可視化的形式，來直觀展現流形的建立.因此，在接下來的描述和試驗中，均以2個姿態為變量.

視覺系統主要由相機和計算機組成，相機通過千兆以太網口與計算機相連，相機為AVT公司的Manta201c，其分辨率為1 624×1 234，配置computar的鏡頭，根據實際情況選擇的焦距為5 mm.相機安裝在工業機器人FANUC 6 DOF（DOF：degree of free dom）上.

3.2 無遮擋情況下的工件位姿估計

在試驗中，零件定位過程中的本質變量被簡化為水平旋轉rh和垂直旋轉rv，且rh∈［0，2π］，rv∈［0，2π］.因此，零件定位過程中的本質變量為μ＝（rh，rv）.3種工件各自的rh和rv方向定義如圖5所示.

圖5 工件的位姿方向定義

在訓練過程中，連續改變本質變量μ中的rh和rv，采集零件的視圖數據，且要求零件視圖沿著水平旋轉rh和垂直旋轉rv軸均勻地分布.最終，文中獲得了包含工業零件2個自由度0至360°的訓練數據庫.

分別采集16個不同的位姿空間，采集間隔為0.1°，表1給出了16個位姿空間的信息.每個位姿空間包含400張不同位姿的二維圖像以及相應的位姿信息.

表1 16個位姿空間的位姿范圍

對每個位姿空間，隨機采集處于該位姿空間的20個位姿對應的投影圖像作為測試集，螺絲鉗、曲柄軸和圓柱體正確識別率分別為95.4%，96.1%，98.4%.可以看出，文中提出的基于保持本質變量連續性的方法可有效地對零件目標的位姿信息進行估計.圖像位姿的平均估計時間為73.6 ms，滿足實際應用中實時估計的要求.

3.3 遮擋情況下的工件位姿估計

制造業的生產環境復雜，尤其在工業機器人進行工件抓取時，工件之間的遮擋經常影響對工件的位姿信息的估計，導致機器人末端執行錯誤的指令.為了驗證提出的基于子模式的工件位姿估計方法可以解決工件之間的遮擋問題，進行以下試驗.

1）有遮擋情況下文中算法與其他算法的比較.

以曲柄軸為試驗對象，隨機選取16個位姿空間中存在遮擋的曲柄軸位姿進行位姿估計，其中每個位姿空間選取20幅圖像，并將文中算法與Shin′s［10］的方法進行對比.圖6給出了在遮擋率分別為10%，20%，30%，40%，50%這5種情況下2種算法的準確率.

圖6 遮擋情況下文中算法與Shin′s的比較

由圖6可見，當存在遮擋時，Shin′s的準確性下降非?？?，說明該算法對遮擋情況不具有魯棒性.而文中算法在遮擋率為20%～30%時仍保持較高的位姿估計準確率.

2）不同遮擋情況下非SP與SP的比較.

為了驗證文中算法的有效性，分別進行2組試驗，一組是只進行整個圖像的位姿估計（非SP），另外一組進行自適應子模式選擇的位姿估計（SP）.測試樣本集為16個位姿空間里每個位姿空間隨機選取的20幅圖像.表2給出了非SP與SP在不同的遮擋情況下的姿態估計結果.

表2 非SP與SP在不同的遮擋情況下姿態估計結果

由表2可見，當存在遮擋情況時使用子模式具有更好的識別效果.

4 結 論

1）基于流形學習的方法通過獲得最優保持本質變量連續性的低維特征子空間，算法復雜度降低，可滿足工業中實時性的要求.

2）試驗結果表明：所提出方法的平均位姿估計時間為73.6 ms；螺絲鉗、曲柄軸和圓柱體3種工件的定位準確率為95.4%，96.1%，98.4%；在不同遮擋情況下，文中提出方法的識別率高于其他方法，并且進行子模式分割的識別率高于不進行子模式分割的方法.

（References）

［1］ RUSSAKOVSKY O，DENG J，SU H，et al.ImageNet large scale visual recognition challenge［J］.Internatio nal Journal of Computer Vision，2015，115（3）：211－252.

［2］ 丁雅斌，梅江平，張文昌，等.基于單目視覺的并聯機器人末端位姿檢測［J］.機械工程學報，2014，50（21）：174－179.DING Y B，MEIJP，ZHANGW C，et al.Position and orientationmeasurement of parallel robot based on mono cular vision［J］.Journal of Mechanical Engineering，2014，50（21）：174－179.（in Chinese）

［3］ SEUNG H S，LEE D D.Themanifold ways of perception［J］.Science，2001，290：2268－2269.

［4］ 岳學軍，全東平，洪添勝，等.基于流形學習算法的柑橘葉片氮含量光譜估測模型［J］.農業機械學報，2015，46（6）：244－250.YUE X J，QUAN D P，HONG T S，et al.Estimation model of nitrogen content for citrus leaves by spectral technology based on manifold learning algorithm［J］.Transactions of the Chinese Society for Agricultural Ma chinery，2015，46（6）：244－250.（in Chinese）

［5］ KUMAR S，SAVAKISA.Learning a perceptualmanifold for image set classification［C］∥Proceedings of the 23rd IEEE International Conference on Image Processing.Pis cataway：IEEE Computer Society，2016：4433－4437.

［6］ 茍建平，詹永照，張建明，等.一種可鑒別的稀疏保局投影算［J］.江蘇大學學報（自然科學版），2015，36（6）：691－696.GOU JP，ZHAN Y Z，ZHANG JM，et al.A discrimina tive sparsity locality preserving projections method［J］.Journal of Jiangsu University（Natural Science Edition），2015，36（6）：691－696.（in Chinese）

［7］ CRIMINISIA，SHOTTON J，KONUKOGLU E.Decision forests：a unified framework for classification，regression，density estimation，manifold learning and semi supervised learning［J］.Foundations and Trends in Computer Gra phics and Vision，2011，7（2／3）：81－227.

［8］ 胡春華，李萍萍.基于各向異性核擴散法的楊樹葉特征降維［J］.農業機械學報，2013，44（11）：281－286.HU C H，LI P P.Dimensionality reduction for poplar leaves features based on anisotropic kernel diffusion map［J］.Transactions of the Chinese Society for Agricultural Machinery，2013，44（11）：281－286.（in Chinese）

［9］ MISHRA S，PRUSTY R，HOTA P K.Analysis of leven berg marquardt and scaled conjugate gradient training al gorithms for artificial neural network based LSand MMSE estimated channel equalizers［C］∥Proceedings of the 2015 International Conference on Man and Machine Inter facing.Piscataway：IEEE，2015，doi：10.1109／MAMI.2015.7456617.

［10］ SHIN D，LEE H，KIM D.Illumination robust face re cognition using ridge regressive bilinearmodels［J］.Pat tern Recognition Letters，2008，29（1）：49－58.

3D workpiece pose estimation based on adaptive sub pattern manifold learning

LILin1，WEIXinhua1，SHEN Baoguo1，2
（1.School of Agricultural Equipment Engineering，Jiangsu University，Zhenjiang，Jiangsu 212013，China；2.School of Aviation Engi neering，Jiangsu Aviation Technical College，Zhenjiang，Jiangsu 212134，China）

To locate three dimensional workpiece ofmonocular vision timely and accurately in complex industrial environment，a pose estimation method of three dimensional workpiece was proposed based on adaptive sub pattern manifold learning（SP-IVP）.The constructing manifold method was given by nonlinear reduction of dimension framework and reconstruction of high dimension space，and the low dimensional feature sub space was obtained to maintain the optimal continuity of nature variable.The pose estimation ofworkpiecewas realized based on themanifold constructionmethod.The pose estimation method of workpiece with occlusion was proposed based on SP-IVP after the segmentation rules of adaptive sub pattern was given.Three kinds of common workpieces were tested，and the horizontal rotation and the vertical rotation were chosen as natural variables to conduct pose estimation ofworkpieces with or without occlusion.The results show that the average pose estimation time of the proposed method is 73.6 ms，which can meet the requirement of real time processing.The positioning accuracy rates of screwdriver，crankshaft and cylinder are 95.4%，96.1%and 98.4%，respectively.The recognition accuracy of the proposed method is higher than those of othermethods in different occlusion cases.The ____sub pattern segmentation method is performed with higher recognition rate than the method without sub pattern segmentation.

manifold learning；sub pattern；workpiece localization；natural variable；pose；neighbourhood

10.3969／j.issn.1671－7775.2018.01.014

TP391.4

A

1671－7775（2018）01－0086－06

李 林，魏新華，沈寶國.基于自適應子模式流形學習的三維工件位姿估計方法［J］.江蘇大學學報（自然科學版），2018，39（1）：86－91，114.

2016－08－30

國家自然科學基金資助項目（51575244）；農業部公益性行業專項項目（201503130）；江蘇大學高級人才基金資助項目（14JDG149）

李 林（1986—），女，山東聊城人，助理研究員（lilin＠ujs.edu.cn），主要從事計算機視覺應用技術研究.

魏新華（1972—），男，山東濱州人，研究員，博士生導師（wxh＠ujs.edu.cn），主要從事先進傳感器的開發、智能化農業裝備等研究.

（責任編輯 梁家峰）