改進的ORB-FLANN 煤矸石圖像高效匹配方法

馬宏偉 ，周文劍 ，王 鵬 ，張 燁 ，趙英杰 ，王賽賽 ，李 烺

（1.西安科技大學 機械工程學院, 陜西 西安 710054；2.陜西省礦山機電裝備智能檢測與控制重點實驗室, 陜西 西安 710054）

0 引 言

近年來，煤矸石分揀機器人的研究主要集中在煤矸識別[1-3]、機器人軌跡規劃[4-6]、多機器人智能協同[7-9]等方面。煤矸識別是實現機器人智能分揀煤矸石的前提，為機器人軌跡規劃和協同控制提供煤矸石位姿信息[10-11]。通常在煤矸石分揀機器人識別區域和分揀區域中間設置緩沖區，為煤矸識別模塊處理數據提供緩沖時間。然而，由于帶式輸送機輸送帶存在打滑、跑偏以及帶速波動等現象，造成目標煤矸石位姿發生改變，現有的方法無法實現煤矸石精確定位，進而導致機器人對目標煤矸石抓取失敗，甚至空抓、漏抓。因此，機器人在分揀區域執行分揀動作前，通過視覺方法對通過煤矸識別得到的識別圖像與分揀時采集獲取的分揀圖像進行匹配，從而實現對目標煤矸石精準定位，提高機器人分揀精度和分揀效率。

隨著煤礦智能化發展，視覺技術憑借著精度高、速度快等優勢被廣泛應用于煤礦智能化場景，如通過人工智能(Artificial Intelligence,AI)識別完成煤礦生產管控[12-13]、通過視頻分析實現礦井生產場景智能監控[14-15]，利用圖像識別完成輸送帶異物檢測分類[16-17]等。由此可見，視覺技術已成為解決煤礦井下復雜問題的關鍵技術。但視覺技術的圖像匹配方法主要應用在監控圖像匹配拼接[18-20]、無人機圖像匹配[21-23]、人臉匹配識別[24-26]等方面。張朝偉等[27]提出基于尺度不變特征(Scale invariant Featu-re Transform,SIFT)匹配的監控圖像自動拼接，提高了圖像匹配的精度，但SIFT 特征維數高，導致匹配時間長。針對SIFT 特征存在的問題，LI 等[28]提出的改 進 加 速 魯 棒 特 征(Speeded Up Robust Fe-atures,SURF)算法無人機圖像匹配方法，提高了無人機圖像匹配速度，但仍不能滿足實時性要求。姜煜杰[29]提出的改進局部二值模式特征(Local Binary Pattern,LBP)算法人臉識別，提高了人臉匹配識別的準確性，但LBP 特征采用固定尺度描述圖像紋理特征，難以滿足不同尺度匹配要求。鐘鵬程等[30]提出的 基 于 改 進 ORB (Oriented FAST and Rotated BRIEF)工件圖像識別方法，提高了工業機器人對工件識別效率和準確性。ZHANG 等[31]提出基于改進ORB 算法圖像特征點匹配，提高了圖像匹配的精度。ORB 特 征[32-33]是 采 用OFAST (Oriented Features from Accelerated Segment Test)算法[34]特征點提取，再 通 過BRIEF(Binary Robust Independent Elementary Features)描述符[35-36]進行描述，最后與快速最近鄰 搜 索 包(Fast Library for Approximate Ne-arest Neighbors,FLANN)特征匹配方法[37-38]相結合進行圖像匹配。由于BRIEF 描述符計算復雜度高、檢測速度慢、重復率低，且FLANN 匹配方法是通過設定特征點歐式距離閾值來篩選匹配特征點，從而導致圖像匹配精確率低。

綜上所述，針對煤矸石圖像匹配的匹配率低、匹配時間長等問題，提出了改進的ORB-FLANN 煤矸石圖像高效匹配方法，實現煤矸石識別圖像與分揀圖像精準高效匹配。

1 煤矸石高效匹配方法

從機器人的煤矸識別模塊得到目標煤矸石識別圖像，目標煤矸石到達分揀區域后，采集獲取煤矸石分揀圖像，煤矸石高效匹配方法原理如圖1 所示，通過ORB 算法提取圖像的特征點，利用更高效的BEBLID (Boosted Efficient Binary Local Im-age Descriptor)描述符[39]對特征點進行描述，融合漸進一 致 采 樣 法 (Progressive Sampling Consensus,PROSAC)[40]的改進FLANN 匹配方法對錯誤匹配點對進行剔除，獲得最佳匹配點對，采用最小矩形框進行框定得到目標煤矸石精確位置。試驗結果表明，文中方法能實現對煤矸石識別圖像與分揀圖像高效匹配。

圖1 煤矸石高效匹配方法原理Fig.1 Principle of efficient matching method for coal gangue

2 改進ORB 特征檢測方法

ORB 方法主要作用是對圖像特征點進行檢測與描述，特征點由OFAST 算法進行選取，煤矸石特征點的選取如圖2 所示。以像素點p為中心的圓周上均勻地取16 個像素點，如果其中連續n個像素點與中心點p的像素值之差都大于設定閾值，則該像素點p為特征點。

圖2 煤矸石特征點選取Fig.2 Coal gangue feature point selection

為提高特征點抗干擾性與區分度，需使用特征描述符對特征點的鄰域信息進行描述。ORB 方法采用BRIEF 描述符進行描述，該描述符采用高斯分布選取并比較特征點對的灰度值差異，具有隨機性、不能保證點對的質量，削弱了描述符的表達能力，導致計算量大，檢測速度和重復率降低。針對上述問題，通過比較特征點領域內一系列像素點對所在方框區域的平均灰度值差異來構建BEBLID 描述符，該描述符不僅只包含特征點的灰度和位置信息，還包含了特征點領域其他像素點的灰度和位置信息，可并行計算每個特征點的描述符，計算復雜度低、效率高且重復率高。

BEBLID 描述符構建原理如圖3 所示，選取N對以特征點為中心，邊長為s的方形區域作為采樣對，初始化每個特征學習器的閾值T，T由訓練集給定，通過特征提取函數f(x)計算出采樣對區域的平均灰度值差。

圖3 煤矸石描述符構建原理Fig.3 Construction principle of descriptor for coal gangue

式中，f(x)為特征提取函數；I(q)為像素點q灰度值；I(r)為像素點r的灰度值；R(p,s)為中心位于像素點p的矩形邊框，邊長為s；圖3 中紅色方框和藍色方框分別為R(p1,s)和R(p2,s)。

使用自適應增強(adaptive boost,AdaBoost)算法[41]不斷迭代p1、p2、s，并訓練特征學習器，訓練損失函數L為

其中，γ為所有特征學習器的統一權重，取0.005 5；li∈{-1.1}；hk(x)為第k個特征學習器，hk(x)可表示為

訓練過程中將損失降到最低，不斷優化式(2),得到損失函數最小的K個特征學習器并組合得到h(x)。將-1 轉化為0，+1 轉化為1，得到向量D(x)即為BEBLID 描述符。其中，依據文獻[33]的試驗測試結果，在構建煤矸石BEBLID 描述符時設定N=1 024和K=512。

在試驗的特征點檢測階段，隨機選取100 張煤矸石識別圖像和100 張煤矸石分揀圖像，利用傳統ORB 方法和改進ORB 特征檢測方法進行特征點檢測試驗，記錄圖像特征點重復率[42]和檢測時間，求取平均值進行對比，驗證改進ORB 特征檢測方法的優劣性。圖4a 和圖4b 分別是傳統ORB 方法與改進ORB 方法檢測煤矸石識別圖像的特征點結果，圖4c 和圖4d 分別是傳統ORB 方法與改進ORB 方法檢測煤矸石分揀圖像的特征點結果。

圖4 煤矸石特征檢測結果Fig.4 Characteristic test results of coal gangue

從圖4 可以看出，改進ORB 方法較傳統ORB方法檢測的特征點數量更多、密度更高，且重復率為82.5%，較傳統ORB 方法重復率提高了16.7%。在檢測時間上，改進ORB 方法平均檢測時間為53 ms，傳統ORB 方法為105 ms。綜合證明，改進ORB 特征檢測方法不僅提高了特征點的重復率，也極大縮短了特征檢測時間。

3 改進FLANN 特征匹配方法

煤矸石識別圖像與分揀圖像特征點檢測完成后，需通過特征匹配方法對2 幅圖像的特征點進行匹配得到目標煤矸石位置。在FLANN 特征匹配方法的基礎上，融合PROSAC 算法改進FLANN 特征匹配方法，進一步剔除錯誤匹配點對，提高復雜工況條件下圖像匹配的匹配精度。

FLANN 特征匹配算法是根據KD-TREE 操作實現[43]，特征點所處的特征空間為n維實數向量空間Rn，通過計算目標煤矸石識別圖像的特征點p和分揀圖像的各個特征點的歐式距離，來尋找特征點p對應的特征點，計算如式(4)所示。

式中，D為兩特征點的歐式距離；(x,y)為特征點的像素坐標；Xi,Yi為在第i空間的像素坐標的值。通過KD-TREE 結構存儲所有的歐式距離D，得到特征點p的匹配點對集，對匹配點對集由上而下遞歸搜索，得到最小D對應的特征點q，得到匹配點對(p,q)，對每個特征點進行如上操作，即可得到煤矸石識別圖像與分揀圖像的匹配點對。

將PROSAC 算法與FLANN 特征匹配方法融合，對匹配點對的相似度進行排序，構建匹配點對相似度模型，取相似度最高的匹配點對作為假設集，進行采樣計算出基礎矩陣，剔除誤差較大的匹配點對，得到最佳模型參數即最佳匹配點對，采用最小矩形框進行框定得到目標煤矸石位置。

在試驗的特征匹配階段，隨機選取100 張煤矸石識別圖像與100 張煤矸石分揀圖像，利用FLANN匹配方法和改進FLANN 匹配方法進行特征匹配試驗，記錄圖像匹配的精確率[44]和匹配時間，求取平均值進行對比，以驗證改進FLANN 匹配方法的優劣性。圖5a 和圖5b 分別是煤矸石識別圖像與分揀圖像，圖5c 和圖5d 分別是FLANN 匹配特征點對結果圖與改進FLANN 匹配特征點對結果圖。圖5e 和圖5f 分別是FLANN 匹配結果圖與改進FLANN 匹配結果。

圖5 煤矸石特征匹配結果Fig.5 Matching results of coal gangue characteristics

由圖5c 和圖5d 可以看出，改進的FLANN 匹配方法剔除了錯誤的匹配點對，由圖5e 和圖5f 可以看出，改進FLANN 匹配方法能更精準地找到目標位置。試驗結果表明，改進FLANN 匹配方法的精確率為90.2%，平均匹配時間為145 ms，FLANN 匹配方法的精確率為79.8%，平均匹配時間為138 ms，改進FLANN 匹配方法能夠提高匹配的準確性并保證匹配速度。

4 試驗結果與分析

4.1 試驗環境

雙機械臂桁架式煤矸石分揀機器人試驗平臺如圖6 所示，按照工作內容，可以將試驗平臺分為煤矸石識別區域和分揀區域，在試驗平臺的煤矸石分揀區域進行試驗。試驗硬件環境為處理器i7-9700K、4G 內存、NVIDIA GeForce RTX 2080 GPU 的PC 機和MV-HS050GC 維氏相機。

4.2 煤矸石識別圖像樣本選取

使用MV-HS050GC 維氏相機采集煤和煤矸石圖片4 500 張(煤和煤矸石各2 250 張)，并截取樣本圖像中最具代表性的區域，并對圖像采用平移、旋轉、縮放等操作進行擴充至45 000 張，將其制成煤矸石識別樣本庫。隨機從煤矸識別系統的煤矸石識別樣本庫中選取500 張煤矸石識別圖像，作為匹配試驗的目標煤矸石識別圖像樣本，部分目標煤矸石識別圖像樣本如圖7 所示。

圖7 部分煤矸石識別圖像Fig.7 Part of coal gangue identification images

4.3 不同方法匹配試驗對比

為驗證提出方法的高效性，匹配結果受到帶式輸送機輸送帶帶速、尺度、旋轉角度等因素綜合影響，在不同帶速、尺度、旋轉角度的匹配試驗條件下進行文中方法與SURF 特征匹配方法[28]、HU 不變矩匹配方法[6]、SIFT 特征匹配方法[27]和ORB 特征匹配方法[31]對煤矸石識別圖像與分揀圖像匹配試驗。試驗以匹配率和匹配時間作為評價指標，其中，匹配率是目標匹配重疊率OP大于給定閾值的圖像數占總圖像數的百分比，目標匹配重疊率OP計算公式如下：

式中，R1為目標匹配成功框；R0為人工標注的目標真實框；area 為區域面積；∩為二者重疊區域；∪為二者覆蓋總區域；文中給定閾值為0.5。

1）試驗1：不同帶速試驗條件下的匹配試驗。在煤矸石分揀機器人分揀區域進行試驗，相機與機械臂采用eye in hand 方式安裝，由于煤矸石圖像獲取的質量會受光照條件的影響，相機視區光照不均勻導致煤矸石圖像特征獲取不全面，文獻[45]和[46]對不均勻光照下的煤矸石高質量圖像的獲取與優化，能進一步提高煤矸石圖像匹配的準確性。為了保證煤矸石圖像特征的全面性，設置光照均勻。在人工揀矸環節中，帶速為0.5～0.8 m/s，現有的煤矸分揀機器人分揀煤矸石的輸送帶帶速大小與機器人的機械臂運動性能參數有關，通過現場試驗，機器人最高分揀帶速為1.1 m/s，設定試驗條件為帶式輸送機輸送帶帶速為0.5 m/s、尺度為0 和旋轉角度為0°。將煤矸石識別圖像樣本1 與其他非樣本的煤矸石混合放置在帶式輸送機上，使用相機采集樣本1 煤矸石分揀圖像。依次對500 張煤矸石識別圖像樣本的分揀圖像進行采集，得到帶速為0.5 m/s 試驗條件下的煤矸石分揀圖像樣本。僅改變帶速，保持其他試驗條件不變，分別在帶速為0.6、0.7、0.8、0.9、1.0 和1.1 m/s 試驗條件下，獲取不同帶速煤矸石分揀圖像樣本。

分別采用文中方法與SURF 特征匹配方法、HU不變矩匹配方法、SIFT 特征匹配方法和ORB 特征匹配方法對煤矸石識別圖像樣本與對應的煤矸石分揀圖像樣本進行匹配，記錄不同方法的匹配率和匹配時間，其中，匹配時間求取平均值作為結果，匹配試驗數據結果見表1。

表1 不同帶速下的匹配試驗數據結果Table 1 Results of matching experimental data at different band speeds

由表1 可知，帶速增大時，5 種方法的匹配率和匹配時間開始下降，除文中方法外，其他4 種方法的匹配率大幅下降，但文中方法的匹配率仍保持在97%以上且匹配時間保持在145 ms 以下，平均匹配率為98.1%，平均匹配時間為124 ms，文中方法的匹配率比其他4 種方法更高，且匹配時間更短。

2）試驗2：不同尺度試驗條件下的匹配試驗。在煤矸石分揀機器人分揀區域進行試驗，相機與機械臂采用eye in hand 方式安裝，設置光照均勻，設定試驗條件為尺度為0、帶式輸送機輸送帶帶速為0.5 m/s 和旋轉角度為0°。將煤矸石識別圖像樣本1與其他非樣本的煤矸石混合放置在帶式輸送機上，使用相機采集樣本1 煤矸石分揀圖像。依次對500張煤矸石識別圖像樣本的分揀圖像進行采集，得到尺度為0 試驗條件下的煤矸石分揀圖像樣本。僅改變尺度，保持其他試驗條件不變，分別在尺度為σ、2σ、3σ和4σ試驗條件下，獲取不同尺度煤矸石分揀圖像樣本。

分別采用文中方法與SURF 特征匹配方法、HU不變矩匹配方法、SIFT 特征匹配方法和ORB 特征匹配方法對煤矸石識別圖像樣本與對應的煤矸石分揀圖像樣本進行匹配，記錄不同方法的匹配率和匹配時間，其中匹配時間求取平均值作為結果，匹配試驗數據結果見表2。

表2 不同尺度下的匹配試驗數據結果Table 2 Results of matching experimental data at different scales

由表2 可知，尺度增大時，5 種方法的匹配率逐漸下降，匹配時間逐漸增加，除文中方法外，其他4種方法的匹配率大幅下降，但文中方法的匹配率仍保持在98%以上且匹配時間保持在173 ms 以下，平均匹配率為98.3%，平均匹配時間為157 ms，文中方法的匹配率比其他4 種方法更高，且匹配時間更短。

3）試驗3：不同旋轉角度試驗條件下的匹配試驗。在煤矸石分揀機器人分揀區域進行試驗，相機與機械臂采用eye in hand 方式安裝，設置光照均勻，設定試驗條件為旋轉角度為0°、尺度為0 和帶式輸送機輸送帶帶速為0.5 m/s。將煤矸石識別圖像樣本1 與其他非樣本的煤矸石混合放置在帶式輸送機上，使用相機采集樣本1 煤矸石分揀圖像。依次對500 張煤矸石識別圖像樣本的分揀圖像進行采集，得到旋轉角度為0°試驗條件下的煤矸石分揀圖像樣本。僅改變旋轉角度，保持其他試驗條件不變，分別在旋轉角度為-90°、-45°、45°和90°試驗條件下，獲取不同旋轉角度煤矸石分揀圖像樣本，其中旋轉角度以順時針旋轉方向為正。

分別采用文中方法與SURF 特征匹配方法、HU不變矩匹配方法、SIFT 特征匹配方法和ORB 特征匹配方法對煤矸石識別圖像樣本與對應的煤矸石分揀圖像樣本進行匹配，記錄不同方法的匹配率和匹配時間，其中匹配時間求取平均值作為結果，匹配試驗數據結果見表3。

表3 不同旋轉角度下的匹配試驗數據結果Table 3 Results of matching experimental data at different rotation angles

由表3 可知，旋轉角度在-90°～90°，5 種方法的匹配率先升高后降低，其中在旋轉角度為0°時匹配率最高；5 種方法的匹配時間先降低后升高，其中在旋轉角度為0°時匹配時間最短。文中方法的匹配率仍保持在98.3%以上且匹配時間保持在158 ms以下，平均匹配率為98.4%，平均匹配時間為149 ms，文中方法的匹配率比其他4 種方法更高，且匹配時間更短。

綜上所述，文中方法在帶速0.5～0.9 m/s 可保證98%以上的匹配率，在帶速1～1.1 m/s 時匹配率下降，對分揀率有一定影響。在不同條件下，文中方法對煤矸石識別圖像和分揀圖像匹配的平均匹配率為98.2%，平均匹配時間為141 ms，具有較高的匹配率和實時性。

5 結 論

1)針對傳統ORB 特征檢測方法中的BRIEF 描述符檢測速度慢、重復率低問題，采用BEBLID 描述符對ORB 特征檢測方法進行改進，較傳統ORB 方法重復率提高了16.7%，實現了對煤矸石圖像特征點快速檢測，提高了圖像特征檢測的重復率。

2)融合PROSAC 算法改進了FLANN 匹配方法，解決了傳統FLANN 匹配方法精確率低問題，較傳統FLANN 方法精確率提高了10.4%，實現了對煤矸石的識別圖像與分揀圖像高效匹配，提高了圖像匹配的精確率。

3)在不同帶速、尺度、旋轉角度條件下，五種匹配方法進行匹配試驗對比，結果表明：在不同條件下，文中方法的匹配率為98.2%，匹配時間為141 ms，實現了煤矸石識別圖像與分揀圖像的高效匹配。