基于區域特征的缺陷扣件視覺檢測

范 宏，侯 云，李柏林，熊 鷹

(西南交通大學 機械工程學院，四川 成都 610031)

鐵路作為交通運輸的主要方式，在國民經濟發展和國防建設中扮演著舉足輕重的角色。高速鐵路以其快捷、舒適的優點，正逐漸受到世界各國的高度重視。近年來，中國高速鐵路發展突飛猛進，逐漸成為世界高速鐵路的領跑者。

同時，我國高速鐵路已經由大規?！霸O計建造”階段轉入長期“運營維護”階段，再加之我國高速鐵路具有線路建設周期短、開通運營時間短等特點，運營線上基礎結構的劣化已進入顯現期，部分路段結構局部傷損嚴重[1]。調查表明，無砟軌道已出現諸多結構性傷損與部件損傷，例如部件(軌道板、底座、支承層)裂紋、部件之間黏結失效破壞、扣件彈條斷裂等，這些都會對軌道結構服役性能和行車安全產生不可忽視的影響[2]。

高安全性和高可靠性是軌道交通永恒的話題，然而傳統耗時、費力的人工巡檢模式已經不能滿足現階段高速鐵路系統的養護需求，急需開發針對高速鐵路系統的自動高效的巡檢設備。鐵路巡檢系統就是高速鐵路系統的關鍵項目之一。鐵路巡檢系統由一系列功能模塊組成，包括軌距測量[3]，鋼軌輪廓測量[4]，鋼軌表面缺陷檢測[5]和扣件缺陷檢測[6]等。本文主要研究基于機器視覺的扣件缺陷自動檢測技術，重點是扣件檢測的圖像處理算法，圖像采集系統不做具體闡述。

1 相關工作與系統架構

1.1 研究現狀

近年來國內外研究者針對鐵路巡檢系統展開積極探索，并取得了一定成果，如中國的軌道巡檢系統[7]，以及國外的Tvis系統[8]，Lcms系統[9]等?？奂詣訖z測作為鐵路巡檢系統的一個重要功能模塊，同樣受到國內外學者的高度重視并涌現出了多種檢測算法。

在國外，文獻[10-13]利用小波變換或主成分分析方法進行特征描述，利用感知神經網絡進行扣件分類識別。文獻[14]運用頻譜估計和信號處理方法尋找扣件頻譜特征完成扣件的定位及檢測。文獻[15]在Harris角點檢測的基礎上用模板匹配的方法來識別彈條扣件的狀態。文獻[16]使用梯度直方圖描述扣件特征，然后使用支持向量機對扣件狀態進行識別。文獻[17]引入深度學習框架，構建多個訓練集，以由粗到精的模式利用卷積神經網絡提取扣件特征，最后將學習到的扣件特征送入多個一對一支持向量機中，實現多種類型彈條扣件的檢測。文獻[18]首先使用霍夫變換確定扣件區域，然后基于感興趣區域的邊緣特征以檢測扣件是否丟失。

在國內，文獻[19]采用基于像素值的小波變換定位扣件區域，然后使用形態學方法獲得扣件輪廓并實施扣件檢測。文獻[20]采用方向場描述扣件特征，并在此基礎上進行加權模板匹配，最后以模板匹配系數作為扣件識別依據，從而實現扣件狀態的檢測。文獻[21]根據軌枕和鋼軌的交叉位置定位扣件區域，然后用Haar矩形特征描述扣件的四個關鍵部分，最后用AdaBoost分類方法識別扣件狀態。文獻[22]融合扣件宏觀Lbp紋理特征與金字塔梯度特征，采用支持向量機進行分類。文獻[23]融合改進的邊緣梯度特征和扣件端部的宏觀紋理特征，并采用貝葉斯壓縮感知模型判斷扣件狀態。文獻[24]根據幾何先驗信息定位扣件區域，然后沿圖像對稱軸鏡像半幅扣件圖像生成虛擬樣本，最后以Phog特征描述扣件并用改進的稀疏表示算法實現扣件的識別。文獻[25]首先檢測軌枕與鋼軌的直線特征并以此定位出扣件區域，然后提取Haar-like特征，最后利用概率主題模型檢測斷裂與丟失扣件。文獻[26]利用直射式激光三角測量法原理研發扣件檢測系統，首先根據扣件的深度信息定位扣件并利用扣件間距進行驗證，然后提取彈條的Hgoh特征，最后根據特征向量的模識別缺失扣件，采用SVM分類器識別斷裂扣件。

然而，現有算法普遍存在特征區分性弱的問題，從而導致整個扣件檢測算法對外界環境適應性差。大部分算法都是針對普速有砟軌道的，雖然文獻[20]是針對高速無砟軌道的，但它所用圖像采集自實驗室環境下并且只能檢測出扣件丟失，不能檢測出扣件斷裂。因此，本文提出一種針對高速無砟軌道缺陷扣件的檢測算法，該算法在提取局部極小值區域的基礎上，采用模板匹配精確定位扣件位置，結合扣件的結構信息提取扣件彈條的區域特征并輸入決策樹，實現扣件丟失和扣件斷裂的檢測。

1.2 系統框架

鐵路巡檢系統架構見圖1。兩臺線陣CCD相機與光源被安裝在車底，分別負責一側軌道的圖像采集。為了獲得高質量的圖像，相機被安裝在鋼軌正上方并與列車走行方向成一定的夾角，光源垂直于鋼軌頂面安裝。采集到的圖像內容通常包括鋼軌、扣件、軌枕、軌道板等。車載工控機將相機傳輸來的圖像信息與當前線路里程等信息合并，形成最終采集數據并存儲于便攜式硬盤中。便攜式硬盤可以連接到離線計算機以進行數據分析和處理，包括缺陷扣件的自動檢測。

圖1 鐵路巡檢系統架構

2 扣件檢測算法

待檢測的圖像由線陣相機采集得到，這不僅避免了面陣相機采集圖像的重疊和數據冗余，還保持了目標(扣件)的視角和尺度不變。光照和噪聲的影響是設計檢測算法的最大挑戰。為了提高檢測算法的魯棒性，采用均值濾波來抑制噪聲，用扣件的局部極小值區域代替原始扣件區域以克服光照變化的影響，最后提取扣件局部區域特征，實現扣件的缺陷檢測和位置標記。

缺陷扣件檢測算法流程見圖2。由于扣件區域只占原始圖中很小一部分，為了減少計算量并過濾掉其他背景，首先截取原始圖像中的感興趣區域(ROI)，并對之進行均值濾波處理。接著，為了克服扣件外觀變化帶來的影響，提取感興趣區域的極小值區域，將灰度圖像轉變成二值圖像。然后，采用模板匹配算法實現扣件的精確定位并得到扣件子圖。之后，基于扣件子圖提取扣件的區域特征。最后，根據扣件的區域特征設計決策樹，實現扣件缺陷識別。

2.1 ROI提取與圖像預處理

因為采集相機相對于列車是固定的，高速鐵路線路的曲線半徑又很大，所以相機相對于鐵軌在橫向的位移變化很小，限定在一個很小的范圍。因此，為了減少計算量并濾除非扣件部分的干擾，可以截取原始圖像中的一個固定區域作為研究的感興趣區域。由于相機鏡頭暴露在車底，極易受到灰塵與水汽的污染，此外，軌道板老化、油斑污染等都會引入諸多噪聲到原始圖像中。為了去除噪聲并使圖像極小值區域最大程度的連通，本文采用均值濾波進行圖像預處理。定義矩形濾波器窗口大小為w×h，均值濾波后的圖像M(x,y)為

(1)

式中：Sx,y為均值濾波器窗口的中心點與原始圖像G(s,t)重合時，窗口內所有像素點的坐標集合。

2.2 圖像極小值區域提取

圖像二值化是扣件精確定位和識別的基礎，是扣件自動檢測的關鍵步驟，其目的是突出扣件關鍵區域，同時消除復雜背景以及光照變化給扣件識別帶來的影響。由于扣件圖像的背景極其復雜，包括雨水、油污、老化線路、扣件顏色及型號多樣等情況，因此需要一種適用于多種背景的魯棒二值化算法?；诠庠窗惭b角度和圖像特點，本文提出一種提取扣件局部極小值區域的算法以實現對扣件圖像的二值化。該算法充分考慮到圖像的光照特性，通過比較中心像素點與其上下局部鄰域點的大小來確定中心像素點的值(0或1)，然后逐點計算，最終實現整幅圖像的二值化。極小值區域為

MRn=s(gc-n-gc)×s(gc+n-gc)

(2)

(3)

式中：gc為中心像素點Pc的灰度值；gc-n為Pc的上鄰域點Pc-n的灰度值；gc+n為Pc的下鄰域點Pc+n的灰度值；n為鄰域半徑。Pc的鄰域結構見圖3。

圖3 中心像素點的鄰域結構

局部極小值圖的效果見圖4。在該步驟之后，每個圖像從灰度圖轉換為具有低噪聲和銳化對象的二值圖像。

圖4 局部極小值效果圖

2.3 扣件精確定位

為了進一步濾除扣件以外的無關圖像區域，需進行扣件定位?？奂木_定位可以簡化后續的扣件識別難度，基于扣件的二值圖像，采用模板匹配方法實現扣件的精確定位。為了提高丟失扣件的定位準確率，把同一個軌枕上相對的兩個扣件整體作為模板，扣件模板見圖5。這樣，當有一側扣件丟失時，由于對側的扣件會起到牽制作用，模板匹配算法仍然可以完成對丟失扣件的精確定位，避免了以單個扣件為模板導致的對丟失扣件的錯誤定位，進而導致后續的扣件識別錯誤。

由于模板與匹配圖像均是二值圖像，為了降低噪聲對匹配結果的影響，算法在計算相似性時，可以將模板作為掩膜，只計算掩膜下的相似性。為了減少計算量，采用計算復雜度低的絕對差作為模板匹配算法的相似性測度

T(s,t)]∧T(s,t)|

1≤i≤l-L+1 1≤j≤m-M+1

(4)

式中：S(x,y)為大小l×m的搜索圖像；T(x,y)為大小L×M的模板圖像；∧為邏輯與運算符。

在實現扣件定位時，設S(x,y)為扣件局部極小值圖(圖4)，設T為扣件模板圖(圖5)。首先取模板大小的滑動窗口遍歷整個搜索圖，并根據式(4)計算窗口下子圖與模板的相似度，得到相似性矩陣D；然后在所有取到的子圖中，找到與模板圖相似度最高的子圖作為最終匹配結果。如果D(i，j)是相似性矩陣D中的最小元素，那么匹配得到的子圖位置就是(i，j)，即扣件在搜索圖中的位置，扣件定位的示例見圖6。

圖5 本文算法使用的模板

圖6 扣件定位的示例圖像

2.4 扣件區域特征提取

目標圖像經過上述處理后，按照扣件區域的二值圖像進行扣件特征提取?？奂棗l是扣件受力的關鍵部分，彈條斷裂是扣件常見的故障形式，扣件丟失也可看作是上下彈條同時斷裂，因此，通過檢測上下彈條是否存在便可推斷出扣件是否斷裂或丟失?；谝陨戏治?，本文提取扣件上下彈條的區域特征作為扣件識別的特征。

根據扣件結構的先驗知識，首先分割出扣件上下彈條區域，它們在扣件子圖中是兩個固定矩形區域，見圖7(a)。然后根據二值圖像形態學操作，分別找出上下彈條范圍內面積最大的八連通區域，見圖7(b)。最后分別計算上下彈條的最大連通區域的面積以及質心并將它們作為扣件的區域特征用以后續的扣件缺陷識別，見圖7(c)。

圖7 扣件區域特征提取示意

2.5 扣件缺陷識別

完成扣件特征提取后，利用這些特征進行扣件缺陷識別。由于扣件區域特征包括三個分量(面積、質心橫坐標、質心縱坐標)，結合扣件缺陷識別任務對識別結果的具體要求(盡可能不漏檢，誤檢可以適當放寬)，本文采用決策樹算法實現扣件缺陷識別。決策樹依據目標特征的重要程度依次對每一個特征都做一個劃分，后一個劃分是基于前一個劃分的結果，最終生成多個葉節點，完成目標的分類。

本文所用的決策樹具體結構見圖8，首先用區域面積V1(特征分量1)和兩個閾值T0、T1將整個數據集劃分成三部分，排除大部分正常和缺陷扣件，難以區分的部分留給下一個特征區分；然后用區域質心橫坐標V2(特征分量2)和閾值T2從上次劃分殘留的部分中繼續排除缺陷扣件；最后用區域質心縱坐標V3(特征分量3)和閾值T3將余下的數據進一步劃分為兩部分。決策樹中所用的閾值由先驗知識和試驗統計結果得到，其中CH與CV分別為對應矩形彈條區域中心的橫縱坐標值?？奂毕葑R別完畢，系統將丟失和斷裂扣件的原始圖像存于不同的文件夾里，以供人工確認，養護人員根據原始圖像上的里程信息標簽，就能迅速找到缺陷扣件并更換。

圖8 決策樹結構圖

3 試驗結果與分析

3.1 試驗準備

使用由鐵路巡檢系統在多條高速鐵路線路上采集到的鐵路圖像測試本文提出的扣件缺陷自動檢測算法。為了與實際使用工況保持一致，從不同線路區間選取多種環境和背景下的圖像組成測試數據集，包括雨天、新線路、老線路、低光照、不同形狀扣件等。測試數據集共包含50 000幅圖像，每幅圖像包括6個扣件，其中缺陷扣件圖像(丟失或斷裂)500幅，其余為正?？奂D像。試驗的其他關鍵參數設置如下：w=h=3；n=6；T0=110；T1=180；T2=3；T3=4。

3.2 扣件缺陷檢測試驗

測試數據集被用于測試本文算法，并在試驗中對比了兩種典型的扣件缺陷檢測算法，包括基于向量場特征的檢測算法，基于融合梯度特征與紋理特征的檢測算法，所有算法都使用VS2010編碼實現。使用漏檢率(未檢出的缺陷圖像占總缺陷圖像的比值)和誤檢率(錯誤檢出的缺陷圖像占總測試圖像的比值)作為評估試驗性能的指標。

不同扣件檢測算法的試驗性能對比見表1。由表1可知，本文提出的檢測算法性能最佳，漏檢率與誤檢率均低于其他算法。漏檢率為0.6%，較低的漏檢率可以發現更多潛在的安全風險，是巡檢員最關心的因素。誤檢率為0.32%，因此檢測100 km的線路，僅有大約160幅圖像需要人工確認，這是巡檢員可以接受的工作強度。部分漏檢示例見圖9。由圖9(a)可知，扣件彈條斷裂且不在原位，但是彈條的壓痕明顯，導致該區域的二值圖像與正?？奂浅Ｏ嗨?。由圖9(b)可知，扣件彈條雖然斷裂，但仍留在原位，形成了與正?？奂嗨频耐庥^。因此，它們都被錯誤地檢測為扣件彈條存在。

表1 扣件識別結果

圖9 漏檢示例圖像

4 結論

開發基于機器視覺的鐵路巡檢系統是提高高速鐵路列車效率、可靠性、安全性的有效途徑。通過這種自動巡檢系統，可以將巡檢員從耗時而且枯燥的工作中解脫出來，他們只需要對自動檢出的故障圖像進行人工復查即可。本文提出了一種新的基于局部區域特征的缺陷扣件檢測方法。在分析扣件圖像特點的基礎上，利用扣件極小值區域圖以及模板匹配實現扣件精確定位，接著提取扣件的區域特征并送進決策樹完成扣件圖像的分類。試驗表明本文算法表現良好。

然而，由于高速鐵路線路圖像背景復雜、環境多變、圖像數量巨大，本文扣件檢測算法在性能上仍有提升空間，尤其是誤檢率仍偏高。當前算法在特征提取時只考慮了局部區域內像素的大小關系，沒有考慮像素的絕對灰度值。在以后的工作中，我們將同時考慮局部區域內灰度值的相對關系和絕對大小以提取更具區分性的特征，進一步提升扣件檢測算法性能。