基于環形特征的卷積神經網絡輪轂識別

程淑紅， 蘆嘉鑫， 張典范， 徐 南

(1.燕山大學 電氣工程學院，河北 秦皇島 066004；2.燕山大學 河北省特種運載裝備重點實驗室，河北 秦皇島 066004；3.秦皇島職業技術學院，河北 秦皇島 066100)

1 引 言

基于機器視覺的輪轂自動分類系統是輪轂生產線中關鍵組成部分，傳統的識別方法主要是提取輪轂特征并匹配，然而在實際生產中，輪轂的識別速度、準確率往往會受到各種因素的影響。程淑紅等[1]以輪輻邊緣輪廓為模板在待識別輪轂圖像中隨機游走進行匹配，并用紋理偏差度作為識別標準；這種方法抗復雜背景能力強，但對于紋理復雜的輪轂識別精度不高。朱焜等[2]對輪輻區域進行多邊形簡化，并選取了輪轂外徑、螺栓孔個數和輪輻條數等7個具有旋轉不變性的特征與輪轂模板依次匹配，提高了復雜形狀輪轂的識別準確率，但沒有考慮到實際生產中輪轂生產線的背景干擾。郭智杰等[3]用差分方法去除生產線背景并利用開閉運算對輪轂圖像進行降噪處理，提取車輪外徑、輪輻條數、輪心直徑等參數生成序列號，作為輪轂的特征參數與標準模板對比匹配；此法降低了輪轂識別的誤判率，但識別速率較低。張典范等[4]提取輪轂局部特征并用K-means聚類算法[5,6]將其量化到中心,計算輪轂特征到中心的殘差之和得到局部聚合描述符(vector of locally aggregated descriptors,VLAD)特征向量，為了提升計算速度對VLAD向量進行主成分分析(principal component analysis,PCA)降維處理,對比特征向量從而識別輪轂型號[7,8]；識別效果在輪轂數量少時較好，但是對于種類復雜、規模較大的輪轂數據庫會不可避免地下降。為了實現實際生產中任意角度的輪轂自動識別，劉巖松等[9]通過計算待識別輪轂與模板之間環投影特征向量、外徑和圓心的相似度進行粗略匹配，再利用徑向投影進行精確匹配；該方法具有旋轉不變性，提高了計算速度，但此方法仍需人工提取特征。

傳統的識別方法依賴于人工設計幾何特征、紋理特征等來匹配型號，但輪轂外形越來越復雜，僅通過有限的特征來判斷類型會出現特征重合、準確率低等問題。隨著工業大數據的興起，使得深度學習[10,11]技術逐漸應用到工業生產中。以卷積神經網絡[12～14]為代表的深度學習技術在圖像識別應用中尤為突出。

本文提出了一種基于環形特征的卷積神經網絡輪轂識別方法，該算法計算量小，識別精度高。利用霍夫圓檢測將輪轂定位，將環形輪轂歸一化為矩形，搭建基于改進VGGNet(Visual Geometry Group Network)的輕量級卷積神經網絡，將環形特征輪轂圖片輸入到網絡中進行模型訓練以及性能評估，為實際生產中輪轂的自適應分類提供了一種可行方案。

2 輪轂識別方法

首先，借助霍夫圓檢測提取輪轂外輪緣半徑、輪心縱坐標和橫坐標等參數并將直角坐標下的環形輪轂映射到極坐標，將輪轂展開成矩形；然后，搭建輕量級的卷積神經網絡作為輪轂識別模型并進行訓練；最后，對輪轂型號做出判定。本文提出的輪轂型號識別總體方案主要分為展開環面圖像特征提取、基于改進VGG的展開輪轂圖像識別和實驗結果與分析3個部分。具體輪轂識別方案如圖1所示。

圖1 輪轂識別方案Fig.1 Scheme of wheel model identificatio

2.1 展開環面圖像特征提取

2.1.1 輪轂定位

確定一個輪轂的位置需要確定3個參數：輪轂外邊緣半徑，輪轂圓心橫坐標和縱坐標。輪轂定位如圖2所示，先將原輪轂圖像轉化為灰度圖像(見圖2a)；用canny算子提取輪轂邊緣(見圖2b)；遍歷輪轂圖像上所有像素點,進行霍夫圓檢測[15]，將原坐標圖像映射成參數空間，參數空間的一個點對應圖像坐標空間中的一個圓；最后，選取參數平面上滿足閾值的點，得到輪轂的圓心坐標以及外邊緣半徑。

2.1.2 輪轂圖像歸一化

采用輪轂歸一化模型，如圖3所示。將直角坐標I(Ox,Oy)下的環形輪轂圖像映射到極坐標IExpan(r,θ)中。

圖3 歸一化模型示意圖Fig.3 Scheme of the normalization model

轉換公式如下：

I(Ox,Oy)→IExpan(r,θ)

(1)

I(Ox(l,θ),Oy(l,θ))→IExpan(r,θ)

(2)

Ox(l,θ)=(1-l)×Ox_out(θ)+Ox_in(θ)

(3)

Oy(l,θ)=(1-l)×Oy_out(θ)+Oy_in(θ)

(4)

式中：l∈[0,1]為輪轂環形半徑，θ∈[0,2π]是映射弧度，(Ox_out，Oy_out(θ))為輪轂外邊緣像素坐標，(Ox_in(θ)，Oy_in(θ))為輪心像素坐標。

輪轂歸一化時只保留圓環狀的輪轂部分，消除在圖像采集時帶來的噪聲影響。通過輪轂歸一化模型，將輪轂展開成51×264 pixels的矩形圖像，將環形輪轂圖像展開為矩形圖像更有利于特征的提取。歸一化的結果如圖4所示。

圖4 歸一化結果圖Fig.4 Normalized result diagram

2.1.3 展開環面圖像特征提取

輪轂是一個以輪心為對稱中心的圓環，由于環形輪轂圖像中心對稱的特性，在提取輪轂特征信息時只有1/4的區域是有效的，其余部分是以輪心為對稱中心的全等形，利用卷積神經網絡提取特征有2種特征提取方式,見圖5。順序提取方式提取出的很多特征是冗余的(見圖5a)，且卷積核通常為矩形，矩形框劃過環形輪轂邊緣處會產生許多噪點，增加了卷積運算的計算量；故本文提出了一種旋轉提取輪轂特征的方法(見圖5b)，環形輪轂經過一系列的變換，歸一化成標準形式的矩形，找出輪轂圖像中的不變量，減少幾何變換的影響，使本輪轂識別算法具有平移、縮放和旋轉不變性。旋轉提取特征信息可以減少卷積運算的計算量，加快卷積神經網絡的收斂。

圖5 2種特征提取方式Fig.5 Two kinds of feature extraction

2.2 基于改進VGG的展開輪轂圖像識別

2.2.1 改進的VGG網絡

為了追求更高的準確率，卷積神經網絡傾向于更深、更復雜的結構設計來獲取詳細的特征，這需要更多的卷積計算，參數量和計算量也隨之加大，使得網絡的速度有所限制。在實際生產中，輪轂識別任務需要在有限的計算環境下實時進行，這對于網絡的結構有更高的要求。本文設計了一種改進的VGG網絡架構，以更高效的網絡計算方式，在網絡參數減少的同時，不損失網絡的性能。該模型使用深度可分離卷積[16]，圖6為深度可分離卷積與普通卷積對比圖。

圖6 深度可分離卷積與普通卷積對比圖Fig.6 Depth separable convolution and standard convolution

深度可分離卷積分為兩部分，深度卷積和逐點卷積。深度卷積為通道數都為1的卷積核，負責各通道之間的信息；逐點卷積的卷積核都為1×1，將深度卷積的特征圖在維度上進行加權組合并生成新的特征圖。這種設計打破了輸出通道維度和卷積核大小的聯系，實現了準確率和延時性之間的平衡。

改進的VGGNet使用3×3的濾波器提取特征，在每個深度可分離卷積層(Separable Conv)后連接激活函數ReLu和數據歸一化(Batch Normalization)處理，組成一個卷積塊，網絡由6個卷積塊組成。利用最大池化(Maxpool)進行降采樣，Dropout減少參數量，加快收斂速度，數值取0.25或0.5。Flatten層將輸入的參數一維化。最后，所有的特征參數經過全連接層，通過Softmax進行分類。網絡參數結構如圖7所示。

圖7 網絡結構參數圖Fig.7 Network structure parameter

2.2.2 輪轂識別算法

對輸入的輪轂圖像二值化得到灰度圖像，用Canny算子提取輪轂邊緣，確定輪轂外邊緣半徑、輪轂圓心橫坐標和縱坐標，根據圖3的輪轂歸一化模型，將環形輪轂圖像展開成矩形。將展開輪轂圖像送入改進的VGG網絡提取特征。最后用Softmax分類，識別出輪轂型號，圖8為輪轂識別算法框架。

圖8 輪轂識別算法框架Fig.8 Wheel identification algorithm framework

3 實驗結果與分析

3.1 檢測結果與分析

電腦配置：CPU為Intel Core i5-9400頻率 2.9 GHz，8 G運行內存；GPU為NVIDIA GeForce GTX 1660； 操作系統為Ubuntu 18； 仿真實驗基于tensorflow1.13.1，OpenCV3.4.4。

實驗采集10種輪轂圖片，型號為A01～A10, 如圖9所示, 將采集到的圖片進行數據增強，每種輪轂圖像擴增到100張，數據集由1 000幅輪轂圖組成，采用的輪轂圖均為1616×1236 pixels。

圖9 輪轂樣本示例Fig.9 Samples of wheel hub dataset

將數據增強后的輪轂數據集劃分為訓練集、測試集和驗證集3個互斥的子集，樣本容量比例為7:2:1，使用輪轂數據集中的訓練集訓練模型，然后用測試集評估模型的泛化能力，驗證集用于模型的參數選擇和配置。經過多次網絡訓練和參數調節，選用環形特征輪轂圖進行測試，初始學習率為0.001，采用隨機下降法批量訓練，訓練輪次為100。

使用識別率Ri和誤檢率Fi作為輪轂識別算法的性能度量指標，i為某類輪轂型號，i={1,2,…,10}，如圖10所示。圖10中：FT為正確識別第i類型號的圖數量；FA為識別成第i類輪轂的圖總數；FN為將第i類輪轂識別為其他種類輪轂的圖數量；A為將輪轂型號錯誤識別為第i類的圖數量。

Ri=FT/FA

(5)

Fi=FN/(FT+FN)

(6)

圖10 識別率與誤檢率示意圖Fig.10 Recognition and false detection rate

為了論證本論文算法可以識別多類輪轂型號，選擇了3種紋理較為復雜的輪轂，表1中分別列出了輪轂邊緣檢測圖、環形特征輪轂圖像以及Ri和Fi。圖中的識別率都維持在較高水平且沒有誤檢輪轂型號，可以看出基于環形特征的卷積神經網絡對各種型號的輪轂識別都有較好的效果。

3.2 算法有效性和實時性

改進的VGG網絡在不同型號輪轂的訓練過程中，通過大量的學習和參數優化，使輪轂型號識別得以泛化。在實際生產中，輪轂識別任務需要在有限的計算環境下實時進行，因此本文從有效性和實時性兩個不同角度加以詳細說明。

3.2.1 有效性

針對輪轂型號的識別效果主要體現在兩方面，一方面是旋轉提取輪轂特征，另一方面是改進的VGG網絡。用測試集來驗證基于環形特征融合的卷積神經網絡輪轂識別算法效果， 同時使用3種深度學習方法和3種機器學習方法分別對基于環性特征的輪轂圖和普通輪轂圖識別來對比驗證。3種機器學習方法均采用Hog提取特征。

表1 3種輪轂識別Tab.1 Identification of three wheel models (%)

根據表2所示的檢測效果可知：對于A04、A05和A06這3種型號的輪轂，SVM的Ri高于K近鄰和決策樹，但Fi較高，總體來說SVM的分類效果較好，但3種傳統機器學習方法Ri普遍比卷積神經網絡低。VGG_16的識別率普遍在較高的水平，但錯誤識別的輪轂較多，Inception V3和本文算法的識別效果較好，且改進的VGG網絡識別率最佳。模型中的深度可分離卷積在減少計算量的同時，不會損失網絡的性能，進而論證了改進的VGG網絡可以準確識別輪轂型號。

表2 普通輪轂識別率和誤檢率Tab.2 Ordinary wheel recognition rate and false detection rate (%)

表3為基于環形特征的輪轂識別率和誤檢率。

表3 基于環形特征的輪轂識別率和誤檢率Tab.3 Ring wheel recognition rate and false detection rate (%)

由表3可知，用Hog提取環形輪轂特征與普通輪轂特征相比，3種機器學習方法的識別率都有所提升，但還是低于深度學習方法?；谏疃葘W習方法識別環形特征輪轂圖片比普通輪轂圖片的識別效果更佳，且改進的VGG網絡優于VGG_16和Inception V3。由此可得對比順序提取輪轂特征，旋轉提取環形輪轂特征更加有效，且具有平移不變性、縮放不變性和旋轉不變性。

為了更直觀地論證本文算法的有效性，本文設計了4組交叉驗證實驗。實驗1為基于改進VGG的環形特征輪轂型號識別；實驗2為基于改進VGG的普通輪轂型號識別；實驗3為基于VGG_16的環形特征輪轂型號識別；實驗4為基于VGG_16的普通輪轂型號識別。

圖11為4組驗證實驗的分類識別率，即訓練模型驗證A07型號輪轂的正確概率，可知旋轉提取環面輪轂特征可以加快卷積神經網絡的收斂。由于環形輪轂的中心對稱性，將環形輪轂展開使特征利用率更高，從而提高識別準確率。改進VGG模型識別率總體維持在較高的評價，其中實驗3的分類最高精度為96.53%，實驗1的分類精度最高為99.6%。改進后的VGG網絡相較于以往的算法來說，其結構更加簡潔，解決復雜特征的能力更強。

圖11 4組實驗識別率Fig.11 Classification recognition rate of experiments

3.2.2 實時性

4組實驗識別時間如圖12所示，實驗1的平均推理耗時為11.78 ms;實驗2的耗時為35.86 ms;實驗3為54.12 ms;實驗4的耗時達到71 ms。改進VGG網絡識別輪轂圖像的推理耗時普遍低于VGG_16，本文模型通過深度可分離卷積層和Dropout層減少參數量，在不損失網絡性能的同時降低了計算量，為工業生產中輪轂型號的實時檢測提供了可行的方法。

圖12 4組實驗識別時間Fig.12 Recognition speed of four groups of experiments

4 結 論

本文針對在實際生產中輪轂的混流生產，設計了一種基于環形特征融合的卷積神經網絡輪轂識別算法。利用展開環形輪轂圖片旋轉提取特征，與傳統的順序提取特征方法相比，削弱了冗余特征的影響，加快卷積神經網絡的收斂，并且使本識別算法具有平移、旋轉和縮放不變性?；诟倪MVGG的卷積神經網絡模型，解決了實際生產中輪轂識別任務計算環境有限的問題，利用深度可分離卷積打破了輸出通道維度和卷積核大小的聯系，在不損失模型性能的同時提高了識別速率。利用多種卷積神經網絡和機器學習算法對比驗證了本文輪轂識別模型的優越性。運用自定義的4種交叉驗證實驗進行分析，結果表明，該方法能夠實時并且準確地識別輪轂型號。