基于模糊聚類和改進Densenet網絡的小樣本軸承故障診斷

魏文軍,張軒銘,楊立本

(1.蘭州交通大學 自動化與電氣工程學院,蘭州 730070;2.蘭州交通大學 光電技術與智能控制教育部重點實驗室,蘭州 730070)

軸承作為機械設備的重要旋轉部件,也是旋轉機械設備重要的故障源之一,復雜的結構和嚴酷的工作條件,容易出現故障而造成較大的事故和經濟損失[1-2],據統計機械設備中30%的故障由軸承引起[3]。為確保機械設備的長期穩定運行,有效的軸承故障診斷顯得尤為重要。傳統的故障診斷主要分為數據的特征提取和故障分類,對采集的振動信號進行時頻域分析并提取特征,然后利用分類器進行特征分類[4-5],特征提取方法主要包括傅里葉變換[6]、小波變換(WT)[7]、局部均值分解(LMD)[8]以及經驗模態分解(EMD)[9-10]等;故障分類主要包括支持向量機(SVM)、隱馬爾可夫模型[11]和人工神經網絡[12]等。但此類方法存在一定弊端,數據處理往往需要一定的專業知識及人工經驗,存在數據利用不足以及早期微弱故障特征提取不充分等問題,其次機器學習需要手動挖掘特征,算法架構過于淺薄難以處理復雜的非線性故障問題。

隨著大數據時代的到來,以“數據驅動”為基礎的深度學習[13]在圖像處理[14]和故障診斷[15-16]展現了獨特的優勢。文獻[15]在傳統CNN激活函數的基礎上提出了STAC-tach自適應激活函數,通過改進殘差網絡ResNet建立ResNet-STAC-tanch模型實現對軸承的非線性特征自適應提取,文獻[16]提出了一種基于熱成像的軸承故障診斷,利用不同工況下的熱成像結合ANN和CNN實現故障診斷。上述文獻中存在一個問題,利用卷積神經網絡進行故障診斷需要大量數據訓練,但在實際應用的過程中故障數據難以獲得,數據量少難以滿足訓練的要求,在數據不足的情況下容易發生過擬合現象嚴重影響分類結果。文獻[16-17]將CNN與SVM結合提出了小樣本情況下的故障診斷 ,文獻[17]利用遷移學習建立了故障樣本特征計算模型,將源域中學習到的故障信息遷移到目標域,映射模型的輸出作為SVM的輸入,借助遷移學習和SVM分類器實現小樣本下的燃氣機故障診斷,文獻[18]以軸承時域圖像為輸入,訓練CNN模型,通過softmax層輸出的分類結果判斷是否滿足SVM最終分類條件,通過多次訓練提取出最適合SVM分類的特征實現故障診斷。上述文獻中采用SVM作為最終分類器,SVM本質上為二分類器,當故障種類繁雜和樣本多時,需要構建多分類器,運算量大耗時長,實現多分類情況較困難,同時上述文獻CNN模型中全連接層中存在大量參數,全連接層與softmax在整個卷積神經網絡中起到“分類器”作用,全連接層將卷積池化提取的特征映射到樣本空間,但在訓練CNN網絡時多數數據用于訓練全連接層參數,如果分類層使用不需要訓練的方法實現分類,將可大大減少訓練數據,簡化卷積神經網絡結構。

預訓練微調可以將源域學習到的知識遷移到目標域[19],由于源域中已經學習到大量基礎知識,在目標域中僅訓練部分特殊特征數據,即可完成網絡訓練。文獻[20]根據源域與目標域間數據分布不同,建立域自適應神經網絡模型,實現軸承不同工況間的故障診斷,文獻[21]使用與目標域近似的輔助數據,利用LSSVM遷移學習算法實現變工況下的軸承故障診斷,上述文獻在在變工況情況下可用數據充足,但實際大部分變工況情況下數據較少,同時上述文獻利用遷移學習對不同軸承型號情況下的故障診斷識別率提升程度較小,達不到實用化程度。

本文研究發現訓練數據中有相當數據用于訓練CNN網絡中的全連接層和softmax層,而全連接層和softmax層主要用于分類,如果減少全連接層網絡參數和使用不需要訓練的分類算法則可以顯著減少訓練數據。模糊聚類(fuzzy clustering means,FCM)作為一種無監督分類方法,利用模糊數學原理可以實現不需要訓練即可實現多種故障分類,廣泛應用于故障診斷[22]和圖像處理[23],為此本文針對以上不足借助凱斯西儲大學[24],提出了一種基于模糊聚類的改進CNN-模型的軸承故障診斷,首先設計一維度自適應的全局均值池化層(global average pooling,GAP)替換卷積神經網絡的全連接層網絡,縮減網絡結構和參數量,減少所需訓練樣本,同時以模糊聚類代替softmax函數分類,將軸承時域圖像輸入到改進后的網絡中,在網絡的GAP層輸出特征,不同軸承時域圖像的特征構建特征向量矩陣,采用模糊聚類分析算法求該矩陣的模糊等價矩陣,在模糊等價矩陣中,當λ(可變閾值)在[0,1]上變動時,模糊等價矩陣轉化為等價的布爾矩陣,由布爾矩陣可以得到動態聚類圖并得到故障分類結果,從而實現軸承的故障診斷。最后在凱斯西儲大學軸承公開數據集的基礎上假設源域數據充足目標域數據較少的情況下對同型號同工況和同型號跨工況進行實驗驗證,實驗結果表明該算法在配合少量目標域數據的情況下能夠準確識別軸承故障。

1 理論基礎

1.1 CNN

傳統的卷積神經網絡(CNN)主要由卷積層、池化層、激活函數、全連接層和Softmax層組成[25]。卷積層作為CNN網絡的核心,通過Relu激活函數獲得非線性特征,池化層可以保持數據的顯著特征,降低特征的維度,卷積層通過池化層進入一個或多個全連接層,然后進入Softmax層分類。

Densenet神經網絡在2017年由Gao Huang等提出,Densenet以前饋的方式將每個層連接在一起,相比于傳統卷積神經網絡中n層對應n個連接,其在n層的輸出為xn=Hn(xn-1),而Densenet網絡n層中有(n+1)/2個連接,其在n層的輸出為xn=Hn([x0,x1,…,xn-1]),這大大減輕了梯度消失,增強了特征的傳遞和利用,減少了參數量,提高了網絡的整體特征提取能力。

在現有的機器學習理論下,要訓練出一個魯棒性強的深度學習模型,需要大量的數據支撐,這在實際應用中很難滿足。遷移學習將預訓練好的網絡模型進行遷移,在新應用場合用少量數據進行再訓練,不需要大量數據即可建立精確的深度學習模型。

1.2 全局均值池化層

全連接層(fully connected layer,FC)中參數量占了整個網絡的80%～90%,降低了訓練速度且容易發生過擬合現象,本文提出使用全局均值池化層代替FC,利用池化層的降維,圖1為GAP與FC結構對比,傳統的方法經過卷積層特征提取后,經全連接層將特征展開逐過程降維分類,而GAP替代FC可以將任意維度的特征以一維特征輸出,增強卷積層特征提取能力的同時又保留了卷積層和池化層提取的空間信息,減少了模型中的參數量,一方面減少數據訓練量,另一方面防止過擬合。本文算法擬設計維度自適應的GAP代替卷積神經網絡模型中的全連接網絡部分。

圖1 FC與GAP結構對比

1.3 模糊聚類算法

模糊聚類作為一種無監督分類算法,利用模糊數學原理,對所研究的事物按一定標準分類,本文采用基于模糊關系矩陣的聚類算法代替卷積神經網絡中的softmax分類層分類,基于模糊關系的聚類分析如下。

設被分類軸承健康狀態共n種,其論域表示為U=(x1,x2,x3,…,xn),每種健康狀態有m個特征指標Xi=(xi1,xi2,…,xim),i=1,2,…,n,由此可得相應的數據矩陣:

(1)

1)為消除特征指標之間量綱不同的問題,滿足模糊聚類算法要求需對上述矩陣作標準化處理,采用平移·標準差和平移·極差變換將區間壓縮到[0,1]。

平移·標準差:

(2)

(3)

平移·極差:

(4)

式中:i=1,2,…,n,k=1,2,…,m。

2)根據分類對象m個特征指標得到的標準化數據,利用距離法計算分類對象樣本間的相似程度rij,建立模糊模糊相似矩陣R,其中rij=1-cd(xi,xj)。

歐幾里得距離:

(5)

3)由上述得到的模糊相似矩陣,需利用傳遞閉包法求得傳遞閉包t(R),得到模糊等價矩陣R*,對于不同的λ,當存在rij>λ時,將兩個樣本歸為一類,對于不同的置信因子λ∈[0,1]得到不同的聚類結果,形成動態聚類圖[26]。

2 建立Densenet-GAP-FCM軸承故障診斷模型

2.1 預訓練微調

本文所使用預訓練微調方法如圖2所示,在源域上預訓練Densenet卷積神經網絡后將源域中網絡參數遷移到目標域,凍結網絡的1到n-3層網絡參數,使用新的卷積層替換Densenet最后一個可學習層,以便匹配新數據集,在目標域中使用小樣本數據重新訓練微調深層網絡,建立TL-Densenet模型。其數學表達式如下[27]:

(6)

圖2 預訓練微調示意圖

2.2 全局均值池化層代替全連接層

傳統卷積神經網絡進行分類時,經過多層卷積與池化后,使用FC與softmax進行分類,但在小樣本的情況下,FC層因參數多以及訓練數據不足容易出現過擬合現象,導致診斷率下降,針對傳統卷積神經網絡CNN中參數量大、訓練時間長以及需要大量數據訓練等不足,在2.1節的基礎上對預訓練微調的Densenet網絡基礎上進行改進,為達到降低網絡參數、加快識別分類速度的目的,本文設計一維度自適應調節維度的全局均值池化層替換Densenet網絡中的全連接網絡部分,降低整個網絡90%以上的參數量,該全局均值池化可根據輸出軸承特征維度和類別進行自適應調整,在多層感知器后為分類中的每個類別生成一個feature map,并對每個feature map進行全局平均。在GAP結構上設計一個[x,wout,n]的自適應矩陣,x代表前一層卷積輸入GAP層通道數,n代表池化核的數量,wout代表前一層的卷積層輸入特征圖feature map尺寸:

(7)

式中:win為輸入特征圖大小,F為卷積核大小,s為步長。對于前一卷積層輸入到GAP的feature map,GAP的池化核自動匹配卷積核輸出的個數n和維度,并對特征圖尺寸wout利用池化運算計算出一個與CNN中FC等效的全局平均值作為GAP輸出的特征值,用于后續分類。GAP的運算方式為

(8)

以VggNet-16為例對改進后的參數量進行對比,如表1所示,全局總參數減少了90.92%。其中卷積層參數量計算公式為

表1 改進后各層參數量對比

P=C0×(kw×kh×Ci+1)

(9)

式中:C0為輸出通道,Ci為輸入通道,kw×kh×Ci為一個卷積核的權重數量。

2.3 模糊聚類算法代替Softmax分類

采用第一節中模糊聚類算法代替TL-Densenet-GAP網絡中的Softmax分類層,在GAP層中利用activations函數輸出GAP層提取的特征,建立TL-Densenet-GAP-FCM模型,構建特征向量矩陣,由模糊聚類構建動態聚類圖,實現軸承的故障診斷。改進后的網絡模型如圖3所示,該模型由輸入層、特征提取層、GAP層和模糊聚類分類層組成,采集軸承時域圖像輸入到卷積層自動提取特征,在網絡的GAP層降維后輸出特征,在實際應用中,將標準數據得到的特征向量與待測樣本的特征向量構建特征向量矩陣,然后由模糊聚類形成聚類圖輸出診斷結果。

圖3 軸承故障診斷框圖

3 實驗驗證分析

3.1 同型號同工況情況軸承故障診斷實驗

采用凱斯西儲大學軸承公開數據集中的驅動端數據,利用該數據集驗證本文所提算法在同型號同工況下的軸承故障診斷情況,其中軸承型號為SKF6205,采樣頻率為12 kHz,選取電機轉速為1 797 r/min工況下故障直徑分別為0.177 8 mm和0.533 4 mm的外圈故障、內圈故障和滾動體故障6類故障狀態,再加上正常狀態共7類數據,從這7類數據的時域信號中取1 000個連續點作為一個樣本,建立標準數據庫。圖4為正常狀態下的軸承時域信號,圖5為不同故障狀態下的軸承時域信號。每組選取20個樣本,共140組,以卷積神經網絡DenseNet-201為例,利用預訓練微調訓練建立TL-Densenet-GAP-FCM模型,將源域中軸承的故障知識遷移到目標域,提高模型的特征提取能力。

圖4 軸承正常狀態f0時域曲線圖

圖5 軸承各故障時域曲線圖

圖6軸承時域圖輸入TL-Desenet-GAP-FCM模型中,在GAP層輸出1 920個特征向量,其中圖5和圖6用于構建標準數據向量庫,如表2所示,圖6輸出的向量構建待測樣本特征向量,如表3所示,其中d0為正常軸承待測樣本。

表2 標準數據庫樣本特征

表3 待測樣本特征

將表2和表3數據建立特征向量矩陣,為消除數據間量綱不同的影響,需對特征向量矩陣作標準化處理,使數據分布在[0,1]內,得到標準化矩陣X如下所示:

上述矩陣共14行1 920列,從上到下依次表示f0～d6,為計算樣本間的相似程度,對矩陣X標定得到模糊相似矩陣R,利用傳遞閉包法將矩陣R改造成模糊等價矩陣R*:

在模糊等價矩陣R*中當置信因子λ從1到0變化時,形成動態聚類圖,得到診斷結果,如圖7所示。對預訓練的TL-DenseNet模型以及本文TL-DenseNet-GAP-FCM模型進行對比驗證,采用12 kHz采樣頻率的驅動端、故障直徑0.177 8mm、電機轉速1 797 r/min同型號同工況軸承每種故障類型各15組數據,共105組數據,進行實驗驗證對比分析其結果如表4所示,其中TL-DenseNet平均準確率為79.04%,改進后TL-DenseNet-GAP-FCM模型準確率為99.05%,實驗結果表明,改進后的卷積神經網絡其卷積層的具有更好的特征提取能力,在同型號同工況情況下,使用少量樣本進行遷移學習并改進建立TL-Densenet-GAP-FCM模型,在此模型的基礎上只需要建立標準數據庫就可實現軸承故障診斷,無需新樣本的數據訓練。但內圈的故障檢測分類存在一定誤差究其原因內圈故障滾動體故障在故障機理和傳遞路徑來說存在一定的相似性,因此在提取到內圈和滾動體故障特征時出現部分特征混合,造成一定的誤差,可以通過增加預訓練微調的樣本來提高分類準確率。

圖7 同型號同工況動態聚類圖

將本節算法模型與各文獻中基于CWRU數據集的結果進行比較,以說明本文算法的優越性,如表5所示,在140組樣本情況下,實現了和文獻[28]CNN模型3 030樣本相近的準確性,表明本文算法在小樣本的優越性。

表5 基于西儲軸承數據集分類準確率比較

3.2 同型號跨工況情況軸承故障診斷實驗

3.2.1 零目標樣本軸承故障診斷

在3.1節驅動端12 kHz、電機轉速1 797 r/min軸承預訓練微調模型基礎上,驗證電機轉速1 750 r/min情況下故障分類準確率?？紤]在沒有目標樣本可用于訓練的情況下,如果利用轉速1 797 r/min得到的改進遷移學習模型TL-DenseNet-GAP-FCM,進行轉速1 750 r/min狀態下軸承故障分類驗證,在目標域零樣本的情況下(即沒有轉速1 750 r/min狀態下軸承樣本),驗證其不同故障直徑下內圈、外圈和滾動體共6種故障分類準確率,并與其他零樣本方法進行對比,迭代次數均設置100,LSVM的準確率為46.67%,ANN的準確率為41.67%,TL-DenseNet的準確率為58.33%,TL-DenseNet-GAP-FCM的準確率為84.17%,實驗結果表明在零目標樣本的情況下利用預訓練好的TL-DenseNet-GAP-FCM模型可以對不同類型的故障進行診斷和分類,具有較高的實用參考價值,同時在今后的研究中還可以進一步完善。例如:1)可以考慮參考文獻[31],利用向量空間表述不同故障的屬性描述;2)增加預訓練微調樣本種類和數量,使卷積層學習到更多的軸承故障特征,提高特征提取層的提取能力。

3.2.2 小樣本軸承故障診斷

現在進行小樣本遷移學習,1 750 r/min的每種故障各取15組,共90組數據記為數據F,將3.1節標準數據A記為源域,數據F記為目標域進行預訓練,即建立A→F的遷移學習任務,以A→F建立的TL-DenseNet-GAP-FCM模型,動態聚類圖如圖8所示,其中f1～f5為建立的1 772 r/min、1 750 r/min中內圈、外圈和滾動體故障數據庫,d1～d5為其對應待測故障。

圖8 同型號跨工況動態聚類圖

從上述結果可以看出去除全連接層的模型具有更好的特征提取能力,使用全局均值池化層代替全連接層避免了數據不足引起的過擬合現象,利用模糊數學的方法對樣本間的特征進行定量分析,實現小樣本的軸承故障診斷,僅需140組目標域樣本數據,準確率可達99.05%。在零目標樣本同型號跨工況情況下分類準確率為84.17%,究其原因為不同工況下數據存在一定差異,但可利用數據充足的實驗室數據作為源域結合少量目標域數據利用遷移學習微調網絡,在TL-DenseNet-GAP-FCM模型的基礎上實現實際應用中可用數據較少而出現的過擬合現象以及分類準確率低的問題。

3.3 XITU-SY軸承數據故障診斷實驗

本節采用西安交通大學XJTU-SY軸承公開數據集進行實驗驗證,軸承型號LDK UER204,該數據集包括3種工況,設定轉速分別為2 100、2 250、2 400 r/min,每種工況包括水平和垂直振動信號,本文以工況2水平振動信號數據為例進行實驗驗證,以軸承2為例,如表6所示,選取工況2中正常、內圈故障、外圈故障、保持架故障進行驗證,鑒于在實際應用過程中故障數據可用較少,對于4種不同狀態軸承,每種選擇20組共80組訓練TL-Densenet-GAP-FCM模型,從每種狀態中隨機選擇一組數據進行驗證,其結果如圖9所示,f1到f4分別為正常、內圈、外圈和保持架故障,d1到d4為隨機選取的待測樣本,故障分類結果均準確。

表6 XJTU-SY工況2數據介紹

圖9 XJTU-SY軸承故障診斷聚類圖

通過實驗以及對比驗證,說明改進后的模型保留了Densenet網絡卷積層的特征提取能力,通過改進池化層和分類層來減少訓練樣本數量,提高運算速度有效地避免了過擬合現象,本文算法不僅僅適用于各類型號軸承的故障診斷,相關算法還適用于轉轍機的狀態診斷[32],可根據檢測目標的曲線復雜程度來適當增減訓練樣本的數量以此來提高卷積層特征提取能力,增加分類準確率。但在本文算法分類層使用的是模糊聚類算法,該算法需要提前收集出現的故障數據建立相應的標準數據庫樣本特征,利用模糊數學原理實現檢測樣本特征與數據庫樣本特征的配對,如果后續出現新的故障可以添加到數據庫中。

4 結 論

1)針對傳統卷積神經網絡全連接層參數、Softmax層參數需要大量數據進行訓練,在小樣本情況下容易出現過擬合等問題,本文提出了一種TL-Densenet-GAP-FCM模型用于軸承故障診斷,該模型以全局均值池化層代替全連接層和模糊聚類層代替Softmax層,包括輸入層、特征提取層、全局均值池化層和模糊聚類分類層,該模型大大減少了訓練樣本需求,適合小樣本故障診斷。

2)利用凱斯西儲大學軸承數據和西安交通大學XJTU-SY軸承數據進行實驗驗證,在小樣本的情況下,TL-DenseNet-GAP-FCM相比TL-DenseNet 模型具有更好的故障分類準確率,究其原因是全連接層存在大量參數,在數據量不足的情況下會出現過擬合現象,可有效解決實際應用中因數據量不足導致機器學習分類精度低的問題。