基于改進LSTM神經網絡的化工過程故障診斷

杜先君, 邱小彧

(蘭州理工大學 電氣工程與信息工程學院, 甘肅 蘭州 730050)

隨著現代化工工業的迅速發展,化工系統越來越復雜,導致重大安全事故發生的頻率增大[1].由于化工材料大多為易燃易爆的材料,化工過程故障往往會帶來嚴重的經濟損失,更有可能會引起毒氣泄漏甚至連環爆炸等嚴重問題,人身安全也存在著嚴重的威脅[2].因此,準確及時地診斷出故障類型并進行排除顯得尤為重要.

傳統的故障診斷方法主要分為統計學習方法和機器學習方法[3].基于統計學習的診斷方法主要包括主成分分析法(principal component analysis,PCA)、獨立成分分析(independent component analysis,ICA)和偏最小二乘法(partial least squares,PLS)等[4-11].雖然基于統計學習的方法在故障檢測方面取得了一定成果,但由于在降維過程中使得原始數據的部分有用信息丟失,導致其在故障分類方面效果并不理想.而基于機器學習的方法在故障檢測和分類的表現都較為樂觀,如支持向量機(support vector machines,SVM)、貝葉斯網絡(Bayesian network,BN)和人工神經網絡(artificial neural network,ANN)等[11-13].但由于現如今數據規模越來越龐大,淺層神經網絡難以學習到數據間更深層的信息,從而導致分類精度不高.相較于淺層神經網絡而言,深層神經網絡在其基礎上增加了網絡層數,針對海量的信息,深層神經網絡提取數據有用特征的能力更強大.近幾年由于深度學習的迅速發展,深度置信網絡(deep belief networks,DBN)、卷積神經網絡(convolutional neural network,CNN)、循環神經網絡(recurrent neural network,RNN)等深度學習方法[14-20]在故障診斷領域表現優異.Wu等[21]提出了基于卷積神經網絡模型的化工過程故障診斷,Han等[22]利用LSTM網絡對化工過程進行故障診斷,其結果都表明了深層神經網絡的診斷效果優于淺層神經網絡.

然而,化工過程的觀測數據之間并非相互獨立,化工過程中當前時刻的系統運行狀態與前一時刻的運行狀態有強關聯性,傳統的故障診斷方法并不適用于此過程.因此,滿足化工過程安全可靠運行仍然存在巨大威脅.

化工過程的觀測數據間的動態時間依賴性是影響故障診斷效果的主要因素.針對此問題,本文采用卷積神經網絡對原始輸入數據進行特征提取和降維,通過選用LSTM網絡,有效地避免了RNN網絡的梯度爆炸和梯度消失問題,并在此網絡結構上進行改進,同時引入注意力機制對LSTM網絡的輸出進行關鍵特征“聚焦”,加強故障分類的關鍵特征的提取,提高網絡特征提取能力,從而提升化工過程的故障分類精度.

1 故障診斷模型

本文提出基于改進LSTM網絡的故障診斷網絡結構如圖1所示,主要有卷積層、池化層、改進的LSTM層、注意力機制層和分類層5部分.

圖1 基于改進LSTM網絡的故障診斷方法框圖Fig.1 Fault diagnosis method structure diagram based on the improved LSTM network

1.1 CNN

本文采用一維卷積神經網絡(CNN)對故障數據進行自動特征提取和數據降維,然后將CNN網絡處理后的輸出數據作為LSTM網絡層的輸入[23-24].CNN網絡本質上是一個多層感知機,主要有卷積池化操作,如圖2所示.其層內采用權值共享,不僅能降低網絡模型的復雜度,還能減少權值的數量并且有效地防止網絡出現過擬合現象[25-26].

圖2 卷積、池化結構圖Fig.2 Convolution and pooling structure

1) 卷積層使用卷積核對輸入數據進行卷積操作,實現故障數據的自動特征提取,卷積計算如下式所示:

Hi=g(Wi?Xi-1+bi)

(1)

式中:Hi為經第i層卷積特征提取后的輸出特征量;Xi-1為輸入的一維數據;Wi和bi為第i層卷積層的權值矩陣和偏置向量;g為激活函數;?為卷積運算.

2) 池化層主要通過池化函數對卷積層輸出的特征量進行數據降維,計算如下式所示:

Hi+1=P(Hi)

(2)

式中:P為池化函數;Hi、Hi+1分別為經池化前后的數據特征量.

本文中卷積核大小為1×4,激活函數g采用ReLU激活函數,池化函數采用最大池化,填充方式采用零填充.

1.2 改進的LSTM網絡

1.2.1RNN

傳統的神經網絡結構從輸入層到輸出層都是全連接形式,層內之間的節點沒有任何的關聯,因此,用于解決實際問題時的效果并不理想.而RNN網絡結構實現對t-1時刻的信息進行記憶并應用在t時刻的計算,這允許RNN建立當前時間序列的同時可以結合上一時間序列信息,能夠提取更多時序特征相關的關鍵特征信息[27],從而在一定程度上有利于提高故障診斷的精度.理論上,RNN能夠對任何長度的序列進行處理.RNN的結構如圖3所示.

圖3 RNN結構圖Fig.3 RNN structure

由圖3可知,輸入向量X=[x(0),x(1),…,x(n)],依照時間順序傳遞給RNN,輸入時間序列信息經RNN結構后的輸出建立數學模型為

式中:x(t)為t時間的輸入變量;W、U為權重矩陣;b和c為權重矩陣偏差向量;V為激活函數;y(t)為t時間步長的預期輸出.

RNN雖然能夠處理連續的序列數據,但在訓練網絡時,數據反向傳播容易出現梯度消失和梯度爆炸問題,導致建立的網絡模型出現無效性,基于此,本文選用RNN的變體結構LSTM網絡.

1.2.2LSTM內部結構的改進

LSTM[28-29]是RNN網絡演變而來,可以有效解決RNN網絡存在的梯度爆炸和梯度消失問題.LSTM記憶單元包括遺忘門(forget gate)、輸入門(input gate)和輸出門(output gate)三個門結構,這三個門結構由sigmoid函數和一個點乘單元構成,通過這三個門對輸入信息進行篩選,同時更新細胞單元狀態.

針對故障數據動態時序性等特點,本文對LSTM結構進行改進,如圖4所示.LSTM網絡結構的單元狀態主要是將前一時刻的關鍵信息傳入當前時刻,且其保留關鍵信息的周期較長.因此,本文選擇分別在記憶單元和遺忘門、輸入門和輸出門之間增加“窺視孔”,記憶單元通過“窺視孔”將記憶信息傳遞給遺忘門、輸入門和輸出門,這種改進結構使得故障數據之間的長期關聯性增強,能有效地提升故障數據信息的獲取,從而提升故障診斷精度.

圖4 改進的LSTM網絡內部結構圖Fig.4 Internal structure of the improved LSTM network

ft=σ(Wxf·xt+Whf·ht-1+Wcf·ct-1+bf)

(5)

it=σ(Wxi·xt+Whi·ht-1+Wci·ct-1+bi)

(6)

ot=σ(Wxo·xt+Who·ht-1+Wco·ct-1+bo)

(7)

gt=β(Wxc·xt+Whc·ht-1+bc)

(8)

ct=ft·ct-1+it·gt

(9)

ht=ot·tanh(ct)

(10)

式中:xt、ht分別為隱藏層的輸入信息和輸出信息;C為記憶單元;W為權重參數矩陣;b為偏置量;σ、β分別為激活函數sigmoid、tanh.理論上,LSTM結構進行上述改進可以提高特征提取效率,從而增加模型分類效率.

1.3 注意力機制

注意力機制源于對人類視覺的研究,現如今已經成為了神經網絡領域的一個重要概念[30-31].注意力機制主要聚焦于眾多信息中對當前目標更關鍵的信息.目前,注意力機制被廣泛應用于自然語言處理、圖像識別和語音識別等各種深度學習領域[32].

新疆屯墾旅游形象對旅游忠誠度的影響研究——以石河子地區為例…………………………………………………………………楊發鵬，白銀霞（3）：50

注意力機制通過對輸入數據的信息進行聚焦,對每個時刻的特征對應輸出相應的權值α,權值的大小代表著該特征對目標的重要程度,即注意力的聚焦程度.注意力機制的數學模型如下所示:

式中:f為激活函數sigmoid;xi為輸入信息i的特征向量;W、b分別為調整特征權重的權重參數矩陣和偏置量;α為輸入信息i的特征對應權值;Z為注意力機制特征加權和.

注意力機制通過對LSTM網絡輸出的深度融合特征按照對應權值重新分配,增大對故障數據關鍵特征的權值,減小無用特征信息的干擾,有效提高故障診斷分類精度.

2 TE過程的故障診斷流程

2.1 TE化工過程

Tennessee-Eastman(TE)化工過程是為評價過程控制和監控方法創建的工業過程[33],其流程如圖5所示.該過程是基于真實的工業過程仿真,主要包括5個操作單元:反應器、冷凝器、汽提塔、氣液分離塔和壓縮機.TE過程在故障檢測和診斷方面得到了廣泛的應用.

該仿真模型共有21種故障,具體故障情況如表1所列.

圖5 TE過程工藝流程示意圖

表1 TE過程故障類型

2.2 TE過程數據集

TE過程數據包含52個變量,其中41個為測量變量,11個為控制變量.由于故障3、9、15、21這四種故障在發生后,測得的觀測數據變化幅度十分微小,不便分類,因此本文數據集中的訓練集和測試集分別包含去除上述四類故障后的17種故障工況和1種正常工況數據,其中,將正常工況作為故障0進行診斷.數據采樣周期為3 min,訓練集樣本中每種工況仿真時間為25 h,故障工況在1 h后引入故障,測試集樣本中每種工況仿真時間為48 h,故障工況在8 h后引入故障.測試集和訓練集中每種工況在500種不同隨機數下進行仿真,最終訓練集和測試集每種工況下采集到的數據中分別有250 000個樣本和480 000個樣本.

2.3 基于改進的LSTM網絡的TE過程故障診斷方法

本文以TE過程為研究對象,驗證基于改進的LSTM網絡的故障診斷方法的性能,診斷框架如圖6所示.

圖6 故障診斷流程圖Fig.6 Fault diagnosis flow chart

具體故障診斷步驟如下:

1) 首先對所采集的TE過程故障數據集進行歸一化預處理:

(14)

2) 將歸一化預處理后的數據劃分為測試集和訓練集.

3) 將訓練集輸入搭建好的診斷模型,訓練并優化調整參數,使網絡達到最優效果.

4) 輸入測試集測試模型,通過評價指標(精確率、召回率、漏報率和F1分數)對模型性能進行評估.

3 實驗結果分析

3.1 評價指標

本文采用精確率、召回率、漏報率和F1分數四種評價指標對提出的基于LSTM診斷模型進行評估.

精確率表示正確預測為正類的樣本數與全部預測為正類的樣本數占比:

(15)

召回率表示正確預測為正類的樣本數占全部正類樣本數比例:

(16)

漏報率用于評價本文故障診斷模型對故障樣本的漏報率:

漏報率=1-召回率

(17)

F1分數是精準率和召回率的加權調和平均值,表示故障模型的綜合識別能力和穩定性,F1值越高說明模型的預測能力越理想,如下式所示:

(18)

TP、FP、FN、TN的關系如表2所示.

表2 TP、FP、FN、TN的關系

3.2 不同方法降維的數據影響

降維的有效性決定了網絡的診斷準確率與時效性.好的降維方法可以保證方法在更少的數據維度下有較好的診斷精度,同時可有效降低計算成本.本節采用傳統的數據降維方法與CNN網絡降維方法進行對比,驗證各方法的降維效果以及CNN網絡與LSTM網絡結合的有效性.通過20次獨立實驗得出不同方法的平均結果如圖7所示,CNN-LSTM網絡在TE過程故障診斷中保證精確率相對較高的前提下,數據維度明顯小于PCA、KPCA和LDA三種方法,體現出更好的降維效果,可有效節約計算成本.

圖7 不同方法的降維效果對比

3.3 不同隱含層層數對診斷結果的影響

通過實驗驗證了不同隱含層層數對診斷結果的影響,并以診斷精度為標準確定了最佳隱含層層數,實驗結果如圖8所示.從圖8可以看出,采用3層隱含層改進LSTM網絡層的TE過程18種故障平均分類精度最高.

圖8 不同改進LSTM層數診斷精度對比Fig.8 Comparison of diagnostic accuracy of different improved LSTM layers

3.4 改進LSTM網絡故障診斷結果

采用3層改進LSTM網絡層對TE過程故障數據進行分類,模型參數如下:全連接層節點數為18,輸入softmax分類器進行分類.為增加網絡穩定性,隱含層間增加dropout函數,比例為0.2,網絡訓練優化器采用adam方法,學習率為0.001.增加注意力機制對故障診斷的影響如圖9所示,故障診斷的損失值有進一步的降低.每種故障分類情況的混淆矩陣如圖10所示.可以看出,少數故障如0、13和18這三種故障的分類精度不能達到99%以上,但也能達到95%以上的精度.整體來看,本文基于改進的LSTM網絡對TE過程故障診斷的平均精度為99.56%,可以很好地實現故障診斷與分類.

圖9 注意力機制消融實驗Fig.9 Experimental diagram of attentional mechanism ablation

3.5 對比驗證分析

為了驗證本文方法在TE過程故障診斷中的優越性,分別采用CNN、GRU、DAEN和LSTM四種在TE過程故障分類有較好效果的網絡進行對比驗證.通過10次獨立實驗分別取得不同診斷方法對TE過程故障診斷的精確率、漏報率以及F1分數的平均值,結果如表3所列.可以看出,改進的LSTM網絡故障診斷的精確率和F1分數最高,且漏報率最低.DAEN網絡和CNN網絡的診斷各項指標都較低且漏報率較高,診斷效果總體較差.

表3 診斷模型性能對比

Tab.3 Performance comparison results of the diagnosticmodels

%

由圖11可知,LSTM網絡在TE過程故障診斷上除去故障10、12、16三種故障外,都有較好的診斷效果,DAEN網絡和CNN網絡對故障4和故障8的診斷效果較差,召回率低于65%.而改進的LSTM網絡在TE過程的故障診斷上都有較好的表現,每種故障的召回率都能達到95%以上,對于故障4、8、11的分類召回率也有較大提升.

圖11 不同模型故障診斷召回率對比Fig.11 Comparison of fault diagnosis recall rates of different models

不同模型故障診斷召回率對比圖和診斷模型性能對比表都表明了比較CNN、GRU、DAEN方法對TE過程故障診斷的分類結果,LSTM方法的故障診斷效果表現較好,改進之后的LSTM方法相較于LSTM方法對故障10、12、16、18分類召回率有較明顯的提高,且在其他故障分類召回率也在97%以上.而基于CNN和DAEN網絡在各類不同故障上的表現各異,且召回率波動較大,并不穩定.基于改進LSTM網絡的故障診斷方法對所有故障的故障診斷率都穩定在95%以上,較為穩定,具有較好的實踐應用價值.

4 結論

本文提出基于改進LSTM網絡的故障診斷方法在TE化工過程的故障診斷有較好的分類表現,主要貢獻如下:

1) 利用CNN網絡的卷積池化操作對TE故障數據集進行特征提取和降維,簡化了故障診斷網絡模型并且有效防止網絡出現過擬合現象.

2) 針對由于TE故障數據動態時序性和長期關聯性等特點從而難以提取有效特征的問題,采用LSTM網絡并對該網絡進行改進,增強了網絡對故障數據的有效特征提取能力.

3) 采用注意力機制對改進的LSTM網絡深度融合的關鍵特征信息進行特征聚焦,進一步提高網絡的特征提取能力,有效提升TE過程故障數據的分類精度.

本文設計的故障診斷模型對TE化工過程的故障中18種故障都有較好的表現,但針對故障3、9、15、21這幾種故障分類精度較低,且針對TE化工過程數據量大、維度高等問題都需要進一步的深入研究.