基于深度置信網絡的多模態過程故障評估方法及應用

張 凱 楊朋澄 彭開香 陳志文

現代復雜工業過程的大規模連續生產給制造業帶來高效益的同時也增大了事故風險.由于工業過程中的控制回路、過程變量相互耦合,一個部位的異常變化可能會隨著傳播不斷演變,微小的故障也可能引起更嚴重的故障[1].因此,準確判斷系統的故障程度并按照故障程度的不同調整生產決策和控制策略,能夠提高生產的高效性和產品質量的穩定性.目前,工業過程故障等級評估方法已在有色金屬[2]、化工[3]、電力[4]、高鐵[5]、船舶[6]等行業成功應用,并取得良好效果.

隨著工業自動化與數據存儲技術的快速發展,基于數據驅動的故障等級評估方法被提出和廣泛應用[7-9],如多元統計分析、機器學習、深度學習等.常用的多元統計分析方法包括主元分析 (Principal component analysis,PCA)[10]、偏最小二乘 (Partial least squares,PLS)[11]及其拓展方法等,這些特征提取方法通過將高維數據投影到低維空間來提取關鍵信息,并用于進一步的故障評估研究.隨著人工智能的發展,支持向量機 (Support vector machine,SVM)[12]、判別分析 (Fisher discriminant analysis,FDA)[13]等典型機器學習方法被廣泛應用,這類方法通過建立過程數據與評估指標之間的映射關系來實現故障評估.其中,SVM 通過高維空間映射尋找最優分類超平面,而FDA 通過降維投影建立判別函數.然而,這些方法大多局限于淺層學習,可能無法很好地處理非線性耦合數據,在故障評估中常與其他特征選擇和提取方法相結合.近年來,深度學習因其能夠自動提取大規模非線性數據的深層特征而被廣泛研究與應用,如卷積神經網絡(Convolutional neural network,CNN)[14]、堆疊自動編碼器 (Stacked auto-encoder,SAE)[15]和深度置信網絡 (Deep belief network,DBN)[16]等.其中,DBN 通過數據的概率分布來提取高層表示,與其他網絡相比,DBN 兼具生成模型和判別模型雙重屬性,具有模型結構簡單、訓練難度小、易于拓展等優點.目前,DBN 已在圖像處理、語音識別、醫學診斷等任務中得到了廣泛的關注和研究[17].

上述特征提取方法側重于建立單模態的故障評估模型.然而,實際過程中往往存在多種工作模態,操作條件的變化、產品規格的多樣性等使工業過程運行工況復雜多變,傳統的單模態故障等級評估方法難以有效地提取和分析潛在的多模態數據特征,需要構建適用于多模態過程的特征提取模型和評估指標.一類常見的方法是將PCA、PLS 等基于多元統計的方法擴展至多模態.例如,文獻[18] 利用多空間PCA 獲取不同模態的獨立特征,根據投影位置來評估在線過程運行狀態,并綜合經濟指標來劃分性能等級.文獻[19] 采用最小體積橢圓自適應地對各模態特征方差的子空間進行建模,并根據子空間之間的距離設計評估退化指標.文獻[20] 將經濟指標信息融入到慢特征分析中,協同感知復雜工業過程的靜-動態特性變化,實現了對運行狀態的綜合評價.為了提高對具有非線性、動態性多模態過程的處理能力,一些基于概率的評估框架被提出,如貝葉斯網絡 (Bayesian network,BN)[21]、高斯混合模型 (Gaussian mixture model,GMM)[22]等.盡管上述方法在一定程度上解決了非線性問題,但每個模態中仍存在線性假設,影響了評估的準確性.當面對復雜的非線性和高維變量時,深度學習表現出更好的潛力,基于深度學習的評估模型受到越來越多的研究.文獻[23] 提出了基于條件生成對抗網絡的多模態圖像質量評估方法,以平均意見分數建立評估指標,通過雙通道自編碼器 (Autoencoder,AE) 提取兩個模態不同深度的特征,并在注意力機制的監督下進行分層融合特征.文獻[24] 針對多模態過程建立多個AE 模型,并將數據壓縮到一個共同的更小的潛在空間后進行跨模態重構,充分利用了故障信息.文獻[25]提出一種基于DBN 的主動遷移學習方法,通過DBN 挖掘輸入特征與暫態評估結果之間的非線性映射關系,并結合主動遷移方法提高了在線應用的快速性和魯棒性.

現有的多模態過程故障等級評估方法針對不同的運行模態分別建立評估模型,僅考慮在所有模態的故障等級數據均已知條件下如何通過優化學習網絡來提高評估的準確率,未考慮在某些運行模態各種故障等級信息未知下如何改進和優化算法.并且大部分方法只關注各模態數據的獨有特征,缺少對各模態間共性特征的建模與分析.實際上,盡管模態在進行切換,但并不是所有變量的相關性都隨模態切換發生改變,一些多模態過程具有明顯的共同信息.例如,在帶鋼熱連軋過程生產不同規格板帶時,上游機架軋制力和輥縫變量遵循相似的軌跡,而彎輥力變量往往表現出不同的特性.因此,分別提取多模態過程的共性特征和各運行模態的個性特征[26],并根據故障對共性特征和個性特征的影響構建評估模型,可通過共性特征實現對部分模態缺失信息的補充,提高多模態過程故障評估的準確性.本文的故障等級評估方法示意圖如圖1 所示.

圖1 融合共性-個性特征的故障評估方法示意圖Fig.1 Schematic diagram of fault evaluation method integrating common and specific features

針對多模態過程的故障等級評估問題,本文以DBN 為特征提取基礎模型并進行深層次拓展,提出了一種基于共性-個性深度置信網絡 (Common and specific deep belief network,CS-DBN) 的故障等級評估方法.首先,針對多模態過程數據,構建一種CS-DBN 模型來提取模態間的共性特征和個性特征;其次,提出融合共性-個性特征的故障等級評估方法,考慮到兩種特征對每個等級指標的重要性不同,給共性-個性特征分配不同的權重因子;最后,將所提方法應用到帶鋼熱連軋過程中,利用實際過程數據驗證所提方法的有效性.

1 問題提出與基本思路

本節以熱連軋過程故障等級評估為例,介紹問題的提出與基本思路.圖2 展示了3 種規格帶鋼生產過程中第2 機架軋制力的采樣數據,若把3 種規格帶鋼生產過程視為3 種運行模態,可以看出,3 種模態的軋制力數據具有共性,即開始軋制階段呈現上升趨勢.另外,它們還有各自的獨有特征,如模態3 軋制力增長到一定程度就趨于穩定,而另外兩個模態軋制力分別呈現持續增長和持續下降的特征.傳統故障等級評估方法大多根據故障的大小判斷故障等級,忽視了故障對變量變化趨勢等深層次特征的影響,因此容易出現誤評估情況.以軋制力故障為例,該種故障在熱連軋過程中屬于較為嚴重的故障,3 種模態的軋制力故障下的軋制力數據如圖3 所示.若已知模態1 和模態3 的軋制力故障數據,利用訓練好的評估模型評估模態2 的故障等級,如圖3 所示,由于模態1 和模態3 所訓練的評估模型并不能完全覆蓋到模態2 故障數據的全部信息,因此傳統方法容易將該故障錯評為一般故障或者正常.若利用模態2 的故障數據提取共性特征,如圖3所示,該故障對共性特征的影響較大,利用模態1和模態3 共性特征訓練好的評估模型可將此故障正確地評估為嚴重故障.彎輥力故障也是熱連軋過程經常發生的故障,當彎輥力發生異常后,會間接影響軋制力的動態設定,該故障對帶鋼產品的厚度影響較小,常被當做輕微的故障.圖4 給出了3 種模態彎輥力故障下的數據曲線,如果利用模態1 和模態2 的故障數據訓練評估模型并評估模態3 的故障等級,由于模態3 的故障數據范圍已經超越了模態1 和模態2 的故障數據范圍,傳統的評估方法易將該故障誤評為嚴重故障.而如果利用模態3 故障數據提取的共性特征來評估,如圖4 所示,由于共性特征并沒有受到較大影響,因此可被正確評估為輕微故障.因此,可以看出,若不考慮各模態間的共性特征和個性特征,很容易導致錯誤的評估結果.

圖2 熱連軋過程單變量共性-個性特征分解示意圖Fig.2 Schematic diagram of single variable common and specific feature decomposition in hot rolling process

圖3 軋制力故障共性特征等級評估示意圖Fig.3 Schematic diagram for evaluating the common feature grades of rolling force faults

圖4 彎輥力故障共性特征等級評估示意圖Fig.4 Schematic diagram for evaluating the common feature grades of bending force faults

基于以上思路,剩余部分的具體工作包括: 第一,構建共性-個性深度置信網絡模型,實現式 (1)和式 (2) 所描述的映射關系;第二,提出融合共性-個性特征進行故障等級評估的方法.

2 共性-個性深度置信網絡

本節提出了CS-DBN 模型來提取各模態數據中隱含的共性特征和個性特征,同時結合已有方法總結了CS-DBN 的特點.

2.1 特征提取網絡結構

多模態共性-個性特征提取框架如圖5 所示.網絡由三部分組成,分別是預訓練網絡、特征變換網絡和重構網絡.預訓練網絡建立并行DBN,以標準化后的模態數據Xm作為各子網絡輸入,提取各模態數據的深層特征Zm.特征變換網絡將每種模態的特征分別分解為共性特征和個性特征,以預訓練網絡的輸出Zm作為輸入,結合MK-MMD(Multi-kernel maximum mean discrepancy)[27],將每個模態特征數據映射為具有最小分布距離的共性特征和具有最大分布距離的個性特征.同時,為了增強模型的魯棒性,首先,將獲得的各模態共性特征和個性特征通過多層感知機 (Multilayer,perceptron,MLP)[25]層映射至共同的ζ維度;然后,將第m個模態學習得到的共性-個性特征與其他模態的共性特征進行加性融合,以從其他模態學習到的共性特征來增強該模態共性信息的表示,進而作為重構網絡的輸入.重構網絡利用權重矩陣的轉置重構輸入數據得到通常采用反向傳播 (Back propagation,BP) 算法,使用重構數據與原始數據的誤差平方和進行反向調參,以無監督的方式對整個網絡進行參數的全局優化.

圖5 DBN 與CS-DBN 網絡結構示意圖Fig.5 Schematic diagram of DBN and CS-DBN network structure

2.2 DBN 預訓練

圖5 展示了通過DBN 逐層預訓練提取每個模態運行數據特征的過程.DBN 由多個受限玻爾茲曼機 (Restricted Boltzman machine,RBM) 堆疊而成,RBM 由可見層和隱藏層組成,將前一個RBM 的隱藏層輸出作為下一個RBM 可見層的輸入,自下而上初始化DBN 的參數.在訓練過程中,單個RBM 采用對比散度 (Contrastive divergence,CD)[28]算法進行一步吉布斯采樣,參數更新公式為

式中,vi和ai分別表示第i個可見單元的狀態和偏置,hj和bj分別表示第j個隱藏單元的狀態和偏置,為顯層和隱層通過條件概率采樣生成的重構數據;w ij為第i個可見單元及第j個隱藏單元間的連接權重;ε為學習率.此外,為了提高訓練的速度,避免過擬合,本文將w ij,ai和bj的更新規則分別改進為

式中,α為加速學習過程的動量,t表示迭代的次數,ξ為權重衰減項.通過這種方式逐個訓練RBM.在提出的模型中,第一層的可見單元是實值,使用高斯受限玻爾茲曼機來訓練網絡的第一層[29],然后使用伯努利受限玻爾茲曼機進行深層RBM 的訓練.

DBN 預訓練可稱為編碼過程,第m個模態的數據Xm=[xm,1,xm,2,···,xm,Nm]T經過DBN 預訓練后,最高層RBM 的輸出為深度特征Zm.再將深度特征數據反向逐層解碼,增加與DBN 對應的后向微調步驟,可以得到微調后的重構數據每個模態無監督的DBN重構訓練損失函數為

2.3 特征轉換層

在提取的多模態深度特征基礎上,進一步設計特征轉換層.預訓練后,將各模態深層特征Zm分別通過映射至nc維共性特征空間和ns維個性特征空間,并將共性-個性特征視為來自兩個分布的樣本,采用MK-MMD 計算分布距離來分離兩種特征.

MMD 通過核映射方法將兩個分布的關鍵統計特征嵌入到高維再生希爾伯特空間 (Reproducing kernel Hilbert space,RKHS) 中,然后計算核均值嵌入之間的距離,但MMD 在很大程度上依賴于核函數的選擇.為了解決核函數對最終映射性能的影響,本文采用MK-MMD 算法,該算法在原始MMD 特征核的基礎上,利用多個高斯核的線性組合來增強距離度量性能,從而能夠更準確地將輸入空間的值映射到RKHS 中得到最優值.

在訓練階段,為了降低計算復雜度,本文采用Gretton 等[27]提出的MK-MMD 的無偏估計.MKMMD 的計算可以轉換為

其中,Lre,m的定義為式 (9).α re,αc,αs分別為重構部分以及共性-個性特征部分的參數,用以平衡各項,使網絡損失函數最小化.

2.4 方法特點及對比分析

在構建的CS-DBN 網絡中,共性特征的維度nc需要在模型訓練的時候確定.根據式 (14) 可以看出,當nc從1 開始逐漸增大時,各模態共性特征間的MK-MMD 距離不會有較大增加.由于整體的重構誤差Lre,m逐漸減小,因此Lm會呈現下降趨勢.當nc取值增大時,共性特征間的距離會逐漸變大,導致Lre,m的下降變得不明顯.綜上,在訓練過程中可以將nc從1 逐漸增大到n c,max,并記錄損失函數值Lre,m,當損失函數值不再明顯減小時,記錄此時的nc.

CS-DBN 通過概率生成和非線性映射建立原始數據與特征間的關系,更適合于復雜非線性工業過程.與文獻[30] 和文獻[31] 中方法相比,在特征提取的原理方面,CS-DBN 在滿足共性特征距離最小、個性特征距離最大的前提下,通過最小化重構誤差來獲取特征,充分地結合了傳統方法的特點.在訓練過程中,CS-DBN 不要求各模態的數據等長,這也極大地擴展了方法的通用性.從投影空間的角度獲取的共性特征和個性特征相互正交,這有利于構建互補的故障檢測指標,而CS-DBN 和基于張量分解方法不能滿足特征的正交性,各種方法的特點及比較總結如表1 所示.接下來,將介紹如何結合CS-DBN 的特點構建故障等級評估方法.

表1 各類共性-個性特征提取方法特點總結Table 1 Summary of characteristics of various common and specific feature extraction methods

3 融合共性-個性特征的故障等級評估

本節在CS-DBN 的基礎上,提出了融合共性-個性特征進行故障等級評估的方法.

3.1 故障等級劃分

如第1 節所描述,模態間的共性特征關聯了多個操作模態的狀態,影響共性特征的故障會引起系統結構性故障,表現為影響多個模態的關鍵質量指標,屬于嚴重故障.影響模態個性特征的故障,可以通過系統的閉環調節及時補償,不會對關鍵指標產生影響.并且,由于特征變量間的耦合作用,影響各模態個性特征的故障可能會由于未及時檢修或故障較大等原因,演變為影響多模態共性特征的故障.因此,可以根據故障對共性特征和個性特征的影響構建評估方法.本文結合國家標準GB/T709-2006將故障劃分為3 個等級: “輕微故障”、“一般故障”、“嚴重故障”.具體來說,當有故障發生時,將主要影響個性特征且不影響質量指標的故障劃分為“輕微故障”;將同時影響共性特征和個性特征且對質量指標的影響較小的故障劃分為“一般故障”;將對共性特征影響較大且對質量指標影響較大的故障劃分為“嚴重故障”.

3.2 故障等級評估模型

式中,θ c=[θc,1,θc,2,···,θc,G]T為權重矩陣.類似地,個性特征屬于每一類的概率也可以按照式 (16) 計算得到.

共性特征和個性特征共同決定了故障等級且對每個等級的故障貢獻值不同,因此不能僅將兩種特征通過拼接或加和來進行等級評估訓練.為了獲得更好的性能,在訓練階段根據兩種特征的重要性進行加權,得到屬于每個等級的概率h′(xm,i),最終xm,i屬于每個等級的概率h′(xm,i) 計算為

最終的評估結果 G rade(xm,i) 確定為h′(xm,i)中概率最大值對應的等級.式(17)中,λ(0≤λ≤1) 為特征的加權系數,λ越大表示共性特征分量在等級評估過程中所占比重越大.當λ=0 時,表示只有個性特征分量,個性特征反映了各個模態內的信息,因此,當用于訓練模型的各模態故障信息不足時,可能會影響評估精度.當λ逐漸增大至1 時,表示在確定故障等級時只有共性特征分量起作用.

3.3 基于CS-DBN 的故障等級評估方法總結

以熱連軋過程為例,本文所提出的方法可總結如圖6 所示.選取該過程幾個典型規格的帶鋼軋制過程作為M個工作模態,并將這些模態的運行數據導出作為CS-DBN 的網絡訓練數據.同時,可以利用各模態已知的故障等級數據生成共性-個性特征正常/故障特征集,用來訓練評估模型.當在線得到待評估模態數據后,可利用訓練的模型參數進行在線故障等級評估.詳細的方法總結可描述如下:

圖6 基于CS-DBN 的故障等級評估流程圖Fig.6 Flow chart of fault grade evaluation based on CS-DBN

1) 離線建模:

a) CS-DBN 模型的構建:

i) 獲取M個模態正常工況下的數據并進行ZScore 標準化處理;

b) 等級評估模型的構建:

iii) 訓練加權LR 的各等級參數θc和θs,根據式 (17) 確定故障等級.

2) 在線應用:

4 帶鋼熱連軋過程應用驗證

本節將所提方法用到熱連軋精軋過程中,通過實際精軋過程數據驗證本文方法的評估效果.

4.1 過程描述及數據描述

4.1.1 過程描述

帶鋼熱連軋主要由加熱爐、粗軋機、飛剪、精軋機組、層流冷卻和卷取機等相互耦合的工序構成,熱連軋過程布局如圖7 所示.其中,精軋機組是控制成品質量和保障系統安全的關鍵環節,精軋機組由F1至F7共7 臺機架串聯組成,每個機架由一對工作輥、一對支撐輥以及相應的液壓壓下裝置等部分構成.四輥軋機的下支撐輥的下部設有軋制力檢測傳感器.工作輥之間的輥縫控制由高精度的液壓伺服控制系統完成,通過設定輥縫值來保證帶鋼的出口厚度.出口厚度是關鍵性能指標之一,厚度精度取決于精軋機壓下系統和厚度控制系統 (Automatic gauge control,AGC) 的設備形式,現代化AGC 能綜合采用多種形式的厚度自動控制系統,以適應不同鋼種、規格和工藝參數變化的要求.

圖7 熱連軋機組及精軋機組布局圖Fig.7 Schematic diagram of hot continuous rolling unit and finishing rolling unit

4.1.2 數據描述

本文采用某鋼鐵廠帶鋼熱連軋現場采集的過程數據來驗證所提方法的有效性.數據描述如表2 所示.選擇Q235B 碳素結構鋼4 種規格帶鋼的生產過程作為4 種模態,4 種規格帶鋼的出口厚度分別為2.30 mm、2.70 mm、3.00 mm 和3.95 mm.評估數據為該過程的關鍵過程變量,包括7 個機架的輥縫、軋制力和彎輥力 (第1 機架無彎輥力控制) 共20 個過程變量.

表2 熱連軋過程多模態數據描述Table 2 Multimode data description of hot continuous rolling process

不同模態的故障等級數據可通過如圖8 所示的熱連軋過程故障注入系統獲得.該系統集成了熱連軋過程壓下、溫降、彎輥、活套等各類機理模型,通過讀取實際的多規格生產過程、工藝設定及軋機的狀態數據,并利用增量疊加形式將各類故障注入到正常的過程數據,從而獲得各種等級的故障數據.實驗表明,該系統可較好地模擬實際生產過程的故障產生、傳播及對產品質量的影響.在該系統中可讀取表2 所描述的4 種規格的正常過程數據,并通過選擇故障類型、故障大小及故障發生位置等信息實現故障注入.

圖8 熱連軋故障注入系統Fig.8 Fault injection system for hot continuous rolling

本文選取了熱連軋過程常見的3 類典型故障進行方法驗證.3 類故障按照第3.1 節的劃分標準可分別歸類為“輕微故障”、“一般故障”和“嚴重故障”.故障類型1 為F5彎輥力傳感器故障,由于系統的閉環控制,該故障可以通過增大F6和F7的彎輥力來補償,因此只影響各模態的個性特征,不會對出口厚度造成影響.故障類型2 為F4輥縫故障,該故障將影響F4和F5的軋制力和輥縫,但由于AGC 系統的補償控制,可以通過壓下設備做相應調節來消除厚度偏差.故障類型3 為F2與F3間冷卻水閥執行器故障,該故障會導致F3軋鋼入口溫度升高,由于前饋控制器的影響,F3及之后機架的軋制力和輥縫都會受到影響,最終影響鋼品出口厚度,在這種情況下,任何帶鋼類型的生產過程都將受到影響,因此系統的共性特征和個性特征都將受到影響.綜合考慮故障影響的變量以及鋼品出口厚度差,本文將每個模態的數據劃分4 個等級,故障劃分結果如表3 所示.

表3 熱連軋過程故障等級劃分及標簽添加Table 3 Fault grade division and label addition in the hot continuous rolling process

4.2 故障信息已知下的等級評估

4.2.1 模型訓練

如第3.3 節所描述,整個模型訓練分為兩步: 1)CS-DBN 特征提取模型;2) 故障等級評估模型.選擇第4.1.2 節中描述的4 個模態的正常工況數據訓練CS-DBN 模型,每個模態數據包含20 個變量3 000個樣本,組成訓練集Xm∈R3000×20,m=1,2,3,4.

CS-DBN 的訓練過程首先對每個模態建立DBN 子模型.采用試錯法進行超參數選擇,逐層設置隱含層節點數并依次疊加RBM 層數,根據損失曲線收斂的速度和大小初步確定DBN 的結構參數、損失函數L的各約束項以及迭代步數 (epoch).中間特征轉換層共性-個性特征維度nc和ns是影響評估結果的關鍵參數,維度較低可能不能充分提取信息,維度較高則會產生冗余信息.在確定維度值時,首先固定nc為1,ns由1 逐漸增大,觀察收斂曲線,可確定獲得最小收斂值時ns維度為7;再固定ns值,逐漸增加共性特征維度,不同nc值的重構誤差收斂值如圖9 所示.為了簡化模型結構,最終選擇最佳共性特征維度為5.綜合以上調試結果,DBN 結構最終包含2 個隱含層,預訓練部分最佳DBN 網絡結構為20-35-14,中間特征轉換層權重設置為m=1,2,3,4.批次數Nb設置為80,學習率ε為0.0001,迭代步數設置為600 次,隨機失活率dr 設置為0.5,具體模型參數設置如表4 所示.

表4 CS-DBN 模型參數Table 4 CS-DBN model parameters

圖9 共性特征維度 n c 與重構誤差Fig.9 Common feature dimension nc and reconstruction error

為驗證本文所提方法的收斂效果,圖10 給出了CS-DBN 訓練過程中的迭代曲線.其中,圖10(a)為CS-DBN 損失函數L在訓練過程中的迭代曲線.可以看到,在迭代次數達到400 步時,訓練過程迭代曲線已經明顯收斂.圖10(b)、圖10(c)為不同模態的共性特征間和個性特征間MK-MMD 值的迭代曲線.可以看出,隨著訓練次數的增加,不同模態的共性特征間MK-MMD 值呈現出不斷減小的趨勢至收斂,反之個性特征間MK-MMD 值隨迭代次數逐漸增大.這反映出MK-MMD 方法可以區分不同模態數據分布間的相似性和差異性.

圖10 CS-DBN 訓練過程迭代曲線Fig.10 Iterative curve of CS-DBN training process

基于CS-DBN 模型,可獲得各模態正常工況數據和不同等級故障數據的共性特征以及個性特征共性-個性特征與等級標簽匹配后用于訓練等級評估模型部分.等級評估模型訓練集由每種模態正常數據以及不同等級故障數據各2 000 組組成.測試集為第4 個模態的數據,包括1 000 組正常數據和3 000 組各等級故障數據.

4.2.2 等級評估結果

為了驗證所提方法的應用效果,本文將基于CS-DBN 的等級評估結果與SVM、FDA 兩類典型機器學習方法以及DBN、SAE 結合Softmax 深度學習方法的等級評估結果對比,以說明本文所提方法的優越性.4 種對比方法對模態數據進行整體建模,利用4 個模態的正常數據和已有的各模態等級故障數據訓練評估模型.其中,SAE 的隱層神經元數設置為40-25-4,DBN 結合Softmax 的網絡結構設置為35-14-4,SVM 的核函數設置為徑向基核函數.為了清晰地展示評估精度,本文引入準確率(Accuracy)、精確率(Precision)、MacroF1 作為評估指標[15,25].

當訓練過程4 個模態全部故障信息已知時,等級評估結果如表5 所示.對比可知,在4 個模態各等級故障信息已知的情況下,5 種方法評估結果都有較高的準確率、精確率和MacroF1.其中,融合共性-個性的故障等級評估方法的各項指標均達到98% 以上,高于其他4 種方法.因此,融合多模態共性-個性特征的評估方法可以更加有效準確地判斷故障等級.

表5 各模態全部故障信息已知下的評估結果 (%)Table 5 Evaluation results for cases that all fault information in different modes is known (%)

4.3 故障信息部分已知的等級評估

為了進一步驗證本文方法在多模態故障數據不充分下的應用效果,本節考慮訓練過程中多模態部分故障信息不全的情況,設計包含不同故障信息的案例,并通過新模態數據進行評估結果驗證.

4.3.1 故障信息不完全情況下的評估結果

在CS-DBN 模型訓練完成后,選擇4 個模態的正常數據以及前3 個模態的部分故障數據作為評估模型的訓練集.同時將第4 個模態的各等級數據共4 000 組作為測試集,即在訓練過程中測試集的各等級故障數據均未參與故障等級評估模型的訓練.

表6 以準確率指標為例展示了各模態不同故障組合案例下的評估結果.案例A 考慮了每個訓練模態中包含最多兩種等級故障數據下的評估準確率,其中A-1 到A-8 是各模態間不同的組合情況.可以看出,當故障信息較少時,CS-DBN 方法整體故障等級評估準確率在60.00% 以上,均高于其他4 種方法,同時,在多數情況下,SVM 和FDA 方法評估失敗(Accuracy ≤ 50.00%).案例B 設置為每個模態均有兩種等級的故障數據,故障信息較案例A 增多.從評估結果可以看出,與案例A 相比,在B-1至B-8 不同故障數據組合情況下所有方法的評估準確率均有所提升,CS-DBN 在某些故障組合下準確率可達到85.50%,平均準確率為71.92%,遠高于DBN 的61.47% 和SAE 的58.25%.在案例C中,某些模態的故障等級數據從兩種增加至三種,更多的故障數據參與訓練提升了評估效果.其中CSDBN 方法在所有故障組合下準確率均高于70.00%,平均準確率為73.12%,高于DBN 的70.47% 和SAE 的64.85%.同時,FDA 和SVM 方法也均超過50.00%.案例D 設置為訓練過程中至少有兩個模態有三種等級的故障數據.評估結果顯示,CSDBN 方法的平均準確率為80.79%,同時在4 個故障組合中,準確率均高于80.00%,最高為88.25%.與之相比,FDA 和SVM 平均值仍為50.00% 左右,DBN 和SAE 方法也無較大提升.

表6 各模態部分故障信息已知下的評估準確率結果 (%)Table 6 Evaluation accuracy results for cases that part of fault information in different modes is known (%)

總結表6 可知,隨著更多的故障等級數據參與訓練,5 種方法的評估準確性都有所增加.CS-DBN方法因其可以提取多模態過程的共性信息,能夠更好地學習到多模態過程同一等級故障數據間的共性特征,與傳統方法相比,評估準確率提升近10%.本文所提模型可以更準確地評估未知故障信息下的模態所發生的故障.

4.3.2 待評估模態故障信息未知下的評估結果

當前3 個模態的全部故障信息已知時,選擇4 個模態的正常數據以及前3 個模態的各等級故障數據訓練評估模型,使用第4 個模態的各等級數據(均1 000 組) 進行測試.圖11(a)～圖11(e)分別展示所提方法和對比方法的等級評估結果.如圖11(b)和圖11(c)所示,DBN 和SAE 在“嚴重故障”和“一般故障”等級中有較多的誤評估樣本.由圖11(d)和圖11(e)可以看出,當待評估模態故障信息未知時,SVM 和FDA 的評估精度較低,其中FDA 未能區分“嚴重故障”和“一般故障”,造成了精確率和Macro-F1 值失效.CS-DBN 方法的評估準確率達到了92.40%,精確率達到了92.64%,MacroF1 達到了92.37%,僅在“正常數據”和“輕微故障”里有少量評估失誤,評估準確率較第4.3.1 節中案例D 的結果提升了11.61%.可以看出,當用于訓練的故障信息增多時,本文所提方法能夠充分利用不同模態的共性-個性特征,進一步提高模型的性能.

圖11 前3 個模態全部故障信息已知時的評估結果Fig.11 Evaluation results with full knowledge of faults in the first three modes

4.3.3 權重因子 λ 對評估結果的影響分析

圖12 展示了在不同故障信息的實驗中權重系數取值與評估準確率的關系.圖12 中,實驗1 至實驗10 為評估模型訓練中故障信息逐漸增多的代表性案例.例如,實驗1 中故障信息為模態1 至模態3 分別含有一種故障等級數據;實驗5 中故障信息包括模態1 的“輕微故障”、模態2 的“一般故障”與“嚴重故障”、模態3 的“輕微故障”與“一般故障”;實驗10 包含4 個模態的全部故障信息數據.當λ=0時,即只有個性特征部分參與等級評估的情況,每種實驗的評估準確率都較低.如圖12 所示,當λ逐漸增加,評估準確率開始提高,其中,在實驗4、實驗5、實驗6、實驗8 中,隨著λ超過0.25,評估準確率逐漸提升.在實驗2 和實驗3 中,當λ達到0.55 時,評估準確率逐漸提升.λ增加到一定程度后,評估準確率會有所下降,例如,在實驗6 至實驗9 中,當共性權重因子增加至0.9 時,評估準確率出現下降情況.在實驗10 中,當共性權重因子增加至0.75 時,評估準確率開始下降.綜上所述,為了使等級評估結果在不同故障信息已知的情況下都相對最優,λ的合理范圍選擇為0.55 至0.75,本文中λ=0.6.

圖12 共性特征權重因子分析Fig.12 Weighting factor analysis of common features

應用結果驗證可知,CS-DBN 方法可以通過深度挖掘熱連軋多規格帶鋼生產過程數據間的共性特征和個性特征,構建更適合于多模態過程的故障等級評估模型.該方法在故障等級數據不充分的情況下,利用不同模態數據的共性故障特征同樣能取得較好的等級評估結果.

4.3.4 模型魯棒性分析

本文的魯棒性可從兩個方面進行分析.首先,與線性共性-個性特征提取方法相比,當數據出現缺失或離群值時,傳統方法通過構建投影空間或基向量來提取特征,容易導致投影空間獲取偏差,進而無法獲取準確的共性-個性特征,而CS-DBN 采用了神經網絡的方法,通過非線性激活函數和訓練過程的dropout 技術,可以使訓練數據中離群值的影響較小,提高了方法在低質量工業數據建模中的魯棒性.其次,CS-DBN 可以通過增加訓練過程的模態數量來更新所提取的共性特征和個性特征,因此當測試數據為未參與訓練的數據時,模型也能有良好的共性-個性特征提取結果.以本文驗證過程為例,一個時間段內采集的10 個批次的熱連軋過程數據為數據集,其中每個批次有各自的軋制過程設定.實驗過程選擇其中的部分模態為訓練集,另一部分作為測試集,通過增加或減少參與訓練的模態數據提取模態的共性特征和個性特征.驗證結果表明,當參與訓練模態的數為4 時,提取的共性-個性特征已經能較好地覆蓋這10 個模態的信息,有較好的故障等級評估結果.但是由于本文所提模型仍具有一定局限性,當過多模態數據參與模型訓練時,網絡復雜度會提高,特征提取的結果也會有所影響,因此,本文的實驗驗證選擇4 個模態進行訓練.

5 結論

本文針對多模態過程的故障等級評估問題,提出一種基于CS-DBN 的故障等級評估方法.首先,在傳統DBN 基礎上,結合MK-MMD 分布度量構建了CS-DBN 模型,以解決多模態過程中共性-個性特征提取問題.同時,融合多模態共性特征和個性特征構建了基于加權邏輯回歸的故障等級評估模型.本文將所提出的方法應用到熱連軋多規格帶鋼的生產過程中,并利用熱連軋過程故障注入系統生成多規格帶鋼多種故障等級數據進行方法驗證.驗證結果表明,與傳統評估方法相比,所提方法在故障等級信息缺失下能夠提高評估準確性;當多模態故障等級信息充足時,評估準確率可達98.75%.

未來將針對其他深度學習算法進行改進和優化,提升多模態過程故障等級評估的精度,并對復合故障下的多標簽評估與分類方法開展研究.