基于深度學習的裝備剩余壽命區間預測研究進展

陳 闖，李先鋒，史建濤

南京工業大學電氣工程與控制科學學院，南京 211816

在全球競爭日益激烈的當今時代，裝備現代化和高端化已成為企業和國家保持核心競爭力的重要戰略之一. 隨著經濟的持續發展和科技的不斷進步，各種新型材料、復雜工藝和創新性技術逐漸應用于航空發動機、大型飛機、高速列車和燃氣輪機等重大工程，裝備也朝著大型化、自動化和集成化方向發展[1-3]. 為確保裝備能夠可靠、安全、穩定地執行其既定功能，裝備運行性能成為了使用者、生產廠商以及設計者共同關注的核心問題.然而，在實際運行過程中，裝備受到內部因素（疲勞、老化、磨損、功能缺陷等）和外部因素（振動、沖擊、輻射、溫度波動等）的綜合影響，裝備退化故障難以避免. 裝備故障的發生輕則降低其任務執行能力，重則造成嚴重的經濟損失和人員傷亡等后果[4-6]. 因此，在裝備性能退化的早期，特別是在尚未造成嚴重危害之前，通過狀態監測信息及時發現異?；蚨吭u價裝備的健康狀況，并準確預測裝備性能退化至主要功能喪失的時刻（即剩余壽命預測），從而對裝備實施健康管理，是保障復雜裝備安全、可靠和經濟運行的重要手段[7].

為解決上述問題，有關裝備健康狀態評估、剩余壽命預測和維護決策方向的研究得到了國內外學者的廣泛關注，并在過去幾十年內取得了長足發展. 剩余壽命預測是連接裝備運行狀態信息感知與基于運行狀態實現個性化精準健康管理的紐帶和關鍵. 裝備剩余壽命預測主要技術方法包括機理模型方法、數據驅動方法和混合方法[8-10]. 其中，數據驅動方法直接立足裝備運行狀態數據本身，而不過度依賴裝備退化的失效機理且建模成本不高，能夠很好適用復雜工程裝備，是當前剩余壽命預測研究的主流方法[11-13]. 喻勇等[14]系統綜述了數據驅動的剩余壽命預測方法中基于協變量的方法，將基于協變量的方法分為固定協變量模型、時變協變量模型和隨機協變量模型. 裴洪等[15]系統綜述了數據驅動的剩余壽命預測方法中基于機器學習的方法，根據機器學習模型結構的深度，將其進一步分為基于淺層機器學習的方法和基于深度學習的方法. 李銀等[16]梳理了支持向量機、極限學習機、深度神經網絡等6 種數據驅動方法在鋰離子電池剩余壽命預測應用中的研究現狀，并歸納總結了優勢和缺點. Wang 等[17]進一步綜述了數據驅動的剩余壽命預測方法中基于深度學習的方法，歸納總結了自動編碼器、深度置信網絡、卷積神經網絡、遞歸神經網絡4 個主要代表性的深度架構在剩余壽命預測中的研究進展. 這些研究從各自的角度討論了數據驅動的壽命預測發展，特別指出深度學習作為數據驅動方法的前沿技術實現了計算機自動學習模式特征，提高了在不同領域的適用性，然而剩余壽命預測過程中的不確定性并沒有得到關注.

在實際應用中，隨機噪聲、模型偏差、環境擾動等多種不確定性始終穿插于剩余壽命預測過程，這大大降低了預測的可信度，并可能導致不適當的維護決策，甚至導致裝備崩潰. 因此，在深度學習背景下，裝備剩余壽命預測不確定性研究至關重要. 首先，不確定性研究有助于提高決策的質量. 在決策制定過程中，僅僅依賴單一的壽命估計可能導致錯誤的決策. 例如，在維護計劃中，如果不考慮不確定性，可能會導致不必要的維護活動，浪費資源，或者在不及時維護的情況下，可能會發生設備故障，帶來更大的損失. 通過了解壽命預測的不確定性，決策者可以更好地權衡風險和成本，制定出更明智的決策[18]. 其次，不確定性研究有助于提高裝備的安全性. 在一些如航空和核能行業，裝備故障可能導致災難性后果. 通過研究剩余壽命預測的不確定性，可以提前發現可能的故障風險，并采取適當的措施來確保裝備的安全性，這對于保護人員的生命和財產至關重要. 此外，不確定性研究還有助于降低成本. 維護和修理裝備的成本往往非常高昂，但如果不確定性被忽略，可能會導致不必要的維護活動，浪費資源. 通過了解不確定性，可以更精確地制定維護計劃，以最大程度地減少成本. 不確定性研究還可以用來評估數據質量. 如果不確定性很高，可能是因為數據不足或不準確. 因此，通過研究不確定性，可以發現數據收集和處理中的問題，并采取措施改進數據質量，提高預測的準確性. 最后，不確定性研究有助于改進預測模型. 通過分析不確定性，可以識別模型在特定情況下的表現差異，并指導模型改進方向，這將有助于提高預測的準確性和可靠性. 因而，裝備剩余壽命預測不確定性研究的必要性在于提高決策質量、確保設備安全性、降低成本、改進數據質量和預測模型的性能，這對于各種工業和軍事應用中的裝備管理至關重要，將為企業和組織帶來巨大益處.

預測區間是用于量化預測不確定性的統計度量，通常由預測上界和預測下界組成，并在預測上界和預測下界之間預期的未知值以指定概率存在[19]. 預測區間的可用性使決策者和運營規劃者能夠有效地量化與點預測相關的不確定性水平，并考慮最佳和最差條件下的多種解決方案. 寬預測區間表示底層系統運行中存在高度不確定性，這些信息可以指導決策者避免在不確定條件下選擇有風險的行動；窄預測區間意味著可以更自信地做出決定，而在未來面對意外情況的機會更少.本文動機在于分析和闡述當前基于深度學習的剩余壽命區間預測模型的基本思想和發展動態，進而為探究一種具有高可靠性、低計算成本和易于實現的基于深度學習的剩余壽命區間預測模型提供良好借鑒. 本文分析了深度學習背景下剩余壽命預測不確定性的來源；重點介紹并歸納了5 種流行的基于深度學習的剩余壽命區間預測模型：自舉深度學習模型、局部不確定性模型、隨機過程深度學習模型、貝葉斯深度學習模型、深度學習分位數回歸模型及其優缺點；探討了基于深度學習的裝備剩余壽命區間預測研究中面臨的挑戰性問題以及未來潛在的研究方向.

1 剩余壽命預測不確定性的來源

隨著工業物聯網相關技術的不斷發展，工業系統中可獲取的狀態監測數據逐漸增多. 相較于淺層機器學習方法，深度學習技術不再需要專業信號處理知識，能夠自動提取或構建有用信息以支持剩余壽命預測任務，因此近年來備受研究者關注. 常用的深度學習網絡結構有深度置信網絡（Deep belief network, DBN）[20-25]、卷積神經網絡（Convolutional neural network, CNN）[26-31]和長短時記憶神經網絡（Long short-term memory, LSTM）[32-37].DBN 以受限玻爾茲曼機為基礎，通過運用多個受限玻爾茲曼機方式實現概率生成，訓練過程采用了貪婪逐層學習算法進行無監督預訓練. 在無監督預訓練完成后，DBN 利用反向傳播微調操作對深層次網絡進行優化，從而獲得更佳的性能. CNN是由卷積、池化和全連接層組成的深度學習網絡，具備空間信息處理、特征自動學習，并可結合數據增強技術來改善模型泛化能力等優勢，被廣泛應用于裝備剩余壽命預測建模中. LSTM 是一種特殊類型的循環神經網絡，通過使用一些特定組件來解決傳統循環神經網絡中的梯度消失和梯度爆炸問題. 由于LSTM 網絡具備時序數據建模、長時依賴關系捕捉、抵御噪聲干擾等優勢，使得LSTM 成為一種非常有效的剩余壽命預測方法.

深度學習技術為處理復雜工程系統中的海量監測數據提供了一種有效的解決思路. 深度學習方法在裝備剩余壽命預測中的應用具有巨大的優勢：首先，相比于人為設計特征，深度學習提出了一種讓計算機自動學習模式特征的方法，這可大大減輕工程師的負擔并提高模型精度；其次，深度學習的深層網絡結構使得它能夠學習到更深層次的潛在特征，從而提升預測精度. 深層網絡可通過逐層訓練學習到不同抽象層次的特征，這些特征通常比單層網絡學到的特征更加豐富和有用；最后，與傳統機器學習算法相比，深度學習技術在不同領域具有更好的適用性. 如，在圖像、語音和自然語言處理等領域，深度學習已經取得了非常顯著的成果. 因此，在工程裝備剩余壽命預測任務中采用深度學習方法具有巨大的優勢，可為實際應用提供更高效和可靠的解決方案.

對于一組N個數據樣本可通過帶有真實參數集θ的深度學習函數f(xi,θ)生成觀測目標yi：

式中，xi表示輸入空間的樣本； εi是帶有零均值的噪聲. 點預測致力于逼近真實的預測模型f(xi,θ)，其近似模型f(xi,)可被視為目標分布的平均值，估計參數集可通過優化構建的損失函數（如均方誤差）獲得. 預測區間與概率分布有關，試圖量化與觀測目標yi和預測值f(xi,)之間差異相關的不確定性[38]，即：

圖1 剩余壽命預測中的不確定性Fig.1 Uncertainties in remaining useful life prediction

（1）數據質量：如果原始監測數據存在缺失值、樣本數量不足或采樣偏差等質量問題，將會對剩余壽命預測造成不確定性.

（2）模型偏差：即使使用了最先進的模型，也難免存在一定程度的偏差. 這些偏差可能源于模型本身的局限性，例如過擬合或欠擬合等，也可能來源于樣本數量不足或訓練數據不夠充分.

（3）模型參數變化：剩余壽命預測模型通常是基于對過去數據的學習而構建，因此，如果未來數據與歷史數據存在較大差異，模型性能可能會受到影響. 這種變化可能是由于裝備老化、部件替換或升級等原因引起.

（4）外部環境變化：工程裝備剩余壽命預測往往受到如氣候變化、數據傳輸、操作人員行為和使用環境等外部環境的干擾，這些因素可能會影響裝備的運行狀態并導致不確定性.

以上這些不確定性極大地降低了點預測的可信度，因此可能會做出不適當的決策（不適當的生產、庫存或維護計劃），有時甚至可能導致裝備崩潰. 為了實現精確的決策，決策者應該意識到預測的不確定性. 重要的是要知道模型生成的預測與實際值的匹配程度，以及不匹配風險有多大. 然而，點預測沒有任何可信度的指示，也沒有提供相關不確定性的信息. 基于這些原因，需要精確量化剩余壽命預測過程中的不確定性，從而為進一步實現裝備運行的安全性、可靠性和經濟性奠定基礎.

2 基于深度學習的剩余壽命區間預測模型

基于深度學習的剩余壽命區間預測模型主要涉及自舉深度學習、局部不確定性、隨機過程深度學習、貝葉斯深度學習以及深度學習分位數回歸等.

2.1 自舉深度學習模型

自舉（Bootstrap）法是一種從給定訓練集中有放回的均勻抽樣，也就是說，每當選中一個樣本，它等可能地被再次選中并被再次添加到訓練集中[39]. 自舉法不依賴于數據分布，在理論上可減少預測值和回歸平均值之間的偏差. 由于深度學習模型的泛化誤差是在參數空間的不同子集上產生，因此由深度學習集合產生的集體決策比任何單個深度學習模型做出的決策更可靠. 假設重采樣原始數據得到B個訓練數據集，記為，自舉深度學習通過建立B個深度學習模型來估計由于模型錯誤指定而產生的方差（誤指定方差，）. 根據這一假設，可平均B個模型的點預測實現真實回歸的估計，即：

式中，E{(y-)2}表示(y-)2的數學期望；y表示觀測值；表示預測值.

式中， α表示顯著性水平，指估計總體參數落在某一區間時可能犯錯的概率；z1-α/2是標準正態分布的臨界值，取決于預期置信水平(1-α)×100%.

對于使用自舉法構建預測區間，總共需要訓練B+1個深度學習模型：前B個自舉深度學習模型用于估計，第B+1個深度學習模型用于估計.Huang 等[40-41]開發了一種自舉深度CNN 架構，其包括兩個主要部分：首先，采用深度CNN-多層感知機雙重網絡同時提取時間序列和基于圖像特征中的隱藏信息表示；其次，將所提出的雙重網絡嵌入到自舉框架中，量化剩余壽命預測區間. Liao 等[42]構建了一種自舉LSTM 前饋神經網絡，實現對航空發動機的剩余壽命區間預測. 為進一步提升區間預測效果，Zhao 等[43]提出了一種基于自舉集成學習卷積簡單循環單元方法來進行剩余壽命預測.She 等[44]提出了一種基于自舉的雙向門控循環單元剩余壽命預測方法. 進一步地，Guo 等[45]將自舉法、CNN 和雙向LSTM 進行耦合，CNN 和雙向LSTM用于提取滾動軸承的時空特征，自舉法用于不確定性量化.

自舉深度學習為裝備剩余壽命區間預測提供了重要技術支持. 自舉深度學習在裝備剩余壽命區間預測中的應用具備如下優點：（1）自舉深度學習在不同數據子集上訓練多個模型進行預測，因此可以有效避免過擬合現象；（2）自舉深度學習可通過融合多個模型的預測結果來提高模型泛化能力，從而在測試集上獲得更好的性能表現. 盡管如此，自舉深度學習需要訓練多個模型并融合其預測結果，其計算復雜度較高，尤其是在數據集非常大時，訓練時間會變得非常長；由于自舉深度學習生成多個數據子集，并在每個子集上訓練模型，因此可能會損失一部分原始數據信息；自舉深度學習依賴B個深度學習模型，而有一些模型經常是有偏差的，導致對公式(5)中的估計不夠準確.

2.2 局部不確定性模型

局部不確定性模型考慮了剩余壽命預測過程中的所有誤差來源，而不試圖分解其各自來源的貢獻，通過構建樣本輸入與預測下界、預測上界之間的映射關系，實現最優模型不確定性的估計[46].深度學習下剩余壽命預測不確定性主要來源于數據質量、模型偏差、模型參數變化、外部環境變化等因素，因此觀測目標yi可以表示為：

式中， εx、 εm和 εθ是關于數據質量、模型偏差和模型參數變化的誤差， εy是關于外部環境變化等因素引起的誤差. 在大多數實際情況下，除非做出一些重要的假設，否則很難估計公式(8)中的誤差分量. 因此，對總模型誤差有貢獻的不同分量通常被視為單個集中變量，公式(8)可以重新表述為：

式中，εtotal為總剩余誤差（殘差）. 為獲得訓練樣本的預測下界和預測上界，局部不確定性模型利用了數據聚類技術. 數據聚類可將多維的狀態監測數據劃分為幾個離散的健康狀態，譬如正常狀態、退化狀態以及失效狀態. 值得注意的是，具有相同健康狀態的樣本將具有類似分布的誤差. 在識別這些健康狀態后，可根據相應歷史誤差的經驗分布確定每個健康狀態的預測區間. 通常來說，模型誤差的分布取決于模型的輸入和可能的狀態變量，包括觀測響應變量的滯后變量. 在局部不確定性估計方法中，模型誤差的概率密度函數是通過經驗分布估計，因而無須對殘差做出任何假設. 需要指出的是，局部不確定性估計方法分析了由最優模型產生的歷史模型殘差（在結構和參數方面），其是基于最優性的概念，而不是等價性.

構建局部不確定性模型的基本步驟[47]：

（1）構建深度學習點預測模型，計算模型輸出和實際觀測的殘差；

（2）使用數據聚類算法對訓練樣本進行聚類；

（3）根據殘差按升序方式排列訓練樣本，然后計算每個聚類的預測下界和上界；

（4）根據每個聚類的預測下界和上界，計算每個樣本的預測下界和上界；

（5）根據每個樣本的預測下界和上界，構建雙輸出深度學習模型（第一個輸出用于輸出預測下界，第二個樣本用于輸出預測上界），即：

式中，PLL和PLU分別表示樣本預測下界和上界，g(x,θ?)表示估計預測邊界的映射函數，是函數參數.

局部不確定性模型自提出以來，在水文領域一直備受關注[48-50]. Solomatine 等[48]針對不同水文情況單獨估計了模型誤差的概率分布，將表征該分布的參數聚合并用作輸出目標值形成模型訓練集. Dogulu 等[49]基于局部誤差和聚類的局部不確定性模型測試了英國的幾個集水區獲得了良好預測效果. Rahmati 等[50]利用局部不確定性模型研究了地下水硝酸鹽污染建模過程中的模型不確定性.相較而言，關于局部不確定性模型在裝備剩余壽命預測領域中的應用成果較少，需要進一步探索.Chen 等[51]提出了一種基于雙向LSTM 的航空發動機剩余壽命區間預測方法. 該方法在離線階段利用一種增強的模糊C-均值算法，將航空發動機的健康狀態劃分為幾個離散狀態；在標記每個采樣點的健康狀態后，根據殘差按升序方式排列樣本，計算每個聚類和每個樣本的預測上界和下界；在在線階段，采用雙向LSTM 構建局部不確定性模型，估計了剩余壽命的上預測邊界和下預測邊界，實現了區間預測. 進一步地，Chen 等[52]根據高斯分布假設將構建的剩余壽命預測區間轉換為剩余壽命概率分布，形成了以維護時間為變量的維護成本率函數，通過最小化維護成本率函數，實現了航空發動機的最優維護決策.

局部不確定性模型在剩余壽命區間預測中的應用具備如下優點：（1）局部不確定性模型考慮了剩余壽命預測過程中的所有誤差來源，而不試圖分解其各自來源的貢獻，因此，無須對殘差做出任何假設；（2）局部不確定性模型通過構建樣本輸入與預測下界、預測上界之間的映射關系，實現最優模型不確定性的估計，因而計算復雜度不是很高.然而，局部不確定性涉及數據聚類技術，需要提前指定聚類數目，如果聚類數目選擇不當，將會影響到模型的預測能力. 此外，局部不確定性模型使用黑盒模型構建樣本輸入與預測下界、預測上界之間的映射關系，內部機制和特征表示難以進行解釋.

2.3 隨機過程深度學習模型

隨機過程（Stochastic process）是一連串隨機事件動態關系的定量描述[53]. 設T是一無限實數集，將依賴于參數t∈T的一族（無限多個）隨機變量稱為隨機過程，記為{X(t),t∈T}.X(t)是隨機變量，T叫做參數集.X(t1)=x稱為t1時刻的狀態，全體X(t)的可能取值稱為隨機過程的狀態空間. 對隨機過程{X(t),t∈T}進行一次試驗，其結果是t的函數，記為x(t),t∈T，稱為隨機過程的一個樣本函數或樣本曲線. 隨機過程每次試驗得到的樣本函數可能都不一樣. 隨機過程可依其在任一時刻的狀態是連續型隨機變量或離散型隨機變量而分成連續型隨機過程和離散型隨機過程. 其中，以伽瑪（Gamma）過程[54-56]、維納（Wiener）過程[57-59]為典型代表的連續型退化過程模型在裝備剩余壽命預測中得到了廣泛應用. 此連續型退化過程模型可根據裝備退化軌跡估計出退化模型參數，推導出剩余壽命的解析概率分布，實現不確定性量化.

隨機過程深度學習模型是一種基于深度學習和退化過程模型的融合技術，首先利用深度學習自動提取裝備狀態監測數據中的特征信息，而后基于隨機過程模型推導裝備剩余壽命的解析概率分布. 假設深度學習技術提取裝備狀態監測數據下的退化特征為D(t)，t表示當前時刻，D(0)表示裝備在初始時刻的退化特征量. 以維納過程為例，其退化模型可以表示為：

式中， η表示漂移系數， γ表示擴散系數，C(t)表示標準布朗運動. 基于首達時間的概念，裝備在t時刻的剩余壽命Rt通?？梢员硎緸槭状芜_到預先設定失效閾值 κ的時間，即Rt=inf{rt:D(t+rt)≥κ|D(t)<κ}. 剩余壽命的概率密度分布可表示為[60]：

以上通過構建隨機過程深度學習模型，獲得了不同裝備的剩余壽命概率密度函數. 進一步采用試探法[61]以獲得最優剩余壽命預測區間，其基本步驟為：根據剩余壽命概率分布，找出一個區間，使該區間的累積概率大于或等于置信度(1-α)×100%；其次，在所有符合條件的區間里，逐個計算區間寬度；最后，挑出寬度最小的區間作為該剩余壽命預測值的預測區間.

基于隨機過程深度學習實現不確定性表征和量化框架下，Hu 等[62]利用DBN 提取軸承監測信號背后的深層隱藏特征，然后篩選出趨勢較高的特征作為局部線性嵌入的輸入，通過確定軸承健康指數，構建一個基于擴散過程的健康指數演化模型，并在首達時間意義下推導了剩余壽命概率密度函數. Li 等[63]構建了一個堆疊降噪自編碼器從海量數據中提取健康指標，采用維納過程對提取的健康指標進行建模，接著構建以預測性能最小化為核心的優化目標函數，并基于目標函數反向優化調整模型參數形成復合特征指標提取與隨機退化建模的反饋閉環. 周濤等[64]構建了一種基于多維自注意力時間卷積網絡和線性維納過程的剩余壽命預測方法，形成數模聯動的剩余壽命預測方法. Zhang 等[65]提出了一種基于粒子濾波器和時間注意機制雙向門控遞歸單元的數模聯動的剩余使用壽命預測方法. Chen 等[66]利用經驗模態分解方法提取電池的退化趨勢，基于遷移學習對LSTM 神經網絡的參數進行在線更新，同時通過最大似然估計獲得了基于維納過程的退化模型的擴散系數，進而以閉合形式導出剩余壽命概率密度函數的解析表達式.

隨機過程深度學習模型在剩余壽命區間預測中的應用具備如下優點：（1）隨機過程深度學習模型在進行剩余壽命預測時，需要考慮初始狀態、負載條件、使用環境等諸多因素，而隨機過程能夠很好地將這些因素融合在模型中，并且能夠分析它們對系統行為的影響；（2）隨機過程深度學習模型能夠對未來剩余壽命建立概率分布模型，具有較好的預測能力，可以根據當前數據實時更新預測結果. 盡管如此，在隨機過程深度學習建模中，需要選擇合適的隨機過程模型，例如伽瑪過程、維納過程、逆高斯過程等，但是這些模型的選擇并不容易，需要一定的領域知識和經驗；其次，在隨機過程深度學習建模中，需要同時考慮深度學習和隨機過程兩個方面的模型復雜度，因此可能會導致模型計算量非常大. 此外，隨機過程需要對其模型參數進行估計，其中某些參數可能無法直接觀測到，需要依賴其他手段進行估計，這增加了模型建立的難度和誤差.

2.4 貝葉斯深度學習模型

貝葉斯估計（Bayesian estimation）是利用貝葉斯定理結合新的證據及以前的先驗概率，來得到新的概率[67]. 經典深度學習的剩余壽命預測通常構建一個基于神經網絡的回歸模型y=f(x,θ)將狀態監測數據和生命周期結束時間聯系起來. 貝葉斯深度學習模型本質是經典深度學習模型在概率上的擴展，一方面保留了經典深度學習模型的網絡拓撲結構，以便繼承經典深度神經網絡的模塊化和可擴展性；另一方面將經典模型的模型參數替換為隨機變量，以便通過概率分布實現不確定性量化. 貝葉斯深度學習是貝葉斯估計和深度學習的融合學習過程，即采用貝葉斯定理更新深度學習模型參數的概率分布過程.

給定訓練樣本X和Y，貝葉斯神經網絡y=f(x,θ)可由參數空間上的先驗分布p(θ)以及貝葉斯回歸的似然函數構成，一般情況下可使用高斯分布l(yi|f(xi,θ)). 模型參數θ獨立于訓練輸入樣本X，通過聯合學習X和Y可對貝葉斯深度學習模型進行訓練. 由貝葉斯定理，模型參數的后驗分布為：

基于p(θ|X,Y)，貝葉斯深度學習模型y=f(x,θ)可用于不確定性量化的后續推理，假設某一時刻獲得在役裝備的狀態監測數據為，則裝備終止時間可通過進行預測.

基于現有深度學習模型，不難構建用于剩余壽命預測的貝葉斯深度學習模型，但是貝葉斯深度學習的推理過程較為復雜，所以一般采用近似技術[68]. 常用的近似技術是馬爾可夫鏈蒙特卡洛和變分推斷方法. 馬爾可夫鏈蒙特卡洛方法利用采樣技術從分布中取得樣本，計算這些樣本的均值、方差等各種統計量，通過核密度估計求得近似分布，從而避免處理涉及后驗的棘手計算. 變分推斷方法則是通過假設一個簡單分布來對真實后驗分布進行近似，以此來減少計算. Peng 等[69]將深度學習模型擴展到貝葉斯神經網絡中，提出了一種基于變分推理的貝葉斯神經網絡學習和推理方法.Gal 等[70]認為神經網絡中的隨機失活等價于貝葉斯估計的變分推斷過程，并進行了理論證明，同時提出一種蒙特卡洛隨機失活來近似獲得預測模型的不確性. Benker 等[71]將貝葉斯深度學習模型應用于渦輪風扇發動機的剩余壽命預測任務，提出利用哈密頓蒙特卡洛和變分推斷進行推理. Chen等[72]提出了一種基于貝葉斯深度學習的二階段滾動軸承剩余壽命區間預測方法：在第一階段，識別軸承的狀態變化，確定首次預測時刻；在第二階段，根據新的貝葉斯深度學習模型進行剩余壽命點估計和區間預測.

貝葉斯方法在處理不確定性時具有天然的優越性，因而貝葉斯和深度學習的結合得到了學者們的青睞[73-81]. 貝葉斯深度學習模型的主要優點在于：（1）貝葉斯深度學習使用先驗分布來約束模型參數，從而可避免過擬合現象；（2）貝葉斯深度學習利用深度學習優勢來提取豐富特征，并利用貝葉斯方法來對模型進行建模和推斷，因而貝葉斯深度學習能夠處理復雜度高的任務；（3）貝葉斯深度學習通過對模型參數的后驗分布進行采樣，從而可得到預測結果的概率分布. 盡管如此，貝葉斯深度學習對模型參數的后驗分布進行采樣通常需要較大的計算成本，特別是當數據集非常大時，貝葉斯深度學習的訓練和推斷時間可能會變得非常長；貝葉斯深度學習中使用的先驗分布通常是基于領域知識或經驗得出，而如果先驗分布與真實分布存在偏差，可能會影響模型的預測能力；貝葉斯深度學習中需要選擇先驗分布、采樣方法和模型結構等不同超參數，因而選擇合適的超參數需要一定的經驗和知識，并且可能會面臨困難和不確定性.

2.5 深度學習分位數回歸模型

分位數回歸（Quantile regression）研究自變量與因變量的條件分位數之間的關系，相應得到的回歸模型可由自變量估計因變量的條件分位數[82].相較于傳統回歸分析僅能得到因變量的中央趨勢，分位數回歸可以進一步推論因變量的條件概率分布. 將深度學習模型和分位數回歸相結合，能有效反映解釋變量x在不同分位點下對被解釋變量y的影響，表達式為：

式中，Qy表示被解釋變量y在解釋變量x給定下的條件分位數；τ ∈(0,1)表示分位點，f(x|θ(τ))表示帶有參數θ(τ)的深度學習模型.

給定訓練數據值時，通過式（14）可求出不同分位點下的深度學習模型參數θ(τ)，其求解過程可轉換為如式（15）所示的最小損失函數：

根據條件分位數理論，Qy的分位數曲線是指當 τ屬于(0,1)時的分布函數，然后將獲得的分位數函數作為核密度估計的輸入，即可得剩余壽命的概率密度函數[83-85]. 基于獲得的剩余壽命概率密度函數，類似于隨機過程深度學習方法，可采用試探法獲得最優預測區間.

基于分位數回歸思想，Chen 等[86]開發了鋰離子電池容量預測不確定性量化模型，使用一維CNN提取隱藏在原始測量信號中的深層代表性特征，而后應用雙向LSTM 網絡估計電池容量，同時將分位數回歸層嵌入到雙向LSTM 網絡構建中，獲得不同分位數的電池容量，最后，利用核密度估計技術推導出每個電池循環階段預測點的概率密度.Zhang 等[87]提出了一種分布式基于深度神經網絡分位數回歸的剩余壽命預測方法，通過累積分布函數識別置信區間量化剩余壽命預測的不確定性.Tian 等[88]結合時間卷積網絡和分位數回歸算法，實現了基于預測值條件分布的核密度估計的任何時間的概率密度預測. Wang 等[89]開發了一種用于多傳感器信號融合和剩余壽命預測的門控圖卷積網絡. 首先，從多傳感器信號中構建時空圖，作為預測模型的輸入；接著，建立門控圖卷積層，通過同時建模多傳感器信號中的時間和空間相關性來準確提取退化特征；最后，將提取的特征輸入分位數回歸層，進而估計剩余壽命預測區間. 所提方法在模擬圖形數據集、真實風電場的軸承數據集、渦扇發動機數據集以及工具磨損數據集上運行效果良好.

深度學習分位數回歸模型的主要優點在于：（1）深度學習分位數回歸模型具有很好的魯棒性，能夠很好地處理異常數據、離群值或噪聲；（2）深度學習分位數回歸模型的網絡結構非常靈活，可以根據實際需求進行擴展和改進；（3）深度學習分位數回歸模型可結合核密度估計技術實現概率預測. 盡管如此，深度學習分位數回歸模型需要計算不同分位點下的深度學習模型參數，因而計算復雜度較高. 此外，深度學習分位數回歸模型的分位數預測值有可能交叉，影響概率預測的合理性.

2.6 基于深度學習的剩余壽命區間預測模型對比

為直觀比較，表1 歸納了5 種基于深度學習的剩余壽命區間預測模型的優缺點. 從表1 中可以看出，隨機過程深度學習模型、貝葉斯深度學習模型和深度學習分位數回歸模型可實現裝備剩余壽命的概率預測，而當需要構建預測區間時，可利用試探法從剩余壽命概率分布中獲得最優預測區間.相比于自舉深度學習模型、貝葉斯深度學習模型以及深度學習分位數回歸模型，局部不確定性模型和隨機過程深度學習模型的計算復雜度相對較低. 因此，在進行基于深度學習的裝備剩余壽命區間預測時，需要權衡不同區間預測模型的優缺點，并選擇合適的方法和技術以滿足實際需求.

表1 基于深度學習的裝備剩余壽命區間預測模型優缺點Table 1 Advantages and disadvantages of remaining useful life interval prediction models for equipment based on deep learning

3 總結與展望

預測區間量化了與剩余壽命預測相關的不確定性，在構建可靠的裝備運行維護系統中發揮著關鍵作用. 本文面向深度學習背景下裝備剩余壽命預測中不確定性量化的現實需求，重點介紹了自舉深度學習、局部不確定性、隨機過程深度學習、貝葉斯深度學習以及深度學習分位數回歸等剩余壽命區間預測模型的發展動態，探討了模型各自的優缺點. 然而基于深度學習的裝備剩余壽命區間預測研究仍處于起步階段，存在一些明顯的挑戰性問題亟待解決：

(1) 深度學習區間預測模型的復雜性問題. 雖然基于深度學習的裝備剩余壽命區間預測研究已取得了一些成果，但當前大多數研究在構建區間預測模型上計算量偏大. 如自舉法需要構建B+1個深度學習模型，貝葉斯深度學習的推理過程較為復雜，分位數回歸則需要訓練多個分位點下的深度學習回歸模型. 因而在后續研究中，需要優化現有模型的復雜度抑或探索新的剩余壽命區間預測方法，以進一步提升區間預測模型的計算效率.

(2) 非理想數據下的剩余壽命區間預測問題.數據是開展基于深度學習的剩余壽命區間預測研究的基礎，數據質量很大程度決定了剩余壽命區間預測的質量. 然而，現代工程裝備的監測數據往往呈現非理想狀態，具體表現為大而非平衡、局部缺失、不完備等特點，這將導致基于這些數據建立的剩余壽命預測模型泛化能力不足，局限于某一特定條件. 因而在后續研究中，結合數據增強、遷移學習等技術將有望改善數據質量從而提升剩余壽命區間預測效果.

(3) 剩余壽命區間預測和維護決策的聯合研究問題. 剩余壽命區間預測與維護決策是一個有機整體，它為降低裝備停機時間、提升裝備可靠性以及保障裝備運行維護經濟性提供了一套切實可行的完整方案. 由于綜合考慮系統安全運行全過程的研究是一項非常龐大而復雜的工作，且在現有研究成果中較少定量分析各階段輸入及輸出之間的相互影響，使得剩余壽命區間預測和維護決策的整體聯合研究進展較為緩慢. 因而在后續研究中，需要準確刻畫它們之間的定量關系，并充分考慮多目標、多決策變量的優化問題.