核動力系統運行工況預判的深度學習方法研究

梁 彪，黃 濤，袁 鵬，劉永超，王 博,*，譚思超

（1.哈爾濱工程大學，黑龍江省核動力裝置性能與設備重點實驗室，黑龍江 哈爾濱 150001；2.中國核動力設計研究院核反應堆系統設計重點實驗室，四川 成都 610213）

核動力系統使用需求與運行環境復雜多樣，設計過程中需考慮在長時間運行中可能出現偏離穩態的變工況（正常運行瞬變與事故變工況）運行，傳統的核動力系統運行工況判斷主要依賴于運行規程、操作人員經驗及專家知識。大多數情況下需要變工況發展至一定程度，且相應參數變化至參考閾值后才能進行有效判別。變工況的初始階段引起的參數微小變化往往很難被有效識別，診斷的及時性與可靠性方面存在欠缺。此外，目前的運行無法做到對系統監測參數變化趨勢的超前預測感知。

近年來，基于數據驅動的智能算法輔助核系統運行的研究增多。喻海滔、SHI Xiao-Cheng、頡利東[1-3]等分別使用多層前饋（BP）、徑向基（RBF）、卷積（CNN）神經網絡模型對核動力裝置多類運行工況進行了識別。相比傳統的基于樹模型[4]等診斷方法，故障診斷的準確率與自適應性得到了提高；宋梅村[5]等基于所選定的15 種熱工參數使用BP 神經網絡較好地預測了多種故障模式下的船舶反應堆裝置功率；張奧鑫[6]等采用某CANDU 重水堆核電廠真實運行數據，使用長短期記憶（LSTM）和CNN 網絡有效預測了堆芯短期熱功率值；曾聿赟[7]等通過支持向量回歸（SVR)訓練得到了下一時刻反應堆功率與冷卻劑溫度的機器學習預測模型。盡管如此，目前相關的反應堆事故診斷研究在判別精度上與工程應用需求尚存在一定差距，同時運行參數預測研究大多局限于單個時間步、某一時刻的單個參數，缺乏對未來長時間內多參數變化趨勢的有效預測，算法在實際的工程應用中存在著短板。

基于上述不足，本研究構建了一種基于深度學習的核動力系統運行工況高精度判別與監測參數長時間超前預測的模型，邏輯結構如圖1 所示，主要工作內容如下：

圖1 核動力系統運行工況預判模型結構Fig.1 The structure of nuclear power system operation state identification and parameter prediction model

（1）本研究基于改進循環神經網絡模型，利用多參數融合方法，使用系統的多個參數的歷史變化趨勢來綜合判斷運行工況，而不是使用單一時刻的參數，大幅提高了運行工況判別的準確率；

（2）為提高模型對工況類型的判別精度，使用自動化的網格搜索算法（Grid Search）調整優化工況判別模型的結構參數，而不是依賴于小區間范圍內的人工試驗與經驗選擇；

（3）本研究基于改進的注意力機制模型實現了對核動力系統參數變化趨勢的長時間、多參數的有效并行預測。

1 特征選擇

1.1 數據集介紹

核動力系統運行數據來源于全范圍核動力仿真機計算[8]，共包含10 種類型的運行工況從開始至結束記錄的24 個熱工水力參數變化，具體如表1 所示。

表1 數據集參數說明Table 1 Data set parameters

1.2 數據特征選擇

為了尋找工況判別模型的最優特征子集，剔除數據集中的冗余特征，降低模型復雜度、避免訓練中的過擬合風險，搭建神經網絡模型前數據預處理中需進行特征選擇?？梢悦枋鰹椋杭僭ON個特征組成集合XN=｛Xi｝，依據目標函數F，選取特征子集Y，使得F(Y) ≥F(T)，T為X的任意子集。特征選擇的方法主要有封裝器法、過濾器法和嵌入法。首先利用皮爾遜系數（Pearson）對特征進行過濾。Pearson 系數用于度量兩個變量之間的相關程度，介于 -1與1 之間，計算見式（1），繪制計算結果如圖2所示。

圖2 數據集原始特征相關性分析Fig.2 The correlation analysis of the data set original features

從圖2 可以看出，熱功率與電功率、SG 蒸汽出口流量三個特征之間彼此的Pearson 值均為1，有著強烈的線性關系，故僅保留熱功率特征；SG 出口蒸汽溫度與二次側壓力的相關系數為1，舍去SG 蒸汽出口溫度特征。

之后利用封裝器法對特征的重要性進行簡單評估，隨機森林利用隨機重采樣技術（Bootstrap Aggregating），采用抽放放回的方法選擇n（n＜N，N為樣本總數）個樣本作為訓練集數據基于CART 算法構建k棵決策樹。假設特征X j的基于分類準確率的變量重要性度量為，使用袋外數據（OOB）方法計算，基于決策樹模型的隨機森林集成算法對不同特征的重要性進行排序[9]，算法結構如表2 所示，計算結果如圖3 所示。

表2 特征重要性排序算法結構Table 2 The structure of feature importance ranking algorithm

特征Xj的特征重要性度量的計算公式為式（2），對應特征加入隨機噪聲后，OOB 數據的準確率下降越明顯，則該值越大，表明該特征對模型的影響很大，其重要性更高。

從圖3 中可以看出，不存在重要性度量指標明顯過小的特征，為保證判別模型對工況的識別精度盡可能高，對剩余特征不再舍去。

2 運行工況判別

核動力裝置系統復雜，監測變量多，各個運行工況下啟停階段熱工參數的差異并不明顯，因此不同工況下的數據映射在張量空間中無法避免地分布緊密或存在交集，傳統的支持向量機（SVM）、決策樹（RF）、貝葉斯（NBM）、BP 網絡等由于算法設計的限制，只能處理一維數據，因此其對運行工況的判別只能采用某一時刻的運行數據，針對復雜數據集在理論上無法達到較高的識別準確率。

為了克服上述問題，本研究基于能夠有效提取運行數據時間維度信息的LSTM（改進循環網絡）模型從根本上克服傳統算法單點診斷的弊端，利用多參數的時序趨勢進行工況判斷。LSTM 模型通過引入狀態變量存儲過去一段時間內的熱工參數變化趨勢信息，并用其與當前時刻的參數共同決定當前的運行工況狀態輸出。

式中：模型的W與b為同一套權重與偏置矩陣，通過梯度下降法迭代更新。

LSTM 模型內部節點的計算結構如圖4 所示，當前t時刻的熱工參數Xt與輸出tY的計算如式（3）所示。核動力系統運行工況判斷模型的結構如圖5 所示，其由一層LSTM 層與兩層前饋層構成，該模型輸入的數據為三維張量[batch_size,seq_len,features_nums]，三個維度分別表示數據批次大小、時間序列長度與運行參數，取LSTM 層輸出的最后一個時刻的參數傳至前饋層，經兩層前饋層與sigmoid 激活函數非線性映射后，輸出的數據形狀為[batch_size,kinds_nums]，第二個維度表示工況的類別數，再經過softmax 函數轉化為概率分布。訓練使用one-hot 編碼將離散標簽的均勻等距地擴展到向量空間，損失函數使用交叉熵。

圖4 LSTM 網絡內部節點計算過程Fig.4 The calculation process of internal nodes in the LSTM network

圖5 核動力系統運行工況判別模型結構Fig.5 The structure of operating condition identification model for nuclear power system

為了提高模型判別工況的準確率，首先對模型輸入選擇的不同時間步長下的識別結果進行比較，結果如圖6 所示，最終選擇LSTM 層輸入的時間序列長度seq_len=15。

圖6 模型輸入時間步長搜索結果Fig.6 Search results of different model input time steps

之后對判別模型的內部結構進行優化，常見的方法有網格搜索、隨機搜索與貝葉斯優化，后兩種方法對比網格搜索在計算速度方面占有優勢，但無法取得最優結果，故采用網格搜索算法在指定的參數范圍內，對LSTM 層的隱藏層節點與中間前饋層節點數進行搜索，搜索空間共包含225 種網絡結構，得到的搜索結果如圖7 所示，最終選擇模型網絡中間兩層的節點數分別為22 與21，優化前后模型對運行工況的判別準確率由0.90 提高至了0.99 以上。

圖7 模型結構搜索結果Fig.7 Search results of different model structures

訓練完成后，對于新輸入數據，模型計算時間在毫秒級，測試工況上的判別輸出結果與真實結果對比展示如圖8 所示，工況類型1～10 如表1 所示?？梢钥闯鼋⒌哪Ｐ蛯\行工況識別的準確率獲得了較大的提升。極小部分的判別錯誤集中于各運行工況開始發生的極短時間內，主要是由于各種運行工況在最初發展階段的運行參數差異過小造成的。

圖8 運行工況判別模型診斷結果混淆矩陣Fig.8 The output confusion matrix of the operation condition identification model

幾種經典算法對相同測試工況的識別結果比較如表3 所示，同時考慮到核動力系統實際運行中監測系統的傳感器不可避免地會產生隨機測量誤差，對測試數據引入隨機噪聲，表3展示了各個模型的工況判別準確率并未由于噪聲數據引入而顯著降低，表明了深度學習模型在工況判別中良好的泛化能力。

表3 不同模型對運行工況判別的準確率Table 3 The accuracy of different models in distinguishing

3 熱工參數預測

以歷史運行數據預測未來運行參數變化是序列數據預測（Sequence Prediction）問題。常用的循環神經網絡（RNN）隨著時間長度的增加，訓練過程中梯度累計爆炸或消失[10]導致無法使用。本研究基于完全注意力機制（Transformer）模型對參數變化趨勢進行預測，解決核動力系統運行參數變化趨勢長時間捕捉的超前感知問題。

Transformer 模型的核心在于計算注意力[11]（Attention），如式（4）所示，模型的整體結構由編碼-解碼器（Encoder-Decoder）兩部分[12]組成，在鍵張量（key,K）,值張量（value,V）中引入查詢張量（query,Q），計算過程為使用Q張量計算它和每個K點積的相似度作為權重，對所有的V進行加權求和，防止點積計算結果過大導致梯度消失。解碼器選擇性地獲得編碼器的隱藏狀態信息。對比RNN 類模型，針對時序信息，Transformer 類模型在時間維度上解決了學習長期依賴性的挑戰。

式中：X——運行時序數據；

WK,WQ,WV——權重張量，在訓練過程中迭代；

d——特征列數。

針對長時序數據處理問題對模型做出了部分改進[13]。為了減小參數量，避免訓練過擬合，通過在網絡內部層之間疊加由一維卷積層與最大池化層組成的Distilling 模塊對時間序列的時間維度長度進行降維，提取長時間序列輸入數據的特征，如式（5）。

循環網絡類預測模型是動態輸出的，過去時刻的輸出作為當前時刻的輸入，按步迭代，依次向前滾動預測；本研究預測模型采用待預測序列之前的一個序列一步直接生成所有的預測結果[14]，避免了RNN 類模型的預測誤差累積，同時加快了預測速度。

運行參數預測模型結構及數據維度的變化如圖9 所示，Encoder 的子模塊之間采用串聯計算，其內部多個注意力模塊同時并行計算，增大模型寬度；時間序列數據輸入到Encoder 與Decoder 前都需經過embedding 編碼操作，由輸入數據自身編碼、對應時間序列（［日，時，分，秒］）編碼及位置編碼三部分相加構成，由于預測模型中數據一起并行計算，丟失了時序信息，所以對數據必須進行位置編碼，如式（6）所示。同時，區別于Encoder 輸入，Decoder 的輸入數據中的被預測部分X0需用0 替換覆蓋，即mask 操作。Attention 層計算后通過使用網絡的殘差連接結構與每一個樣本上的歸一化操作，解決訓練過程中由于多層堆疊造成的梯度消失問題。Decoder 同時接收自身mask 后的數據與Encoder 的輸出，Decoder 運算后再經前饋層映射一步輸出結果，損失函數為均方誤差。

圖9 參數預測模型結構Fig.9 The structure of the parameter prediction model

式中：pos——序列中的位置編號；

dmodel——位置向量的維度，數值為512。

以預測SGTR 事故為例，冷卻劑由傳熱管破口位置流向二回路側，穩壓器水位與壓力降低補償一回路的壓力損失。選取事故進行中的時刻T0與T1，使用過去192 與384 個時間步的歷史數據預測之后穩壓器壓力48 與96 個時間步內的變化趨勢，多種模型計算用時均在毫秒級，超前預測的標準化結果對比如圖10 與圖11 所示。

圖10 T0 時刻預測48 個采樣步長的穩壓器壓力變化Fig.10 The pressure change of regulator with 48 sampling steps predicted at T0

圖11 T1 時刻預測96 個采樣步長的穩壓器壓力變化Fig.11 The pressure change of regulator with 96 sampling steps predicted at T1

對比分析可知，RNN、GRU 等幾種循環神經網絡，在初始的5 個采樣步長內對穩壓器壓力的預測精度較高，但對于長時間序列下的熱工參數變化趨勢無法預測；BP 網絡能夠粗略預測長時間序列下的變化趨勢，但由于模型的動態輸出機制導致誤差不斷累加，整體的預測誤差很大；注意力機制模型可以較為準確地預測穩壓器壓力的長期變化趨勢，在比較的幾種模型中效果最好。

由于不同工況下的進程和事故序列不同，選擇另外幾種運行工況發展下的預測繼續驗證模型。由圖12 所示，基于數據驅動的神經網絡模型能夠很好學習到數據的統計分布規律，對不同的運行工況依然適用，泛化性很好。由于受所使用訓練數據集的影響，在準確捕捉變化趨勢的前提下，預測結果出現極值小波動問題還存在不足，需進一步改進模型與實驗對比觀測。

圖12 幾種不同的運行工況下堆芯熱功率值預測Fig.12 The core thermal power prediction under several different operating conditions

4 結論

本研究提供了一種基于數據驅動的運行工況實時識別與超實時感知的通用方法。在通過特征選擇實現數據降維的基礎上，兩種模型的計算時間均在毫秒數量級，滿足工程應用中實時判別與預測的要求，可為運行人員提供全流程的運行工況識別輔助與運行參數變化趨勢超前感知，降低人因失誤概率，為核動力系統的自主運行與控制技術提供參考。本研究的進一步工作方向主要為算法的集成開發。