基于半監督動態深度融合神經網絡的軟測量

郭小萍 種佳林 李元

收稿日期：2023-07-18；修回日期：2023-08-21? 基金項目：國家自然科學基金資助項目（62273242）；遼寧省教育廳科學研究一般項目（LJ2020021）

作者簡介：郭小萍（1972—），女，山西大同人，教授，碩導，博士，主要研究方向為基于數據驅動的復雜過程故障診斷和軟測量；種佳林（1998—），女，遼寧朝陽人，碩士研究生，主要研究方向為基于數據驅動的復雜過程軟測量；李元（1964—），女（通信作者），遼寧沈陽人，教授，博導，博士，主要研究方向為基于數據驅動的復雜過程故障診斷（li-yuan@mail.tsinghua.edu.cn）.

摘? 要：半監督深度神經網絡建模方法已被廣泛應用于軟測量，但基于分層訓練的網絡在特征提取過程局限于挖掘每層輸入的有效信息，忽略了原始輸入有效信息的丟失，逐層累積，從而導致原始輸入的特征表示準確率低下；另外，缺乏挖掘過程時空相關性，也會導致模型性能退化。提出一種半監督動態深度融合神經網絡（semi-supervised dynamics deep fusion neural network，SS-DDFNN）方法。該方法在特征提取網絡的每層都重構原始輸入數據并預測質量變量，通過在預訓練損失中使用重構原始輸入誤差，減小原始輸入有效信息的丟失；同時融入注意力機制和t分布隨機鄰域嵌入提取時空相關信息，應用提取的特征建立門控神經網絡質量預測模型。實驗結果顯示，相較于SAE、GSTAE和SIAE模型，所提方法在脫丁烷塔案例中的預測精度分別提升了2.8%、1.1%和0.9%；在工業聚乙烯生產案例中，分別提升了2.7%、1.0%和0.7%。實驗結果驗證了所提方法的有效性。

關鍵詞：自編碼器；軟測量；半監督特征提??；時空相關信息；門控神經元

中圖分類號：TP273.1??? 文獻標志碼：A

文章編號：1001-3695（2024）02-030-0521-06

doi：10.19734/j.issn.1001-3695.2023.07.0276

Semi-supervised dynamic deep fusion neural network based soft sensor

Guo Xiaoping，Chong Jialin，Li Yuan

（College of Information Engineering，Shenyang University of Chemical Technology，Shenyang 110142，China）

Abstract：The semi-supervised deep neural network modeling method has been widely applied in soft sensor，but the network based on hierarchical training only excavates the effective information of each input layer in the feature extraction process，ignoring the loss of effective information of the original input and accumulating it layer by layer，resulting in low accuracy of feature representation of the original input.In addition，the lack of spatiotemporal information related to the mining process can also lead to model performance degradation.This paper proposed a semi-supervised dynamics deep fusion neural network（SS-DDFNN） method.This method reconstructed the original input data and predicted quality variables at each layer of the feature extraction network.By using the reconstructed original input error in pre-training loss，it reduced the loss of effective information from the original input.Simultaneously it incorporated attention mechanism and t-distribution random neighborhood embedding to extract spatiotemporal related information，and established a gated neural network quality prediction model using extracted features.The experimental results show that compared to the SAE，GSTAE，and SIAE models，the proposed method has improved prediction accuracy by 2.8%，1.1%，and 0.9% in the case of a debutanizer，respectively.In the industrial polyethylene production case，it has increased by 2.7%，1.0%，and 0.7% respectively.The experimental results show that the proposed method is effective.

Key words：AutoEncoder；soft sensor；semi-supervised feature extraction；spatiotemporal information；gating neuron

0? 引言

現代工業過程復雜度不斷提高，準確測量關鍵質量變量能有效地在過程中實施控制策略。然而，受測量技術、環境及成本等因素的制約，一些關鍵質量變量不能在線獲得。通過對易于測量的過程變量進行質量預測成為了一種比較有效的方法［1］。目前，在許多實際生產過程中，質量變量通常由人工采樣，需要通過化驗室化驗，間隔幾小時得到具體數據，而過程變量可以在線獲得，能夠做到毫秒級一次的采樣，這產生了大量無標簽過程數據。過程數據蘊涵著過程中大量的有用信息，軟測量模型的性能很大程度上取決于對過程數據的特征表示［2］。傳統基于深度神經網絡的軟測量建模方法采用無標簽的過程數據進行特征提取，這樣提取的特征不能確保與質量變量真正相關［3］。

半監督學習策略能夠同時利用標簽數據和無標簽數據構建模型解決了這一問題，其實質是利用大量的無標簽數據以及少量的標簽數據進行模型的訓練，用質量變量指導特征學習過程，通過最小化重構誤差與質量預測誤差捕獲無標簽數據中的有效信息，提升模型學習性能［4］。半監督學習策略與深度神經網絡的結合已被廣泛應用于工業過程軟測量。Yuan等人［5］提出了一種半監督預訓練策略的軟測量方法，將標簽數據及未標簽數據經過堆疊自編碼器逐層預訓練提取每層輸入的有效特征，再通過標簽數據進行微調實現質量預測，提高了模型預測精度。孫慶強［6］提出了集成半監督門控堆疊自編碼器軟測量建模方法。將數據劃分為不同的子集，分別通過堆疊自編碼器的逐層預訓練，最大限度地利用標簽過程數據和無標簽過程數據挖掘各輸入層與質量變量相關的特征表示。

在采用深度堆疊自編碼網絡逐層預訓練的訓練方式時，解碼層重構每層輸入數據并直接預測質量變量，預訓練損失通常大于零，導致每一層中都存在輸入數據的信息丟失，造成了原始輸入數據丟失的有效信息逐層累積［7］。因此，上述半監督軟測量模型未考慮丟失的原始輸入數據有效信息累積的問題，將會對原始數據的特征表示存在偏差，影響模型預測能力。

此外，工業生產過程在時間上是連續的，這使得當前質量變量不僅與當前過程數據有關，還與歷史過程數據有關，產生了較強的時序相關性［8］。在這種條件下，如何提高模型的特征表示也成為了軟測量模型的關鍵問題。目前許多學者采用卷積神經網絡（convolutional neural network，CNN）［9］、循環神經網絡（recurrent neural network，RNN）［10］、長短期記憶網絡（long short-term memory network，LSTM）［11］、自注意力機制［12］等特定的網絡結構提取時間序列數據中的動態特征。為了方便地學習歷史數據與當前數據的時序相關信息，Ren等人［13］應用了LSTM建立軟測量模型，提高了模型預測精度。由于LSTM相較注意力機制網絡結構很難提取樣本的長期歷史特征，Wang等人［14］提出了一種基于注意力的動態堆疊自編碼器網絡（attention-based dynamic stacked autoencoder network，AD-SAE）。其結合了注意力機制卓越的長距離歷史信息提取能力和堆疊自編碼網絡，在工業過程軟測量領域得到了廣泛應用。

由于過程數據在空間中處于同一過程反映的不同位置，會存在相互影響的空間關系［15］。未考慮空間結構關系，會導致對過程信息的挖掘不夠充分。曹文彬［16］提出了應用t分布隨機鄰域嵌入（t-distributed stochastic neighbor embedding，t-SNE）方法，將高維空間內的數據映射到低維空間時保持其概率分布，引導自編碼器挖掘過程空間信息。常樹超等人［8］構建了一種時空協同的圖卷積長短期記憶網絡，充分挖掘過程的時空特性，在燃煤電廠磨煤過程驗證了模型的有效性。黃成等人［17］提出了一種基于時空局部學習的集成自適應軟測量建模方法，分別通過滑動窗口和即時學習提取過程的時序關系和空間關系，提高了模型性能。在軟測量建模過程中同時考慮時空關系，則能夠在描述過程動態性的同時，將過程數據空間結構信息與質量變量關聯，提升軟測量模型的性能。

無論是深層自編碼網絡還是長短期記憶網絡等都存在只考慮單一過程特性的特點，使其在復雜的工業過程中難以保持準確的質量預測精度。近來，駱釗等人［18］提出了一種將深層自編碼網絡與多頭注意力機制結合，同時對時空數據進行半監督映射的方法，完成半監督時序自回歸質量預測。其通過深層自編碼網絡與半監督方法以及注意力策略的融合，綜合考慮了復雜的過程特性，提高了模型的性能。

因此，針對半監督特征提取過程中丟失的原始輸入數據有效信息逐層累積以及過程數據中時序關系和空間關系未被充分挖掘等問題，本文提出一種具有序列特征動態融合和改進半監督預訓練策略的軟測量方法。該方法首先應用注意力機制和t-SNE算法融合不同歷史時刻標簽過程數據和無標簽過程數據，并最小化其空間分布差異，從而提取時空相關信息；然后，通過逐層重構原始輸入數據并預測質量變量的訓練策略，將半監督預訓練損失函數中重構誤差改進為重構原始輸入誤差，再引入質量預測誤差，從而減小原始輸入數據丟失有效信息的累積；同時最小化t-SNE損失，減小空間結構信息的丟失，提高特征表示的準確率；最后特征回歸網絡通過門控神經元確定標簽特征在最終輸出中所占的權重，以綜合特征進行質量預測。

1? 理論背景

1.1? 自編碼器

自編碼器（autoencoder，AE）是包括一個輸入層、一個隱藏層和一個輸出層的三層神經網絡，其目的是重構輸入數據，以獲得輸入的特征表示［19］。輸入層和隱藏層組成編碼器，將輸入數據x轉換成擁有高級特征的隱藏層數據h，如式（1）所示；隱藏層和輸出層組成解碼器，其將隱藏層數據h重構為輸出數據如式（2）所示。

h=encoder（x）=f（Wex+be）（1）

=decoder（h）=g（Wdh+bd）（2）

其中：x=［x（1），x（2），…，x（dx）］∈Rdx；dx是輸入數據的維度；h=［h（1），h（2），…，h（dh）］∈Rdh為隱藏層變量；dh為隱藏層變量維度；重構數據為=［（1），（2），…，（dx）］；We和Wd為權重矩陣；be和bd為偏差矩陣。f（·）和g（·）分別為編碼過程和解碼過程激活函數，本文選擇sigmoid非線性激活函數。自編碼器重構誤差損失函數設計為

J（θ）=∑Ni=1‖i-xi‖22N（3）

其中：N為訓練樣本總數；xi為第i個訓練樣本。多個AE疊加在一起以增加網絡深度形成堆疊自編碼器（stacked autoencoder，SAE）。以堆疊兩層AE為例，如圖1所示。SAE可以直接預測質量變量，=f（Wph+bp），通過最小化標記樣本的質量預測誤差函數式（4）更新整個網絡參數。

J（θ）=12N∑Ni=1‖i-yi‖2（4）

1.2? 注意力機制

目前，注意力機制已經成為神經網絡領域的一個重要概念，其原理如圖2所示［14］。通過計算當前查詢樣本和不同元素之間的鍵值相似度來確定有多少來自不同樣本的信息用于當前計算，融合了大量歷史樣本信息，計算過程如式（5）～（7）所示。

式（5）為不同樣本之間的相似度計算：

si=qcurrent·ki（5）

式（6）為注意力權重因子計算：

ci=softmax（si）=exp（xi）∑Nj=1exp（sj）（6）

式（7）為注意力關注值計算：

ai=attention（（k，v），qcurrent）=∑Ni=1civi（7）

其中：qi、ki和vi表示第i個查詢值、第i個關鍵字值和第i個值；k=［k1，k2，…，kN］和v=［v1，v2，…，vN］分別表示由所有N個關鍵值和值組成的矩陣。

2? SS-DDFNN模型的軟測量方法

2.1? SS-DDFNN模型的構建

半監督動態深度融合神經網絡（SS-DDFNN）包含兩部分，如圖3所示。半監督的訓練思想是在特征提取過程進行半監督預訓練，標簽數據和無標簽數據以4：6的比例均用于SS-DDFNN模型預訓練。對于無標簽的樣本，逐層學習輸入分布的形狀；對于標簽樣本，在質量信息的指導下額外學習與質量相關的特征。對于標簽的訓練樣本，損失函數是最小化其輸入和質量輸出變量的重建誤差。而對于無標簽的訓練樣本，損失函數僅使輸入部分的重建誤差最小化。網絡參數由標簽和無標簽的訓練樣本確定。

SS-DDFNN網絡第一部分是特征提取網絡，該網絡將不同時間序列數據映射到一組隱藏特征。首先原始標簽過程數據及無標簽過程數據經過長度為k的滑動窗口序列化，則t時刻序列化后的數據為［xt，xt-1，xt-k+1，…，xt-k］，k=1，2，…，N，包含了t時刻以及t時刻之前k個時刻的過程數據。將其經過式（8）（9）的位置編碼，將位置向量Pt添加到原始向量，識別歷史過程數據位置［14］。

Pti，2j=sin （i/100002j/d）+sin （t/100002j/d）（8）

Pti，2j+1=cos （i/100002j/d）+cos （t/100002j/d）（9）

位置向量每個維度對應正弦信號，1≤i≤k表示位置，1≤j≤d表示維度。位置編碼后應用式（6）計算不同歷史過程數據的注意力權重因子，根據式（7）為其分配不同的注意力關注值，最大限度地保持時序相關信息，融合為注意力數據xv。xv和xt是包含了標簽過程數據xl和無標簽將過程數據xu的輸入數據。將其應用t-SNE空間相似性分析，將距離轉換為條件概率分布，在高維輸入空間采取高斯分布，低維隱層空間采取t分布［16］。最小化輸入與隱層特征的距離分布差異，即最小化t-SNE損失，提取空間結構信息。式（10）為t-SNE的損失函數。式（11）（12）分別為高維空間和低維空間的概率分布，σ2為高斯分布的方差。

L=∑m∑npmnlogpmnqmn（10）

pmn=exp（-‖xm-xn‖2/2σ2）∑k≠lexp（-‖xk-xl‖2/2σ2）（11）

qmn=（1+‖ym-yn‖2）-1∑k≠l（1+‖yk-yl‖2）-1（12）

然后經過堆疊自編碼器的逐層編碼過程得到第一隱層特征h1、第二隱層特征h2，直到獲得編碼網絡的第n隱層動態特征hn。hn通過逐層解碼過程，每一層都重建原始輸入數據l和u并直接預測質量變量。最小化改進的預訓練損失減小原始輸入數據丟失的有效信息逐層累積，并對參數集θ={We，be；Wd，bd；Wp，bp}進行更新。改進的預訓練損失函數包含重構原始輸入誤差項、預測誤差項和t-SNE的損失函數項，如式（13）所示。

J（θ）=1Nu∑Nui=1‖ui-xui‖2+1Nl∑Nlj=1‖lj-xlj‖2+1Nl∑Nlj=1‖lj-ylj‖2+∑m∑npmnlogpmnqmn（13）

其中：Nu和Nl分別為無標簽過程數據和有標簽數據的數量；ui、lj 和lj分別為重構數據和預測數據。

SS-DDFNN網絡第二部分是由門控神經元組成的特征回歸網絡，該網絡采用隱層有標簽的特征來預測輸出，作用機理如式（14）～（16）所示。對于第i個標簽特征，首先根據式（14）使用標簽特征hli生成門控值gi，門控值為特征在最終輸出中所占的權重。

gi=σ（Wgi·hli+bgi）（14）

其中：σ為sigmoid激活函數。hli再根據式（15）映射生成候補預測值yi。

yi=tanh（Woi·hli+boi）（15）

各門值作用于候補預測值，并加和得到最后質量預測值為

=∑mi=1gi⊙yi=∑mi=1σ（Wgi·hli+bgi）⊙tanh（Woi·hli+boi）（16）

整個網絡的參數通過最小化式（4）的預測誤差進行微調。

2.2? SS-DDFNN軟測量方法

基于SS-DDFNN模型的軟測量建模流程分為訓練階段和測試階段兩部分，如圖4所示。

在訓練階段，首先根據理論分析和操作經驗選擇模型的輸入變量，采集并劃分數據集（包括過程變量和質量變量）。然后預處理訓練數據集，訓練SS-DDFNN模型。當損失函數最小即模型訓練完成，保存模型參數。測試階段，預處理測試數據集，然后將其輸入訓練好的模型獲得關鍵質量變量預測值?；赟S-DDFNN的軟測量建模具體步驟如下所示。

輸入：工業過程的無標簽過程數據Xu={xu1，xu2，…，xum}；標簽過程數據Xl={xl1，xl2，…，xln}；質量數據Y={yl1，yl2，…，yln}組成訓練集和測試集；時間窗口長度k。

訓練：

數據歸一化預處理。

初始化SS-DDFNN網絡結構、連接權重及偏置等參數。

經滑動窗口和注意力機制計算不同歷史過程數據［xt，xt-1，…，xt-k］對當前過程數據xt的貢獻，融合為注意力數據xv，再將xt及xv經過t-SNE計算概率分布，提取過程數據的空間結構關系。

經過SS-DDFNN網絡的第一層編碼過程獲得其編碼網絡參數{We1，be1}和第一隱層特征h1={h11，h12，…，h1N}，通過最小化預訓練損失函數更新其編碼網絡參數{We1，be1}，完成SS-DDFNN第一層網絡的預訓練；第一隱層特征作為SS-DDFNN網絡第二層的輸入。

令k＝2；主循環：

當k＜L，使用hk-1和Y來訓練SS-DDFNN網絡的第k層，從而獲得其編碼參數和第k隱層特征hk。

令k＝n，SS-DDFNN網絡逐層預訓練提取特征完成。

經前向編碼過程得到的第n隱層特征hn通過解碼過程，每層都重構原始輸入數據并直接預測質量變量。

將hn中有標簽特征hli分別傳遞到相應的門值網絡和tanh函數得到對應的門控值gi和候補預測值yi。

融合不同標簽特征的預測值，得到最終的目標輸出值。

通過最小化預測誤差損失來微調整個網絡參數。

保存網絡結構和參數。

測試：

將歸一化預處理過的測試數據作為網絡輸入，經過半監督特征提取和有監督特征回歸獲得對應的質量變量預測值。計算RMSE、MAE、MAPE和R2四個性能評估指標，評估模型預測性能。

為了直觀地評價模型的性能，本文使用均方根誤差（RMSE）、擬合優度系數（R2）、平均絕對誤差（MAE）和平均絕對百分比誤差（MAPE）四個指標來量化模型預測效果［20］。

RMSE=1N∑Ni=1（yi-i）2，R2=1-∑Ni=1（yi-i）2∑Ni=1（yi-i）2（17）

MAE=1N∑Ni=1|i-i|，MAPE=100%N∑Ni=1|i-yiyi|（18）

其中：N是樣本個數；yi是第i個樣本的真實值；i是第i個樣本的模型預測值；i是所有樣本真實值的平均值。

3? 案例研究

分別通過脫丁烷塔［21］和工業聚乙烯［22］生產過程數據詳細的進行所提SS-DDFNN軟測量方法的有效性實驗驗證，并與堆疊自編碼器（SAE）［23］、門控堆疊目標相關自編碼器（GSTAE）［24］ 和堆疊同構自編碼器（SIAE）［7］模型進行比較。

3.1? 脫丁烷塔案例

脫丁烷塔是工業煉油工藝的重要組成部分，主要用于脫硫和石腦油的分離。脫丁烷塔裝置如圖5所示。其中涉及的變量之間存在復雜的關系，為了保持穩定生產和保證產品質量，需要最大限度地提高汽油（C5）含量并最小化脫丁烷塔底部的丁烷（C4）含量。因此，為了提高C4的控制質量，需要進行軟測量建模對C4含量進行實時估計。

本文選擇七個常規測量的過程變量進行數據建模，表1詳細介紹了過程變量信息。選取2 300個樣本，其中前1 600個樣本作為訓練集，用于訓練模型參數，后700個作為測試集，用于評價模型預測性能。

為了獲得SS-DDFNN模型，需要初始化網絡結構和超參數，主要是通過試錯法獲得的。初始學習率設置為0.002，批量大小設置為20。為了更有說服力，對比模型的結構參數與SS-DDFNN模型的參數保持一致。所提SS-DDFNN方法與三種對比方法SAE、GSTAE、SIAE的質量預測結果如圖6所示。圖6中可以清晰地看出本文方法的預測結果很好地追蹤到了真實值的變化趨勢。尤其是在第400測試樣本附近其預測值曲線與真實值曲線擬合度最高，質量預測能力最優，而三種對比方法質量預測曲線偏離真實值曲線明顯，質量預測誤差較大。

表2詳細給出了SS-DDFNN與SAE、GSTAE、SIAE方法的性能評估指標值?？梢钥闯鯯S-DDFNN方法在四個指標上都取得了最佳性能，說明其模型性能最優，質量預測最精確。受無標簽數據的影響，SAE方法的性能評估指標最差；GSTAE方法利用門控神經元融合特征以綜合預測質量變量，其評估指標優于SAE；SIAE方法的性能評估指標也優于SAE，表明通過減小原始輸入數據丟失的有效信息逐層積累會提高模型預測性能。

所提SS-DDFNN方法與SAE、GSTAE、SIAE三種對比方法的訓練損失收斂曲線如圖7所示?？梢悦黠@看出四種方法的訓練損失收斂曲線的收斂值最終都接近于0，但是所提SS-DDFNN方法的初始損失值明顯低于三種對比方法，并且SS-DDFNN方法的訓練損失收斂曲線更趨近于收斂值。這表明改進后的損失函數優化了模型的性能。

構建消融實驗，SIAE方法只考慮了特征提取過程中原始輸入數據中有效信息的逐層丟失。建立一種半監督堆疊同構自編碼網絡（semi-supervised stacked isomorphic autoencoder，SS-SIAE）方法，將標簽樣本和無標簽樣本同時用于模型訓練，并減少原始輸入數據中有效信息的丟失。所提SS-DDFNN方法在SS-SIAE方法基礎上提取時空相關信息。這三種模型質量預測結果對比如圖8所示，性能評估指標值如表3所示。

在圖8和表3中都可以直觀地看出，所提SS-DDFNN方法具有最高的質量預測精度和最優的性能評估指標值，也表明所提方法的有效性被提高。

3.2? 工業聚乙烯案例

該工業聚乙烯生產過程有三級反應過程，如圖9所示［22］。本文取第一級過程數據進行方法驗證，共有12個易于測量的過程變量，關鍵質量變量為熔體指數（MI）。選用文獻［22］中的315個樣本，其中前250個樣本作為訓練集，其余作為測試集。

圖10～12為SS-DDFNN與SAE、GSTAE、SIAE方法的預測結果、絕對預測誤差和預測誤差箱線圖。在圖10中可以看出，SS-DDFNN方法的預測結果和真實值具有最高的一致性，尤其在第50～60測試樣本中預測誤差小于三種對比方法，提高了對MI的預測精度。盡管三種對比方法在分層預訓練過程中實現了深層特征提取，但它們未充分挖掘和利用過程有效信息。

為了更加明確地顯示四種模型的預測性能，圖11給出了測試數據集上的絕對預測誤差曲線，可以看出SS-DDFNN方法的絕對誤差曲線最平穩，在大多數樣本的絕對預測誤差最小，誤差波動明顯小于SAE、GSTAE、SIAE方法，具有更加穩定和準確的預測能力，驗證了所提方法的有效性。

圖12預測誤差箱線圖更直觀地反映了模型的性能，可以看出，SS-DDFNN在四種方法中顯示出最窄的誤差分布范圍，誤差更加集中地分布在零值附近，說明其具有最高的預測精度。

將四種方法應用于測試數據集，表4給出了詳細的模型預測性能評估指標值?？梢灾庇^地看出SS-DDFNN方法的RMSE、MAE和MAPE值最小，R2值最大，表明其是性能評估指標最優的模型。另外，SAE方法的RMSE最大，表明其預測精度最差，主要是因為其無監督提取特征可能丟失了輸入的有效信息；GSTAE方法雖然融合特征進行質量預測，優化了模型性能評估指標，但是沒有提取過程時間及空間相關信息；SIAE方法從低級到高級逐層訓練網絡，僅改進損失函數避免原始輸入數據丟失的信息逐層積累，使模型性能評估指標略有改善。因此對比模型不能保證最佳的預測精度。SS-DDFNN方法提取標簽及無標簽輸入數據的時空相關信息，并在解碼層重構原始輸入數據，更準確地捕獲原始輸入數據的有效信息，提供了四種方法中最好的預測性能。

圖13為所提SS-DDFNN方法與SAE、GSTAE和SIAE三種對比方法的訓練損失收斂曲線?？梢愿忧逦乜闯鯯S-DDFNN方法在四種方法中具有最低的初始損失值，在0.07附近，并且所提方法的訓練損失收斂曲線收斂速度最快。這表明改進后的損失函數優化了模型的性能，減小了有效信息的損失。

4? 結束語

本文提出了一種SS-DDFNN建模方法，用于預測工業產品質量。一方面，重構原始輸入數據而不是每層輸入數據，并直接預測質量變量。通過最小化包含重構原始輸入誤差、質量預測誤差以及t-SNE損失的預訓練損失，從而減小了逐層特征提取時原始輸入數據中有效信息的丟失，使提取的特征對原始輸入數據的表達更準確。另一方面，應用注意力機制計算不同時刻過程數據對當前時刻過程數據的貢獻，融合了時序相關信息；采用t-SNE空間相似性分析提取了空間結構信息。最后，應用門控神經元為不同標簽特征分配權重進行質量預測，提高了模型預測的準確率。因此，學習到的特征表示不但保持了原始輸入數據的真實性，而且捕獲了過程數據的時間及空間相關信息。比較了SAE、GSTAE、SIAE和SS-DDFNN方法在脫丁烷塔和工業聚乙烯一級爐中的預測性能，驗證了所提方法的有效性。該方法能夠有效提取復雜工業過程特性，具有較好的擴展性和良好的應用前景。但目前方法存在質量預測耗時長的現象，在下一步的研究中，將嘗試加入稀疏策略和自適應策略，以保證更加快速地進行質量預測。

參考文獻：

［1］崔琳琳，沈冰冰，葛志強.基于混合變分自編碼器回歸模型的軟測量建模方法［J］.自動化學報，2022，48（2）：398-407.（Cui Linlin，Shen Bingbing，Ge Zhiqing.A soft sensor modeling method based on hybrid variational autoencoder regression model［J］.Acta Automation Sinica，2022，48（2）：398-407.）

［2］彭程.基于預訓練的工業數據軟測量［D］.杭州：浙江大學，2022.（Peng Cheng.Soft sensor of industrial data based on pre-training［D］.Hangzhou：Zhejiang University，2022.）

［3］包震偉，劉丹，米金鵬.弱監督與少樣本學習場景下視頻行為識別綜述［J］.計算機應用研究，2023，40（6）：1629-1635.（Bao Zhenwei，Liu Dan，Mi Jinpeng.A review of video behavior recognition in weak supervision and small sample learning scenarios［J］.Application Research of Computers，2023，40（6）：1629-1635.）

［4］De Lima J M M，De Araujo F M U.Ensemble deep relevant learning framework for semi-supervised soft sensor modeling of industrial processes［J］.Neurocomputing，2021，462：154-168.

［5］Yuan Xiaofeng，Ou Chen，Wang Yalin，et al.A novel semi-supervised pre-training strategy for deep networks and its application for quality variable prediction in industrial processes［J］.Chemical Enginee-ring Science，2020，217：115509.

［6］孫慶強.基于自編碼器的工業過程軟測量建模方法研究［D］.杭州：浙江大學，2021.（Sun Qingqiang.Autoencoder based soft sensor modeling methods for industrial process application［D］.Hangzhou：Zhejiang University，2021.）

［7］Yuan Xiaofeng，Wang Yalin，Yang Chunhua，et al.Stacked isomorphic autoencoder based soft analyzer and its application to sulfur recovery unit［J］.Information Sciences，2020，534：72-84.

［8］常樹超，趙春暉.一種時空協同的圖卷積長短期記憶網絡及其工業軟測量應用［J］.控制與決策，2022，37（1）：77-86.（Chang Shuchao，Zhao Chunhui.A spatiotemporal collaborative graph convolution long short-term memory network and its industrial soft sensor application［J］.Control and Decision，2022，37（1）：77-86.）

［9］Wang Kangcheng，Shang Chao，Liu Lei，et al.Dynamic soft sensor development based on convolutional neural networks［J］.Industrial & Engineering Chemistry Research，2019，58（26）：11521-11531.

［10］Curreri F，Patanè L，Xibilia M G.RNN-and LSTM-based soft sensors transferability for an industrial process［J］.Sensors，2021，21：823.

［11］Yuan Xiaofeng，Li Lin，Shardt Y A W，et al.Deep learning with spatiotemporal attention-based LSTM for industrial soft sensor model development［J］.IEEE Trans on Industrial Electronics，2020，68（5）：4404-4414.

［12］周樂，沈程凱，吳超，等.深度融合特征提取網絡及其在化工過程軟測量中的應用［J］.化工學報，2022，73（7）：3156-3165.（Zhou Le，Shen Chengkai，Wu Chao，et al.Deep fusion feature extraction network and its application in soft sensing of chemical processes［J］.Journal of Chemical Industry and Engineering，2022，73（7）：3156-3165.）

［13］Ren Lei，Wang Tao，Laili Yuanjun，et al.A data-driven self-supervised LSTM-DeepFM model for industrial soft sensor［J］.IEEE Trans on Industrial Informatics，2021，18（9）：5859-5869.

［14］Wang Yalin，Liu Diju，Liu Chenliang，et al.Dynamic historical information incorporated attention deep learning model for industrial soft sensor modeling［J］.Advanced Engineering Informatics，2022，52：101590.

［15］張馳野，陳智超，江肖禹，等.基于時空圖注意力模型的動態軟測量建模方法［J］.中國科學：技術科學，2023，53（7）：1163-1174.（Zhang Chiye，Chen Zhichao，Jiang Xiaoyu，et al.A dynamic soft sensor modeling method mased on spatiotemporal graph attention model［J］.Science China Technologica，2023，53（7）：1163-1174.）

［16］曹文彬.基于改進自編碼器的火電廠煙氣NOx濃度軟測量與應用［D］.杭州：浙江大學，2022.（Cao Wenbin.Soft measurement and application of NOx concentration in flue gas of thermal power plants based on improved autoencoder［D］.Hangzhou：Zhejiang University，2022.）

［17］黃成，金懷平，王彬，等.基于時空局部學習的集成自適應軟測量方法［J］.儀器儀表學報，2023，44（1）：231-241.（Huang Cheng，Jin Huaiping，Wang Bin，et al.Integrated adaptive soft sensor method based on spatiotemporal local learning［J］.Journal of Instrumentation，2023，44（1）：231-241.）

［18］駱釗，吳諭侯，朱家祥，等.基于多尺度時間序列塊自編碼Transformer神經網絡模型的風電超短期功率預測［J］.電網技術，2023，47（9）：3527-3537.（Luo Zhao，Wu Yuhou，Zhu Jiaxiang，et al.Wind power ultra short term power prediction based on multi-scale time series block self coding Transformer neural network model［J］.Power System Technology，2023，47（9）：3527-3537.）

［19］Yao Le，Ge Zhiqiang.Dynamic features incorporated locally weighted deep learning model for soft sensor development［J］.IEEE Trans on Instrumentation and Measurement，2021，70：1-11.

［20］Wang Yalin，Liu Chenliang，Yuan Xiaofeng.Stacked locality preserving autoencoder for feature extraction and its application for industrial process data modeling［J］.Chemometrics and Intelligent Laboratory Systems，2020，203：104086.

［21］Fortuna L，Graziani S，Xibilia M G.Soft sensors for product quality monitoring in debutanizer distillation columns［J］.Control Enginee-ring Practice，2005，13（4）：499-508.

［22］Liu Yi，Gao Zengliang，Chen Junghui.Development of soft-sensors for online quality prediction of sequential-reactor-multi-grade industrial processes［J］.Chemical Engineering Science，2013，102：602-612.

［23］Yuan Xiaofeng，Zhou Jiao，Huang Biao，et al.Hierarchical quality-relevant feature representation for soft sensor modeling：a novel deep learning strategy［J］.IEEE Trans on Industrial Informatics，2019，16（6）：3721-3730.

［24］Sun Qiangqiang，Ge Zhiqiang.Gated stacked target related autoen-coder：a novel deep feature extraction and layerwise ensemble method for industrial soft sensor application［J］.IEEE Trans on Cyberne-tics，2020，52（5）：3457-3468.

計算機應用研究 ??第41卷? 第41卷第2期2024年2月? 計算機應用研究Application Research of ComputersVol.41 No.2Feb.2024