Regformer：基于稀疏注意力的輸油管道水力壓降預測方法

李亞平，王軍防，余紅梅，竇一民，肖 媛，田繼林

（1.國家管網集團東部原油儲運有限公司，江蘇 徐州 221008；2.中國石油大學（華東）計算機科學與技術學院，山東 青島 266580）

0 引 言

輸油管道的運行管理是涉及國家政治、經濟、社會、技術、安全及生態環境等多方面的大型系統工程［1］。日儀線采用長距離油品混輸的方式運輸油品，如對油品在管道的水力損失計算不準確，可能導致油品運輸方案不合理，造成油品管道的能耗與安全問題，為減少油品在管道輸送過程中的能源消耗，使油品能夠安全高效地運輸，準確計算出管道輸送油品的水力損失具有十分重要的意義。同時正確的水力預測計算能夠為油田生產、集輸管網的設計提供可靠依據［2］。

輸油管道的水力計算一般使用傳統的水力計算公式［3-5］，其具有直觀、容易計算的特點。但由于管道中運輸的油品情況復雜，一般由多種類型油品混合運輸，混合油品的粘度系數難以及時測量和準確估計，管壁的粗糙度等因素也難以測量，同時常用的謝才公式、達西公式等管道水力計算公式中存在較多的經驗數值，導致在理論計算時管道水力計算的壓降不準確。

近年來有不少研究學者在油氣管道水力計算領域提出了新方法，戰征［6］基于順北油氣田輸送現場實際運行數據對氣液混輸管道水力計算常用5 種模型進行篩選，采用壓降計算模型與氣液界面摩擦因數修正的方法，建立水力計算模型；趙洪洋等人［7］利用最優化方法，采用多項式修正管道粘度系數，使得修正后的粘度系數更符合管道實際運行情況，但該方法修正所需的參數較多，執行效率低。楊凱［8］利用最小二乘法，修正了傳統經驗公式中的經驗系數，提升了輸油管道水力預測的精度。

以上方法基于原有經驗公式，對公式中的參數進行優化和修正，因此仍保留了經驗公式法的局限性。所以，一些學者使用機器學習方法，將水力壓降預測作為回歸問題［9-12］。陳新果等人［13］結合流體力學特性建立了一個預測大型輸氣管網水力參數的深度學習結構網絡模型，區別于傳統水力計算方法，該模型僅依托于大量管道壓降樣本數據即可準確預測管道水力狀態；李樹杉等人［14］提出CPSO-RBF 神經網絡，建立管道預測模型實現進站油溫和壓力的預測。楊樹人等人［2］提出了混輸管道數據庫壓降插值計算方法；王力等人［15］提出了基于面向對象和二叉樹的油氣集輸管網水力計算；Shadloo 等人［16］利用多層感知器（Multi-Layer Perceptron，MLP）神經網絡模型預測壓降。機器學習方法擺脫了經驗公式法的局限性，但其極度依賴大量數據，由訓練集得到的參數固定。這些固定權重回歸的學習模型目的在于學習特征空間的決策邊界或擬合曲線，當目標任務受到隱變量等其他未知因素影響時，這些方法就難以泛化到更多的測試樣例或真實的工程場景中。

本文為了解決輸油管道水力預測受管輸油品的物性、管徑、長度、溫度等多種因素影響，常用的管道水力計算公式由于管輸油品的流態難以確定以及存在損態的問題、在理論計算時管道水力計算的壓降不準確的問題，引入了自注意力機制，其原因在于注意力機制對于不同的輸入能夠自適應生成不同的決策邊界，對于多因素控制的回歸任務可能具有良好的效果。該機制在Transformer［17］方法中首次被提出，Transformer 是Google 團隊在2017 年提出的一種深度學習方法，最初被引入到NLP 領域的Transformer 由于其優異的表現已經滲透到多種領域，在多種任務中都非常有效。Wang 等人［18］提出了一種新的分層Transformer，采用多任務體系結構，利用季度業績電話會議的文本和音頻數據來預測未來短期和長期的價格波動。Daiya等人［19］提出了一種基于Transformer的多模式深度學習架構，使用擴張因果卷積和Transformer 塊從財務指標和新聞數據中提取特征進行股票走勢預測。Xu 等人［20］提出了一種新的時空Transformer 網絡（STTNs），利用動態定向空間依賴和長期時間依賴來提高長期交通預測的準確性。Zhang 等人［21］提出了基于Transformer 的雙方面自注意機制（DAST）預測工業設備的使用壽命。DAST 由2 個編碼器組成并行工作同時提取不同傳感器和時間步長的特征，自適應地學習專注于輸入的更重要部分。Mo 等人［22］提出將Transformer 編碼器作為模型的主干，捕捉時間序列中的短期和長期依賴關系，并進一步提出了一個門控卷積單元促進模型在每個時間步合并局部上下文的能力。Zhou 等人［23］將Transformer應用于長時間序列預測（Long Sequence Time-Series Forecasting，LSTF）中，提 出 了Infomer，其LSTF的性能顯著優于Transformer。

綜上，Transformer及其改進方法已經成功應用到各種場景中，與LSTF 任務類似，Transformer 雖然非常具有潛力，但是將其應用于回歸任務仍需要解決2 個主要問題：1）Transformer的密集注意力對常規的回歸任務來說是冗余的，這些多余的參數會導致模型訓練慢和過擬合；2）Transformer 的編碼-解碼結構不適用回歸任務，而僅使用其編碼器需要將其特征使用平均或感知機加權，削弱了注意力機制的優勢。

為解決以上問題，本文提出一種水力壓降回歸預測方法Regformer，主要工作原理如下：

1）設計一種平滑概率方法，引入稀疏自注意力機制，顯著減少自注意力的計算量。該方法可作為一種正則化方法嵌入自注意力模型中。

2）加入自適應特征投影，使得模型在預測階段也能夠充分挖掘各輸入屬性關聯，動態調整回歸參數，提高模型準確率。

1 相關理論

1.1 傳統經驗公式及修正

傳統經驗公式是根據流體力學原理通過實驗得來的，最為常用的是達西公式。管道的壓力損失包括流體沿程水頭損失、局部水頭損失和高度差引起的位能損失3個部分，其計算公式如式（1）所示：

其中，△p為管道壓降，ρ為油品密度，g為重力系數，hf為沿程摩阻損失，hj為局部摩阻損失，hz為管道高程差。

沿程摩阻損失如式（2）所示：

其中，λ為粘度系數，流態不同λ計算公式不同，V為輸油管道內油品流量，L為管道長度，D為管徑。

在使用傳統水力公式進行管道水力計算時，粘度系數λ對計算結果影響較大，并且λ的計算公式中的常系數由實驗室數據確定，這導致水力的計算結果與真實值存在一定偏差。為解決這一問題，采用最小二乘方法，根據輸油管道歷史運行數據，對計算公式中的常系數修正。修正形式如式（3）所示。

其中，λi為實際粘度系數，γi為修正后的粘度系數，m為訓練數據的樣本總量，i為第i個訓練數據，a1、a2、a3為修正經驗系數，Re為雷諾數。

1.2 Transformer中的自注意力機制

Transformer 是一種利用自注意力機制來提高模型訓練速度的模型，在機器翻譯、文本摘要和文本生成等任務上都取得了很好的效果。它拋棄了傳統的CNN［24］和RNN［25］，整個網絡結構完全是由自注意力機制組成。其整體是由編碼器和解碼器組成的，而編碼器和解碼器是基于自注意力的模塊疊加而成的。Transformer 利用了大量的自注意力機制來捕獲數據里面的依賴信息，傳統的自注意力機制主要由查詢矩陣Q=XWQ、鍵矩陣K=XWK和值矩陣V=XWV組成，其中X是輸入的數據矩陣，WQ、WK、WV是3個可訓練的參數矩陣，由此，利用自注意力機制可以使參數矩陣隨輸入的X矩陣的變化而變化，Transformer 中注意力的計算公式［17］為式（4）。

其中，d為縮放因子L為X的長度，LQ、LK、LV分別為矩陣Q、K、V的長度。

Transformer計算注意力的時候，會計算每一個點與其他所有點的注意力，每一層的計算復雜度都是O（L2），當X長度增長的時候，計算開銷以平方倍增長。

2 Regformer方法

傳統經驗公式是根據流體力學原理通過實驗得來的，計算公式中的經驗參數往往由實驗室數據確定，這導致水力的計算結果與真實值存在一定偏差。而一般的機器學習方法希望通過擬合訓練集得到決策邊界或擬合曲線，這些邊界或曲線是固定的，而壓降預測受到多種因素影響，不僅是輸入的顯式變量，而且輸入變量也受到其他因素的線性影響，因此需要充分挖掘屬性的關聯，而不是采用固定的決策邊界，對于不同的輸入數據應動態地回歸預測。因此本文提出一種水力壓降回歸預測方法Regformer，設計一種平滑概率方法，引入稀疏自注意力機制作為正則化方法嵌入自注意力模型，顯著減少自注意力的計算量。另外，加入自適應特征投影，使得模型在預測階段也能夠充分挖掘各輸入屬性關聯，動態調整回歸參數，提高模型準確率。

2.1 稀疏自注意力機制

Transformer 的自注意力需計算Q與K的矩陣乘法，即計算每一個點與其他所有點的注意力，計算開銷容易隨著輸入數據的增加以平方倍增長。正如Zhou 等人［23］所提到的，自注意力具有稀疏性，其分布呈現一個長尾分布，只有少數的點積對對主要的注意力有貢獻，為了降低注意力的計算量，稀疏自注意力機制中僅計算一些非常重要的有代表性的點積對，其他的點積對可以忽略。事實上，多余的計算量不但浪費計算資源，還會導致過擬合，尤其是回歸任務，數據量少，特征單一，冗余的計算會導致性能的下降。

將原始的注意力計算公式轉變為概率形式，以篩選出最重要的查詢向量來降低計算復雜度，其中第i個注意力被定義為如式（5）所示的核平滑的概率形式。

其中p(kj|qi)=k(qi，kj)/∑lk(qi，kj)，kj代表鍵向量、qi代表查詢向量，vj代表值向量。

利用KL散度來評估第i個查詢向量的稀疏性，其中q是一個均勻分布的概率，p是本文選取的注意力概率分布，進而可以計算p和q的一個相對熵，寫成如式（6）形式。

得到第i個查詢向量的稀疏性評價公式，在該評價體系中，計算出來的評分越大，就意味著KL散度越大，注意力概率分布和注意力均勻分布相對熵越大。

將常數項舍棄，M(qi，K)表示注意力概率分布和注意力均勻分布相對熵，得到式（7）所示公式。

采取這種方式，需要遍歷qi，依舊需要O（L2）的復雜度才能把L個查詢向量的稀疏性評價值全部算出，由于M(qi，K)中第一項含義指數累加并取對數操作，會造成精度截斷的問題，導致數值不穩定。受此影響，提出查詢向量稀疏性評估的近似，隨機選取u=c·lnLQ個點積對進行計算，其中c是采樣參數，用來代替，得到式（8）所示公式，至此，復雜度降為O（LlnL）。

基于查詢向量稀疏性評估的近似，定義稀疏自注意力的形式如式（9）所示，是和q具有相同尺寸的稀疏矩陣，其中包含了根據（qi，K）計算出來的前u個較大的查詢向量。

該方法使自注意力計算復雜度從O（L2）降低到O（LlnL），顯著降低了自注意力的計算量，提高了預測速度。

2.2 自適應特征投影

經過自注意力層后的特征仍以向量的方式表示，需要使用特征投影得到最終的結果，目前常用的方式有平均加權和感知機。平均加權在圖像分類領域最常見，也被稱為GAP（Global Average Pooling）［26］。其可以表示為公式（10）：

其中，?是最終的回歸結果，n是最終層的元素數量，zi表示每個元素。平均加權極其依賴主干網絡的性能，將權重分配任務推給上一級網絡。

感知機即使用一層全連接神經網絡，對向量的各個元素施以固定的權重，權重來源于訓練過程，其可以表示為公式（11）：

這2 類方法的權重在推理階段都是固定的，削弱了自注意力動態回歸參數的優勢。Hu等人［27］的工作激發了筆者的靈感，在此基礎上本文提出自適應的特征投影方法。

主干網絡輸出特征表示為V={z1，z2，···，zn}，其分為2 個階段，首先匯總主干網絡輸出特征的信息，即通過全連接操作將其長度壓縮為1/2，表示為公式（12）：

其中，sq是指將每個通道的特征映射為一個可以表示其全局信息的數，由于V1是由特征聚合得到的，因此各元素之間的隱式關聯被嵌入其中，冗余的信息被刪除。然后繼續通過一個全連接將其膨脹回原始長度，表示為公式（13）：

其中，ex是指特征向量學習每個通道的特征權重，σ為Sigmoid 激活函數，它使得特征被歸一化，對低維特征的膨脹和映射，即是對密集特征Vsq的稀疏化，并將稀疏化的特征作為回歸的動態權重，其表示為公式（14）：

隨著梯度下降的不斷演進，網絡會自適應找到相對最優的壓縮與膨脹參數，對于回歸任務來說，對于每個輸入x，網絡都能自適應產生不同的Vex，而不是固定參數，極大提高了模型的表達能力，增加了其泛化性能，網絡整體結構如圖1所示。

圖1 Regformer網絡結構圖

3 對比實驗及結果分析

模型基于Pytorch深度學習框架實現，使用TeslaP100 16 GB訓練，優化器為Adam［28］，學習率為0.001。

為了評估Regformer 的有效性，本文使用了10 個具有不同變量的實際問題（數據集）測試所提出的方法，這些數據集來自KEEL，其詳細信息和定義如表1所示。該數據集中的問題與壓降預測類似，屬于多維回歸問題，即通過多個輸入屬性預測目標屬性，可以較好地驗證所提出方法的有效性。最后，對比了壓降數據上的性能。

表1 公共數據集

3.1 數據預處理

這些數據采集自實際場景，同一數據集的各個屬性的數量級差異較大，因此將數據集的各個屬性分別標準化，以確保算法能夠均衡地學習到每一個屬性的特征。具體操作為，首先，將各個屬性分別z-score 標準化，如式（15）所示：

經過z-score 后的數據符合標準正態分布，即方差為1，均值為0。然后將數據的最大值和最小值限制為5和-5，以刪除離群值。

3.2 KEEL數據集

本 文 對 比RandomForest［29］、LightGBM［30］、XGBoost［31］、CART［32］、SVR［33］、AdaBoost［34］、MLP［35］這7 個常規機器學習方法，以及Transformer［17］和Regformer這2個自注意力方法?；貧w方法不需要特征解碼，因此Transformer 和Regformer 僅使用了2 層編碼結構，Transformer的特征映射使用全連接代替。最終的實驗結果如表2所示。

表2 公共數據集實驗表

公共數據的定量實驗表明了自注意力方法與傳統機器學習方法相比有顯著優勢。為了進一步分析Regformer 對于各類數據集的擬合程度，本文對測試集上的數據進行可視化，篇幅限制，僅可視化其最具代表性、性能相對較好的方法。定量實驗顯示了RandomForest、LightGBM 和XGBoost 在傳統機器學習方法中相對有較好的回歸性能，因此本文將重點對這3 個方法進行定性討論。首先是4 種方法在concrete數據集上的定性結果，如圖2所示。

圖2 4種方法在concrete數據上的定性結果

為方便實驗觀測，對測試集擬合曲線進行了高斯平滑，平滑前的曲線做了虛化處理。定性結果顯示4種方法都基本完成了對測試曲線的擬合，但是Regformer 方法對局部突變具有更好的處理能力，正如紅色箭頭處所示，Regformer 對測試數據局部的變化更加合縫。在machineCPU 數據上的結果也可驗證這一結論，如圖3所示。

圖3 4種方法在machineCPU數據上的定性結果

在平滑后的曲線中，Regformer 幾乎完全擬合了測試集，這充分體現了自注意力機制與自適應特征投影的有效性。在machineCPU 數據中，RandomForest、LightGBM 和XGBoost 對幾個非平穩的變化顯示了不適應性，正如圖3（a）紅色箭頭的位置所示，僅有Regformer 對該處的相位和振幅進行了很好的擬合。在圖4 的abalone 數據中，雖然RandomForest、Light-GBM 和XGBoost 與Regformer 的MAE 僅報告了8.0%、13.6%和19.9%的的差異，但Regformer 定性實驗顯示了更加明顯的優勢，正如圖4 紅色箭頭處所示，除了Regformer 其他3 個方法都無法對此處的極值進行很好的表達。

圖4 4種方法在abalone數據上的定性結果

綜上，實驗證明了Regformer 在回歸任務中的強大性能。在公開數據中，Regformer 在大部分的測試數據集中報告了顯著的優勢，僅在ANACALT 和delta_elv 數據中弱于RandomForest、LightGBM 和XGBoost方法，但沒有明顯的差距。

3.3 水力壓降預測數據集

本節驗證在水力壓降預測數據集上的結果，該數據集來自徐州中國石化集團管道儲運公司。正如引言中所提到的，壓降回歸充滿不確定性，由于實際熱油管道運行工況的復雜性，如管壁粗糙度、原油粘溫特性等物性的變化，增加了壓降的預測難度。該數據提供了流量、動力粘度和密度對回歸最關鍵的3 個屬性，以及對應管道壓降，共499 條數據，本文選擇其中的144 條作為測試數據，355 條作為訓練數據。首先進行消融實驗，在Transformer 的基礎上進行了2 個重要改進使其更適合用于水力壓降回歸任務，即稀疏注意力機制和自適應特征投影，表3 展示了關于這2 個組件的消融實驗。

表3 消融實驗結果

表3 中FLOPs（Floating Point Operations）指浮點運算數，一般用來衡量深度學習模型的復雜度。表3中，組1 為對照組，組2 為僅應用了稀疏注意力的方法，其計算量在低于對照組31%的情況下，性能仍有所提升，這表明了稀疏注意力的有效性。組3 為應用了自適應投影的方法，相比對照組，雖然計算量有所提升，但獲得了性能改進。組4同時應用了2個組件，在計算量低于對照組30%的情況下，定量指標有顯著的提升，這表明了本文所提出的組件是有效的。

表4為水力數據實驗表，顯示了自注意力方法在水力壓降預測任務中顯著的優勢，其主要原因在于注意力機制對于各項權重的自適應性，這對于受制于多種條件影響的回歸任務是至關重要的。其中Regformer表現出了比Transformer更好的性能，這得益于自適應投影模塊貫徹了注意力機制的特點，而使用全連接投影的Transformer在輸出層削弱了注意力機制的作用。本文進一步通過測試集上的定性實驗來說明，如圖5所示。

表4 水力數據實驗表

圖5 壓降預測定性實驗

圖5 中，大部分方法對于紅色箭頭處的測試集極值報告出現了誤判，只有自注意力方法顯示了對該處較強的適應性。大部分通過固定權重回歸的學習模型目的在于在學習特征空間的決策邊界或擬合曲線，對于極限情況或局部的極值進行了模糊化處理，而自注意力方法對于不同的輸入有不同的決策邊界或擬合曲線，因此對于極限情況有更好的效果。Regformer 因為稀疏注意力的存在，將計算量縮減了30%，并在壓降預測任務中取得了更好的結果。

4 結束語

本文將稀疏注意力機制引入回歸任務中，并設計了自適應特征投影，從而提出了Regformer 水力壓降預測方法。通過2 個實驗驗證了該方法在公共數據集的通用回歸性能和在水力壓降預測中的性能。在10 個公共數據集上對7 種方法的對比中，Regformer展現了顯著的優勢，定性實驗顯示了Regformer 對于局部的突變有很好的擬合能力。在水力壓降預測中，基于自注意力的2 個方法明顯優于其他算法，實驗表明了自注意力方法對于多變量不確定性的回歸任務具有顯著的優勢，尤其是對極端情況的處理體現了自適應回歸參數的重要性，而Regformer 用了更少的計算量取得了比Transformer更好的性能，驗證了本文所提出的稀疏注意力和自適應特征投影方法在水力壓降預測任務中的優越性。