基于殘差神經網絡模型的高壓氣井水合物生成預測方法

劉廣勝,鄭 剛,鄧澤鯤,魏 韋,劉新福

(1.長慶油田分公司 油氣工藝研究院,陜西 西安 710018; 2.低滲透油氣田勘探開發國家工程實驗室,陜西 西安 710018; 3.青島理工大學 機械與汽車工程學院,山東 青島 266520)

引言

國內外預測水合物形成壓力和溫度的方法可分為經驗法、圖解法、相平衡算法、熱力學模型以及智能算法5大類[1],經驗法受限于使用范圍且精度不高,圖解法精度低且難以編程實現[2],相平衡算法和熱力學模型由Vd W-P模型發展與補充,對含酸性氣體的天然氣水合物平衡條件預測誤差較大,且計算難度較大[3-4]。

殘差神經網絡(ResNet)是一種改進的卷積神經網絡(CNN)模型,引入殘差深度學習的概念,設置帶跳過連接線的殘差學習單元,并采用多個殘差學習單元首尾相連法加以構建,跳過連接線可使輸入直接傳遞至輸出層,從而避免梯度消失、過擬合等問題,提高網絡的訓練效率和泛化能力。ResNet主要用于圖像分類、目標檢測、語義分割等任務[3-4]。

目前很多學者利用支持向量機(SVM)與人工神經網絡(ANN)等方法預測天然氣水合物生成條件,而較少使用殘差神經網絡智能算法進行預測。卞小強等[5]引入酸性混合氣體對CH4的影響,將交叉驗證(CV)與支持向量機相結合的方法預測含H2S和CO2等酸性天然氣水合物生成條件,并運用杠桿法提出一種檢測SVM模型異常點和適用范圍的方法。Mesbah等[6]針對SVM算法運行速度慢和大規模二次規劃等問題,采用最小二乘支持向量機法(LSSVM)預測H2S和CO2含量高的酸性天然氣水合物生成溫度。顧新建等[7]使用全連接神經網絡(FCNN)預測天然氣水合物生成,彭遠進等[8]使用FCNN理論預測部分烴類氣體與含CO2等酸性氣體水合物生成。FCNN存在訓練速度慢、結果易陷入局部最優等缺點,使得FCNN的預測精度極易受到影響;FCNN改進過程中發現,使用小波神經網絡(WNN)的效果良好。陳哲等[9]提出將小波分析與神經網絡相結合,唐永紅等[10]提出群體最大誤差比率代表機制,對WNN引入動量項系數進行改進,由此加速網絡的收斂速度。Park[11]在小波神經網絡基礎上耦合遺傳算法,來克服其陷入局部最優的缺點。綜上所述,本文提出一種跳過連接卷積神經網絡模型構建水合物生成大數據集處理方法,推導殘差神經網絡深度學習算法、大數據集特征獲取與數據預處理算法、大數據集構造與劃分算法及大數據集評價指標,構建多元體系殘差神經網絡模型,包括殘差神經網絡模型訓練、殘差神經網絡超參自動調優以及參數動態微調,并依據實例分析和試驗結果準確預測出高壓氣井多元體系天然氣水合物生成條件。

1 水合物生成大數據集處理方法

1.1 殘差神經網絡深度學習算法

殘差神經網絡(ResNet)采用多個殘差學習單元首尾相連法加以構建[12-14],殘差深度學習方法見圖1。

圖1 ResNet神經網絡深度學習方法

圖中,x為殘差單元輸入,H(x)為殘差單元輸出,F(x)為殘差射函數,表示學習到的殘差,H(x)=F(x,Wi)+x為恒等映射函數,Wi為輸入經過殘差塊中第i個卷積層時獲得的權重。

1.2 大數據集特征獲取與數據預處理方法

水合物生成模型需結合高壓氣井具體工況選擇具有代表性的特征,同時綜合考慮天然氣多組分混合比例、臨界壓力、臨界溫度、實際溫度、氣體流速、壓力波動及高壓等因素的影響。由于獲取的數據集特征有限,氣體流速、壓力波動及節流效應等因素無法獲取,為此主要選取氣體組分、水合物生成壓力與生成溫度作為模型特征。

所選取的部分特征不宜直接使用,需要通過合理有效的轉化規則進行處理。ResNet神經網絡優化與學習時,數據需要進行歸一化與標準化等預處理,從而使原始數據映射到指定范圍,并除去不同維度數據的量綱及其量綱單位。

最小與最大幅度歸一化適合數值較集中的數據,即數據中不存在極端最大值和最小值,即

(1)

Z分數標準化涉及距離度量、協方差計算的工況數據,一般用于分類、聚類與主成分分析(PCA)算法。其算式為

(2)

式中:μ為數據均值;σ為數據標準差。

根據特征數據特點,對大部分學習特征采用最小與最大幅度歸一化,具體的學習特征選取和轉化規則見表1。

表1 學習特征選取與轉化規則

1.3 大數據集構造與劃分方法

依據ResNet神經網絡多對一回歸方法,并結合混合氣體組分比例、臨界壓力、臨界溫度、實際壓力等預測水合物實際生成壓力和生成溫度。ResNet模型使用一維卷積層(Conv1d)并輸入二維張量(n,m),m為特征向量維度,n為樣本數量,M1～Mn分別為甲烷、乙烷、丙烷、正丁烷、異丁烷、二氧化碳、氮氣、硫化氫及其混合組分以及臨界壓力和臨界溫度,Mn+1為氣體壓力。

綜合甲烷、乙烷、丙烷、正丁烷、異丁烷、二氧化碳、氮氣與硫化氫等水合物實驗數據[15-17],結合大數據集構造方法組裝樣本數據集,部分實驗數據作為訓練集,余下部分作為數據驗證集。大數據集訓練時使用k折交叉驗證(k-Fold)的方式將部分訓練集劃分為測試集。大數據集共收集1 900多個實驗數據,收集的所有數據被隨機打亂,并且劃分為15折進行訓練和測試。

1.4 大數據集的評價指標

水合物ResNet預測模型的損失函數可選擇均方誤差(SSE)、平均絕對誤差(MAE)、均方誤差(MSE)、均方根誤差(RMSE)以及均方對數根誤差(RMSLE)。SSE、MAE、RMSE效果類似,對預測值與真實值間的誤差懲罰一致,RMSLE對預測值小于真實值的誤差懲罰較大,且當少量數據預測值與真實值相差較大時,通過取對數的方式可減輕局部誤差對整體的影響。為此采用RMSLE作為訓練的損失指標,選取MSE作為模型的精度指標,其計算式為

(3)

無論選擇何種指標作為損失函數,ResNet神經網絡的最終優化目標均為最小損失。

2 多元體系殘差神經網絡模型

2.1 殘差神經網絡模型訓練

隨機初始化ResNet 神經網絡參數,設置神經殘差學習單元為1、訓練循環次數為1 000、批量大小為32。使用訓練集進行模型訓練且完成后驗證模型,以預測乙烷水合物生成壓力和生成溫度為例。使用單個殘差學習單元時,模型預測精度指標MSE為0.053 28。

2.2 殘差神經網絡超參自動調優

采用初始化的神經網絡參數,計算結果不一定符合預期要求,且ResNet神經網絡的超參數量巨大,取值范圍寬泛。為此采用手動設定超參取值范圍,程序框架自動搜尋最優解的方法建立ResNet模型,通過增加網絡層數的方法來過擬合模型,同時關注訓練損失和驗證損失的變化,尋找驗證數據集上性能降低的初始位置,確定超參數范圍。

超參數的選擇會影響ResNet模型的訓練效果和速度,ResNet模型超參自動調優常用的搜索策略包括網格搜索、隨機搜索、貝葉斯優化等[4]。ResNet模型發生過擬合通常由模型過于復雜或訓練數據過少造成的,緩解或避免過擬合的方法主要包括正則化、隨機丟棄、提前終止等[5]。

以ResNet模型的學習單元個數為例,使用Nakamura等[18-20]的實驗數據,預測274.25～285.78 K的I型CH4水合物,結果見圖2和圖3。

圖2 CH4水合物生成壓力和溫度預測值與實驗值對比

圖3 CH4水合物生成的預測精度

ResNet預測模型的殘差塊為2個時,ResNet模型預測精度指標MSE為0.044 89;ResNet模型的殘差塊為5個時,精度指標MSE為0.008 09;ResNet模型的殘差塊達到6個并繼續增加時,ResNet模型發生過擬合,預測精度指標MSE升高,預測結果與實際值偏差變大。因此合理的ResNet模型殘差塊數量應設為4～5。

自動調優的參數包括全連接層網絡層數、全連接層神經元個數、訓練循環次數、批量大小等,設置每個參數的步長,并使用網格搜索的方式確定最優參數組合。ResNet 神經網絡各參數及其取值見表2。

表2 殘差神經網絡模型參數設置

表2中ResNet學習單元的參數分別表示其前后兩個卷積層的參數,如殘差塊1 中參數(1,3,2,16)表示第一個卷積層卷積核大小為1×3、步長為2、通道數為16,參數(1,3,1,32)表示第二個卷積層卷積核大小為1×3、步長為1、通道數為32。因為殘差學習單元2第一個卷積層的步長為2,會將輸入數據長度減少一半,而使輸入與輸出大小不匹配,需在殘差學習單元2中跳過連接部分添加步長為2的1×1卷積核處理,保證該殘差學習單元的輸入與輸出維度匹配,同理需在殘差學習單元4與殘差學習單元5跳躍連接線部分加入步長為2的1×1卷積核進行處理。卷積核的實現方法為

(4)

式中:yi,j為輸出數據第i行和第j列的輸出元素;C為卷積核通道數;xi,j+k為輸入數據第i行和第j+k列的輸入元素;wk為卷積核第k個權重。

2.3 殘差神經網絡參數動態微調

為提高ResNet網絡的擾動能力并保持良好的魯棒性,在訓練時加入正則化防止極端權重的產生和隨機丟棄,避免模型過于依賴局部特征,建立帶有不同隨機丟棄系數與正則化系數L2的網絡,并使其初始化、優化器類型、學習率以及訓練的步數一致,預防無關變量對模型訓練效果和該系數的影響,最終比較模型在測試集上的損失。使用Nakamura[18]的實驗數據,得出正則化與隨機丟棄對均方誤差(MSE)的影響,見表3。

表3 正則化與隨機丟棄對ResNet模型結果的影響

正則化與隨機丟棄對MSE、隨機丟棄系數和L2的影響見圖4。ResNet模型MSE隨著隨機丟棄系數的增大先降低而后逐漸提高,增大隨機丟棄系數可減輕ResNet模型的過擬合,而隨機丟棄系數過大則會導致網絡訓練困難,反而降低ResNet模型的預測效果;正則化系數L2的變化趨勢與隨機丟棄系數類似,適度選取L2系數可減少ResNet模型的過擬合,但L2系數過大可能會導致ResNet模型欠擬合,影響預測效果。依據表3的結果數據,最佳ResNet網絡參數為L2系數取0.2,隨機丟棄系數取0.4。

圖4 正則化與隨機丟棄對ResNet模型MSE的影響

采用優化算法更新ResNet網絡訓練參數,初始值設為0.001,衰減率為0.9,每迭代500次進行衰減,L2系數為0.4,隨機丟棄系數為0.2,訓練策略為提前終止以獲得更好效果[21-23]。ResNet神經網絡采用5個殘差學習單元,批量大小為64,訓練循環次數為3 000,并依據分布式技術將每組參數生成對應的模型文件和預測結果進行存儲。

3 天然氣水合物生成預測實例分析

3.1 單組分體系水合物生成預測結果與分析

選取長慶油田高壓氣井單組分、二元以及多組分天然氣水合物井場試驗測試數據,對比分析ResNet、WNN和FCNN等不同神經網絡模型預測天然氣水合物生成條件的準確性。ResNet、WNN和FCNN 3種模型的預測結果與甲烷水合物相平衡試驗結果[14,19]的對比情況見圖5。

圖5 不同網絡法甲烷水合物生成預測值與實際值對比

ResNet模型與WNN模型和FCNN模型的預測結果趨勢一致, 均有較高的精度。依據計算誤差統計曲線, 3種模型中ResNet模型的計算誤差最小, WNN模型次之, FCNN模型最大。模型預測精度指標MSE更加明顯體現3種模型預測結果的差別, 對于CH4水合物預測,ResNet模型的MSE為0.005 72,WNN模型的MSE為0.015 22,FCNN模型的MSE為0.034 52,由此推知ResNet模型預測甲烷水合物的準確度較高。

ResNet、WNN和FCNN 3種模型預測單組分體系水合物生成結果見圖6。

圖6 不同網絡法單組分水合物生成預測值與實際值對比

ResNet、WNN和FCNN 3種模型對于單組分天然氣水合物預測均有較高的精度,其MSE均小于0.7,且正丁烷與二氧化碳的預測精度較低,這與正丁烷水合物的數據量少和數據稀疏有關。橫向對比3種模型預測結果,ResNet模型的MSE最小,WNN模型的MSE次之,FCNN模型的MSE最大,由此推知3種模型均能有效預測純組分的水合物生成條件,且ResNet模型預測單組分體系水合物的準確度最高。

3.2 二元體系水合物生成預測結果與分析

水合物類型為I型和所在相為Lw-H-V以及不含抑制劑與促進劑和溫度范圍283.2～301.2 K工況,ResNet、WNN和FCNN等不同神經網絡模型預測二元體系水合物形成條件,水合物相平衡預測結果與試驗結果[16,20]對比情況見圖7。

圖7 不同網絡法二元體系水合物生成預測值與實際值對比

二元體系水合物生成壓力為3.97～62.23 MPa,ResNet模型預測的水合物生成條件值與實測值間的MSE最小,WNN模型和FCNN模型的平均相對誤差均大于1%,表明ResNet模型預測二元體系水合物的準確度最高。

4 結 論

(1)綜合天然氣多組分混合比例、臨界壓力、臨界溫度、實際溫度及高壓等因素的影響,提出跳過連接的卷積神經網絡模型,利用殘差神經網絡深度學習算法,可有效提高天然氣水合物生成條件的預測精度和效率。

(2)基于大數據集訓練以及參數自動調優和動態微調構建ResNet神經網絡模型,僅需將預先整理的水合物生成數據在模型中學習,即可準確預測出高壓氣井多元體系水合物生成條件,且ResNet神經網絡保持良好的魯棒性。

(3)11種單組分體系以及二元和多組分體系水合物相平衡預測結果和井場試驗結果對比分析表明,預測均方誤差由WNN模型的0.006～3.417和FCNN模型的0.008～3.722降至ResNet模型的0.001～1.020,ResNet模型的預測效果較優且吻合程度較高。