基于混合深度學習的原油價格預測

牛東曉，崔曦文

（1. 華北電力大學 經濟與管理學院, 北京 102206；2. 新能源電力與低碳發展研究北京市重點實驗室, 北京 102206）

能源是經濟發展的基礎，當前全球面臨著能源短缺的問題，如何保持可持續發展成為了熱點問題。為保證經濟健康發展，各個國家制定了許多貨幣、財政等經濟政策，導致世界各國經濟政策不穩定性提高，原油價格受此影響進而影響股票市場[1]。由于國際原油價格大幅波動，中國面臨很大的原油價格風險，因此準確預測原油價格將會對穩定原油金融衍生品市場、減少油價大幅波動對風險對沖經濟的影響、制定合理的石油進口監管體系等方面有重要的現實意義[2]。

一、文獻綜述

目前，學者們對原油價格預測研究的常用方法包括傳統計量預測方法、機器學習預測方法以及深度學習預測方法等單一模型價格預測以及多種預測方法相結合的混合模型價格預測。

計量經濟模型將數學、統計學與經濟學相結合，根據歷史數據來預測石油價格走勢，許多學者都用其進行原油價格的預測[3-5]。然而通常利用計量經濟學模型進行建模時，對原始數據的檢驗、差分等要求較高，數據處理過程中可能出現信息數據丟失等問題，且在預測過程中，整個流程存在一定的主觀因素。

近年來，得益于計算機的發展，機器學習迅速發展，作為一門多個領域互相交叉的新學科，在原油價格預測領域得到廣泛的利用[6]。張明昊和卓翔芝利用支持向量機方法對原油價格進行了有效的預測[7]。王玨等人驗證了極限學習機算法在原油等大宗商品價格預測中的可行性[8]。Cen Z.等人通過數據進行滑動窗口處理、降低歷史數據的權重和增加當前數據的權重等方法，基于長短期記憶網絡（Long Short-Term Memory，LSTM）對WTI原油價格和Brent原油價格進行了短期的預測，認為減重和加權相結合的數據預測效果更好[9]。Busari G A.等人運用門循環單元（Gate Recurrent Unit，GRU）對比單個LSTM模型的預測結果，認為GRU能更加有效地預測原油價格[10]。

由于原油價格具有非平穩、非線性等特征，原油價格數據的預處理就顯得尤為重要[11]。傳統計算模型往往難以捕捉時間序列的不規則特征，這在一定程度上使得單一模型難以滿足預測的需求，因此組合模型的方法越來越多地被眾多學者采用。張金良等人針對非線性、復雜且無規律分布的數據，基于互補集成經驗模態分解模型（CEEMD）對原油價格進行了預測[12]。Abdollahi H.等人構建了分解-預測混合模型，有效捕捉了時間序列的非線性和波動性特點并進行了數據的魯棒性測試[13]。Lin H.等人提出了CEEMDAN和多層門控遞歸單元神經網絡混合的方法，有效地解決了模態混合的問題，大大降低了數據重構誤差，并對非線性數據進行了擬合[14]。

為了提高預測精度，不同的重構方法被應用于線性和非線性數據分解后的重構過程中。通常來說，對線性集成的方法是簡單地對模型的預測進行線性求和。但這種方法缺乏支持基礎，不適用于原油價格等非線性數據，因此目前常用智能模型進行序列的非線性重構。

原油價格的預測可以幫助參與市場的能源主體進行決策，同時可以指導政府制定相關的能源政策。與現有的點預測相比，區間預測更能準確捕捉價格動態變化范圍，有效提高預測的準確性[15,16]。

以上內容討論了目前在預測領域中各種模型的應用。分解-重構方法可以提高預測精度。然而，通過對原油價格預測有關文獻的回顧，可知目前的研究仍存在許多不足：

1.目前原油價格相關的文章缺乏對原始序列進行二次分解的應用；2.不同分量對于預測模型的適配度缺乏研究；3.預測原油價格區間預測的研究很少，不能保證預測的穩定性。

基于以上，本文構建了一套混合深度學習預測模型。首先運用CEEMD進行一次分解，計算樣本熵后將樣本熵較大的序列進行VMD二次分解，得到更加平穩的序列；將序列根據樣本熵進行重構后，運用隨機森林進行分量篩選，來減少預測的計算量；接著，運用L-Z復雜度進行分量分類，將復雜度高的序列運用GRU進行預測，復雜度低的序列運用LSTM進行預測；預測之后，運用CNNLSTM進行序列重構。最后，選擇了核密度估計完成區間預測，提高模型的現實意義。

二、方法介紹

（一） 隨機森林算法

隨機森林算法（Random Forest，RF）是基于在訓練過程中集成了 bagging 的決策樹，進一步引入了隨機特征選擇。它可以用來降低數據的維數。首先，構建分類和回歸樹以生成袋外（OOB）樣本數據。然后，基于OOB數據，隨機森林可以驗證輸入數據的重要性，得到每個特征的重要性分數[17]。特征的重要性排序可以用來排除不夠重要的信息，減少后續計算復雜度。

（二） Lempel-Ziv復雜度算法

Lempel-Ziv復雜度算法可以通過計算不同分量的復雜度完成分量復雜度分類，從而選擇不同模型對不同分量進行預測[18]。

識別過程如下：Ci

步驟1：計算IMFi，i=1，2，…，m的復雜度。

步驟2：設置臨界值λ0（≥0.8），求出滿足，k∈m條件的k的最小值。

步驟3：從IMF1到IMFk的Imf被識別為HFs，從IMFk+1到IMFm的Imf被識別為LFs。

（三） 互補集成經驗模態分解

針對經驗模態分解會有殘余白噪聲等缺點，CEEMD這一分解方法被提出[19]。CEEMD算法對原始信號分別加減白噪聲，從而來抵消白噪聲干擾。

CEEMD的分解步驟具體如下:

Step1：添加N輸入信號的正負號高斯白噪聲對，以及 2N信號集可以表示為：

式中：x(t)為原始信號；x+(t)，x-(t)分別為加入正負成對噪聲后的信號；u(t)為輔助噪聲。

Step2：將EMD應用于新信號，第i個信號的第j個模態分量（Intrinsic Modal Function，IMF）為Mij。

Step3：計算所有固有模態函數（IMF）的集合平均值，得到CEEMD的分解結果為：

（四） 變分模態分解算法

變分模態分解（Variational Modal Decomposition, VMD）是一種新的分解算法[20]。它從頻域角度將原始信號從低頻到高頻分解為若干個信號，不僅可以對信號進行降噪，還可以保留高頻特征用于數據分析。

VMD分解過程是在固有模態函數（IMF）上構造變分問題，并通過求解該變分問題的最優解來確定IMF。VMD的變分約束為：

其中，?t為狄拉克函數，δ(t)為脈沖函數。uk(t)為分解得到的模態分量，ωk為各模態分量相應的中心頻率，j為虛數，t為取樣時間，e-jωkt為中心頻率指數，*為卷積運算；f(t)為未分解的主信號。

（五） 長短期記憶網絡算法

LSTM網絡是遞歸神經網絡（RNN）的改進之一[21]。與 RNN 相比，LSTM 既可以處理長期依賴問題，又可以降低梯度消失的可能性。因此，LSTM已成功地應用于許多時間序列問題。LSTM結構的優點是它包含三種類型的門，包括輸入、忘記和輸出。

（六） 門控循環單元算法

GRU是一種特殊類型的基于優化LSTM的循環神經網絡，類似于LSTM，其內部單元具有更強的收斂性[22]。LSTM有3個門，GRU沒有細胞狀態，門減少到兩個，為更新門和重置門，在計算量上比LSTM小很多。

（七） 卷積神經網絡算法

在分量重構方面我們依舊選擇LSTM模型來進行預測，同時使用CNN模型來提取特征，加強模型的預測能力。

卷積神經網絡（CNN）在多維序列的提取特征方面很出色[23]。模型使用一維卷積層結構來提取時間軸特征，其輸出結果如下：xiωjbk

其中，指輸入時間序列，指卷積核權重矩陣，指偏差值，指卷積核數量。

（八） 核密度估計算法

非參數核密度估計（Kernel Density Estimation，KDE）是一種用于估計概率密度函數的非參數方法。利用KDE求得的概率密度函數為：

式中：N為樣本數量；h為窗寬；K(u)為核函數，u=h-1(e-ei);ei為功率預測誤差的第i個樣本值。

（九） 評價指標

1. 平均絕對百分比誤差MAPE（Mean Absolute Percentage Error）

2. 均方根誤差RMSE（Root Mean Square Error）

3. 平均絕對誤差MAE（Mean Absolute Error）

4. 均方誤差MSE（Mean Squared Error）

5. 擬合優度（R2）

各公式中，yi表示真實值，表示真實值的預測值，表示真實值的均值，n代表樣本數。（7）-（10）指標值數值越小，代表模型預測性能越好。（11）的值越大，代表模型擬合度更好。

6. 區間指標

PICP（PI Coverage Probability）指真實值落在預測區間上下界的比率?；谥眯潘降臐M意度，PICP值越大，屬于預測區間的值數越大，預測效果越好。PIAW（PI Averaged Width）表示區間的上下邊界之間的平均寬度。在同一置信水平下，該值越小，預測區間就越窄，預測效果越好。

當yi∈[Li,Ui]時，ci=1否則ci=0。Li和Ui指第i個數據的上下界。100(1-α)%為預測區間名義置信度。

本文提出的三階段混合預測模型框架如圖1所示。

圖1 三階段混合預測模型框架圖

其基本過程如下：

1.選擇CEEMD進行第一次分解，將分解后的序列進行樣本熵值計算，將熵值高的分量進行二次分解。

2.選擇VMD對CEEMD中樣本熵值最高的分量進行二次分解。

3.運用樣本熵和隨機森林進行分量重構與篩選。

4.將分量進行L-Z復雜度檢驗，將高復雜度分量通過GRU進行預測，低復雜度分量通過LSTM進行預測。將所有分量預測值加總后計算誤差，輸入到CNN-LSTM進行非線性重構得到點預測結果。

5.基于點預測結果進行基于核密度估計的區間預測。

三、預測結果

本文選擇原油價格作為能源期貨價格的代表來進行模型性能的檢驗。其中，布倫特原油價格又是原油價格的代表，因此本文選取了歐洲布倫特現貨價格，時間跨度為1987年5月20日到2019年12月9日的日價格。數據來源于美國信息能源署。

針對原始序列，本文首先采用CEEMD進行一次分解。經過CEEMD分解后的序列結果如圖2所示。

圖2 CEEMD一次分解

樣本熵（Sample Entropy,SE）可以衡量序列的復雜性，因此我們計算序列的樣本熵來衡量算法的分解效果。通過CEEMD分解后的分量的樣本熵如表1所示。原始序列的樣本熵為1.6，而分解后的分量中樣本熵最大的為IMF1的0.96，可見分解后的分量相比于原始序列復雜度有著大幅度的降低。但從樣本熵的趨勢中看，IMF1的樣本熵遠大于其他分量的樣本熵。因此為了之后預測的準確性，將IMF1序列進行二次分解，以降低其復雜度。

表1 CEEMD分解后的分量樣本熵

針對于IMF1的二次分解，我們選擇了VMD分解方法。使用VMD分解之前需要預先確定分解個數。本文通過計算不同分解個數下的中心頻率來確定最佳分解數量K[24]。經過計算，本文設置K=5。分解后的V-IMF的樣本熵如表2所示。

表2 VMD分解后的分量樣本熵

與IMF1的樣本熵相比，分解后的分量樣本熵值更小，趨勢也更加平緩。這有利于之后預測準確性的提高。

我們根據分解后的序列進行分量重構。首先根據樣本熵大小進行重構，其次根據隨機森林篩選重要程度，將重要度小的分量進行篩除，來減少計算量。最終結果如表3所示。

表3 分量重構結果

從結果來看，SUBIMF1的重要程度遠低于其他分量，因此我們選擇將SUBIMF1篩除，選擇剩下的分量進行預測。

重構后各分量如圖3所示。

圖3 重構后各分量示意圖

在模型進行預測之前，首先要對于分量進行分析，匹配合理的預測模型，以免獲得預測精度低的結果。我們選擇了L-Z復雜度來作為模型匹配的指標。

L-Z復雜度的計算結果按降序如表4所示。

表4 L-Z復雜度計算結果

本研究將其中的臨界值λ0設為80%，計算結果圖如圖4所示。

圖4 L-Z復雜度計算結果

從圖4中可見，K=3時η值小于80%，當k為4時，η的值為89.01%。因此，我們將V-SUMIMF4，V-SUMIMF3，V-IMF2和IMF4認定為高復雜度分量，其余為低復雜度分量。

高復雜度的序列具有波動率高、隨機性強的特點。我們采用GRU來學習預測高復雜度序列。GRU是一種特殊類型的基于優化LSTM的循環神經網絡，其內部單元類似于LSTM，但其具有更強的收斂性，適合預測時間特征較為明顯的數據。

低復雜度的非平穩序列具有較為清晰的變化模式。LSTM能夠學習歷史信息的特征和長期依賴性，得到高精度的預測結果。我們采用LSTM模型來預測低復雜度序列。

本文按照7:3的結構劃分數據集為訓練集和測試集。LSTM和GRU的參數設置如表5所示。

表5 參數表

為了檢驗本文提出的混合模型預測性能是否良好，我們針對模型的每一階段進行了模型對比。在分解階段，選擇不分解、一次分解以及二次分解進行了比較；分量預測階段選擇只用傳統預測方法自回歸積分滑動平均模型（Autoregressive Integrated Moving Average Model,ARIMA），只用LSTM或只用GRU和用LSTM-GRU組合方法進行對比；重構階段將簡單加和重構與智能重構進行比較。

各模型的對比擬合圖如圖5所示。為了直觀地比較所采用的模型的性能，實際數據用紅色粗體線表示，本文提出的模型用藍色粗體線表示。從圖中可以清楚地看出，這兩條線更加突出，本文模型的預測線幾乎接近原始數據的線。然而，其他模型并沒有如此接近原始序列。這也證明了本文的混合模型比其他比較模型具有更好的預測能力。

圖5 各模型預測結果擬合圖

我們選擇用MSE，RMSE，MAE和MAPE四個指標作為指標進行預測性能對比。除此之外，擬合優度R2也被用來作為指標進行對比。預測指標評價結果如表6所示。本文所構建的混合模型在MSE，RMSE，MAE，MAPE四個指標上的表現均優于其他模型，分別為0.11824，0.34385，0.30199，0.444750032。而R2為99.74%，顯示出了優越的擬合程度。針對于是否需要分解階段，我們選擇了LSTM，GRU，ARIMA對原始序列進行了預測。從指標結果可見，單獨預測的方法的預測性能不如本文構建的模型；針對于重構方式，我們選擇了CEEMD-VMD-LSTM-GRU-Addition模型進行對比，CEEMD-VMD-LSTM-GRU-Addition的指標分別為1.029376068，1.014581721，1.167934537，1.774795191，97.79%，相比之下，本文的混合模型性能更加優越，這證明了非線性重構的優越性；針對分量預測階段，本文選擇了CEEMD-VMD-LSTM-CNN-LSTM，CEEMD-VMD-ARIMA-CNNLSTM和CEEMD-VMD-GRU-CNN-LSTM，其核心預測方法與單獨預測的方法相一致，結果顯示其性能不如本文所構建的模型，證明了本文所構建的混合模型的優越性，也證明了混合模型比單一模型擁有更好的預測結果；針對二次分解階段，我們選擇了CEEMD-LSTM-GRU-CNN-LSTM模型作為對比，結果顯示其相關指標不如本文模型，證明了二次分解的必要性。

表6 各模型評價指標對比

基于點預測結果，我們進行區間預測。高斯函數是最常用的核函數，本文選擇高斯函數作為核密度估計的核函數。針對區間預測，我們選擇了各自最優窗寬下的Triangle函數和Epanechnikov函數作為對比。同時選擇了高斯函數的不同窗寬下的取值作為對比。

通過計算，我們運用PICP和PIAW指標作為性能衡量的指標。最終得出的結果如表7所示。

表7 區間預測指標計算結果

從表可見，三個不同的核函數的指標差距不大，但在60%置信度下，高斯函數的PICP最大，而區間平均寬度卻相差無幾，我們可以認為高斯函數相比其他兩種函數更加適合本文的數據集。

而對于高斯函數設置的不同窗寬可見，當窗寬過小時，會導致PICP指標下降，同時區間寬度會變窄；當窗寬過大時，區間寬度會變寬；當窗寬取最優數值時，PICP和PIAW指標是最合適的。

四、結論

近年來，能源價格不斷變動，對整個經濟社會的影響劇烈。通過對能源價格進行預測，把握未來價格趨勢，為政策制定以及規劃的執行提供支持，對未來的經濟發展有利無害。本文選擇具有代表性的原油價格來驗證模型的有效性。

本文提出了CEEMD-VMD-LSTM-GRU-CNN-LSTM混合預測模型。從圖5可見，模型的預測結果與真實值擬合得很好。當前階段，原油價格變動較大，具有強烈的波動特點，我們的模型可以更好地適應當前的價格特征，從而提高預測的準確性。

本文得到的結論如下所示：

1.本文構建了一套能夠獲得優秀預測結果的混合深度學習模型，提出的混合深度學習十分有效，為原油預測等相關的能源領域預測提供了科學的預測模型。

2.單個模型的預測誤差都大于所有的分解-重構模型。分解-重構方法的原理在原油價格預測方面是卓有成效的。同時用組合模型GRU和LSTM進行預測時，預測效果強于其他模型。

3.非線性重構是十分有必要的。根據表6結果可知，將序列直接加和產生的誤差更大，通過非線性重構能夠獲得更加精準的預測結果。

4.本文構建的CEEMD-VMD二次分解模型對于預測結果有促進作用。對比指標結果可知，未經過二次分解的序列預測誤差更大。

5.本文基于點預測形成了基于核密度估計的區間預測，并選取不同的核函數和窗寬進行了對比，結果顯示在PICP和PIAW兩個指標的比較中，高斯函數和最優窗寬所形成的區間預測具有最優秀的性能，其準確度和區間寬度皆為最優。

總的來說，本研究的主要貢獻在于引入一種混合深度學習模型，來更準確地進行原油價格預測。同時引入區間預測，增強預測的現實意義和準確性。本文提出的預測方法有利于能源供應商把握未來價格趨勢。同時，原油價格作為期貨，其價格變動影響著股市等風險投資，及時反應其變動，可以幫助能源公司對沖風險，改變投資方向。最后，原油價格的準確預測也為政府將來的政策性決定作出指導，幫助其及時應對環境污染以及能源短缺問題。

但是，本文還存在一些不足之處。首先本文選擇的數據中，前期數據波動不大，處于較為平穩狀態，后期波動太大，處于距離波動狀態。針對這一問題，未來可將數據集拆分成兩套數據分別進行預測，其預測特點將更加準確，更加具有現實意義。同時，本文選擇了原油價格來預測，未來，我們將選擇更多的能源組合進行預測，來考察模型對能源價格的適應性。