基于特征強化神經網絡的交通流預測

李曉霞，石瑩潔，祁昌平，林和

1. 河西學院 信息技術與傳媒學院，甘肅 張掖 734000

2. 河海大學 水文水資源學院，江蘇 南京 210098

3. 蘭州大學 信息科學與工程學院，甘肅 蘭州 730000

交通流量預測是該領域的熱門研究課題，其研究在智能交通系統中具有重要意義[1]。交通流預測主要通過歷史交通流時間序列數據預判路網未來的交通狀況[2-3]，其結果可以為交通信息系統提供流量控制策略的基礎數據，也可以直接用于先進交通管理系統的信息發布，為出行者提供實時有效的引導信息并幫助相關部門優化路徑選擇，是智能交通領域的關鍵性技術。因此，準確可靠的交通預測信息和交通流狀態是路線引導系統的基礎。

目前，交通流預測研究較多，主要集中于交通流序列的特征提取、預測模型的建立等領域。常用的預測方法包括平均、自回歸滑動平均（autoregressive and moving average，ARMA）、線性回歸、非參數回歸[4-5]等方法。傳統的統計模型如整合移動平均自回歸（auto-regressive integrated moving average，ARIMA）模型[6]可以從交通數據中提取趨勢特征，但是，ARIMA 等傳統模型難以提取隱藏在交通數據中的非線性特征；而機器學習方法例如K 近鄰（K-nearest neighbor，KNN）算法[7]和支持向量機（support vector machines，SVM）算法[8]雖然可以對更為復雜的數據進行建模，但是它們需要對特征進行工程處理，這意味著需要將原始數據轉換為更適合模型使用的特征，即需要選擇合適的特征集進行特征縮放和歸一化等操作。因此，傳統的統計模型的預測精度通常不能滿足實際需求。

由于深度學習在語音識別和圖像處理方面取得了突破，越來越多的研究人員將深度學習應用于時空數據預測，其可以結合非線性的模塊來形成原始輸入數據的多層次深度表示[9]。文獻[10-11]也驗證了深度學習優越的特征提取能力。大量研究發現，遞歸神經網絡（recursive neural network，RNN）比反向傳播（back propagation，BP）神經網絡更能學習時間序列特征[12]，例如Sun 等[13]提出了一種新的基于門控遞歸單元的交通量預測模型，建立了一個優于其他遞歸神經網絡的良好的城市交通量預測模型?？偟膩碚f，雖然上述深度學習算法提供了優秀的交通量建模能力，但對于關鍵信息的聚焦能力較弱。

為有效聚合多個節點的特征信息，提高模型對關鍵信息的聚焦能力以及分析和預測的效率，學者們將各個模型的優點結合在一起，提高預測性能。例如Li 等[14]提出了一種基于卷積神經網絡（convolutional neural networks，CNN）結合長短時記憶網絡(long short term memory，LSTM）的交通流預測新模型。實驗結果表明，CNN-LSTM 能夠建立良好的交通流預測模型。桂智明等[15]利用卷CNN 結合門控循環單元（gate recurrent unit,GRU）以及注意力機制構建新模型對交通流的周期性特征進行挖掘，對交通流進行預測，取得不錯的預測效果。張齡允等[16]通過互補集成經驗模態分解減少噪聲對交通流數據預測的影響，采用CNN、LSTM 挖掘數據特征，預測性能相較于單一模型有較高的提升。Chen 等[17]提出了貝葉斯時間分解（Bayesian temporal factorization，BTF）模型，該模型可以在缺少時空數據的情況下預測交通流量。在該模型中，將張量分解和向量自回歸的過程轉換為圖形結構，以減少數據丟失帶來的不確定性，通過對幾個真實時空數據集的驗證，證明了BTF 模型優于現有方法。Wang 等[18]提出了一種多視圖雙向時空圖網絡，該模型用于預測缺少數據的城市交通流量。何鴻杰等[19]提出基于三次指數平滑法和深度殘差網絡的組合預測模型來預測交通流量，但模型計算成本較高。邴其春等[20]提出基于變分模態分解與長短時記憶神經網絡的組合模型來預測短時交通流，預測精度有所提高。鐘祥興等[21]采用了基于變分模態分解-注意力機制-門控循環神經網絡的組合預測模型，降低數據噪音，提高了預測精度。以上模型雖取得不錯的預測效果，但只關注于對輸入向量權重參數優化的情況下，模型預測中仍存在著挖掘特征能力不足的缺點。

因此本文提出一種基于特征強化的短時交通流預測模型——卷積神經網絡-特征增強（feature enhancement，FE）-門控循環單元(CNN-FE-GRU）神經網絡模型來預測交通網絡中4 個路口中每個路口的交通流量，分析不同出行高峰例如工作日、周末以及節假日等交通特征，來解決挖掘特征能力不足的問題。

1 交通流預測模型

本文提出的CNN-FE-GRU 交通流預測模型設計思路如下：

1）利用CNN 對交通流時間序列進行特征提取，以捕捉交通流數據中的時空相關性。CNN 層可以有效地提取數據的空間特征，通過滑動窗口的方式對交通流時間序列進行卷積操作，提取出其空間特征。同時，通過池化層對特征進行降維，減少模型參數和計算量的同時保留數據信息。

2）使用FE 模塊為數據賦予相應的特征權重值，對關鍵數據信息進行聚焦。FE 模塊可以提高模型對關鍵數據信息的關注度，從而降低噪聲對模型的影響。FE 模塊可以根據特定的領域知識或者數據分布等特征，為數據賦予不同的權重值，從而使得模型更加關注與預測相關的數據信息。

3）通過GRU 對輸出的時序數據再次提取時序數據特征的同時保證模型的效率，提高預測精度。GRU 層可以捕捉交通流數據中的時間序列特征，并且通過門控機制有效處理長序列數據，避免梯度消失和梯度爆炸問題。GRU 層可以將前一時刻的狀態信息和當前時間步的輸入信息結合起來，從而對時序數據進行建模和預測。

1.1 CNN-FE-GRU 模型網絡架構

時間序列數據預測需要對關鍵數據信息進行聚焦，如果對于數據信息沒有側重點那么會導致模型學習效果降低。本文所提出的特征增強模塊為不同的數據賦予不同的權重，旨在加強學習與目標有關數據的特征，降低對目標無關的數據特征，增強特征挖掘能力。

對于交通流預測問題，當給定交通流的時間序列數據S時，GRU 神經網絡輸出預測值Y。S由影響交通流的時間序列組成：

式中xt為t時刻的網絡輸入。

Y為需要預測的交通流量：

CNN 負責對輸入的時間序列之間的潛在聯系進行挖掘，GRU 負責對輸出的時序數據進行選擇性遺忘并保證模型的效率。C為含有權重的中間數據信息，計算方式為

式中：Wi為可學習的權重，hi為編碼器隱含層輸出。

當使用CNN 對時間序列的潛在特征進行提取后，本文利用FE 模塊對處理后的數據賦予相應的權重，這樣便進一步加強了模型的聚焦能力，因此特征增強模塊需要對CNN 處理后的數據信息賦予不同的權重才能精準預測交通流。特征增強模塊的權重計算時首先將輸入的時間序列數據與經過CNN 處理后的數據進行對齊運算，得到對齊值si，對齊運算方式為

通過歸一化指數函數softmax 將對齊值si進行特征增強得到增強后的權重 αt：

特征增強模塊計算流程見圖1。

圖1 FE 模塊計算流程

交通流會隨著時間在道路中不斷地變化，本文提出的CNN-FE-GRU 模型采用CNN 神經網絡對交通流進行預測。特征增強模塊將CNN 的輸出xt與隱含層狀態ht進行對齊運算，然后通過softmax 函數將對齊后的結果映射至（0，1），得到αt。最終使用CNN 的輸出xt與αt相乘，使得數據獲得相應的權重。GRU 神經網絡將處理含有特征權重的中間信息數據，其中，GRU 神經網絡的復位門控制上一時刻隱藏層輸出和當前時刻時間序列數據的輸入，更新門控制上一時刻信息對當前時刻的影響程度，最后在GRU 神經網絡和含有一個神經單元的全連接層作用下輸出交通流數據。通過以上流程，整體提高了交通流預測性能，特征提取能力得到進一步的加強。模型整體結構見圖2。

圖2 CNN-FE-GRU 預測模型結構

1.2 CNN 模型

文獻[22]的研究表明采用CNN 作為數據的輸入層的預測模型效果更好。在預測應用中，可將CNN 分為輸入部分、特征提取部分以及預測輸出部分。CNN 層通過卷積操作進行局部趨勢學習，對交通流的時間特征進行有效保留[23]。

CNN 利用卷積核對輸入矩陣進行濾波，實現卷積運算。卷積層函數利用卷積核提取輸入矩陣的特征信息：

式中：f為激活函數，為l層（i，j）位置的卷積濾波器對應的權重，為偏置，為前一層的特征映射，Mj為特征映射集，為當前層的特征映射。由于交通流數據具有非線性特征，所以選擇ReLu 為激活函數，提高網絡非線性特征學習能力。

1.3 GRU 模型

在交通流預測中歷史交通流可能會對未來交通流量產生長期影響，存在長期依賴性特征，因此對交通流時間特征進行建模時，需對其長期依賴性進行考慮，CNN 可以解決RNN 中的長期依賴問題[24]。

GRU 中的更新門和重置門使其具有處理交通流的長期依賴特征的能力，因此對輸出的時序數據進行再次特征提取的同時保證模型的效率，提高了預測精度。GRU 各門控計算過程如下：

式中：rt為復位門，zt為更新門，W為權重參數，為新的輸入，為候選隱藏狀態值，xt為t時刻的輸入，ht-1為上一個時刻的隱藏狀態，[ ]表示2 個狀態值的組合，σ(·)為sigmoid 函數，tanh 為取值范圍在[-1,1]的激活函數， ?代表矩陣元素的哈達瑪積。

2 實驗設置

2.1 交通流預測問題描述

2.2 模型訓練流程

以時間序列數據為輸入，基于本文提出的CNN-FE-GRU 模型的實驗流程如圖3 所示。

圖3 CNN-FE-GRU 預測模型流程

1）數據收集及整理。對來源于INRIX 數據集收集的4 個路口的交通流量數據以及來源于PeMSD4 數據集的數據以時間序列形式整理，生成時間序列數據池。

2）數據處理。采用標準化的方式對數據進行去量綱化處理。

3）建立CNN-FE-GRU 模型。首先使用一維卷積神經網絡挖掘路口、時間段與車流量的潛在聯系，接下來使用特征增強模塊增加模型聚焦能力，最后使用GRU 對輸出的時序數據進行進一步的特征提取，完成對交通流量的預測。

4）模型預測誤差計算。以平均絕對誤差(mean absolute error，MAE)eMA、均方誤差(meansquare error，MSE)eMS和均方根誤差(root mean square error，RMSE)eRMS等誤差函數對CNN-FEGRU 模型誤差進行計算，通過訓練使得模型能夠更新網絡層之間的參數，使得模型達到最優效果，當達到訓練次數后模型停止訓練。

5）真實數據模擬。為進一步展現CNN-FEGRU 模型預測性能，隨機選取15 條真實數據并將真實數據特征值送入訓練好的模型，將得到的預測值與真實數據中目標值進行對比，探究模型對于真實數據的模擬能力。

2.3 數據來源

本文選取了2 個數據集：一個數據集來源于INRIX，其為一家領先的網聯汽車服務和交通分析解決方案提供商。該數據集包含了4 個路口數據，前3 個路口的數據為2015 年11 月1 日0 點—2017 年6 月30 日23 點的43 777 組逐時數據，第4 個路口的數據包含了2017 年1 月1 日0 點—2017 年6 月30 日23 點的4 344 組逐時數據。另一個數據集使用的是加利福尼亞州的高速公路交通數據集PeMSD4[25]，PeMSD4 數據集時間跨度為2018 年1—2 月，包含29 條道路上的3 848 個檢測器。經過對數據清洗、篩選后去掉冗余探測器，確保相鄰探測器距離大于5.6 km，最后剩余307 個探測器即307 個節點。

2.4 數據預處理

對模型訓練時要對數據進行預處理，因為數據的類型不同，會有不同的單位及量綱，這樣會影響交通流預測的精度，因此需通過數據標準化處理消除變量間存在的量綱關系。標準化公式為

式中：Vs為初始數據集值；Vmean為平均值；Vstd為標準差；V為標準化處理后的數據，用于輸入到神經網絡及其他模型中。

2.5 誤差分析

為了比較不同模型的預測結果以及定量評價模型的預測性能，采用MAE、MSE 和RMSE 這3 個評價指標對實驗模型真實值和預測值誤差進行計算，誤差函數具體計算方式為

式中：y?(t)為預測值，y(t)為實際值，n為樣本數。最終得到的誤差指標值越小，代表預測的結果越準確，預測效果越好。

2.6 模型參數設定

為了驗證本文模型的有效性，進行了2 組實驗。實驗1 選取了4 個路口的數據，分為2015—2017 年的逐時數據和2017 年的逐時數據2 部分；實驗2 選取了加利福尼亞州的高速公路交通數據集PeMSD4。

為了進行對比驗證，實驗1 的對照組模型包括了GRU 模型、CNN 模型、LSTM 模型和CNNGRU 模型。實驗2 的對照組模型選取了歷史平均方法(historical averaging，HA)、差分自回歸滑動平均(autoregressive integrated moving average model，ARIMA)、向量自回歸(vector autoregression，VAR)、圖注意力網絡（graph attention network，GAT）模型以及GAT-GRU 模型，并在此基礎上添加了STGCN[26]和GeoMAN[27]模型。本文使用谷歌Tensorflow 開源平臺搭建神經網絡模型，并在搭載K80 顯卡的Kaggle 平臺進行模型訓練。

實驗1 和實驗2 的基本參數設定大體相同，但是實驗2 中批處理大小(batch size)設置為64，圖注意力網絡多頭注意力頭數為K=8，與文獻[25]保持一致。具體來說，本文提出的CNN-FEGRU 模型參數設置如下：CNN 層的網絡深度為32，卷積核大小均為2×2；全連接層的神經元個數為1，激活函數為Relu 函數；批處理大小為32。神經網絡的基礎參數如表1 所示。此外，文中還設置了學習率（learning rate，LR）RL來優化模型的訓練效果。

表1 實驗基礎參數表

2.7 模型性能評估

實驗1 首先對4 個路口數據進行預測實驗以評估CNN-FE-GRU 模型在交通流預測中的適用性，目的在于證明在數據量不同的情況下模型的預測精度是否仍然較高。模型的預測對比選取0—14 時逐時數據進行預測驗證，如圖4～圖7所示，各模型的預測誤差見表2。在路口1 的實驗中，可以發現CNN-FE-GRU 模型相較于CNN模型、GRU 模型、LSTM 模型以及CNN-GRU 模型，MAE 分別下降了0.008 5、0.008、0.006 1、0.004 5，MSE 分別下降了0.005 9、0.004 4、0.004、0.003 1，RMSE 分別下降了0.113、0.010 7、0.008 8、0.005 4。而其他3 個路口的CNN-FE-GRU 模型相較于其他模型的誤差值也是降低的。CNN-FE-GRU 模型在MAE、MSE 和RMSE 評價指標上的平均值分別為0.229、0.130 8、0.338 8。

表2 4 個路口的性能指標對比

圖4 路口1 預測

圖5 路口2 預測

圖6 路口3 預測

圖7 路口4 預測

實驗2 采用傳統預測模型方法與本文提出的CNN-FE-GRU 模型進行橫向的平均性能比較實驗，為第4 個路口數據。實驗結果如表3 所示，本文提出的CNN-FE-GRU 模型在MAE 和RMSE 評價指標上均有較為明顯的下降。MAE 和RMSE分別為0.221 1 和0.351 7。在實驗2 中，進一步驗證了CNN-FE-GRU 模型在預測任務中的有效性，其預測誤差也是最小的。

表3 第4 個路口性能指標對比

使用CNN-FE-GRU 模型進行交通流預測，在4 個不同路口的交通流預測任務中，CNN-FEGRU 模型在MAE、MSE 和RMSE 等指標上表現更優秀，比其他模型具有更高的預測精度。CNNFE-GRU 模型優越性在于其能夠提取數據特征并聚焦關鍵數據信息，從而提高建模非線性和復雜的交通數據方面的能力，進而提高預測性能。實驗結果表明CNN-FE-GRU 模型在數據量較大和較小的情況下都具有較高的預測精度和適應性。實驗2 通過對傳統預測模型的比對進一步證明CNN-FE-GRU 模型的優越性，表明其在面對不同交通流數據變化時模型預測穩定性更好，適用于復雜交通流預測的情形。

綜上，CNN-FE-GRU 模型的優越性在于其能夠發揮CNN 和GRU 這2 種模型的優點，并通過FE 模塊提高建模能力，從而顯著提高預測性能。

3 結論

1）本文結合CNN、FE 及GRU 的特點，提出了CNN-FE-GRU 模型。該模型在提取時間序列數據特征方面展現了較大的優越性，通過分析不同的出行高峰，有效提取不同的時間序列信息，減少數據冗余性，提高交通流量預測能力。

2）提出FE 方法，為不同時間下的特征賦予相應的權重，聚焦于對當前任務更為關鍵的信息，加強學習與目標有關數據的特征，降低對目標無關的數據特征。

3）使用INRIX 公司發布的4 個路口的真實數據集及加利福尼亞州的高速公路交通數據集PeMSD4 進行模擬實驗，實驗結果表明，與其他經典模型相比，添加了FE 模塊的新算法在RMSE、MAE 等多種評價指標下，誤差值與對比模型相比存在明顯下降，說明了新算法的有效性。