基于深度學習多網絡融合的網聯車輛駕駛行為預測

丁子芮 項俊平

摘 要：智能網聯車在復雜道路場景中安全行駛需要對周圍車輛駕駛意圖和行駛軌跡的準確預測。將雙向長短期記憶網絡（Bi-directional Long Short-Term Memory）、卷積生成對抗網絡（Deep Convolutional Generative Adversarial）和注意力機制（Attention Mechanism）相融合，提出一種基于BLSTM-DCG-ATT的網聯車輛駕駛意圖和行為預測模型。通過正反雙向LSTM鏈路和注意力機制得到具有雙重特征的數據，通過卷積生成對抗網絡對特征數據進行卷積處理，迭代生成網聯車輛及周圍車輛的未來時刻變道意圖和行駛信息。仿真結果表明：該模型能夠在復雜路網、交通流密集的情況下，對網聯車輛及其周圍車輛的變道意圖和行駛軌跡進行準確預測，預測精度達94％。

關鍵詞：智能交通;車輛行為預測;卷積生成對抗網絡;智能網聯車;雙向長短期記憶網絡

中圖分類號：TP391.9文獻標志碼：ADOI：10.3969/j.issn.1673-3819.2023.06.009

Prediction model of intelligent connected vehicles driving behavior

based on deep learning multi network fusion

DING Zirui， XIANG Junping

（Lianyungang JARI Electronics Co.， Ltd.， Lianyungang 222061， China）

Abstract：The accurate prediction of driving intention and driving tracks of surrounding vehicles is the basis to ensure the safe driving of Intelligent Connected Vehicles in complex road scenes. This paper proposes a driving intention and behavior prediction model of intelligent connected vehicles based on BLSTM-DCG-ATT by combining Bi-directional Long Short-Term Memory， Deep Convolutional Generic Adversary and Attention Mechanism. The data with dual characteristics are obtained through the forward and reverse Bi-directional LSTM link and attention mechanism， and then the characteristic data are convolved through the Deep Convolutional Generic Adversary to iteratively generate the lane change intention and driving data of the intelligent connected vehicle and surrounding vehicles in the future. The simulation results show that the model can accurately predict the lane change intention and driving track of the intelligent connected vehicle and its surrounding vehicles under the condition of complex road network and dense traffic flow， and the prediction accuracy reaches 94％.

Key words：intelligent transportation; vehicle behavior prediction; DCGAN; intelligent connected vehicle; Bi-directional Long Short-Term Memory

收稿日期：2022-10-28

修回日期：2023-02-18

作者簡介：丁子芮（1997—），女，碩士，研究方向為智能交通系統。

項俊平（1982—），男，博士研究生，研究員。

車輛駕駛行為預測是實現車輛決策控制的基礎和前提。駕駛員會在車輛進行變道操作之前，通過后視鏡仔細觀察周圍交通流變化，并對未來一段時間內的運動狀態進行評估，從而判斷是否進行后續操作。研究表明，道路上絕大多數交通事故的發生，是由于駕駛員不正確的判斷所導致^[1]。因此，對網聯車及周圍交通流變化進行正確且精準的預測，是保證網聯車在道路上行駛安全和大幅度提高控制精度的關鍵。

依據輸入數據類型^[2]的不同，常見的網聯車行為預測模型主要分為兩類：單一目標車輛的軌跡信息、目標車輛及周圍交通流的信息。

單一目標車輛的軌跡信息能夠對短期內的車輛行為進行精準預測，如文獻[3]所提出的模型，利用單一車輛軌跡信息預測不同交叉口場景下的駕駛行為。由于模型感知的局限性和未考慮車輛之間的相互影響，模型在車輛駕駛行為預測過程中會產生錯誤的預測結果，且容易陷入梯度消失或梯度爆炸的困境之中。盡管文獻[4]利用回憶緩沖區，解決了樣本相關性和發散性問題;文獻[5]利用雙層LSTM，突破了模型在長時序訓練中的梯度消失問題。但上述文獻所研究的背景均為不可執行變道操作的高速路場景，對于行駛在城市路網中、可隨時變道的車輛并不適用。

目標車輛及周圍交通流的信息則將鄰近車輛的軌跡信息數據輸入數據集中，從而突破單一車輛的感知局限性，并且反映車輛之間的相關性。這使得依托該數據集建立的預測模型，在長時序預測狀態下有較好的效果，更加適合在結構復雜且交通密集的城市路網中解決車輛行為預測問題。例如，Ding W等人^[6]所提出的模型選用當前車道和相鄰車道的臨近車輛作為輸入，利用多組GRU編碼器對輸入數據進行交互建模。Casas等人^[7]則是使用雙層CNN對數據進行柵格化，并且通過三個不同的檢測層輸出預測軌跡，使得模型在優化所有目標任務的同時，改善了獨立完成相應目標時任務之間的分配不匹配問題。

但上述文獻都未考慮駕駛員行為的不確定性。由于單一的深度學習算法或單一變種算法，對輸入數據關聯性和結構性有過度的依賴，無法解決這種不確定性問題，從而使設計得到的模型魯棒性差且不具有普適性。

因此，本文考慮車輛之間的相關性和車輛自身的局限性，針對道路行駛車輛的不確定性問題，研究深度學習理論在車輛行為預測領域中的應用，提出一種基于深度學習多網絡融合的車輛駕駛行為預測模型。通過將雙向長短期記憶網絡（Bi-LSTM）、深度卷積生成對抗網絡（DCGAN）和注意力機制（ATT）進行融合，在保證訓練穩定性的同時，降低模型對數據的依賴度，利用Bi-LSTM和ATT的數據特征優化和DCGAN的泛化能力，提高對車輛駕駛行為預測的準確性和有效性。

1 問題描述與建模

車輛在城市道路中行駛時，駕駛員需要通過對相鄰車輛運動狀態的評估和下一時刻駕駛意圖的假設，來避免車輛在行駛、超車、變道過程中發生碰撞。相鄰車輛同樣也會被周圍其他車輛和道路行駛環境所影響，從而導致行駛狀態發生變化。智能網聯車在城市交通密集場景中進行安全行駛，需要對目標車輛及周圍車流的駕駛意圖和行駛信息進行精準預測。

1.1 車輛領域信息

本文用車輛領域這一概念，對目標車輛周圍一定范圍內的交通流行駛信息進行統計。假設在t時刻，目標車輛的領域信息是一個由12個參數組成的矩陣，矩陣參數覆蓋當前車道和相鄰車道上的車輛關系，用矩陣veh_t表示。

veh_t=[v^car_t，v^lea_t，v^l_lea_t，v^r_lea_t，v^l_fol_t，v^r_fol_t，d^lea_t，d^fol_t，d^l_lea_t，d^r_lea_t，d^l_fol_t，d^r_fol_t]^T（1）

因此，在n個時間步長內，目標車輛的領域信息，可用矩陣veh表示。

veh=[veh₁，veh₂，…，veh_n] ????（2）

式中，veh_t表示t時刻目標車輛的領域信息;v^car_t表示t時刻目標車輛的自車車速;v^lea_t表示t時刻當前車道的前車車速;v^l_lea_t表位t時刻相鄰左側車道的前車車速;v^r_lea_t表示t時刻相鄰右側車道的前車車速;v^l_fol_t表示t時刻相鄰左側車道的后車車速;v^r_fol_t表示t時刻相鄰右側車道的后車車速;d^lea_t表示t時刻自車與當前車道前車的距離;d^fol_t表示t時刻自車與當前車道后車的距離;d^l_lea_t表示t時刻自車與相鄰左側車道前車的距離;d^r_lea_t表示t時刻自車與相鄰右側車道前車的距離;d^l_fol_t表示t時刻自車與相鄰左側車道后車的距離;d^r_fol_t表示t時刻自車與相鄰右側車道后車的距離。

1.2 模型算法

車輛駕駛行為預測的原理是，通過對輸入的歷史數據進行學習，預測得到未來時刻車輛的行為和狀態。行駛在城市道路上的車輛，行駛狀態受諸多因素影響，且這些因素之間具有強耦合性。單一的深度學習網絡或單一網絡變種，無法在低計算負擔的前提下，保證長時序狀態下模型訓練穩定，同時獲得高質量的預測精度。因此，為解決上述問題，本文提出了一種多深度學習網絡融合的車輛行為預測模型，模型架構如圖1所示。

該模型主要由4個部分組成：輸入層，特定時間步長內車輛的領域信息，用矩陣veh表示;雙向長短期記憶網絡層，利用正反雙向LSTM對矩陣veh進行特征提取，解決長時序下的依賴問題;注意力機制層，對經過雙向LSTM提取后的特征向量，根據信息重要性對權重進行再分配，降低模型計算負擔;卷積生成對抗網絡層，利用該網絡優秀的泛化能力和零和博弈思想，對分配好權重的特征向量進行預測，提高生成數據質量、數據的泛隨機性，輸出下一時刻的高精度車輛行為狀態。

1.2.1 雙向長短期記憶網絡（Bi-LSTM）層

不論是在時間維度還是空間維度，車輛行為之間都存在一定的依賴關系和耦合性。過去車輛的行為會對未來行為產生影響，周圍其他車輛的行為也會影響目標車輛本身。因此，在路網結構復雜、交通密集的城市道路環境中，目標車輛的車輛領域信息長度超過了百級時間步長（一級時間步長等于0.01 s）。對于以時間為序列輸入的數據預測問題來說，循環神經網絡（Recurrent Neural Network，簡稱RNN）有良好的效果^[8]，但由于RNN處理長時序、強依賴的信息能力較差，因此，選用雙向長短期記憶網絡（Bi-LSTM）^[9]對數據進行特征處理，讓輸出變量同時具有過去和未來雙重數據特征，以至于模型能夠在任意時間步長前后，充分捕捉目標車輛狀態的細微變化。同時，通過“門”結構解決長時序狀態下的數據依賴問題。

該網絡結構為兩個參數相互獨立且傳遞方向相反的LSTM鏈：前向長短期記憶LSTM_f和后向長短期記憶LSTM_b。以n個時間步長范圍內，目標車輛領域矩陣中表示車輛速度的v^car=｛v^car₁，v^car₂，…，v^car_n｝舉例，將其一式兩份分別輸入正反向LSTM鏈中得到相應的隱向量，具體公式如下：

式中，h^vcar_f表示正向LSTM鏈得到的車輛速度隱向量組;v^car_Ln表示正向LSTM鏈中第n

個LSTM得到的車輛速度隱向量;h^vcar_b表示反向LSTM鏈得到的車輛速度隱向量組;v^car_bn表示反向LSTM鏈中第n個LSTM得到的車輛速度隱向量;h_v^c_ar表示雙向LSTM層最終輸出的車輛速度數據組;v^bi_car_t表示雙向LSTM層最終輸出的第n個車輛速度，t=｛1，2，…，n｝;n表示LSTM鏈中LSTM的個數，等于指定的時間步長。

1.2.2 注意力機制（ATT）層

由于一級時間步長為0.01 s，原始的單車數據在經過Bi-LSTM層處理后，每秒會得到的12個長度為200的特征數據組。特征數據組如果直接導入卷積生成對抗網絡中進行生成對抗處理，不僅會因信息過載導致干擾數據增多，降低模型生成的預測數據質量，而且會給有限的車載單元帶來巨大計算負載，降低模型生成的預測數據效率。

為了突出車輛在指定時間步長范圍內的重點行駛狀態，并且減少計算復雜程度，在雙向長短期網絡模型之后增設注意力機制層，對通過Bi-LSTM層的數據進行權重再分配。仍然是以車輛速度v^car舉例，注意力機制層輸出的車輛速度變量用矩陣ATT_v^c_ar表示，具體公式如下

式中，ATT_v^c_ar表示注意力機制層最終輸出的車輛速度特征數據;v^bi_car_t表示Bi-LSTM層最終輸出的第n個車輛速度，t=｛1，2，…，n｝;α_t表示ATT層的權重系數，∑nt=0α_t=1。

1.2.3 卷積生成對抗網絡（DCGAN）層

由于行駛在城市道路上的車輛種類繁多、狀態復雜多變，無法對每輛車每個時間步長內的數據逐一進行標簽標定。同時，在實際道路上，目標車輛的周圍并非時刻都有交通流存在，這就導致了輸入模型的車輛領域信息并非時刻完整。車輛行駛行為具有一定的泛隨機性，面對相同場景，即使是同一駕駛員也可能做出不同的應對操作，從而導致車輛行為的不確定性。

傳統的神經網絡無法處理無標簽數據，也無法解決不確定性問題。而DCGAN網絡能夠很好地解決上述問題。加入卷積神經網絡結構的DCGAN，不僅繼承了GAN網絡優秀的無監督無標簽學習特性，還強化了網絡在訓練中的穩定性，避免了梯度消失問題的產生。

ATT網絡層進行權重再分配后的特征數據，作為DCGAN網絡層的輸入，可以得到未來t=n+1時刻的目標車輛領域信息，用veh_n+1表示。

DCGAN層的生成器網絡一共設計了七個反卷積層，并且取消了池化層。前六個反卷積層之后增設一個Batch Normalization層用以提高訓練的穩定性，除第七層——輸出層的激活函數為Tanh外，其余各層的激活函數設定為ReLU，具體結構參數如表1所示，下文公式仍以車輛速度v^car舉例。

使用Binary Cross Entropy損失函數作為卷積生成網絡的參數更新公式：

DCGAN層的判別器網絡一共設計了六個卷積層，和生成器網絡一樣，取消了池化層，改用Batch Normalization層，除第六層——輸出層的激活函數為Sigmoid外，其余各層的激活函數設定為LeakyReLU，具體結構參數如表2所示。

卷積判別網絡的參數更新公式：

式中，real_loss（D（ATT_v^c_ar），y_real）表示判別器正確判別真實數據的損失函數;fake_loss（D（z_v^c_ar），y_fake）表示判別器正確判別生成數據的損失函數;D（ATT_v^c_ar）表示判別器判別真實數據的結果;D（z_v^c_ar）表示判別器判別生成數據的結果;y_real表示標簽為真，本文設定值為1;y_fake表示標簽為假，本文設定值為0。

2 仿真實驗

2.1 實驗場景

利用開源的微觀交通仿真軟件Simulation of Urban MObility（SUMO），仿真實驗場景取自江蘇省連云港市，選取花果山大道作為實驗對象，構建仿真路網，路網結構如圖2和圖3所示。

圖3中的交叉口自南向北依次編號，花果山大道與凌州東路交叉口為1號、花果山大道與青峰路交叉口為2號、花果山大道與振華東路交叉口為3號，具體路網結構如表3所示。

2.2 仿真實驗結果

因為智能網聯車技術尚未成熟，道路上沒有真正意義上的網聯車行駛，所以本次實驗是在道路上隨機選取車輛作為實驗用車。通過sumo自帶的traci接口，依據上文所設定的數據，對該車的領域信息進行提取。剔除因外部干擾導致的錯誤數據，最終篩選出2 500條可用的有效數據，將其中的2 000條數據作為訓練集，用于對所提出的預測模型進行訓練，剩下的500條數據作為測試集，用于對訓練好的模型進行驗證。本文所提出的模型在迭代200次后趨于平穩，如圖4所示。

測試集中的數據依據車輛未來行駛狀態的不同，可以分為3種：車輛跟馳、車輛右轉和車輛左轉。面對不同的車輛行駛狀態，新模型在測試集中的殘差值和準確率也各不相同，具體結果如圖5所示。

如圖5所示，當車輛依舊保持直行時，預測模型所預測得到的結果與真實值進行比較，其殘差值在3種行駛狀態中最小，只有0.040 7，并且準確率最高為95.97％。相比之下，當車輛需要進行轉向變道時，由于目標車輛及周圍車輛狀態是非線性的，具有一定的不確定性，所以預測模型所得結果與真實值的殘差值，相較于直行狀態有所增加，分別是0.042 1和0.050 8。相應的準確率也隨之下降，車輛右轉的準確率為94.97％，而車輛左轉的準確率只有94.70％。

2.3 與其他算法對比

從仿真實驗中隨機選取1 500 s的行車場景，對本文所提的新模型、文獻[10]中的LSTM模型和文獻[11]中的GAN模型進行預測結果準確率和殘差值對比，具體結果如表4和圖6所示。

從上述圖表中可以看出，不同模型對于同一數據的預測結果是不同的。不論是對何種行駛狀態進行預測，本文所提出的新模型準確率都要高于GAN模型和LSTM模型，相應的殘差值則是遠小于GAN模型和LSTM模型。GAN模型對數據的優化能力相較于單一LSTM模型對數據的優化能力更好，因此GAN模型對數據的預測準確率略高于LSTM模型，殘差值略小于LSTM模型的殘差值。

3 結束語

本文通過將雙向長短期記憶網絡、卷積生成對抗網絡和注意力機制三種不同的深度學習模型進行有機結合，提出一種新的車輛駕駛行為預測模型。仿真實驗表明，該模型能夠在保證道路安全和車輛行駛穩定的前提下，準確且有效地對車輛未來時刻的變道意圖和行駛軌跡進行預測，預測準確率在94.70％以上。與其他現有模型相比，新模型更加適應交通流密集的路網城市情況。

下一階段的工作主要是優化該預測模型在特殊場景下的性能表現，例如夜間城市道路，極端天氣情況下的城市道路、沒有車道線的交通流密集交叉口。同時以該預測模型為基礎，實現混合交通流下對智能網聯車的縱橫向運動控制決策。

參考文獻：

[1] 高紅麗， 鄧昌俊， 王文迪， 等.基于國家車輛事故深度調查體系的道路交通事故駕駛員人因分析[J].科學技術與工程， 2019， 19（19）： 342-348.

GAO H L， DENG C J， WANG W D， et al. Analysis of drivers cause of road traffic accident based on the national automobile accident in-depth investigation system[J]. Science Technology and Engineering， 2019， 19（19）： 342-348.

[2] MOZAFFARI S， AL-JARRAH O Y， DIANATI M， et al. Deep learning-based vehicle behaviour prediction for autonomous driving applications：a review[J]. IEEE Transactions on Intelligent Transportation Systems， 2022， 23（1）：33-47.

[3] ALEX Z， STEWART W， EDUARDO N. A recurrent neural network solution for predicting driver intention at unsignalized intersections[J]. IEEE Robotics and Automation Letters， 2018， 3（3）：1759-1764.

[4] 賀伊琳，宋若旸，馬建.基于強化學習 DDPG 的智能車輛軌跡跟蹤控制[J].中國公路學報，2021，34（11）：335-348.

HE Y L， SONG R Y， MA J. Trajectory tracking control of intelligent vehicle based on DDPG method of reinforcement learning[J]. China Journal of Highway and Transport， 2021，34（11）：335-348.

[5] DAI S Z， LI L， LI Z H. Modeling vehicle interactions via modified LSTM models for trajectory prediction[J]. IEEE Access， 2019， 7：38287-38296.

[6] DING W C， CHEN J， SHEN S J. Predicting vehicle behaviors over an extended horizon using behavior interaction network[C]//2019 International Conference on Robotics and Automation （ICRA）. Montreal， 2019：8634-8640.

[7] CASAS S， LUO W， URTASUN R. IntentNet： learning to predict intention from raw sensor data"[EB/OL]. 2021： arXiv： 2101.07907. https：//arxiv.org/abs/2101.07907"

[8] GRAVES A， LIWICKI M， FERNNDEZ S， et al. A novel connectionist system for unconstrained handwriting recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2009， 31（5）： 855-868.

[9] ALEX， GRAVES. Framewise phoneme classification with bidirectional LSTM and other neural network architectures[J]. Neural Networks， 2005， 18（5）： 602-610.

[10]HOCHREITER S， SCHMIDHUBER J. Long short-term memory[J]. Neural Computation， 1997， 9（8）： 1735-1780.

[11]梁軍， 王軍， 楊云慶， 等. 網聯車對抗神經網絡跟馳模型[J]. 汽車工程， 2021， 43（2）： 189-195， 203.

LIANG J， WANG J， YANG Y Q， et al. A connected and autonomous vehicle following model based on generative adversarial network[J]. Automotive Engineering， 2021， 43（2）： 189-195， 203.

（責任編輯：胡前進）