基于駕駛行為基元的典型駕駛場景識別與提取方法

田浩東， 趙樹廉， 古昕昱， 吳思宇， 姚紫陽

（1. 重慶大學 機械與運載工程學院，重慶 400044；2. 清華大學 車輛與運載學院，北京 100084；3. 中國汽車工程研究院股份有限公司，重慶 401122；4. 燕山大學 電氣工程學院，河北，秦皇島 066004）

自動駕駛汽車的運行與具體語境強相關，意味著駕駛場景中包含著具有巨大價值的信息。真實場景中所包含的信息，能支撐智能網聯汽車的研發、測試和評價。其中，以大量真實路采數據為基礎的場景提取和關鍵信息的挖掘，有效促進對算法的改進、測試用例的構建等具體研發工作。場景提取及關鍵信息挖掘包含交通數據獲取、駕駛場景提取及駕駛場景關鍵信息挖掘。場景數據來源是基于場景數據測試方法的基礎，其目的為后續提取駕駛場景，分析交通行為特征和場景構建提供數據基礎。一般而言，場景數據來源主要分為知識類來源與類來源。其中，知識類場景數據來源主要包括通過不同方式展現出來的抽象信息、國家制定的有關標準規范及現實中的典型案例數據。而數據類場景數據來源主要由場地測試、道路測試和數據采集所得出的實際數據。駕駛場景提取為從大量采集到的數據中提取典型場景和危險場景。場景分析是對提取出來的場景的行為關鍵特征進行分析，為后續構建危險場景提供要素。

駕駛場景提取的目的是從大量采集到的數據中過濾與安全無關的交通數據，并提取影響安全的典型場景和危險場景。對于駕駛場景提取問題，查仁方等［1］發明了基于車輛的行駛數據幀、目標相對車輛的相對行駛數據幀及根據目標駕駛場景的第一閾值特征和第二閾值特征來確定跟蹤目標物的方法。王羽瑾等［2］提出了一種基于匝道區域范圍和預設第1時刻第2點位置信息目標物起始終點位置、適用于匝道場景的場景提取方法。葉福恒等［3］提出了一種基于駕駛數據分區序號列和編號，適用于高速自動駕駛功能跟車場景、切入場景和切出場景的提取方法。劉明等［4］提出了一種基于深度學習的危險場景提取方法。王羽瑾等［5］提出了一種基于時刻和閾值的跟車場景的提取方法。崔博非等［6］提出了一種基于視覺SLAM 靜態特征的泊車場景提取方法。寧小娟等［7］提出了一種基于點云的室內場景物體提取方法。周景巖等［8］提出了一種上下匝道行為場景數據采集、識別與提取方法。張宇飛等［9］提出了一種基于自然駕駛場景數據特征點的場地測試用例提取方法。邢智超等［10］提出一種跟馳行為場景數據采集、識別、分類提取系統及方法。陸思宇等［11］提出了一種基于信號規則的自動駕駛前車切入場景提取方法。郭洪艷等［12］提出了一種針對人機共駕測試的側方插入場景提取方法。杜瑩等［13］提出了一種車輛循線行駛場景提取方法。李衛兵等［14］提出了一種泊車典型場景的提取方法。陳華等［15］發明了用于智能駕駛系統測試的典型自然駕駛場景識別提取方法。石娟等［16］提出了一種自動駕駛前車切入切出場景提取方法。吳平等［17］發明了一種基于自然駕駛數據的泊車場景提取系統和方法。ZHAO Jinxin等［18］提出針對大量車輛駕駛數據的綜合數據聚類框架，解決現有依賴于手工特征場景提取的方法。MEN Jianfeng 等［19］提出駕駛場景補充類平衡網絡來解決邊緣駕駛場景識別問題?？傮w來看，國內外的相關研究主要是基于固定預設規則來進行分類場景提取，然而，基于固定預設規則提取方法通常僅限于單一的特定場景提取，很難適配日趨復雜的自動駕駛車輛真實駕駛環境，且不利于后續形成標準化、完整化的場景提取框架。

因此，針對上述問題，本文通過定義6 種典型駕駛場景，并進一步將其解耦為獨立的最小駕駛行為單元，同時將其定義為場景基元用來表征整車系統在執行感知-行為-決策這一過程中的狀態序列，并將基元建立為特定的數學模型，設定基元的提取規則。從數據集中提取出典型場景，作為后續場景行為分析的基礎，完成基于駕駛行為基元的典型駕駛場景識別與提取模型構建。最后結合特征參數分布模型，建立場景關鍵特征提取與分析的方法框架，并在中國真實路采數據上應用該方法，挖掘中國典型駕駛場景特征以驗證該方案的可行性。

1 典型自然駕駛行為建模與提取

典型駕駛場景是具有特定特征，在真實世界中出現頻度較高的場景。典型駕駛場景具有高暴露、易捕獲、關鍵性等特點。典型駕駛場景的信息對于構建特定的駕駛策略，優化相應功能系統，提高智能網聯汽車安全性和舒適度具有重要意義。

場景是由實體的交互構成的動態序列，駕駛行為是駕駛場景中最關鍵的動態要素。由于不同的駕駛目標和駕駛習慣，長期的駕駛狀態序列呈現復雜多樣的情況。然而，在道路法規和物理約束下，短期的駕駛行為具有一些典型的特征和類型。通過對自然駕駛條件下典型駕駛場景的共性行為特征進行分析和挖掘，可以總結出相應的駕駛行為基元，進一步建立典型駕駛場景與駕駛行為基元的數學化與符號化理論模型。根據駕駛行為基元定義，對其關鍵特征進行分析，提出一種駕駛行為基元提取算法，為后續典型駕駛場景的提取提供算法基礎。

本文以典型駕駛場景為核心展開研究，其技術方案如圖1所示。

圖1 自然駕駛行為場景提取技術路線

1.1 典型自然駕駛行為分析

基于駕駛行為基元的典型駕駛場景識別與提取方法的基礎是對典型駕駛場景的行為進行切片分析，挖掘共性行為，從而提煉出駕駛場景基元。此外，典型駕駛行為基元要求能適配多車行為的復雜交互和單車行為的頻繁變化，并具有一定的可組合性。從自車視角出發，典型場景通常分為跟車、換道、超車、目標車切入、目標車切出幾種。下面總結場景進行分析。

1.1.1 自由行駛

自由行駛為自車前方目標車距離較遠或無目標車，自車無明顯橫向運動變化或特征。將保持在同一車道上沿車道行駛這一行為確定為直行，是一種自由行駛下的運動方式，如圖2 所示。其中，考慮彎道情況，進一步將直行擴展為廣義直行，即包含在直道與彎道上車輛未發生換道的動態駕駛行為。

圖2 自由行駛場景

1.1.2 跟車行駛

目標車與自車在同一車道上沿車道行駛，自車行駛在目標車之后緊隨目標車。在跟車過程中，目標車和自車都未發生換道行為，車輛主要行為均為直行，如圖3所示。

圖3 跟車行駛場景

1.1.3 換道行駛

換道可分為向左換道和向右換道。向左換道時，目標車與自車在同一車道上，行駛在自車前方，一段時間后，自車轉向，向左跨越車道線，并行駛在自車左側相鄰車道。其中，車輛主要行為分別為向左跨越車道線行駛與直行，如圖4 所示，可拆解為①、②、①。向右換道與向左換道類似，車輛主要行為分別為向右跨越車道線行駛與直行，可拆解為①、③、①。

圖4 換道行駛場景

1.1.4 超車行駛

超車可分為向左超車和向右超車。向左超車時，目標車與自車在同一車道上，行駛在自車前方，自車首先執行向左換道動作，在自車超越目標車后，執行向右換道動作。其中，車輛主要行為分別為向左跨越車道線行駛、直行、向右跨越車道線行駛與直行，如圖5 所示，可拆解為①、②、①、③、①。向右超車與向左超車類似，車輛主要行為分別包含向右跨越車道線行駛、直行、向左跨越車道線行駛與直行，可拆解為①、③、①、②、①。

圖5 超車行駛場景

1.1.5 目標車切出

目標車切出可分為向左切出和向右切出。目標車向左切出時，目標車與自車在同一車道上，行駛在自車前方，自車首先執行跟車行駛動作，隨后目標車執行向左換道動作。其中，車輛主要行為分別為直行、向左跨越車道線行駛（目標車）、直行（目標車），如圖6 所示，可拆解為①、②、①。目標車向右切出與向左切出類似，車輛主要行為分別包含直行、向右跨越車道線行駛（目標車）、直行（目標車），可拆解為①、③、①。

圖6 目標車切出場景

1.1.6 目標車切入

目標車切入可分為從左切入和從右切入。目標車從左切入時，目標車行駛在自車相鄰的左側車道上，位于自車左前方位置，自車首先執行跟車或自由行駛動作，隨后目標車執行向右換道動作。其中，車輛主要行為分別為直行、向右跨越車道線行駛（目標車）、直行（目標車），如圖7 所示，可拆解為①、③、①。目標車從右切入與從左切入類似車輛主要行為分別包含直行、向左跨越車道線行駛（目標車）、直行（目標車），可拆解為①、②、①。

圖7 目標車切入場景

1.2 典型自然駕駛行為基元定義

考慮場景動態的關鍵要素，典型駕駛場景可通過車輛類型、車輛位置以及駕駛行為基元3 個關鍵要素進行定義。其中，車輛類型分為主車和目標車，車輛位置可根據主車及目標車的相對位置以及所處車道確定。以主車為中心，對主車產生影響的全部車輛潛在位置劃分為8 個區域，如圖8 所示，通過縱、橫兩個方向對其進行數字化，在主車的前方、平行及后方向分別用1、0、-1 表示，主車左車道線、主車車道線以及右車道線分別用-1、0、1表示。駕駛行為基元包含廣義直行、向左跨越車道線行駛、向右跨越車道線行駛3個基本行為單元。

圖8 駕駛場景區域

則上述不同的典型駕駛場景可表示為：

式中：Ψ為駕駛場景；∨(·)為并集；∧(·)為交集；Cρ在ρ為subject，object 時分別表示車輛類型為主車與目標車；Ωlong為-1、0、1時分別表示相對主車后方、與主車處于同一水平、相對主車前方的3 個不同縱向相對位置；Ωlateral為-1、0、1 時分別表示位于主車所在車道左側相鄰車道、與主車處于同一車道、位于主車所在車道右側相鄰車道3 個不同橫向相對位置；Flaterallong表示與主車的縱向、橫向相對位置關系；Q?在?為Gstraight，Tleft，Tright時分別表示廣義直行、向左跨越車道線行駛、向右跨越車道線行駛3 種不同駕駛行為基元；ω為0，1 時分別表示該位置不存在車輛以及存在主車/目標車；i?為該場景中對應的目標車類型ρ的i?個駕駛行為基元；I?為該場景中目標車類型ρ的總駕駛行為基元數量。

1.3 典型自然駕駛行為基元建模

1.3.1 廣義直行基元模型

如圖9 所示，考慮到車輛無論在直道或彎道上行駛，在一定時間內，車輛與車道之間的距離dv2l都保持在一個相對不變的狀態。同時，對于在直道上的駕駛行為，車輛的航向角與車道線基本保持平行；對于在彎道上的駕駛行為，車輛的航向車道線的切線夾角θv2l基本保持不變。

綜上所述，將廣義直行定義為一定時間內，車輛與車道線之間的距離變化量，車輛航向角與車道線切線的夾角同時保持在可接受變動范圍內（較小范圍），其表征函數為：

式中：

為確定駕駛行為為廣義直行的最少時間常量；K為距離常量；ε為角度常量。

1.3.2 左跨越車道線基元模型

如圖10 所示，向左跨越車道線場基元含有Ps、Pc和Pe三個關鍵點區域。其中，Ps為左跨越車道線基元的起始區域，在Ps區域中車輛距離車道線的距離dv2l保持在一個相對不變的狀態；Pc為車輛跨越車道線區域，在Pc區域中由于車輛所處車道的改變，車輛距車道線的距離dv2l發生跳變；Pe為左跨越車道線基元的終止區域，在Pe區域中車輛距離車道線的距離dv2l保持在一個相對不變的狀態。這一特性也適合于向右跨越車道線基元。

圖10 向左跨越車道線

因此，可以根據距離車道線的距離跳變來確定是作為跨越車道線的依據。其表征函數為：

同理可得左跨越車道線基元特征：

1.4 典型自然駕駛行為基元提取方法

采集數據包含時序形式下自車和周圍環境車輛的狀態變量：

基于上述時序狀態變量，進行簡單運算可以進一步獲得包括TTC、THW 等高階狀態信息。結合前述所定義的駕駛場景基元，可以基于基元特征規則化地主動對場景動態信息進行提取、歸類或標簽。

廣義直行駕駛行為基元?=Gstraight時的判定方法如圖11所示。其實現過程為：

圖11 廣義直行判定流程

步驟一：采用寬度為的滑動時間窗從第i幀自然駕駛數據所對應的時間戳ti向后迭代，假設時間窗內的第1 幀為第j幀，最后一幀為第k幀。則有：

式中：tk，tj分別為第k幀、第j幀自然駕駛數據所對應的時間戳。

步驟二：計算時間窗內的距離車道線的距離和車輛航向與車道線切線方向的夾角，若滿足：

式中：Ω ={j，…，k}；∩表示同時滿足條件；為車輛在第i幀時，車輛航向與車道線切線方向的夾角；εstraight，?straight分別為廣義直行基元中的距離閾值與角度閾值。則該基元為廣義直行駕駛行為基元，否則，跳轉至步驟一，并有：

根據跨越車道線行為基元特征來判斷車輛是否該行為跨越車道線，向左跨越車道線行駛、向右跨越車道線行駛兩種駕駛行為基元?=Tleft，Tright時的建模方法如圖12所示，具體步驟為：

圖12 跨越車道線模型判定流程

步驟一：假設從第i幀開始，計算相鄰兩幀自然駕駛數據對應的時間戳之間的時間差值Δt。

式中：ti為第i幀自然駕駛數據所對應的時間戳。

步驟二：判斷是否滿足Δt＜Tthreshold，若滿足則轉至步驟三，否則i=i+ 1，并重復步驟一。其中，Tthreshold為最小時間差判斷閾值。

步驟三：計算相鄰兩幀車輛距離左側車道線的距離變化量Δd。其中，車道線的相關信息以攝像頭傳感器所在位置為坐標系原點根據左手定則建立直角坐標系進行。

式中：v2l為車輛與車道線的關系；為車輛在i幀時到車道線之間的距離。轉至步驟四。

步驟四：判斷是否滿足|Δd| ＞D，若滿足就進行下一步，否則i=i+ 1，并重復步驟一。其中，D為車道寬度判斷閾值。

步驟五：采用寬度為Tchangewidth的滑動時間窗從第i幀的時間戳ti向前回溯，假設時間窗內的第1 幀為第j幀，最后一幀為第k幀，則有：

式中：tk、tj分別為第k幀、第j幀自然駕駛數據所對應的時間戳。

步驟六：計算時間窗內的距離車道線的距離和車輛航向與車道線切線方向的夾角，并判斷是否滿足式（15）。

式中：Ω ={j，…，k}；∩表示同時滿足條件；為車輛在第i幀時，車輛航向與車道線切線方向的夾角；εchange，?change分別為向左跨越車道線行駛、向右跨越車道線行駛兩種駕駛行為基元中的距離閾值與角度閾值。若滿足式（15），則判斷該行為為跨越車道線行為。其中，第k幀對應的時間為跨越車道線起點。同理，從ti向后推導判斷跨越車道線終止點。

步驟七：判斷是否滿足Δd＞D，若滿足則判斷為向右跨越車道線駕駛行為基元；否則判斷是否滿足Δd＜-D，若滿足則判斷為向左跨越車道線駕駛行為基元；若均不滿足，則跳轉至步驟五，并有：

2 試驗驗證與分析

由于不同國家歷史傳統和地域特征存在差異，駕駛法規和行為習慣也有所區別。我國幅員遼闊，不同地區有不同的駕駛行為習慣，因此，需要去挖掘具有中國特色的駕駛行為特征。本文以文獻［20］所述的多源信息采集為基礎，通過試驗、分析和總結對前述所提場景特征提取方案進行實踐驗證。

2.1 數據集基礎

為支持本文的研究，利用文獻［20］介紹的數據采集平臺車采集具有中國地域特色的自然駕駛交通數據。本研究累計完成100 萬公里的道路數據采集。采集區域涵蓋東北、華北、華東、華西、華中、西南、華南等區域。如圖13 所示，采集道路分布為高速公路43.3%，城市道路30.9%，國道省道23.6%，其他道路2.2%。自然駕駛數據涉及多種地形，構成了多樣化自然駕駛數據庫。

圖13 數據集采集類別概況

參與自然駕駛數據采集的駕駛員數量超過60人，由于要進行長時間全國區域駕駛數據采集，因此，駕駛員以男性為主（96.61%）。駕駛員的年齡為20～55 歲，在確保駕駛安全的情況下，參與采集的駕駛員均具有不同的駕駛經驗，在一定程度上覆蓋了中國駕駛員可能經歷的各種駕駛場景，以保證采集的駕駛數據更加全面，盡可能廣泛地涵蓋不同駕駛員所觸發的駕駛場景。

2.2 行為基元提取試驗驗證

為了驗證基于駕駛行為基元的識別與提取方法的準確性，本研究定義了評價指標。對于數據挖掘方法而言，常用的模型評價指標主要有：

1）準確率，表示被提取或分類正確的樣本數量占全部樣本數量的比例；

2）精確率，表示提取或分類正確的正樣本個數占提取模型判定為正樣本個數的比例；

3）召回率，是指提取或分類正確的正樣本個數占真實正樣本個數的比例；

4）錯誤率，與準確率相反，描述被提取或分類算法分錯的比率。在計算上述指標之前，首先對基本混淆矩陣進行定義。

表1 基本混淆矩陣

因此，上述指標可以分別表示為：

準確率（Raccuracy）：

精確率（Rprecision）：

召回率（Rrecall）：

錯誤率（Rerror）：

基于上述指標，將本文所述基于駕駛行為基元的典型駕駛場景識別與提取方法在中國汽研的場景提取生成云平臺軟件i-STAR 中作為模塊實現，通過對10 000個場景數據進行建模分析，并與實際場景進行對比驗證，其準確率見表2。

表2 駕駛行為基元試驗結果

3 結論

考慮到駕駛場景識別和提取是高效分析基于自然駕駛數據的駕駛行為的基礎，在實現場景高效準確提取的關鍵問題中，本文基于大量自然駕駛數據自動識別典型駕駛場景展開研究，借助典型駕駛場景分析、駕駛行為基元建模、駕駛行為基元組合、駕駛場景提取等關鍵技術手段實現了面向自動駕駛車輛功能開發與測試的典型駕駛場景自動化識別與提取，最終提出了一種具有多場景覆蓋且通用程度高的基于駕駛行為基元的典型駕駛場景自動識別與提取方法。該方法將駕駛場景分解為車輛類型、車輛位置和駕駛行為基元三大要素，并基于三大要素對典型駕駛場景建立了數學模型，從而實現了駕駛場景和駕駛行為基元的通用化描述，使復雜場景簡單化。此外，該方法面向自動駕駛車輛研發與測試的全生命周期，通過駕駛行為基元的特征分析，研發了基于規則的駕駛行為基元提取算法和基于要素組合的駕駛場景識別方法，實現對自然駕駛場景高效快速的自動化提取，從而有效促進自動駕駛車輛的大規模仿真與道路測試應用落地。