自動駕駛車輛與行人交互：基于手勢的意圖傳達行為實驗研究

章薇，吳昌旭，Leo Kust,Yijie Chen

(1.清華大學 工業工程系，北京，100000；2.美國紐約州立大學 布法羅分校,美國，紐約州，布法羅 14222；3.亞利桑那州立大學，美國，亞利桑那州，鳳凰城 85281)

1 前言

自動駕駛技術的發展給未來的交通出行帶來很大程度的改變，如優化交通流，降低交通事故發生率，緩解空氣污染問題，提升駕駛舒適度等[1-2]。美國汽車工程師協會[3]將自動駕駛分為六個等級，其中，Level 3以上的自動駕駛系統不再要求人們監控交通環境，因此，自動駕駛車內的駕駛員往往會執行各種非駕駛相關任務如看視頻、打游戲、睡覺等[4]。在這種情況下，自動駕駛系統和其他的道路使用者需要相互理解以維持一個安全和有秩序的交通環境[2,5]。

從自動駕駛系統的視角出發，算法工程師不斷地設計和提升自動駕駛系統的算法來處理由雷達和相機等傳感器收集的信息以理解人類的行為[6-8]。然而，人類進行信息加工和處理的大腦的認知資源是有限的[9]。傳統地，道路交通者(包括駕駛員、行人、騎自行車者)依賴車輛的移動(如超速或逐漸靠近左車道)、非語言交流(如面部表情、眼神交流、手勢、身體移動)和語言來進行意圖交流[10-11]。然而，在自動駕駛車輛環境下，自動駕駛車內的駕駛員往會因執行非駕駛相關任務而大概率不再參與意圖交流。如果道路使用者(尤其是行人)誤解了自動駕駛車輛的意圖，他們可能會采取不恰當的行為，因而可能會增加事故發生的風險并影響交通效率[12]。因此，自動駕駛系統需要和道路使用者[5]進行有效地交流以使得其他道路使用者能理解其意圖[13-14]。

前人研究對自動駕駛車輛和道路使用者的意圖交流方法和內容進行了廣泛的探索[5]。意圖交流方法包括被動地交流信號(如利用手環或智能手機)[15]、車輛的運動特征[12]、以及車外的人機交互界面(如LED顯示屏)[16-18]。此外，傳輸的內容信息包括基礎信息(即駕駛模式和對自動駕駛車輛的感知)、意圖信息(即告知道路使用者自動駕駛車輛的意圖和接下來的行為決策)和指示信息(即指示道路使用者該如何進行行為反應)。其中，相比其他信息，意圖信息相對更為重要。

然而，上述研究中提出的意圖交流的方法存在一定的局限性。首先，一些車外的人機交互界面存在學習成本。例如，被試需要提前學習研究者提出的代表自動駕駛車輛狀態的燈光顯示方式才能進行決策[18]。其次，研究者們提出的自動駕駛車輛和人的交流界面可能不適用于來自不同文化背景的人?；谝豁椚蛘{查研究，Zandi 等(2020)發現來自不同國家的人對自動駕駛車輛和行人交流信息的重要性持不同的觀點。在自動駕駛車輛忽略行人意圖的情況下，“小心，我很危險”這一信息對美國人來說相當重要而對德國人來說相對沒有意義。這可能是因為不同國家和地區的語言、道路文化和交通規則不同[19-20]，人們和自動駕駛車輛的交互也不同，因此他們對人機交互界面的預期也存在差異[21-22]。

被廣泛應用于日常生活中的手勢被視為普遍和有潛力的交流方法[23]。相比先前提到的意圖交流方法，通過手勢來傳達意圖可能存在獨特的優勢。首先，手勢是自然的和直接的[24]。人往往不需要額外的學習成本就可以在第一眼看到手勢的時候快速地感知和理解手勢的意圖。其次，相比人機交互界面(尤其與文本和語言相關)，不同國家和地區間的手勢相對更加一致?；谇叭搜芯堪l現的不同國家間在手勢理解上的一致性[25]，通過手勢傳達自動駕駛車輛的意圖可能可以得到一致的理解。最后，通過簡單地擺動手臂，手勢可以傳遞復雜和清晰明了的信號。例如，手掌朝上的姿勢代表“走吧，我給你讓道”[20,23]。因此，綜上所述，使用手勢傳遞自動駕駛車輛的意圖將會是一種人性化的促進人們直接和快速地理解自動駕駛車輛意圖的方式。

基于手勢在傳遞自動駕駛車輛意圖上的潛在優勢，本研究進一步提出如下問題：如何讓自動駕駛車輛來傳遞這些手勢呢？前人研究表明，用機械臂來傳遞手勢可以有效地促進人和系統的交互[26-29]。例如，在探索使用機械手傳達指示性手勢對裝配任務中的人機交互的影響時，Sheikholeslami 等(2017年)發現人們識別機械手傳達的手勢的正確率高于60%。Gleeson 等(2013年)同樣發現人們可以容易地理解由機器人系統傳達的手勢。機械手臂除了易于理解，還能在呈現和感知上獲得人們的積極評價[27]。綜上，基于機械手在人機交互中的有效性，通過機械手來產生手勢以傳達自動駕駛意圖可能是促進自動駕駛車輛和道路使用者溝通的有效方式。

運動速度是影響機械手傳遞手勢的有效性的關鍵重要參數[30]。前人研究表明，速度會影響人們對機械傳達的手勢的感知[31-33]，而且是人們理解機器人意圖的重要線索[34]。例如，Berger 等(2021年)發現當改變機械手的速度時，人們會把手勢理解成不同的含義。多樣化的手勢意圖對于社會環境下的人機交互十分有用。然而，對于人和自動駕駛的意圖交流而言，最重要的是保證人能正確地感知和理解自動駕駛車輛的手勢。如果不同的揮動速度導致駕駛員誤解了手勢的意圖，可能會導致不可預測的交通事故的發生。但當前并未有研究關注基于機械手的手勢來傳達自動駕駛車輛的意圖，以促進人和自動駕駛車輛的交流，使得機械手在自動駕駛車輛意圖傳達的有效性尚不清楚。

基于以上前人研究，本研究考慮的自動駕駛等級為L3級及以上，因為以上自動駕駛等級車輛中的駕駛員不再需要監控道路(SAE International,2021年)且大概率不會參與和其他道路使用者的意圖交流。此外，本研究主要考慮了兩大經典的手勢類型，即讓道和占道[22,25]。本研究旨在探究：(1)相比人手，使用機械手產生的手勢在傳遞自動駕駛車輛意圖的有效性；(2)機械手的揮動速度是否會影響人們對不同手勢的行為反應和意圖理解。

2 對象與方法

2.1 被試

募集志愿者30名被試(15名男性，15名女性)作為行人，年齡18到30歲(Mean=21.43,SD=3.18)參與了本次實驗。所有被試都要求視力正?；虺C正視力正常，并且擁有有效的駕照。被試的駕駛經驗從一年到五年不等(Mean=2.0,SD=0.83)。

2.2 實驗設計

本實驗采用了2 × 3 被試內設計。自變量包括手勢類型(讓道 vs.占道)和手臂類型(人手 vs.快速揮動的機械手 vs.慢速揮動的機械手)。研究中將給被試傳遞兩大常用的手勢：一個垂直設計的手臂被設計為占道，一個手掌朝向被試的移動手勢被設計為讓道。三種類型的手臂被用來傳遞這些手勢。所有被試均要體驗用快速揮動(每分鐘120次)和慢速揮動(每分鐘80次)的機械手臂，以及人手(控制條件)傳遞的手勢。

實驗收集了被試對自動駕駛車輛所傳達的手勢的客觀反應和主觀態度。研究中共收集了兩個客觀指標以評估參與者的行為：(1)反應時間：從手勢發出到被試按下鍵盤上的空格鍵之間的時間，這個動作意味著被試理解了手勢。(2)反應的準確性：參與者對相應的傳遞的手勢反應是否準確(記為1)或不準確(記為0)。研究中共收集了三個指標來評估被試對自動駕駛車輛所傳達的手勢的主觀態度：(1)可理解度：通過詢問“你對所給出的手勢理解程度如何？”來了解參與者對不同手臂所傳遞的手勢的理解程度; (2)禮貌度：通過詢問“你感覺這個手勢有多禮貌?”來了解不同手臂傳達的手勢的禮貌度；(3)舒適度：通過詢問“你對不同手臂傳遞的手勢感覺有多舒服？”來了解被試體驗到的手勢的舒適度。本研究采用李克特量表對以上三個主觀指標進行評價，為了盡量減少被試對中值點的誤用并找到一個最佳的評價值，上述主觀測量都是基于一個四點李克特量表，即從“一點也不”到“非?！盵35]。

2.3 實驗材料

出于安全考慮，本研究采用實驗室實驗的方法，真正的手勢傳遞場景將事先被拍攝成視頻。以下是生成手勢傳遞場景的步驟。

步驟1：建立一個機械手并生成手勢

機械手包括塑料手掌和手臂部分。塑料手掌的大小基于平均男性手掌的人體測量數據，即手掌的長度為0.188 m，手掌的寬度為0.08 m[36]。為了區分機械手與汽車儀表盤的區別，以及在視覺上區分手掌和手臂，研究中將手掌的部分涂成白色，將手臂的部分涂成黃色。將手掌定位在手腕的固定角度，拇指朝上并從手腕開始擺動。

如圖1所示，本研究中設計了兩個動作來產生“讓道”和“占道”的手勢?！白尩馈?手勢包括水平揮動的手掌和手臂的動作，表明自動駕駛車輛希望被試先行通過。在 “占道” 手勢中，機械手的手掌垂直于中控臺，這表明自動車輛希望被試等待?？焖贀]動的手臂和慢速揮動的手臂的擺動速度分別為每分鐘120次和每分鐘80次。研究者在距離方向盤 0.2 m的駕駛座右側的儀表板上安裝了觸發手臂的裝置。通過以上方式，被試可以很容易地看到自動駕駛車輛上的手勢。

圖1 用不同類型的手傳遞手勢的場景

步驟2：視頻拍攝和剪輯

本研究共拍攝了六個與實驗條件相對應的視頻。我們邀請了一位中年男性駕駛員參加拍攝。駕駛員坐在汽車里模擬自動駕駛汽車的駕駛員。汽車的左轉信號燈是亮著并在閃爍的，以模擬自動駕駛車輛打算左轉的場景。在人手條件下，駕駛員使用手掌和手臂在接近十字路口時傳遞手勢。駕駛員戴著墨鏡面對鏡頭，眼睛向下看，盡量減少與其他道路使用者的眼神接觸和面部表情交流。在機械手條件下，分別由快速揮動的機械手和緩慢揮動的機械手傳遞手勢，在這個過程中，駕駛員低頭以模擬其正在執行非駕駛相關任務。在駕駛員開始揮手的同一個位置，手臂裝置觸發機械手以產生手勢。

視頻錄制結束后，每段視頻都被編輯為6 s，在機械臂裝置或駕駛員做出任何動作前都有2秒的準備時間，手勢呈現的時間為4 s。隨后，這些視頻被編碼為Visual Basic Application(VBA)格式，通過這種方式，視頻在被播放的同時能記錄被試的按鍵反應。

2.4 實驗裝置

提前錄制的視頻由Epson投影儀及投影屏幕裝置呈現，被試與屏幕之間的距離由屏幕大小和視頻拍攝距離決定。通過調節距離，視頻中展示的車輛將與真實世界中的車輛大小和距離相同，視角也相對固定。

2.5 實驗流程

首先，實驗者歡迎被試參與實驗。所有被試需要簽署一份知情同意書和關于他們的年齡、性別、駕駛經驗等信息的基本問卷。接下來，被試需要站在顯示屏幕旁，想象自己是一名在十字路口要過馬路的行人。與此同時，一輛迎面而來的自動車輛將向左轉，自動駕駛車輛等級在L3級以上。實驗者告訴被試前方車輛的路徑將與他們的行駛路徑相交，他們需要通過駕駛員或機械臂所做的手勢來了解即將到來的自動駕駛車輛的意圖。實驗前，實驗者檢查并確認了參與者對實驗任務的理解，所有被試都正確理解實驗任務才可以進行正式實驗。在正式實驗中，將之前編輯好的與實驗條件相對應的視頻分別呈現給參與者。被試一旦理解了手勢的意圖就立即按下空格鍵，并報告理解的手勢的含義。每個試次結束后，被試完成李克特量表以評價他們對接收到的手勢的理解程度，并評估手勢的禮貌程度和舒適度。在實驗過程中，實驗者并不給被試反饋他們對當前的手勢理解是否正確。本實驗共包含6個試次，對應6個場景視頻，為避免順序效應，本研究采用拉丁方平衡實驗順序[37]。實驗結束后，每個參與者都得到了感謝和10美元的補償。整個實驗持續約30 min。

2.6 數據分析

本研究使用MATLAB R2021b(Math Works,Inc.MA)繪制反應時、可理解度、禮貌度和舒適度的箱型圖。原始數據的箱型圖如圖2所示。數據統計進一步采用IBM SPSS 26.0進行分析(IBM,Inc)。首先，本研究采用單樣本Kolmogorov Smirnov 檢驗對反應時進行正態性檢驗，反應時的原始數據不符合正態分布，因此，在數據分析前采用Box-Cox 轉換[38]。數據分析采用考慮固定效應和隨機效應的線性混合模型模型[39-40]。線性混合模型(Linear mixed model,LMM)用于分析反應時，帶有二元邏輯回歸選項的廣義線性混合模型(generalized linear mixed model,GLMM)用于分析二分變量(反應正確與否)。在本研究中，手勢類型、手臂類型以及兩者的交互為固定效應，個體差異為隨機效應。如果分析中的主效應和交互效應顯著，則進一步用t檢驗進行事后檢驗和簡單效應分析。對于數據類型為等級數據的三個主觀變量，首先采用弗里德曼檢驗法進行主效應檢驗[41]，如果主效應顯著，隨后采用威爾克森符號秩和檢驗法進行事后檢驗[42]。由于弗里德曼檢驗法在交互效應上存在局限性，本研究將主觀變量分別放在兩個不同手勢下進行分析。研究中所有分析的顯著性水平均設置為0.05且采用Bonferroni法矯正。

3 結果

3.1 反應時

LMM研究結果顯示，手臂類型在反應時上的主效應顯著(F(2,154)=8.977,P<0.001)。如圖2(a)所示，被試在人手條件下的反應時(M=4.213,SD=0.576)分別比快速揮動的機械手(M=4.591,SD=0.772)(ps<0.001)和慢速揮動的機械手(M=4.586,SD=0.873)(ps<0.05)條件下的反應時顯著更低。兩個機械手條件下被試的反應時無顯著差異。

手勢類型在反應時上的主效應(F(1,154)=0.697,P=0.406)以及手勢類型和手臂類型在反應時上的交互效應(F(2,154)=1.409,P= 0.253)均不顯著。手臂類型在不同手勢條件下的反應時數據如表1所示。

3.2 反應正確率

GLMM結果表明，手臂類型在反應正確率上的主效應顯著(F(2,174)=5.134,P<0.01)。事后檢驗結果表明，快速揮動的機械手條件下，被試對手勢的反應正確率(M=0.97,SD=0.181)顯著高于人手(M=0.90,SD=0.303)(ps

表1 不同類型的手臂和手勢條件下行人的反應時和反應正確率

3.3 可理解度

當手勢為讓道時，弗里德曼檢驗結果顯示手臂類型在可理解度上的主效應顯著(χ2(2)= 8.000,P<0.05)。如圖2(b)所示，事后檢驗結果表明，被試對慢速揮動的機械手的可理解度(median=4.0 ,IQR=3.0-4.0)顯著低于對人手的可理解度(median=4.0,IQR=4.0-4.0)(Z=-2.714,P<0.01,r=0.496)?？焖贀]動的機械手(median=4.0,IQR=4.0-4.0)和人手以及和慢速揮動的機械手在可理解度上均無顯著差異。

當手勢為占道時，弗里德曼檢驗結果顯示手臂類型在可理解度上的主效應顯著(χ2(2)=7.309,P<0.05)。如圖2(b)所示，事后檢驗結果表明，被試對慢速揮動的機械手的可理解度(median=3.0,IQR=2.0-4.0)顯著低于人手(median=3.0,IQR=3.0-4.0)(Z=-2.639,P<0.01,r=-0.482 )和快速揮動的機械手的可理解度(median=3.0,IQR=3.0-4.0)(Z=-2.221,P<0.05,r=-0.406)。人手和快速揮動的機械手條件下的可理解度無顯著差異。

圖2 人手、快速揮動的機械手和慢速揮動的機械手在讓道和占道條件下的因變量指標原始數據箱線圖。(a)反應時；(b)可理解度：1=“一點也不理解” ，4=“非常理解” ；(c)禮貌度：1=“一點也不禮貌” ，4=“非常禮貌” ；(d)舒適度：1=“一點也不舒適” ，4=“非常舒適” (箱圖中間的線段代表中位數，較低或較高的邊界代表Q1(第一百分位數)和Q3(第三百分位數)，虛線不大于1.5倍的四分位距，紅色的加號代表極端值)

不同的手臂類型在讓道和占道手勢下的可理解度如表2所示。

3.4 禮貌度

當手勢為讓道時，弗里德曼檢驗結果顯示手臂在禮貌度上的主效應不顯著(χ2(2)= 2.500,P=0.287)。當手勢為占道時，弗里德曼檢驗結果顯示手臂類型在可理解度上的主效應也不顯著(χ2(2)= 0.692,P=0.707)。

不同的手臂類型在讓道和占道手勢下的禮貌度如表2所示。

3.5 舒適度

當手勢為讓道時，弗里德曼檢驗結果顯示手臂類型在舒適度上的主效應不顯著(χ2(2)= 3.868,P=0.145)。但兩兩比較結果顯示快速揮動的機械手(median=3.0,IQR=3.0-4.0)比慢速揮動的機械手(median=3.0,IQR=2.0-3.25)有更高的舒適度(Z=-1.968,P<0.05,r=-0.360)。

當手勢為占道時，弗里德曼檢驗結果顯示手臂類型在舒適度上的主效應顯著(χ2(2)= 14.805,P<0.001)。如圖2(d)所示，事后檢驗結果表明，被試對慢速揮動的機械手的舒適度評價(median=2.0,IQR=2.0 -3.0)顯著低于人手(median=3.0,IQR=2.0-4.0)(Z=-3.234,P<0.001,r=-0.590 )和快速揮動的機械手的舒適度評價(median=3.0,IQR=1.75-3.25)(Z=-1.985,P<0.05,r=-0.362)。人手和快速揮動的機械手條件下的舒適度評價無顯著差異。

不同的手臂類型在讓道和占道手勢下的舒適度如表2所示。

表2 不同類型的手臂和手勢條件下的主觀數據的中位數，四分位距，平均秩

4 討論

自動駕駛系統和道路使用者之間有效的交流對未來的駕駛安全至關重要。為了探究由機械手臂產生的手勢是否可以用于自動駕駛車輛向人類傳達意圖，本研究基于實驗室實驗探究不同類型的手臂(人手 vs.快速揮動的機械手 vs.慢速揮動的機械手)和手勢(讓道 vs.占道)對行人的行為反應和主觀態度的影響。

行為結果反映被試在快速揮動的機械手和人手條件下的行為績效要好于慢速揮動的機械手。被試在人手條件下的反應速度要分別快于快速揮動的機械手和慢速揮動的機械手。這可能是因為機械手在質感和形狀上不如人手，因此在和機械手交互時會產生猶豫[43]。其次，被試在快速揮動的機械手條件下的反應正確率要高于人手和慢速揮動的機械手條件下的反應正確率，這進一步表明了速度在準確傳達意圖上的重要作用。此外，快速揮動的機械手和人手在反應時和正確率上各有優勢，即人手能帶來更快速的反應而快速揮動的機械手能帶來更高的反應正確率。人手條件下更快的反應可能是因為人手讓人感覺更熟悉和親切，人們對人手的理解更加自信，因而傾向于在并不完全理解人手意圖的情況下較快地做出反應；相比人手，被試對機械手的理解更不確定，傾向于花更多的時間去理解以確保反應的正確性。

主觀結果表明人手和快速揮動的機械手比慢速揮動的機械手有高的可理解性和舒適度。在讓道條件下，人手比慢速揮動的機械手具有更高的可理解性，而人手和快速揮動的機械手在可理解性評價上無顯著差異。在占道條件下，人手和快速揮動的機械分別比慢速揮動更多機械手有更高的可理解性和舒適度。以上結果進一步表明了當手臂揮動的速度較快時，機械手在主觀感受上能帶來和人手相比擬的效果，但該效應可能會隨著手臂揮動速度的降低而消失。值得一提的是，三種手臂在禮貌度上并無顯著差異，這可能是因為相比于直接采取行為，提供手勢以溝通意圖本身就是十分禮貌的行為，不管手勢是由哪種類型的手臂傳達的。

綜上所述，本研究發現使用快速揮動的機械手產生手勢以傳達自動駕駛的意圖能帶來和人手類似的主觀評價，并且比人手能帶來更高的反應準確率，雖然在反應速度上慢于人手。因此，基于本研究結果，在非緊急不追求反應速度的交通情況下，未來可以考慮應用快速揮動的機械手來傳達自動駕駛意圖以使行人能有較正確的理解和主觀可接受度。

本研究存在一定的局限性。首先，使用機械手來傳達車輛的意圖需要考慮交通環境。行人能看清機械手的前提是保證環境有一定的可見度。當由于光線、視角、天氣等原因導致物理環境的視覺可見度較低時[44]，機械手的有效性也會隨之降低。在這種情況下，可以進一步考慮帶有其他功能(如亮度)的機械手。其次，本研究主要考慮了兩大典型的手勢，讓道和占道。其他手勢(如左轉/右轉)或傳達更復雜意圖的手勢(如“感謝”或“預警”)，應該在未來的研究中進一步考慮。最后，本研究采用了基于視頻的實驗室實驗探究行人和自動駕駛車輛的交互，實驗室實驗可能存在一定的局限性，使得研究的生態效度受到限制。未來可考慮更加真實的環境并考慮采用Wizard of Oz的方法[45]來控制自動駕駛系統以獲得更加真實的數據 。

5 小結

本研究提出了采用機械手臂來產生手勢以傳達自動駕駛車輛的意圖，并通過基于視頻的實驗室實驗探究不同類型的機械手臂和手勢類型對行人的行為反應和主觀態度的影響。研究發現無論是傳遞讓道手勢還是占道手勢，行人在慢速揮動的機械手條件下的行為績效要差于人手和快速揮動的機械手。而人手和快速揮動的機械手在行為指標上各有優勢，人手條件下行人的反應快于快速揮動的機械手，而快速揮動的機械手比人手能帶來更高的行人反應正確率。此外，在主觀態度上，快速揮動的機械手能帶來和人手相似程度的可理解性和舒適度評價。本研究進一步表明，在非緊急的交通環境下，快速揮動的機械手(120下/min)可以替代人手以傳達自動駕駛車輛的意圖。本研究結果為制造商和設計者采用簡單的基于機械手的裝置來設計傳達自動駕駛車輛的意圖提供了借鑒意義。