基于生物識別的汽車人機交互拓展化研究

劉子衿 林海英

摘要：隨著智能汽車的逐步普及，智能汽車用戶群體的需求和問題也在逐漸變化。在智能汽車快速發展的大環境，以及符合各項規章制度的前提下，通過生物識別及其相關技術探究如何滿足用戶的個性化需求，以實現更加安全、高效的新一代人機交互方式。以調研中用戶反映的駕駛體驗問題和日常發現的駕駛問題為導向，針對性地進行了拓展化研究，提出相應的技術解決方案。

關鍵詞：生物識別；人機交互；車聯網；深度學習算法；邊緣修復

中圖分類號：U463? 收稿日期：2023-10-18

DOI：10.19999/j.cnki.1004-0226.2024.02.009

1 前言

汽車產品正在逐步轉變為智能移動設備，這得益于智能化和自動化技術的持續發展和完善。在人機互動、萬物互聯的發展推動下，汽車已經超脫于傳統運輸工具的功能，正在逐漸轉變成人類尋求更豐富的體驗感和舒適感的第三空間［1］。汽車消費者的需求千差萬別，而傳統的汽車只能在相同品牌相同類型中推出相同的產品，這種同質化導致了消費者體驗無法得到最大限度的滿足。

因此，通過生物識別技術來一對一地滿足用戶個性化需求應當提上日程。本項目采用DTC模式結合SCP模型，將用戶需求轉化為技術成果，從機會成本理論出發探究現有生物識別技術在人機互動語境下的升級空間，達到帕累托最優的效果。對于項目中涉及的基于生物特征識別和駕駛習慣研究的個性化方案匹配技術，目前有公司已經有了較為深入的研究。但是由這幾個成熟技術整合而成的新技術，目前暫無較多相關研究?；谶吘壭迯图霸鰪娝惴ǖ母呔珳识仁謩葑R別技術中，手勢識別已經是現有概念，但是目前各項數據表明手勢識別精度欠缺、反應速度慢、發揮作用較為局限，我們基于邊緣修復及增強算法對現有手勢識別技術的精度、識別范圍進行了增強，目前僅有部分高校在研究，尚無成熟產品。

經驗證，本項目方案通過應用生物識別技術對汽車座艙的人機交互進行多通道拓展及優化，汽車人機交互體驗相對于現有產品有較大提升，發展價值較高［2］。

2 基于生物特征識別和駕駛習慣研究的個性化方案匹配

2.1 研究背景

為了使用戶獲得最好的駕乘體驗，應用了人臉識別技術將用戶偏好設置與人臉識別數據綁定；同時使用AI深度學習和機器學習算法對于駕駛人駕駛數據進行分析學習，并對駕駛人設置給出建議，來達到極致的駕駛體驗。

2.2 人臉識別與個性化方案儲存匹配

由于駕駛人相對固定，需要采集的人臉數據較少，這里主要討論基于特征臉的人臉識別算法。

2.2.1 采集駕駛員圖像作為訓練樣本

將駕駛員的姿勢分為站立和常規駕駛坐姿兩種，在收集數據時，要保持視線直視前方，并將收集到的數據作為訓練數據。

2.2.2 處理訓練數據

設收集到M個面部圖像數據，每張圖像被扁平化為一列（假定圖像像素數量為N），這些向量被放置在一個矩陣中而成為訓練數據[S=[τ1，τ2，…，τM]]。

2.2.3 計算平均臉

將[S]里的值累加并取均值[φ=1Mi=1Mτi]，然后將每個人臉圖像[τi]都減去該均值，使均值為0∶[ωi=τi?φ]，重新排列構成新的矩陣[T=[ω1，ω2，…，ωM]]。

2.2.4 PCA（主成分分析）降維求協方差矩陣

在圖像識別和人臉識別中，可以用PCA來降低維度并展示人臉的主要特征，以更好地識別和分類，同時減少數據冗余。

假設獲得m條面部數據，每條數據都有n個評價指標，構成了m×n的原始數據矩陣，即為X，每個變量對應的數據記為：X1，X2，…，Xn。

[X=x11…x1n???xm1…xmn=x1，x2，…，xn]? ? ? ? ? ? （1）

各項評估標準常常具備各自的度量和度量單位，為了消除度量的影響，必須對數據做標準化的處理，這樣才能確保各個數據標準的對比性。經過標準化處理過后的原始數據，能使所有評估標準都達到相同的數量級，這樣才有可能進行全面的比較評價。

對數據實施Z-score轉換處理，在此操作后，數據的平均值為0，其標準偏差是1，同時這些數據遵循標準正態分布特性，公式如下：

[Z-Scoreij=xij-xjSj]? ? ? ? ? ? ? ? ? ? ? ?（2）

式中，[xj]為第j個指標的樣本均值，[Xj=1mi=1mXij]；[Sj]為第j個指標的標準差，[Sj=i=1m（Xij-Xj）2m-1]，記中心化后數據矩陣為X。

計算經過集中化處理的數據的協方差矩陣，并將其標記為R：

[rij=cov（xki，xkj）=k=1mxkixkjm-1]? ? ? ? ? ? ? ? ?（3）

[R=cov（X1，X1）? cov（X1，X2）? …? cov（X1，Xn）?? ? ? ? ? ? ? ? ??? ? ? ? ? ? ?? ? ? ? ??cov（Xn，X1）? cov（Xn，X2）? …? cov（Xn，Xn）]? ? ? ? （4）

此外也可以用另一種方法表示：[R=XTXm]。

2.2.5 計算特征臉的特征向量

求出協方差矩陣[R]的特征向量[ei]，記這些協方差矩陣[R]的特征向量為：

[E=[e1，e2，… ，eM]]? ? ? ? ? ? ? ? ? ? ? ? ? （5）

計算各特征臉的特征向量為：

[ui=k=1Meikωk（i=1，2， …，M）]? ? ? ? ? ? ? ? ? （6）

2.2.6 個性化方案綁定

根據人臉識別得出特征向量，通過哈希算法生成唯一UID，在該UID下保留該用戶的偏好設置。查詢時通過哈希表進行。

2.2.7 人臉識別

得到特征臉的特征向量[ui]后，再對樣本中的每張圖片進行權重的標識：[ti=ui（τ?φ）（i=1，2，…，M）]。

把這些權重寫成一個向量表示：[ΩT=[t1，t2， … ，tM]]。

將待檢測的人臉圖像[τ]輸入后做主成分分析后，求[Ω]和[Ωk]的歐氏距離得到：[εk=Ω?Ωk2]。

在上述公式里，[Ω]代表了待審查的人臉圖片的權重，而[Ωk]是指訓練樣本集中某一人臉圖像的權重。如果[εk]低于預先設定的界限，那么就確認正在審查的人臉與樣本集中相應的人臉為同一個人。

2.2.8 方案加載

檢測到當前人臉與數據庫中人臉數據匹配后，將對應UID的設置方案加載到汽車上，完成用戶偏好設置的加載。

圖1為基于人臉識別的個性化方案綁定流程圖。

2.3 機器學習優化駕駛設置

2.3.1 數據收集

在駕駛人自主駕駛機動車期間，車載計算機將通過車輛CAN總線收集車輛傳感器數據，獲取諸如車輛平均加速度、車輛最大、最小轉角、車輛最大、最小速度、車輛橫移距離、車輛橫移頻率等有關駕駛人駕駛風格的數據。

2.3.2 模板對比

在車載計算機中儲存“城市”“運動”“越野”等不同駕駛風格的典型模板數據。車載計算機收集了駕駛人駕駛數據后，會針對各項數據逐個對模板進行比較匹配，得出目前駕駛人大概的駕駛風格簡檔，并儲存于云端。

2.3.3 模型訓練

將駕駛員駕駛風格簡檔、駕駛員駕駛視頻、車輛運動特征等數據輸入強化學習模塊，訓練與駕駛員駕駛風格相符或相近的自動駕駛模型。

2.3.4 模型使用與用戶反饋

針對乘員體驗，在用戶需要接入自動駕駛時，從駕駛風格模塊調取當前駕駛員的自動駕駛模型，并接入車輛自動駕駛模塊操控汽車。如用戶感覺到自動駕駛帶來不適，可將問題通過語音、手勢或文本的方式反映給車載AI。同時，駕乘人員身上可穿戴拓展設備提供的生命健康特征、車內雷達掃描獲取的駕乘人員動作特征等也將作為駕乘人員的被動反饋進行收集。

針對駕駛人體驗，可以在路況識別系統判斷為相對安全的路段時，在征求駕駛人同意的情況下，開啟AI輔助駕駛（對駕駛人的方向盤、踏板等提供力回饋，這里需要注意駕駛人的指令擁有最高優先級，AI不得與駕駛人爭奪車輛控制權）。該功能同樣會調取自動駕駛模型，根據自動駕駛模型的設置數據暫時更改當前設置方案，以便輔助駕駛員駕駛。同樣這里還會收集駕駛人對于AI輔助駕駛與新駕駛設置方案的主動和被動反饋。

2.3.5 模型優化

將收集到的駕乘人員被動或主動反饋輸入強化學習模塊，對模型進一步針對性優化，使駕乘人員的駕乘體驗能夠更為舒適。

2.3.6 建議提出與設置修改

車載計算機將強化學習模塊得出的駕駛風格數據、車輛設置數據與當前駕駛人綁定的駕駛風格簡檔和車輛設置數據進行對比，對駕駛人的駕駛風格和車輛設置提供建議。如用戶接受則將一鍵應用強化學習模塊得出的最優方案，并同步更新綁定數據［3］。圖2為機器學習優化駕駛設置示意圖。

3 基于邊緣修復及增強算法的高精準度手勢識別技術

3.1 研究背景

目前多數車企采用光飛時間（TOF）來識別手勢。TOF的分辨率低，通常低于640×480，測量精度最多為厘米級，容易受多重反射等影響，不穩定且成本高。J.D.Power發布的2020技術體驗指數顯示，用戶滿意度最低的是手勢控制交互方式。手勢識別要求駕駛員的手勢指令必須表現在特定的區域內，標準化要求高，因此識別率較低。手勢的表達內容也有限，當關聯的功能較多需要復雜的手勢設計時，便會十分繁瑣。因此我們期待加大手勢識別的范圍，同時進行邊緣修復及增強，進一步提高準確率。

3.2 基礎功能

采用結構光方式進行識別，同時對輸入的識別內容運行相應算法進行邊緣修復以及圖像增強進而提高識別的精準率、反饋速率以及可識別的范圍，優化用戶的人機交互體驗。

3.3 實現方法

3.3.1 手勢識別系統結構

現階段，手勢識別主要依賴于攝像頭等接收器設備來獲取手勢信息，然后把識別到的手勢內容通過CAN總線轉交給手勢識別系統。接著，在人機交互系統中構建相應的手勢模型和操作界面，并對其中的手機內容進行分類。具體的識別流程可參見圖3。

3.3.2 具體方案

采用精度更高、成本更低的結構光（Structure Light，SL）方式進行手勢識別。

a.通過對皮膚色彩和背景的粗略比較，獲取分離的效果。

b.采用分層Chamfer距離匹配算法（HCMA）對手勢的特定區域進行精密的定位。

c.利用基于圖形架構和梯度方向直方圖的分類器，對手掌和手指部分進行了精確的識別。

d.借助預先儲存的模型，對手與臉部交接處的邊緣數據進行了修復，這樣就得到了一個完全清晰的手勢識別區域。

結構光方式的流程如圖4所示。

一開始，邊緣圖被Chamfer距離匹配算法轉化為Chamfer距離圖，接著調用一個范圍3×3的窗口構建出每個像素點的距離值，邊緣距離[Ed]的計算過程按如下公式：

[Ed=131Ni=0N-1wi2]? ? ? ? ? ? ? ? ? ? ? ? ?（7）

在這個公式中，[wi]是模版影像的像素數值，[N]則是模版邊界點的總數。當邊緣距離[Ed]減少到最小時，就可以得到最適合的匹配位置。為了提高搜索最佳匹配位置的速度，在算法設計中引入金字塔結構，選擇其中任意一組網格點作為匹配起點，并繼續計算這些點與周圍點之間的邊緣距離[Ed]，直到找到最小邊緣距離值[Ed]。

結構光方式的三維視覺透視模型如圖5所示，相關計算公式如下：

[Xr=cx+cosθ·Sx·x-sinθ·Sy·y]? ? ? ? ? ? ? ? ? （8）

[Yr=cy+sinθ·Sx·x+cosθ·Sy·y]? ? ? ? ? ? ? ? ? （9）

[X=Xr+2n-12n]? ? ? ? ? ? ? ? ? ? ? ? ? ?（10）

[X=Yr+2n-12n]? ? ? ? ? ? ? ? ? ? ? ? ? ? （11）

[（x，y）]是原始坐標的標識，然而在金字塔圖的第[n]級，點的準確坐標被[（X，Y）]表示。平移、縮放和旋轉的參數則用[（cx，cy）]、[（sx，sy）]和[θ]來代替，這強調了匹配過程具備處理這些手勢幾何變換的能力。在此基礎之上，進一步采用邊緣修復算法以補全不連續和模糊的邊緣。

借助Chamfer距離匹配算法來查找手勢部分的鄰近區域，并把最優配對的區域圖像和模版圖像進行比較研究。

對已獲得的更新版邊緣圖像進行輪廓破損部位的修補，如果未找到新的斷點集合，針對每個斷點P，尋找模板中距離其最接近的Q，用一組Q把斷點輪廓劃分成若干個部分，然后，根據得出的和的相對位置，應用以下公式生成一組新的點集P：

[Pk=Pk-1+Qk-Qk-1]? ? ? ? ? ? ? ? ? ? ? ? （12）

利用以Catmull-Rom插值作為基礎的曲線擬合方法將這些點連接起來，從而提升邊緣圖像的優化。計算如下：

[xi=aixk-2+bixk-1+cixk+dixk+1yi=aiyk-2+biyk-1+ciyk+diyk+1]? ? ? ? ? ? ? （13）

[ai=12（-t3+2t2-t）]

[bi=12（3t3-5t2+2），t=iN]

[ci=12（-3t3+4t2+t）]

[di=12（t3-t2]

上式中，[（xk-2，yk-2）]、[（xk-1，yk-1）]、[（xk，yk）]和[（xk+1，yk+1）]分別是Pk-2、Pk-1、Pk和Pk+1的坐標。

通過計算發現，該邊緣修復算法的精確度在TPR及FPR指標上分別達到了94.6%和8.7%，如表1所示。相對于其他算法，這個特有性能在準確性、識別力度和處理速度方面表現更好，這有利于提高人機交互的使用體驗。

因此可以在車內各處的攝像頭內加入此程序擴大識別范圍，同時也可由用戶進行個性化操作，只需要提前錄入相應手勢即可得以控制車內幾乎所有部件［4］。

4 結語

a.將車載傳感器與深度學習算法結合，實現了根據用戶的駕駛風格與駕駛體驗自動調節車內環境，提高用戶駕乘舒適性。

b.所提出的邊緣修復算法能增強人機互動的準確性和駕駛期間的安全性，能夠實現對遠距離動態手勢的識別，保證了識別的穩定性和良好的魯棒性，具備優秀的實用價值。

經驗證，本項目方案通過應用生物識別技術對汽車座艙的人機交互進行多通道拓展及優化，對于汽車人機交互體驗相對于現有產品有較大提升，發展價值較高。

參考文獻：

[1]黃麗蓉，潘雨青.基于深度信念網絡的駕駛行為研究[J].計算機與數字工程，2020，48（8）：1958-1964.

[2]周行健.基于用戶行為的汽車增強現實平視顯示器交互設計研究[D].南京：東南大學2021.

[3]尤祖旺.汽車自動泊車輔助系統關鍵技術研究[J].中國新技術新產品，2020（20）：11-14.

[4]梁英.人機交互手勢特征識別及邊緣修復算法研究[J].自動化技術與應用，2022，41（11）：43-46.

作者簡介：

劉子衿，男，2002年生，本科在讀，研究方向為飛行汽車。

林海英（通訊作者），男，1971年生，教授，研究方向為特種車輛。