提升用戶體驗的VR 眼動追蹤系統：技術及應用

趙 恬 丁 妮

北京師范大學藝術與傳媒學院，北京100875

1 前言

眼動追蹤的概念最早提出于20 世紀30 年代，視覺作為人類收集信息的第一渠道，眼動追蹤（Eye Tracking）是測量人類處理視覺信息以及注意力、興趣和興奮區域的關鍵[1]?；谘劬σ曨l分析原理（Video Oculographic， VOG）開發的眼動追蹤技術目前應用較為廣泛，如該領域知名公司Tobii、Magic Leap、Varjo、SMI、FOVE 等都采用基于VOG 的眼動追蹤技術[2]。VOG 的分析識別方法依賴于瞳孔或其他眼睛標識，并由安裝在頭戴式顯示器上的攝像頭對眼睛圖像進行捕捉，通過對視頻幀的分析得出眼睛方向等信息。

“VR+眼動”已逐漸成為新一代VR 系統，自2014年至今，三星、Meta、蘋果、微軟、索尼、Pico 等眾多企業都已布局眼動追蹤技術，收購或與專業眼動公司合作，致力于開發基于眼動追蹤技術的VR 硬件設備或VR 應用。VR 眼動追蹤技術不僅能大幅節省計算機運算資源，優化設備性能，而且在VR 社交、眼控交互設計等方面都有著獨特的應用前景。尤其在VR影像藝術創作領域，藝術家可以利用VR 眼動追蹤技術讓用戶與作品進行更加自然的交互，從而以一種獨特的交互語言進行敘事。這一技術使用戶在自由活動的情況下能同時獲取客觀數據，并基于眼動數據的實時反饋達到更自然的交互，進而提升用戶體驗。

用戶體驗是由用戶內部狀態（動機、情緒、期望等）、系統特征（可用性、功能等）和交互環境（組織或社會環境、使用自愿性等）共同作用的結果[3]，衡量用戶體驗要從多角度展開。VR 為用戶提供了身臨其境的體驗效果，現有研究表明，用戶在VR 體驗過程中產生的傳感器數據與用戶的行為狀態密切相關，這意味著VR 中的用戶體驗可以被定量地分析與評估。為了更加客觀準確地分析用戶在VR 環境中的潛在想法和行為方式，利用各種傳感器，基于數據驅動的客觀分析方法在VR 用戶體驗的評估中發揮著越來越重要的作用。眼動追蹤技術能夠捕獲不受意識影響的自然反應，為這一需求提供了良好的技術支持。例如，注視時長和注視順序往往會反映出主體的興趣程度，眨眼頻次的變化可以反映出主體的注意力是否集中等。已有研究通過眼動追蹤數據結合深度學習模型（Deep Learning Model）來評估并預測暈動癥水平，進而根據預測結果進行調整適應以緩解用戶暈動，突出了眼動追蹤數據作為提高模型性能的潛在補充的重要相關性[4]。

本文將針對VR 用戶體驗中存在的核心問題，從優化VR 硬件設備、優化內容顯示與渲染、提升VR 社交體驗、VR 眼控交互等四個角度深入分析眼動追蹤技術在VR 體驗研究中的應用及特性，同時重點分析VR 眼動追蹤技術在影像藝術創作領域的應用現狀和前景。

2 VR 用戶體驗的核心問題

VR 用戶體驗旨在反饋涉及諸多方面的綜合感受，目前在VR 用戶體驗中存在的主要問題包括舒適度上的眩暈感、疲勞，交互過程中的體驗感不佳以及臨場感不足等。

首先，眩暈感是最常見并顯著影響VR 用戶體驗的一個問題。暈動癥通常由虛擬環境中的視覺刺激引起，目前對虛擬現實體驗產生暈動癥的原因尚不明確，其中最為突出的理論解釋有感官沖突(Sensory Conflict)和姿勢控制也叫“姿態不穩定”（Postural Instability）兩種[5]。感官沖突理論認為虛擬現實暈動癥是前庭神經和體感的沖突所導致，例如在船上，暈船是由于眼睛看到穩定的場景，但前庭系統檢測到運動；反之，在VR 中，眼睛檢測到虛擬場景中的運動，而現實世界中的人在大多數情況下是坐在椅子上的。由于在現實世界中實現虛擬世界的客觀運動的可行性較低，因此，目前在VR 游戲中最常見的移動方式是瞬移（Teleportation），以盡量減少在VR 環境中的運動過程。然而，這并不是一種非常自然的移動方式，改善暈動癥的同時也會在一定程度上削弱用戶的臨場感。另一種改善措施是通過用戶坐在轉椅上旋轉來減少沖突，但行動依然會受到限制。除此之外，導致暈動癥的因素還包括顯示技術、閃爍、延遲和個體差異等[6]。與傳統顯示器相比，用戶對仿真環境有更高的期望，因此在VR 環境中用戶會對微小干擾更加敏感。除了延遲之外，不同的幀率也會導致生理不適，對于這些微小干擾的問題，需要不斷調整3D 環境和實驗設置的細節，這對硬件條件又提出了更苛刻的要求。目前，改善用戶VR 體驗眩暈感的研究探索還在持續進行。

其次，疲勞也是影響VR 用戶體驗的一個重要因素。長時間佩戴厚重的頭戴式顯示器和耳機容易讓用戶感到疲勞，不僅是眼疲勞、聽覺疲勞，還有由于設備重量帶來的頸部疼痛、鼻子壓力等，在夏天使用厚重的設備也會令用戶更加炎熱，這些都會導致舒適度下降從而影響用戶體驗。

最后，沉浸式的VR 交互是一種以體驗為目標的交互，與以任務為目標的傳統交互不同，VR 環境中的交互體驗本身即是其最大的特點和趣味所在。通過語音、身體動作、手勢、文字、符號等共同作用，形成多層次、多感官交互體驗，多模態交互（Multimodal Interactive）對于增強VR 臨場感起著重要作用[7][8]?，F有VR 交互體驗設計在自然交互方面仍存在諸多不足，如眾多交互界面仍為二維，容易在三維虛擬情境中帶來割裂感，需要更符合用戶認知特性、更具趣味性的VR 交互體驗設計。

3 VR 眼動追蹤技術應用分析

3.1 優化硬件設備

在VR 環境中，頭戴顯示器中的顯示屏始終與人眼保持固定距離，因此用戶眼睛與圖像內容之間的距離是固定的，雖然3D 圖像顯示在不同的深度，但是眼睛總是集中在一個單一的深度，導致眼睛無法正確聚焦或適應，無法實現人眼動態聚焦的功能，進而喪失另一個關鍵的深度線索。這種不匹配被稱為輻輳調節沖突(Vergence-Accommodation Conflict，VAC)（圖1），是視覺不適的來源[9]。

圖1 輻輳調節沖突原理

通過眼動追蹤技術對顯示器等硬件設備進行優化可以改善這種沖突。目前有多種可調節焦深的顯示器被提出可用于解決VAC 問題，例如變焦顯示器（Varifocal Lens）、單視顯示器（Monovision Display）、多焦點顯示器（Multifocal Display）、基于激光束掃描（Laser Beam Scanning， LBS）的視網膜投影注視點顯示器、光場顯示器（Light Field Display）和全息顯示器（Holoscope）等。其中變焦顯示器可通過獲取用戶在VR 環境中的眼動路徑后，確定路徑相交的點，再建立起適當的焦平面，通過不斷更新焦平面，顯示器以進行相應的調整，不斷將焦點深度設置為匹配眼睛到對象的虛擬距離。新加坡VR 變焦頭顯技術開發商Lemnis Technologies 開發的Verifocal 原型正是這一技術應用的體現，它結合了兩個可根據眼睛注視移動的可調節鏡頭，以提供廣泛的焦平面[10]。

3.2 優化內容顯示與渲染

除了硬件設備的優化，眼動追蹤技術還能優化VR 內容的呈現，通過優化畫面渲染質量、調節顯示亮度、調節界面透明度等方式對用戶視覺體驗做進一步改善。

3.2.1 注視點渲染（Eye Tracked Foveated Rendering）

由于人眼的生理限制，人類視覺系統（HVS）只會對全部所見范圍中的一小部分進行精加工，其在視網膜的中央凹有很高的敏銳度，但由中央凹向外圍的敏銳度會逐漸下降。在消費級VR 系統中，眾多頭戴式顯示器（HMD）在中央凹區域其實只覆蓋了大約4%的像素點，其余大約96%的顯示渲染像素都落在了視覺敏銳度較低的區域[11]。注視點渲染技術通過高精度眼動追蹤獲取人眼的注視中心，只對每只眼睛的中央凹區域進行高分辨率渲染，之后大幅降低外圍視覺的渲染復雜度。從而使計算機可以通過模擬人眼在現實場景所見的效果進行圖像渲染,讓用戶在使用近眼顯示設備時能體驗到高清、逼真且有景深的虛擬畫面，改善用戶體驗。

開發者使用注視點渲染來優化渲染性能，以期在同樣的硬件配置下達到更加優秀的VR 畫面渲染效果。在滿足VR 對幀率和分辨率高要求的同時也可以大幅減少渲染每幀所需的時間、功率，減輕設備負擔，如今已被證明可以節省高達50%～70% 的性能[12]。

3.2.2 注視點景深模糊（Foveated Depth of Field Blurred）

注視點渲染壓縮場景的外圍部分可能會導致各種可感知的偽影，如隧道視覺、混頻和閃爍，這些偽影可能會分散用戶的注意力，降低沉浸感，加重疲勞感和暈動癥狀。為了解決這些偽影，一項研究開發了一種基于眼動追蹤的VR 空間模糊技術。該技術利用了注視點成像和景深的概念，將空間模糊結合到立體3D 刺激中，使用較小的平滑濾波器，使得高銳度和模糊區域之間的過渡更平滑，改善了先前注視點渲染的偽影問題，實證研究表明此種注視點景深效果在虛擬環境中可減少66%左右的眩暈感[13]。

3.2.3 動態視野限制（Dynamic Field of View Limitations）

視野限制是一種減少視覺引起的暈動癥的解決方案。該技術通過阻擋用戶的外圍視野，以最大限度地減少對視網膜敏感外圍部分的光流[14]。目前，大多數的光流限制可能會降低沉浸感和存在感，然而，基于注視點的限制則可以實現隨用戶眼睛注視移動的限制器，這將允許用戶看到視覺場景的更大部分，同時仍然阻擋他們的周邊視覺。與固定視角的限制器相比，這將給用戶提供更大的視野范圍，同時緩解暈動[15]。

借助眼動追蹤技術還能對暈動癥狀進行預測并及時做出調整，研究利用從HMD、跟蹤器和生理設備，例如頭部、眼睛和腳踝運動，皮膚電活動（Electrodermal Activity）生成的各種傳感器信號開發了兩個深度學習模型，分別對暈動癥水平和運動類型進行分類，利用這些生理數據確定不同生理反應和暈動癥之間的相關性，進而預測和應對暈動癥[4]。此外，瞳孔大小也是一個有效的預測指標，人的瞳孔大小會隨著亮度變化而變化，因此可以通過眼動儀檢測人的瞳孔大小，并調整內容顯示的亮度以確保其始終維持在人眼舒適的亮度范圍，盡量減少夜間對視網膜的刺激，有助于緩解眼疲勞。

3.3 VR 眼控交互

眼動已拓展為一種計算機信號輸入方式，在多通道交互成為趨勢的背景下，越來越多的研究者也在探索將眼動控制作為交互手段[16]。將眼動追蹤技術用于監測用戶的眼球運動，可以更好地重建虛擬角色的眼睛和面部，如蘋果公司與德國眼動公司SMI聯合開發的SMI 眼控社交（Social Eye）技術，可精確追蹤VR 頭顯用戶的眼動注視方向，并實時映射至虛擬化身的眼睛。虛擬化身可以凝視、眨眼、使眼色以及通過瞳孔反應來認同他人，表達自己的感受或簡單地表達自己的觀點，通過富有表現力和精準的眼神接觸讓虛擬角色的交互更加可信（圖2）[17]。

圖2 數據投射到虛擬形象示意圖[17]

同時，眼控交互技術可分為視線反饋技術和視線輸入技術[18]。有實證研究表明，在任務執行時間和頭部運動方面，眼睛注視的瞄準效果明顯優于頭部運動瞄準。在使用鍵盤的情況下，使用眼控可以將瞄準所需的時間平均減少31.8%。在菜單場景中，眼控具有11.7%的瞄準時間優勢[18]。其中，視線反饋技術主要有附加信息反饋技術；視線輸入技術主要有單一視線輸入方式、多方式交互輸入技術[19]。

目前較為常見的眼控選擇操控方式主要有四種，包括凝視觸發、眼勢觸發、平滑跟蹤操控和眨眼觸發。凝視觸發有比較嚴重的誤判問題，眼勢觸發則在凝視的基礎上，用戶需要在不同的凝視控件中有順序地通過兩次或三次凝視動作進行觸發，但眼部動作本身存在較多方向不確定性，對用戶的操作熟練度和注意力、耐心都有較大考驗，違背自然交互原則。然而眨眼頻率會隨不同場景的任務負荷而發生改變，頻繁眨眼也容易使用戶產生眼疲勞，同時還需區分故意眨眼和自然眨眼，因此解決誤觸問題依然關鍵。VR 中基于凝視的文本輸入也可看作是一種特殊形式的目標選擇，用戶通過凝視來選擇虛擬環境中顯示的虛擬鍵盤按鍵。研究者通過結合眼動追蹤和基于穩態視覺誘發電位(SSVEP)的腦機接口(BCI)，開發了一種基于注視的VR 混合文本輸入系統[20]。該研究結果表明，眼腦混合方法的打字速度可達10WPM 左右，優于單純的凝視輸入系統。但與傳統的輸入界面(如傳統鍵盤)相比，凝視文本輸入依然非常慢。

虛擬環境中的運動導航操控也可以借助眼動追蹤技術得到較好的效果。通過捕捉眼睛注視的方向作為轉向方向，實現基于眼動的虛擬導航。在VR 影像中，有助于觀眾擺脫對手柄操作的依賴，在不脫離劇情的沉浸狀態下實現移動，在第一人稱視角的VR影像、游戲作品中，跟隨視線的移動也有助于觀眾或玩家對劇情和細節的理解。有研究提出一種VR 中半自主式的定點導航，用戶通過凝視選定目標，然后應用程序將引導用戶通過最快路線到達選定的目標[21]，VR 影像創作者可將這一技術應用于探索類交互影像或游戲中，例如作為提示提升玩家效率，提升用戶體驗。在其他應用領域，基于眼動的虛擬導航能夠用于訓練殘疾人用戶如何用眼睛注視控制遠程機器人，這將對殘疾人用戶的VR 操作帶來極大幫助。眼動追蹤技術也被用于實現軌道導航技術，效果類似于電影和體育報道中的飛行鏡頭，即系統將根據用戶眼動數據所反映出的興趣點，使用戶在感興趣點周圍的軌道路徑上移動，使用戶可以始終保持在興趣點周圍，特別適合于觀測任務[22]。

4 VR 眼動追蹤技術在VR 藝術創作中的應用

在沉浸感和交互性較強的VR 藝術創作領域，眼動追蹤技術也有著廣泛的應用空間，如在VR 影像、VR 游戲和交互設計領域的應用。

在VR 影像創作領域應用的代表性作品如《歷歷在目》（Before Your Eyes），作為一部第一人稱視角的敘事游戲，游戲作品中將眼控交互與敘事內容設計相結合，給用戶帶來了全新的情感體驗和交互體驗。該作品的獨特之處在于基于眼動追蹤技術的眨眼是切換場景和控制故事走向的方法，在眨眼交互內容的設計上也充分考慮了自然交互原則，例如取景框拍攝、信件內容顯示、場景范圍拓展等，本身與“看”和眼部動勢相關的內容有利于使觀眾產生更強的沉浸感和具身感。由于眨眼的時機由用戶自主選擇，因此不同的玩家或同一個玩家的多次游戲過程都會體驗到不盡相同的人生軌跡，通過眼控交互技術的應用實現了VR 體驗個性化。眼動追蹤技術的結合使玩家可以通過眨眼、注視等眼部行為完成主動輸入操作，控制 VR 視角，使視覺效果、沉浸感與舒適度達到最好[23]。VR 游戲《防火墻Ultra》（Firewall Ultra）利用眼動追蹤，使玩家能夠通過注視和眨眼更直觀快速地切換武器、調出抬頭顯示器（Head-up Display, HUD）等。Firepunchd Games UG 公司也在2023年推出的最新版本《觸手巧匠》（Tentacular）VR 游戲中加入了眼動交互方式，在過往的版本中，玩家需要通過觸手敲擊村民頭部來進行交互，巨大的觸手會在一定程度上分散人們的注意力，但如今只需要看著一個村民，并點擊一個按鈕來避免誤操作，選擇是否接受鎮上居民的任務就像查看“是”或“否”選項一樣簡單。最新版的《Moss: Book II》在物體選擇上結合了眼動追蹤技術，交互式對象在玩家看向它時會發出微弱的光芒，這使玩家能夠在游戲過程中快速知道哪些物體可以與之交互，系統也可以根據玩家的注視方向來判斷是否給出提示。在VR 游戲《地平線：山之呼喚》（Horizon: Call of the Mountain）中，玩家的目光被用作一種“自動瞄準”，幫助玩家在虛擬環境中獲得更高的精確度。

為盡量提高準確性并豐富交互形式，VR 眼動交互也常常會和頭顯中的陀螺儀進行配合共同確定用戶的具體頭部方向和注視位置來實現交互?！稓v歷在目》有眾多交互操作依托于“轉頭+眨眼”的動作實現，例如“翻書”“拍照”“畫畫”動作等。VR 交互作品《小矮人與小精靈》（Gnomes & Goblins）將眼動追蹤融入觀眾與場景中非玩家角色（NPC）小精靈的互動中，借助眼動追蹤和頭部定位，使小精靈始終處于觀眾的注視位置范圍內，實現更好的交流。但遺憾的是，該作品的眼動交互并未應用于所有物品和游戲環境中，場景內絕大多數內容均無法進行交互，加之旁白和引導清晰度欠缺，使用戶體驗度大幅下降。

另外，基于眼動追蹤的動態視野范圍限制也被應用到移動動作較多的游戲中，有效改善了暈動不適。眼動追蹤技術在游戲設計中的應用通過一種更加自然的方式對游戲體驗進行提升和改進。眼動追蹤技術在游戲領域的另一個應用是通過玩家間的眼神交流實現的，以此獲得更加真實的效果。如在《黑相集：之字路VR》（The Dark Pictures: Switchback VR）這款VR 游戲中，玩家在一個充滿令人毛骨悚然的僵尸房間里航行，每當玩家看向僵尸或眨眼時，僵尸就會靠近，直到它們最終包圍玩家。

在設計創作領域，眼動追蹤技術可以通過客觀真實的生理數據反映用戶的喜好與體驗感。先前有研究通過結合眼動追蹤使設計師以室內色彩因素與感性語義之間的權重關系為指導，幫助設計師更快地在VR 中設計出用戶需要的色彩[24]。當前，面對人類社會數字化轉型的新階段，無論是在虛擬空間中劃分空間、為虛擬活動張貼橫幅，還是在虛擬世界中裝飾場景，基于眼動追蹤技術的用戶研究都能為指導設計元素的選用與布置提供強有力的手段[25]。未來，更加契合現實環境的虛擬實驗空間與更綜合、更能模擬用戶體驗感受的VR 場景交互行為研究將成為藝術設計的一大研究發展方向。

5 挑戰與展望

VR 中的眼動追蹤已經顯示出巨大的潛力，可以提高VR 系統的渲染效率、改善內容呈現質量、緩解暈動、提供更為便捷的交互體驗等，進而使用戶獲得更舒適和身臨其境的VR 體驗。但眼動追蹤技術在VR 用戶體驗研究中的應用仍存在諸多挑戰。

首先，設備和技術上的客觀限制仍然是眼動追蹤技術在VR 用戶體驗應用中的最大挑戰。捕捉震顫（Nystagmus）、漂移（Drift）和微跳（Micro Saccade）等微小的眼球運動需要高精度眼動儀，而目前大多數應用于VR 環境且基于HMD 的眼動儀僅在較小的中心區域具有高準確度和高精度，在此區域之外，準確度和精密度大幅下降，這對眼控交互和實際應用中的數據評估帶來局限。同時，大多數集成在VR 頭戴式顯示器中的眼動追蹤設備存在高延遲。渲染管道中可察覺的延遲可能會對凝視渲染產生負面影響，進而導致VR 體驗中的不適并降低沉浸感。

其次，眼動儀需要校準，且校準過程的耗時和重復性可能會阻礙眼動追蹤的廣泛采用，并可能阻礙一些強實時性的應用。兒童和有注意力缺陷的用戶則更加難以完成校準程序。已有研究探索了替代眼動追蹤程序來解決校準程序中的問題，其中最常見的是使用平滑追蹤來動態校準眼動儀，而不明確要求用戶查看點目標。雖然這些方法需要較少的時間，并且可以在用戶不知曉校準過程的情況下執行，但它們通常無法保證眼動追蹤數據的質量。在校準過程后，光線、眼睛幾何形狀以及眼動追蹤相機對于用戶眼睛相對位置的變化都可能導致校準誤差。

最后，基于眼動追蹤的VR 應用需要考慮用戶隱私問題，這對用戶體驗也會產生較大影響。眼動追蹤數據包含豐富的內容，可用于推斷大量關于用戶的個人信息。VR 硬件的快速進步和眼動追蹤在HMD 集成上的日益發展導致了使用眼動追蹤數據的VR 應用程序數量激增。因此，對于研究人員和從業人員來說，開發保護用戶隱私和增強眼動追蹤數據安全性的工具和標準非常重要。

未來，在硬件設備和技術方面，仍需開發更為簡單、舒適且穩定的眼動校準程序，進一步提高VR 環境下使用眼動追蹤進行輸入的準確性和穩健性，提高眼控交互的精度；進一步優化注視點渲染和自動調節的顯示器以提高用戶舒適度，緩解疲勞和暈動等。在研究層面，可以更廣泛地研究眼球跟蹤數據每個特征的作用，通過測量每個特征的注意力權重，提取特征的注意權重，并具體檢查每個特征的重要性。此外，我們可以測量眼動數據特征的變化。選擇重要的特征在模型中使用，以減少模型訓練的時間，并獲得更快的模型結果，這在預測并改善暈動方面具有巨大潛力。在應用層面，探索借助眼動追蹤，在醫療領域獲得更高效的診斷結果與干預改善；在教育中提升知識和技能的遷移效果；在藝術創作領域對觀賞者的審美體驗作出更為準確的評估；在交互式VR 影像和VR 游戲上優化交互方式，提高用戶沉浸感。隨著越來越多的傳感器被嵌入VR 頭戴式顯示器中，傳感器融合或許將是未來研究的重要趨勢。?