基于眼動追蹤技術的數字界面人機交互效能評價研究綜述

田晨智, 宋 敏, 王 崴, 田繼偉, 郭代言

(空軍工程大學,a.空管領航學院; b.防空反導學院,西安 710000)

0 引言

人機交互(Human-Computer Interaction,HCI)是20世紀80年代由美國計算機學會人機交互專業組織提出的概念,指人與計算機之間的信息交換過程[1-3]。數字界面作為人機交互的載體與媒介經歷了從批處理界面、命令行界面再到圖形用戶界面的演變[4-5],良好的界面設計能夠促進用戶的工作效率并產生和諧的人機交互體驗。因此,為確保數字界面的設計質量,需要對其人機交互效能進行充分評價。合理評價人機界面交互效能是界面設計的前提和基礎,目前常用的主要評價方法可分為主觀評價法、客觀評價法及綜合評價法[6]。其中:主觀評價法包括AHP,Delphi和問卷調查等[7-9];客觀評價法包括生理測量法、任務績效法和仿真評價法等[10-12];綜合評價法包括多屬性決策、多目標決策和多元統計法等[13-15]。各種方法均有其優勢及適用范圍。

國內研究方面,周蕾等[16]建立了界面美度意向評價指標體系,并將每一指標進行量化計算,最后運用灰色關聯分析對界面美度進行評價;金濤等[17]利用粗糙集灰色分析建立復雜界面可用性評估模型,將復雜界面拆分成多個子界面進行評價,并通過腦電實驗驗證該評價方法的有效性;田晨智等[18]利用眼動追蹤技術,使用瞳孔直徑、眼跳次數和注視點數量等眼動指標構建了指揮控制系統人機交互效能評估模型。國外研究方面,LI等[19]從飛行員態勢感知角度出發,對不同顯示方式的加壓系統人機界面進行了評估;CHEN等[20]從降低心理負荷的角度出發,綜合考慮主觀評分、性能指標、眼動指標三部分建立評估指標體系,將熵權法與變異系數法相結合計算指標權重,運用模糊綜合評價對核電站用戶界面進行評價;GAO等[21]構建了人機交互可用性評估軟件,不僅能夠對人機交互效能進行打分,而且具有數據顯示處理、結果可視化以及試驗回顧等功能?？傮w而言,國內在界面設計評估領域的研究起步較晚,國外對該領域研究更加深入,值得學習借鑒。

眼動追蹤技術屬于生理測量法,是一種較為精準的評價手段,通過測量被試的眼動數據,能夠有效評價數字界面的人機交互效能。本文首先對眼動追蹤技術在數字界面人機交互中的評價機理進行深入分析,然后對當前研究現狀進行了歸納梳理,最后指出算法優化、模型計算、多元融合和無感交互是眼動追蹤技術在數字界面人機交互效能評價中的未來發展趨勢。

1 眼動追蹤技術在數字界面人機交互中的評價機理

如表1所示,衡量數字界面人機交互效能的影響因素及評估指標可根據用戶進行信息感知、獲取、理解以及操作輸入互動等一系列任務流程來確定,并可以從用戶操作效能、數字界面顯示和人機交互模式3方面對其進行劃分。傳統的人機界面交互效能評估方法通常包括測量被試的任務完成時間、對被試進行問卷調查、專家依據個人經驗進行評分等,然而上述方法都無法客觀、準確地反映被試的認知思維過程,故其評估結果誤差較大。

表1 數字界面人機交互影響因素及評估指標

眼睛是信息交互的主要渠道,人的眼球運動能夠充分反映其思想情緒和行為意圖,對眼球運動進行跟蹤能夠推測其認知活動[22]。眼動測量的方法歷史悠久,早在古希臘時期,科學家們就開始對眼動進行研究,現代意義的眼動追蹤始于20世紀30年代[23-24],并被廣泛應用于人機交互、電子商務和醫療保障等領域[25-27]。近年來,隨著人工智能、人機融合等新興技術的發展,眼動追蹤技術成為研究的熱點。在數字界面人機交互研究領域,眼動追蹤技術能夠采集人在界面操作過程中的眼球運動數據,通過對各項眼動指標的分析,可以判斷操作人員的注意力資源分配、認知負荷、搜索效率和思維邏輯規律,以及數字界面設計的復雜性、吸引性、引導性和交互的高效性等特點,從而對數字界面的人機交互效能進行全面、客觀的評價,為后續的優化設計指明方向。

1.1 眼動評價機理

使用眼動追蹤技術測量用戶在人機交互中的眼球運動軌跡、注視時間、注視點數量及坐標位置等指標能夠從多維度對其進行精準評估[28]。用戶在人機交互過程中,需要經歷觀察、思考、決策、操作等階段,研究人員能夠根據其眼球運動軌跡分析用戶的注意力分配策略[29],根據注視時間和注視點數量判斷用戶的信息感知、獲取以及理解的效率[30],根據瞳孔直徑、眨眼次數及眼跳頻率測算用戶的認知負荷[31-32],并綜合以上指標評估人機界面設計的合理性。此外,還能夠對照用戶的鼠標點擊時刻和頻率對其操作輸入互動效能進行評估。

具體而言,通過檢測用戶在數字界面中的注視點能夠確定其關注的方向和區域,根據其興趣區的具體位置及呈現內容可以進一步識別該用戶的行為意圖[33];通過監控眼球跳動的頻率可以推斷用戶的疲勞程度和輕松、焦慮等情緒狀態,從而預測用戶對界面進行控制的效能[18];通過記錄用戶在數字界面中的注視點數量和注視時間,對比其使用鼠標的點擊位置及操作時刻,能夠分析出用戶的信息感知、獲取及理解等一系列認知活動的效率[34]。如圖1所示,用戶在與數字界面進行交互的過程中,眼睛、手指、鼠標鍵盤和數字界面四者間構成了人機交互的閉環。其中,眼睛作為用戶的輸出傳感器,能夠反映其邏輯思維活動,利用眼動追蹤技術可以測算用戶承受的認知負荷,推測其行為意圖,判斷其操作效能,并對數字界面設計的優劣進行準確評估。

圖1 人機交互閉環

1.2 眼動指標選取

如圖2所示,眼動指標按其特點可劃分為可視化指標、注視類指標、眼跳類指標、眨眼類指標、掃描路徑類指標和瞳孔類指標6種類型。除本文分類方法外,閆國利等[35]按照時間維度和空間維度對眼動指標進行了分類;POOLE等[36]將眼動指標劃分為基本指標和衍生指標2種類型,并將基本指標細化為注視、眼跳、眨眼和瞳孔直徑等指標,將衍生指標細化為掃描路徑、凝視等指標。本文對眼動指標的劃分參考了文獻[37]中提出的分類方法。

圖2 主要眼動指標類型

如表2所示,在數字界面人機交互效能的評價中,可視化指標能夠表示被試的注意力分配及思維邏輯規律,其中,注視點熱區顏色越深代表該區域的關注度越高;注視點軌跡排列越清晰代表被試的思維邏輯性越強[29]。注視類指標能夠表示數字界面的吸引性和復雜性,其中,首次注視時間和累計注視時間越長、注視點數量越多代表數字界面越復雜或越具有吸引性[30]。眼跳和掃描類指標能夠表示被試的搜索效率,其中,眼跳次數越多、掃描路徑長度和掃描路徑時間越長,代表被試的搜索效率越低[37-38]。眨眼和瞳孔類指標能夠表示被試的認知負荷,其中,被試的眨眼率越高、眨眼時間越短、瞳孔直徑越大代表被試的人機交互認知負荷越大[31-32]。每種類型的眼動指標具有不同的意義,研究人員在選取指標時應充分考慮數字界面人機交互的性質與特點,綜合分析各種因素帶來的影響,從多維度選取各類眼動指標,建立合適的評價指標體系。

1.3 眼動數據測算

如圖3所示,眼動數據的測算方法可分為傳統眼動數據測算方法和當代眼動數據測算方法兩大類。早期眼動追蹤技術主要采取較為原始的測算方法,這些方法所測得的眼動數據不夠準確,且實施流程復雜,經常容易出現較大誤差,故已被淘汰。隨著計算機的出現,硬件設施獲得極大改善,眼動追蹤技術迎來蓬勃發展,各種新的測量方法相繼誕生,測量精度及可操作性等都得到極大的提升[39-41]。經過長時間的實踐檢驗和技術的不斷革新發展,考慮高精度、易操作等優勢,現階段主要依托電流記錄、電磁感應、視頻采集、紅外線反射等技術對眼動數據進行測算[42-45]。

圖3 眼動追蹤技術類別

本文對常用的8種眼動數據測算方法進行了梳理,對其基本原理及優缺點進行了簡要介紹,如表3所示。經過對比不難發現,傳統的眼動追蹤技術大多采用簡單易行的方法,但是普遍精度低、誤差大,當代眼動追蹤技術準確性高、操作性強,但是測量設備價格貴、成本高。因此,研究人員在進行數字界面人機交互眼動追蹤實驗時應綜合考慮各種方法的利弊,根據實際情況及預期效果選取最合適的眼動數據測算方法。

表3 眼動數據測算方法對比

2 眼動追蹤技術在數字界面人機交互效能評價中的研究現狀

影響數字界面人機交互效能的因素非常廣泛,包括界面顯示、交互模式、設備布局和操作環境等[47-50],使用眼動追蹤技術主要從界面顯示的角度對人機界面交互效能進行評價,界面顯示可以劃分為布局顯示、格式顯示、元素和編碼顯示以及基本控制,通過對操作人員的眼動指標進行分析能夠發現當前界面顯示中存在的問題。目前,眼動追蹤技術主要從定性分析、定量計算、綜合評估3方面對數字界面人機交互效能進行評價。下面從上述3方面出發,結合近年來的最新研究進展,對其研究現狀進行詳細述評。

2.1 定性分析

在科研工作中,研究人員通常采取定性分析的方法對相關問題進行研究,該方法具有簡單直觀、高效便捷等優點,但是測試精度較低、準確性較差。在數字界面人機交互效能評價中,基于眼動追蹤技術,根據眼動指標相關規律能夠直接對其交互效能進行定性分析。在軍事航空領域,眼動追蹤技術已廣泛應用于新式戰機人機界面的設計與評估。如F-35戰機將眼動技術融合于飛行員頭盔顯示器,使其能夠通過視線對戰機進行控制[51];陳曉皎等[29]基于注視點數量、瞳孔直徑等眼動指標建立了面向數字界面的質量評估模型,并以F-18戰斗機顯控界面為例進行驗證;楊坤等[52]選取注視軌跡長度、平均注視時間、瞳孔直徑和反應時間這4項指標研究了飛機平視顯示器中字符顏色對平視顯示器與下視顯示器間相容性的影響;孫宇航[53]通過對比飛行員在模擬飛行任務中對艙內儀表和外部景象的平均注視時間和瞳孔直徑等指標,對其注意力分配策略以及艙內儀表設計進行了評價;WANG等[54]使用眼動追蹤技術評估飛機客艙人機界面的可用性,并建立了靜態眼動測試數據模型;ZHANG等[55]在飛行模擬器中借助眼動儀評估了界面顯示布局及色彩編碼對用戶信息識別的影響;美國海軍采用眼動儀記錄分析操作人員完成作戰任務時的視線焦點,對“宙斯盾”系統人機界面進行優化。以上研究表明,使用眼動追蹤技術進行定性分析能夠有效評價人機界面的交互效能,但是當評價體系涉及眼動指標較多時,可能會出現指標間此消彼長、相互矛盾的情況,此時若不能對指標權重進行清晰判斷,則無法得出準確結論。

2.2 定量計算

當面對較為復雜的問題時,僅憑借定性分析無法對其進行有效解決,此時,需要建立相應的數學模型,結合各類算法,通過定量計算的方式加以處理。該方法具有結果準確、可信度高等優點,但是計算步驟相對復雜,要求研究人員有一定的數學基礎作為支撐。張寶等[56]采用優序法對視覺感知元素進行賦權,并根據人眼視錐感知細胞的分布特性,構建了數字界面視覺感知強度劃分模型;肖旭等[57]使用元分析和綜合績效評價法對數字界面上的多維視覺編碼進行歸一化處理,結合G1法確定權重,并運用模糊加權平均算子,建立了界面多維視覺編碼評價模型;胡文婷等[58]采用模糊聚類法計算用戶對界面的關注度,并根據注意力分配策略來預測用戶在界面中的興趣區;王淼等[59]選擇注視時間、注視點數量、瞳孔直徑等作為評價指標,結合熵權法對其進行賦權,并對各方案進行優異度排序,從而選擇最優的控艙界面;ZHANG等[60]為了探討移動學習平臺對用戶學習效率的影響,使用眼動追蹤技術,計算用戶的凝視熵、注視次數比例和每個興趣區中的注視持續時間,得出了垂直布局面板設計比水平布局面板設計更有效的結論;YAN等[61]記錄了被試的眨眼率、注視率和掃視率等眼動指標,使用人工神經網絡模型,預測了操作人員在船用發動機數字界面完成任務時的心理負荷。根據上述文獻不難發現,基于眼動追蹤技術能夠獲得豐富的眼動數據,在此基礎上使用數學模型,建立評價指標體系能夠很好地對數字界面人機交互效能進行深入分析,不僅易于解決此類復雜問題,還可以得到更加精準的評價結果。

2.3 綜合評估

眼動追蹤技術作為常用的生理測量手段之一,具有測試簡單、數據豐富等優點[62-64],但也存在著易受干擾、米達斯接觸等問題[65-66],因此將其應用于數字界面人機交互效能的評價具有一定的局限性,此時需要結合其他多種手段進行綜合評估。王崴等[67]基于腦電和眼動信號對人機交互意圖進行識別;楊星燦等[68]基于眼動、肌電等數據建立了核電廠主控界面人機交互效能評價模型;江明尹等[69]利用眼動、脈搏、呼吸頻率等多種生理指標對放療軟件操作界面進行可用性評價;CHENG等[70]提出了一種結合用戶眼動和腦電數據來驅動交互式遺傳算法,并自動優化界面設計方案的新方法;CHEN等[20]將任務績效測試、NASA-TLX問卷調查、眼動生理測量3種方法相結合對核電站用戶界面設計的心理負荷進行了評估;ZHOU等[71]通過分析任務完成時間、瞳孔直徑和腦電波幅度變化等數據,研究了界面元素設計對老年人任務績效的影響。明顯地,相較于使用單一的眼動追蹤技術,通過多種測試手段從不同維度對數字界面的人機交互效能進行評價,雖然實驗設置、操作步驟相對復雜,但是能夠有效彌補各種方法的固有缺陷,達到優勢互補、科學準確的效果。

3 眼動追蹤技術在數字界面人機交互效能評價中的發展趨勢

隨著人工智能的快速演進,數字界面從單一的按鍵開關式人機交互媒介轉化為多通道融合虛擬仿真、媒體交互技術的人機溝通平臺,數字界面人機交互與其他學科的交叉融合愈加緊密,對于其交互效能的評估方式也日趨多樣[72-74]。其中,生理測量法是一種通過測量人體生理指標的變化來反映認知功能改變的方法,具體包括眼動、腦電、心電、肌電、血壓、呼吸等測量方式[75-77]。近年來,眼動追蹤技術不斷發展優化,其在數字界面人機交互效能評價中的應用也越來越廣泛,隨著研究的不斷深入,該技術在人機界面效能評價領域呈現出算法優化、模型計算、多元融合和無感交互等發展趨勢。下面結合眼動追蹤技術的最新研究進展,對其在界面設計評估中的發展應用進行深入剖析。

3.1 算法優化

目前,眼動追蹤技術還不夠成熟,存在著諸多短板局限[78-80],眼動數據測算方式的不同,導致誤差精度相差較大。以軟件為基礎的眼動追蹤技術能夠賦予用戶充分的自由度,但測試精度明顯不足;以硬件為基礎的眼動追蹤技術測試精度較高,但使用不便,對用戶的操作造成了不小的干擾。同時,眼球運動時的抖動、眨眼等行為易造成數據采集的中斷,致使眼動數據丟失。特別地,在復雜空中作戰環境下,如將眼動追蹤技術應用于航空裝備時,此類問題尤為明顯?；谏鲜鼍窒?使用眼動追蹤技術對數字界面人機交互效能進行評價往往會出現測算數據不準確、評價結果誤差大等一系列問題。

未來,眼動追蹤技術將持續優化[81-83]。首先,解決測試精度與自由度相互矛盾的問題,使得用戶能夠在自然狀態下完成數字界面人機交互任務的同時提高測試精度,為其順利開展人機界面眼動評估實驗奠定基礎;其次,對眼動數據的采集算法進行全面優化升級,確保能夠精準測量各項眼動指標,避免出現“錯漏丟”等現象,并盡可能克服各種極端外部環境對眼動分析帶來的不良影響;最后,拓展眼動追蹤技術的應用范圍,例如添加用戶情感分析、交互意圖識別、注視點預測等功能,進一步加強在飛機座艙儀表布局優化、飛行員頭盔瞄準顯示系統設計、特種車輛裝備駕駛界面交互效能評估等領域中的運用。

3.2 模型計算

現階段,對眼動追蹤技術的研究主要停留在定性分析的層面上,定量計算也僅是借助其他現有數學模型建立指標體系,總體而言,利用該技術測量出的眼動指標缺乏數學公式的表達,致使無法清晰地表征出眼動數據與其他事物數量之間的聯系。由于這一限制,使得眼動追蹤技術只能解決人機界面交互效能評價中的表層問題,對于內部機制的解釋則無從下手。國內外一些學者正在進行眼動指標數學模型計算方面的研究。薛耀鋒等[84]結合注視時間、注視點數量、瞳孔直徑等眼動指標,構建了在線學習認知負荷量化模型;RIGAS等[85]將眼球動態掃視特征納入了眼動驅動生物識別模型。但這些數學公式及模型由于使用限制較多、測試樣本不足,并沒有得到業內的廣泛認可。目前,在航空裝備的設計研發中,眼動追蹤主要用于反映用戶的注意力分配策略及邏輯思維過程,從而定性分析裝備性能的優劣,由于這種評估方式誤差較大,往往被當作輔助測量手段,極大降低了使用效率。因此,為了能夠更加精準地對數字界面的人機交互效能進行評價,眼動追蹤技術亟需建立其特有的數學模型及公式,使其可以直接對研究對象進行計算,通過數學公式的推理變換得出相應的評估結果,最大限度地避免定性分析帶來的誤差。

3.3 多元融合

由于研究人員無法在短時間內克服眼動追蹤技術的種種缺陷,因此通過融合其他技術來改進自身性能成為新的發展方向。眼動追蹤與MEMS技術的融合,使得眼動追蹤設備小型化、便攜化,為眼動實驗的開展帶來極大的便利[86]。當處于昏暗、低能見度等復雜環境時,通過激光、音頻等多模態數據融合能夠有效提升眼動追蹤的精度,避免了外部環境因素對實驗設置的影響[87]。將神經網絡模型應用于眼動追蹤技術,使其無需添加任何外部附件就能在手機、平板電腦等移動設備上順暢運行,大大提高了測試效率[88]。盡管視覺是人的主要感知通道,但忽視其他通道的影響,單獨對其進行研究顯然難以得出準確的評估結果,例如飛行員在駕駛戰機作戰時必須綜合多通道信息才能精準判斷當前戰場態勢[89]。因此,在眼動追蹤的基礎上,通過測量用戶的腦電、肌電等多種生理指標,綜合評價數字界面的人機交互效能,對于提升評估的準確率大有裨益[90]。通過多種技術手段相互融合,能夠有效增強眼動追蹤技術的精度、自由度及準確率,解決了該技術在人機界面交互實驗中面臨的一系列問題,是當前快速提升眼動追蹤技術自身效能的主要方法。

3.4 無感交互

當今主流的眼動追蹤設備包括Eyelink、Tobii、iView系列[91-93]等,各種設備的追蹤原理、使用方式以及數據處理算法都不盡相同,按其測量方式可分為頭戴式和遙測式兩種類型[94-95]。頭戴式眼動追蹤設備最大的缺點在于會影響被試的交互體驗,進而可能限制其在數字界面人機交互眼動實驗中的操作效能,而遙測式眼動追蹤設備對被試的頭部移動范圍和速度均存在一定的要求,否則將無法準確測量眼動數據。上述問題都會對用戶與數字界面的人機交互產生不良影響,致使相關實驗難以取得預期效果。因此,無感交互將成為眼動追蹤技術未來的主要應用與發展趨勢。無感交互指用戶能夠在最自然、舒適的狀態下進行交互,并以此達到最佳的交互體驗[96-97]。飛行員頭盔瞄準顯示系統不僅要求眼動追蹤能夠精準定位、捕捉目標,同時還要避免對飛行員的信息感知及作戰決策等認知活動造成影響,這就需要眼動追蹤必須達到無感交互的標準。當研究人員使用眼動追蹤技術評估數字界面人機效能時,無感交互就是讓用戶在不受該技術影響的狀態下順暢地進行人機交互,從而反映出最真實的交互狀態,以達到對其進行精準評價的目的。

4 結論

本文從眼動追蹤技術在數字界面人機交互中的評價機理出發,根據眼動指標的含義、規律以及眼動測量方法的類型和原理,對于眼動指標的選取和眼動數據的測算進行了詳細介紹,并從定性分析、定量計算和綜合評估3方面對該技術在人機界面交互效能評價領域中的研究現狀進行了述評。最后根據當前眼動追蹤技術存在的種種問題,推測了其在該領域中的未來發展趨勢。

日常生活中,約80%的外部信息通過視覺獲取[22,98],眼睛作為人類與外界進行溝通的媒介發揮著至關重要的作用。利用眼動追蹤技術監測用戶與數字界面交互時的眼球運動狀態,可以準確分析用戶的注意力分配、心理負荷及行為意圖,從而全面評價數字界面的設計布局、功能設置及交互方式的合理性。雖然該技術仍存在算法精度不足、數據處理復雜等缺點,但其能夠直觀表示用戶認知思維過程的獨特優勢,使其成為人機界面交互效能評價中不可或缺的重要方法。此外,眼動技術還廣泛應用于飛行員戰場態勢感知、航空裝備眼控交互等方面,甚至更多的研究人員已不滿足于僅僅將其作為一種評估手段,而是致力于將其作為一種新興交互方式融于飛行座艙智能化人機交互系統的研發中[89,99]?？傮w而言,眼動追蹤技術的發展日新月異,相應的軟硬件設備也在不斷更新完善,其技術上的短板缺陷一定會被彌補優化,未來該技術將擁有更為廣闊的應用空間和發展前景,同時必將憑借其優異特性在人因工程、航空工業和界面設計等領域發揮出更大的作用。