一種基于操作軌跡模型的移動應用易用性評估方法

成靜, 朱怡安, 張濤, 楊艷麗

(1.西北工業大學 計算機學院, 陜西 西安　710072; 2.西北工業大學 軟件與微電子學院, 陜西 西安　710072)

?

一種基于操作軌跡模型的移動應用易用性評估方法

成靜1,2, 朱怡安1, 張濤2, 楊艷麗2

(1.西北工業大學 計算機學院, 陜西 西安710072; 2.西北工業大學 軟件與微電子學院, 陜西 西安710072)

摘要：由于各種移動智能設備特征各異、操作方式多樣、使用環境復雜、用戶類型眾多等諸多因素,使得移動應用的易用性評估問題非常突出。文章試圖探索基于用戶操作軌跡的移動應用易用性評估方法。該方法通過構造用戶操作軌跡狀態機模型,比較分析用戶真實操作軌跡模型與預期的標準操作軌跡模型之間區別,評估和發現可能的易用性問題。

關鍵詞：移動應用測試;易用性;狀態機模型;易用性度量

隨著移動應用市場競爭的日益激烈,對移動應用的質量要求日益苛刻和嚴格[1]。易用性是評價移動應用交互體驗的重要指標,有助于提升用戶滿意度,增加用戶黏度[2]。與傳統應用軟件相比,由于存在交互操作模式較多、使用環境復雜、受屏幕大小限制、用戶數量眾多等特點,移動應用易用性評估日趨重要和困難[3]。

當前易用性評估方法研究仍主要集中在實驗室評測[4]和現場評測方面[5]。但這兩類方法對移動應用易用性評測并不充分。首先,移動設備種類繁多,處理能力不盡相同，且屏幕尺寸、觸屏靈敏度等都會影響移動應用易用性。其次,由于移動應用使用環境復雜多樣,并且可能持續變化。最后,移動用戶類型眾多,用戶的知識背景、年齡、身體狀況等,也都可能影響移動應用易用性。受限于測試成本和時間,傳統實驗室評測和現場評測方法均難以全面、準確評估移動應用易用性。

基于操作軌跡的易用性評估方法,則通過自動收集用戶操作軌跡日志,分析識別用戶使用障礙,研究評估移動應用易用性[6]。本文在用戶操作軌跡模型基礎上,定義了一組移動應用易用性評估指標,實現了真實用戶使用場景下的大規模、自動化的移動應用易用性評估,使評估方法更為高效、客觀、準確和低成本。

1移動應用操作軌跡模型

1.1Android操作軌跡日志

在Android的用戶接口系統中,“Activity”定義了用戶交互窗口,通常附有一個視圖(“View”),通過該視圖來響應用戶操作事件消息?！癆ctivity”也可以附有對話框“Dialog”或者菜單“Menu”,以接收用戶操作事件。在Android系統中,視圖、對話框、菜單等不同窗口容器允許接收和處理不同類型的消息,如表1所示。

表1　Android事件類型表

Android移動智能設備有返回鍵、菜單鍵、Home鍵和搜索鍵等系統健,這些系統健對所有移動應用都適用。Android圖形接口系統只處理其注冊的事件消息,而忽略未注冊的事件消息。

1.2移動應用操作軌跡模型

移動應用操作軌跡模型是根據操作軌跡日志,對用戶的移動應用交互操作過程的描述。這里,移動應用操作軌跡模型定義為一個擴展狀態機O{S,E,T,I,F}。

S:操作狀態集。在移動應用中,將每個獨立用戶界面視圖定義為一個操作狀態。在Android中,“View”、“Dialog”、“Menu”均可定義為操作狀態。

E:操作事件集。在移動應用中,將用戶對移動應用的操作事件定義為其操作事件,如“點擊菜單”、“點擊按鈕”等。操作事件屬性包括:事件名稱、參數、操作對象、觸發時間等。

T:狀態轉換函數。狀態轉移函數用以描述移動應用從一個狀態(視圖),在操作事件觸發下,遷移到另一個狀態(視圖),即狀態轉換函數描述了狀態之間可能的轉換規則。

I:初始狀態。通常將移動應用啟動后的第一個狀態稱為其初始狀態。

F:一組結束狀態,表示移動應用退出或者任務完成時的狀態。

移動應用操作狀態機模型描述了移動應用所有可能的操作軌跡。為了分析移動應用易用性,針對某個任務,在期望的理想情況下的用戶操作軌跡狀態機,定義為基本操作狀態機。而根據測試用戶實際操作過程,生成的操作狀態機實例,定義為用戶操作狀態機。通過對比分析基本操作狀態機與用戶操作狀態機之間的差別,有助于評估移動應用易用性。例如,圖1描述了一個基本操作狀態機,圖2是用戶操作狀態機。二者相比較,基本操作狀態機可通過較少的狀態和操作事件完成任務,而用戶操作狀態機則增加了一個新的狀態S4和多個操作事件。

圖1　基本操作狀態機

圖2　用戶操作狀態機

2移動應用易用性評價模型

在進行易用性分析時,首先通過監聽用戶操作日志,建立用戶實際操作軌跡狀態機模型,然后對比用戶實際操作狀態機與基本操作狀態機之間的差異,分析和評價移動應用的易用性。這里,基于操作效率、正確性、可學習性、可記憶性等,定義了如下一組易用性度量指標:

1) 返回率Rb:用戶退回之前狀態的概率。返回率描述了針對某個用戶任務,當用戶操作失誤時,返回到前一狀態的頻率。即用戶返回操作數Cregressive-operation與基本操作數Cbase-operation之比。這里的返回率特指當用戶點擊“返回鍵”而觸發的用戶操作狀態回退,即

(1)

2) 偏離率Rd:用戶在任務執行的過程中,偏離預期操作序列的操作數與完成該任務的基本操作數的比率。其中偏離操作數可以由用戶操作數Cuser-operation與基本操作數Cbase-operation之差計算,即

(2)

3) 首次成功率Rf:是指用戶執行任務時,在各個狀態下,第一次操作成功的個數與基本操作數的比率,它可反映用戶是否能夠快速掌握移動應用的操作模式。

(3)

4) 學習次數Co:是指用戶從第一次執行任務開始,平均執行多少次任務后,能夠達到穩定操作狀態,即用戶操作狀態機接近或者與基本操作狀態機一致。

5) 熟練度Rp:在用戶穩定操作狀態情況下,其任務平均完成時間Tuser與基本操作模型的任務預期完成時間Tbase之比,即

(4)

6) 記憶度Rr:是指用戶在長時間不用的情況下,當再次操作時平均完成時間Tuser-re與基本操作模型的任務預期完成時間Tbase之比,即

(5)

3實例研究

為了驗證本文所提出方法的有效性,選擇開源的移動應用杏林書童作為實例研究對象。招募了20名本科生和研究生作為實驗人員,其中10人來自計算機相關專業,10人來自非計算機專業,有10名男性,10名女性,年齡分布在19到27歲之間。所有測試人員均使用自己的Android智能手機,安裝具有操作軌跡日志監聽功能的杏林書童移動應用。

杏林書童是一款中醫方濟速查移動應用,我們設計了一個用戶操作任務。該任務在杏林書童的首頁,選擇辯證類別“氣血雙補”,并在氣血雙補類別中選擇方劑“八珍湯”,然后修改“八珍湯”中人參的藥量為11克。該任務的具體操作步驟如表2所示,其對應的基本操作狀態機如圖3所示。然后分別請20名學生獨立完成該操作任務,生成每個用戶的操作狀態機,圖4是其中某一個用戶的操作狀態機模型。對比分析發現,該用戶在狀態S4時,存在操作遲疑、誤操作多等易用性問題。

表2　杏林書童任務操作描述表

圖3　杏林書童基本操作狀態機

圖4　杏林書童用戶操作狀態機

通過分析20名學生的操作軌跡模型與基本操作軌跡模型之間的差異,應用所提出的評價模型,評估結果如表3所示。根據表3,用戶操作返回率和偏離率較高,首次成功率較低,平均需要3.45次才能熟練操作。熟練操作后平均用戶操作時間接近標準操作時間,并且用戶記憶度較好。

表3　杏林書童易用性評價結果

4結論

本文提出的基于軌跡的移動應用易用性評測方法,能夠支持大規模、遠程、低成本的易用性分析和評估,幫助發現移動應用易用性存在的缺陷和問題。下一步,將基于本文的模型與算法,研究和開發相關的工具軟件,開展大規模實驗,進一步驗證所提出方法的有效性。

參考文獻：

[1]Jerry Gao, Bai X, Tsai W T, et al. Mobile Application Testing: A Tutorial[J]. IEEE Trans on Computer, 2014, 47(2): 26-35

[2]Ahmed Seffah,Mohammad Donyaee, Rex B, et al. Usability Measurement and Metrics: A Consolidated Mode[J]. Software Quality Journal, 2006, 14: 159-178

[3]Gafni R. Usability Issues in Mobile-Wireless Information Systems[J]. Issues in Informing Science and Information Technology, 2009, 6: 755-769

[4]Hussain A, Kutar M. Usability Metric Framework for Mobile Phone Application[C]∥The 10th Annual Post Graduate Symposium on The Convergence of Telecommunications, Networking and Broadcasting, 2009: 456-462

[5]Coursaris C K, Kim D J. A Meta-Analytical Review of Empirical Mobile Usability Studies[J]. Journal of Usability Studies, 2011, 6(3): 117-171

[6]Ma Xiaoxiao, Yan Bo, Chen Guanling, et al. Design and Implementation of a Toolkit for Usability Testing of Mobile Apps[J]. Mobile Networks and Applications, 2013, 18: 81-97

Evaluating Usability of Mobile Applications Based on User Operation Track Model

Cheng Jing1,2, Zhu Yian1, Zhang Tao2, Yang Yanli2

1.School of Computer Science, Northwestern Polytechnical University, Xi′an 710072, China 2.School of Software and Microelectronics, Northwestern Polytechnical University, Xi′an 710072, China

Abstract:With the fast evolution in the development of applications for mobile smart devices, the study and adequacy of usability evaluation methodologies in this context is becoming an increasingly demand. Traditional laboratory based usability testing is often tedious, expensive, and does not reflect real use cases. In this paper, a novel remote usability evaluation approach has been proposed for mobile applications. This approach automatically collects user interface events as the user interacts with the applications, and then models user operation tracks using state machine. By analyzing and comparing real user operation state machines with expert operation state machine, we evaluate mobile applications with some proposed usability metrics, and find usability faults.

Keywords:mobile testing; mobile usability; usability testing; usability evaluation

收稿日期：2016-03-20

基金項目：陜西省工業科技攻關項目(2016GY-100)資助

作者簡介：成靜(1982—)，女，西北工業大學博士研究生，主要從事軟件測試、軟件安全性研究。

中圖分類號：TP311.5

文獻標志碼：A

文章編號:1000-2758(2016)04-0720-04