基于用戶感知的自動撥測系統

姜峰

一、背景

隨著移動互聯網時代的到來，產品質量和用戶體驗水平已成為決定市場競爭成敗的關鍵要素。數據業務及智能終端的更新換代也更加快捷，當前越來越需要收集和研究各類業務在不同網絡制式、不同終端、不同應用場景下的質量問題。目前撥測存在較多問題和不足，包括撥測終端老舊、功能機占較大比例，撥測手段落后、以人工為主、局限于性能指標，缺乏集中化、自動化的撥測管理能力等。傳統的終端適配技術一般是采用硬件解決方案，需要對手機進行拆機適配，費時費力，且通用性極低，每款終端都需要單獨適配。

本文提出了一種產品品質自動化測試能力和方法，通過自動化的方式對數據業務產品品質進行常態化測試，并嘗試使得產品品質的內涵也由產品客觀質量向用戶主觀感知體驗延伸。

提升集中化、自動化撥測能力，確保撥測工作的覆蓋面、及時性和有效性的方法，。

在完成自動化測試能力的基礎上，，在業務層面上從用戶感知體驗角度出發，對各種增值業務質量進行自動撥測、數據匯總上報，報表定制顯示等。并完成后續的測試數據提交及分析工作，為業務產品品質提升提供有力支撐。

二、解決方案

數據業務產品品質自動撥測系統采用獨立終端、軟件自動化工作的方式執行，系統架構分成三個層，數據采集層、數據處理層和應用層，具體架構如下：

1.數據采集層：負責采集終端測試結果的提取，同時保存原始數據信息。實現實時采集終端的測試結果，終端上執行的每測試項目在完成后就將測試結果上報。當后臺系統負荷過高或發生網絡故障時，終端可以將測試結果暫時保存，在系統通信恢復后，自動實現測試結果的上傳同步。

2.數據處理層：數據處理層位于數據采集層和應用功能層之間，實現采集數據處理、告警處理、數據關聯、數據合成、資源管理、數據上傳集團、接口服務等功能。

3.應用功能層：負責測試任務管理、終端管理、腳本管理、告警管理、系統管理、統計報表等功能，從數據處理層獲取匯總整合好的數據，最終通過豐富多樣的呈現方式來予以展現。

考慮到可能測試的地點是分布在不同地理位置的，需要適配不同的應用場景（商場、街道、辦公樓等）、網絡環境（2G、3G、4G、Wlan等）、不同速度（靜止、步行、車載等），系統架構上采用“中央管理節點-撥測分節點”兩級架構方式。具體運作模式如下：

1、中央管理節點向特定的撥測分節點下發測試計劃，其中測試計劃包括需要測試的業務指標要求、測試的頻次和時間要求、測試的終端要求。

2、撥測分節點根據測試計劃中的測試業務指標要求完成腳本的構建工作，其中測試腳本采用軟件方式模擬并錄制用戶真實操作各項待測指標的全部使用過程，并標注出測試關鍵點，并將其代碼化，生成測試腳本。

3、撥測分節點根據測試計劃的測試頻次和時間要求制定好測試任務調度，發布到撥測分節點撥測管理模塊。

4、撥測分節點撥測管理模塊將測試腳本發送到終端上的測試模塊，測試模塊支持將代碼化的測試腳本予以解析，并可以模擬用戶操練自動化的執行待測指標任務，并在測試關鍵點檢查腳本所攜帶的元素（例如圖片），或者從被測終端操作系統層獲取相關元素（例如網絡流量，內存占用情況），從而判斷出待測指標是否完成，并生成測試結果。

5、其中，時延和成功率的測試采用元素比對法（例如比較腳本中的圖片與測試中獲取的圖片是否一致）進行測試，資源消耗（包括CPU、內存）、電量消耗、網絡流量消耗類指標采用通過軟件方式從被測終端操作系統層獲取。

6、測試完成后，測試模塊將撥測結果實時上報到撥測分節點撥測管理模塊，并由撥測分節點實時或定時匯總到中央管理節點。

三、應用方案

1、撥測系統架構

數據產品品質自動撥測系統可完成運營商全網的自有數據產品及相關競品在現網（2G/3G/4G/WLAN）中的自動化測試過程，并對測試返回的的數據進行分析和展示。

數據產品品質自動撥測系統中，主要劃分為撥測管理中心和撥測分節點。

撥測管理中心主要承擔全網的測試任務的管控，測試數據的分析與展現等，主要功能包括：測試管理功能、測試指標管理功能、任務管理功能、報表管理功能等。

撥測分節點可以細分為撥測管理模塊和測試模塊。

撥測管理模塊主要承擔本地區內測試任務和測試腳本的管理和下發，測試數據的匯集和上報等，包含測試任務管理、測試腳本管理、測試結果上報、測試失敗數據分析。

測試模塊主要承擔測試腳本的執行，測試數據采集等功能，通過內置軟件實現對智能終端的操作控制、結果識別以及邏輯判斷，對傳統業務形態（短、彩、WAP）及目前的APP客戶端都適用，支持真實終端可使用的各類業務指標，包括通話、短彩信等基礎功能以及頁面瀏覽、即時通信、流媒體、下載、閱讀、游戲等基于應用客戶端的數據業務功能的測試。通過統一web門戶對系統的各項功能進行集中管理，包括測試終端、任務調度、結果報表及告警等進行管理。測試終端支持通過有線或無線方式接入管理平臺，包括USB、2G、3G、4G、Wifi等方式。測試終端安裝測試手機端軟件，實現任務接受、操作控制、結果識別及數據上傳等自動測試功能。

2、支持情況

（1）支持豐富的終端

該系統支持終端平臺包括Android全系列版本， IOS全系列版本，并能實現操作系統能更新測試腳本和自動分發升級、。

（2）業務支持情況

該撥測系統能夠支持對運營商各類數據產品及相關競品的性能指標進行完備的測試，測試范圍不限于包含時延，成功率，資源消耗，電量消耗以及網絡流量等。

（3）支持測試場景

該撥測系統支持全場景、全天候的終端智能撥測。

四、方案分析

1、多手段測試技術，保證測試結果準確細致

采用前后端結合的方式對網頁每個元素進行分析，可實時了解到專用設備訪問頁面過程中的各個環節，包括：元素類型、所在服務器地址、訪問時延、內容大小等。

2、遠程終端控制，部署更靈活

專用設備無需通過PC或其他設備，可通過有線、蜂窩網或者WIFI就可連接到測試平臺進行網頁訪問、網絡測試等。

3、專用設備，測試多種網絡環境

使用專用設備，可同時支持有線、GSM、GPRS、WCDMA、TD-LTE、TD-SCDMA、CDMA2000等多種網絡環境，可以在第一時間模擬用戶使用場景。

4、業務測試功能豐富

可進行撥號測試、PING測試、HTTP測試、FTP測試、流媒體測試等多種測試功能，測試過程可跟蹤、可追溯。

5、實時告警機制，保證系統正常運行

系統實時監測業務及設備運行情況，對于異常情況通過郵件、短信形式傳遞，及時發現業務故障，保證系統正常運行。

6、測試終端實時管理

基于位置的終端管理模式，可以隨時監控在線的測試設備，便于及時了解終端狀態并進行實時管理。

7、測試結果細致，報表分析能力強。

測試失敗結果會通過圖形、信息等方式保存，便于問題跟蹤及故障排查。支持以測試成功率、性能進行統計，便于業務分析。