基于媒體重定向的視頻通話體驗通用測試方法

楊波，劉菁，何曉嵐，秦巖

中國信息通信研究院泰爾系統實驗室 無線技術部，北京，100045

0 引言

在現有技術條件下，視頻通話是最大程度模擬人和人面對面溝通的通信應用。隨著寬帶移動網絡的普及，移動數據傳輸速率的提升、時延的降低，隨時隨地的視頻實時通話已經從2G、3G時代人們對通信應用的愿景迅速發展成為移動互聯網的主要業務之一。在非蜂窩網絡下，如衛星通信、特殊環境的點對點通信（野外作業、現場救援等）等場景中，視頻通話也是最為常見的應用?？梢哉f，視頻通話的應用體驗極大程度決定了用戶的網絡應用體驗。同時，隨著網絡技術日益復雜、優化維度不斷增加，通過傳統測試方式獲得的低維度網絡參數對網絡實際應用體驗代表性的不足逐步顯現，利用實際應用體驗開展測試驗證逐步成為網絡質量測試的主流方式之一。作為各類網絡的核心應用，視頻通話的業務質量直接影響用戶對于網絡質量的直觀感受，是針對各類移動網絡測試關注的重點。

由于網絡測試多由運營商發起，目前針對視頻通話的研究多基于VoLTE、VoNR等業務中底層交互信令和數據包的監控開展[1-2]，部分基于通用編碼壓縮算法的音視頻傳輸測試也通過類似的方式進行?；趯π帕詈蛿祿鼈鬏斍闆r的分析，能夠較為準確地得到網絡在數據傳輸層面的質量。但是一方面，這樣的方法僅能適用于交互透明、編碼和壓縮使用通用方法的音視頻交互模式，對于微信、Skype等使用私有協議的OTT通話軟件并不適用。另一方面，用戶的直接應用體驗，例如聲音質量、畫質損失、音畫同步情況等，并不能完全通過對數據包的解析獲得。實際用戶體驗與網絡數據傳輸質量間的關系受傳輸方式影響較大，需要通過額外的機器學習等手段模擬[3-4]?？傮w而言，基于信令/數據傳輸的無參考測試方式目前是音視頻通話測試的主流研究方向；基于實際音頻/圖像的全參考或半參考測試方式，盡管能夠更加直接反映用戶的體驗，但通常被認為實現困難、運算量大，難以在真實測試尤其現場測試中實現。然而，近年來，音視頻傳輸和網絡技術的進步，為視頻通話各個環節都帶來了更為靈活多變的實現方式，同時，行業定制應用的興起使得體驗優化的方向更為多元化，從數據傳輸情況以一定模型推測用戶體驗的無參考測試方式面臨挑戰。行業需要一種能夠普遍適用、能夠真實評價端側用戶視頻通話體驗的、可應用于現場測試的測試方法。

面對這個問題，本文提出了一種基于音視頻內容重定向的全參考測試方法。該方法通過對安卓系統的定制開發實現在音視頻通話中標準參考音視頻內容的傳輸和記錄，并通過對記錄視頻的全參考質量估計評估視頻通話中可被用戶直接感知的各方面體驗質量。通過對參考視頻的定制及對各類客觀指標估計算法的簡化，可將對視頻通話體驗各類參數指標進行計算的耗時壓縮到現場測試可接受的時間內。這樣的方法可以用于通過特定視頻通話方式對網絡質量的測試與評估，也可以在同等網絡質量下用于不同通話方式的質量評估和對比。

1 原理

移動互聯網中視頻通話的本質是通過網絡實時雙向傳輸主叫與被叫方的音視頻數據。以從主叫終端到被叫終端的音視頻傳輸為例：主叫終端通過攝像頭和麥克風分別捕捉主叫用戶視頻和音頻信息，通過編碼和壓縮算法將數字化的音視頻信息形成一系列IP數據包，通過移動互聯網傳輸到被叫終端。被叫終端接收到這一系列數據包，使用對應的解壓縮和解碼算法還原其包含的音視頻數據，并分別將視頻信息和音頻信息從屏幕和揚聲器/耳機播放出來。從被叫終端到主叫終端方向，同時存在相同的音視頻數據捕捉、編碼壓縮、傳輸、解壓解碼和播放過程。移動互聯網視頻通話中單向音視頻傳輸過程如圖1所示。

圖1 視頻通話業務原理示意圖

對于圖1所示的單向傳輸模型，通話中的用戶體驗主要在接收端，以音頻、視頻質量、時延及聲音與畫面的同步等指標來呈現。要實現針對通話內容體驗的公平評價，最為客觀一致的評價方式是針對視頻通話中接收端獲取的音視頻內容開展全參考質量計算。即保證測試鏈路中音視頻的輸入內容嚴格一致，在輸出端獲取并記錄實際接收到的音視頻內容，并通過對記錄得到音視頻內容的計算分析獲取用戶業務體驗相關的各項客觀指標。為了實現這樣的測試方法，需要旁路發送視頻流終端的攝像頭和麥克風，通過設備內部存儲的參考視頻文件“替代”來自攝像頭和麥克風的輸入，同時在接收端截取本應直接輸出到屏幕和耳機/揚聲器的音視頻內容，并將其記錄為本地文件。最后，通過對記錄文件和原始參考文件的對比，計算得到用戶音視頻獲取各維度上該視頻通話方式在編解碼和網絡傳輸過程中帶來的質量損失。測試過程的原理如圖2所示。

圖2 視頻通話單向業務測試模型

2 方法

2.1 測試終端定制

利用對測試終端操作系統ROM的定制，針對指定OTT應用的音視頻通話場景，在OTT應用攝像頭、麥克風時，將輸入重定向到終端本機存儲的參考媒體文件；同時，ROM將接收端輸出的音視頻流記錄到文件，以實現基于有參考的音視頻質量評估。實際實現中，在指定OTT應用開啟相關業務（如雙方建立視頻通話）后，通過ROM提供的接口啟動重定向，實現參考視頻播放和接收視頻錄制的功能。

2.2 指標設計

視頻通話中有諸多因素影響用戶的體驗和感知。在帶寬受限的情況下，對各方面指標的整體考慮和平衡是視頻通話服務各相關方關注的重點。將視頻通話的指標分為等待時間和通話質量兩個主要類別。其中，等待時間包括從主叫發起呼叫到被叫接聽的“振鈴等待時間”以及從被叫接聽操作到主被叫同時接通的“接通等待時間”；通話質量方面主要包括丟幀情況、卡頓情況、語音質量、圖像質量、音畫同步和初始端到端時延[5-7]等。設計指標中的各個維度相互獨立，代表了視頻通話不同方面的體驗。

2.3 測試方法和過程

針對視頻通話用戶體驗的測試通常在業務主要發生的移動場景開展，使用測試背包類的移動測試設備實現。測試背包中包含的測試控制器通過對背包內多部測試終端的統一操控實現實際業務流程，并在記錄接收端呈現視頻后，在測試終端中或測試背包中針對記錄的視頻計算各項關鍵指標。

2.4 參考視頻

為貼近實際通話應用場景，參考視頻中應當包含有大面積占比的全彩色影像內容，以及適用于語音質量測試的語音信號。為了真實復現實際業務實現，用于測試的參考視頻需要與測試用APP攝像頭和麥克風獲取影像和聲音的參數保持一致。

另外，移動場景中測試設備處理能力有限，難以使用VMAF等復雜算法，為了在較小算力消耗和較短時間內準時完成對記錄視頻實現前述各類音視頻指標的計算，需要在參考視頻設計中添加易于程序識別的聲音同步標記和視覺標志，以簡化對丟幀、卡頓、音畫同步等的計算過程。

3 實驗和測試結果

在實際測試中，使用該測試方法，針對國內主流視頻通話APP的通話質量開展了測試。測試采用了兩部通過定制實現底層音視頻重定向的測試終端在實際移動網絡環境下進行。

測試所用視頻通話APP對攝像頭輸入以720p分辨率、15fps的固定幀率采樣。測試中采樣的參考視頻為針對該參數組合進行適配的版本。由于通話APP中振鈴、應答和接通等事件均通過私有協議傳輸，實際測試過程中對這些事件時間點的獲取通過對安卓底層事件（振鈴）和對屏幕內容的監控分析來實現。

圖3（a）和（b）分別顯示了實際測試過程中的照片和實際獲得的錄制視頻情況?？梢钥吹?，主被叫測試終端能夠按照既定的流程成功發起和完成完整視頻通話業務。實際記錄下的視頻為接收屏幕分辨率下動態幀率的視頻文件，APP對畫面尺寸進行了一定的裁剪和適配。測試過程中，測試人員觀察到的畫面卡頓和圖像幀丟失現象，均在記錄視頻文件中被完整保存并呈現。

圖3 測試過程和記錄結果截圖

對記錄視頻的分析計算流程于Windows環境下使用C#編程實現。視頻方面，對于記錄視頻中每一個圖像幀，實際測試中通過測試視頻中預設的視頻標識獲取當前圖像幀對應幀序號以及該幀出現的時刻和長度。音頻方面，通過對音頻信號的包絡提取和短時傅里葉變換（STFT）識別音頻信號中同步標記。對于男女語音質量的估計使用了由中國信通院開發、符合ITU-T P.800的音頻評估算法“泰爾九章”。畫面質量計算方面，為降低計算量，在記錄視頻中以一秒間隔抽取圖像，與參考視頻的對應幀比對進行全參考圖像質量估計，使用的算法為MS-SSIM。在使用單線程計算的情況下，針對參數的記錄視頻，一臺普通處理器的平均處理時間約為8秒左右，能夠滿足現場實時數據計算和輸出的需求。對該計算方法的重復測試中，在能夠成功計算結果的情況下，計算時間均在10秒以下。

4 結語

綜上所述，文中提出的測試方法能夠在實際被測網絡條件下利用對媒體輸入輸出的重定向實現各類視頻通話實現手段下的通話體驗質量全參考評價。利用文中所述的參考測試視頻和計算算法，能夠在10秒以內，使用實際測試控制器完成對視頻通話語音、畫面、音畫同步、丟幀、卡頓、抖動、時延等多個用戶體驗維度的計算評估，測試結果能夠真實反映實際用戶在移動網絡中的使用體驗。

表1 測試結果報表示例

目前針對該方法的實驗顯示，在針對衛星通信、軌道交通等網絡狀況較差、網絡引入時延和丟包率較高的場景時，由于音視頻數據包丟失、錯序比較嚴重，實際記錄得到的音視頻內容可能出現較多關鍵信息丟失的情況，引起算法失效。此外，當前方法的測試結果主要由音視頻各方面的客觀指標表征，維度較高且各維度上的測試結果受網絡/APP的優化程度影響較大，不利于同等條件下用戶體驗的橫向比較。因此，對計算方法魯棒性的提升以及引入和研究視頻通話主觀評價的計算，可能是下一步的主要研究方向。