電子穩像中穩像質量評價方法研究

黃 晨，王建軍，高 昕，丁 晟

(1．北京跟蹤與通信技術研究所，北京100094;2．裝甲兵工程學院控制工程系，北京100072)

1 引言

穩像技術指隔離外界對成像系統的擾動，保證圖像信息采集、輸出的完整性、流暢性，其主要分為機械穩像、光學穩像、電子穩像。電子穩像［1］(electronic image stabilization，EIS)技術利用數字圖像處理方法確定圖像序列的偏移并進行補償。與傳統的穩像方法相比，具有高精度、小體積、易操作等優點，目前廣泛應用于機器人遙控系統、無人車輛導航系統、視頻偵察系統等。隨著電子信息技術的發展，利用電子穩像技術實現視頻圖像序列的穩定成為現代穩像技術的主要發展方向。

電子穩像系統一般包括三個主要過程，即運動估計、運動濾波和運動補償，對應的關鍵技術為全局運動估計、運動矢量濾波、運動補償校正，系統框圖如圖1所示。

圖1 電子穩像系統框圖

電子穩像算法的目的是消除視頻中圖像全局運動的隨即抖動，并同時保留攝像機的有意運動，如水平、垂直方向的掃動。對于經過電子穩像處理后輸出的穩定視頻序列的評價，即對穩像算法效果的評價是一個重要的環節，客觀統一標準的穩像質量評價將有利于穩像算法的改進，促進該項技術的發展。但是由于視頻不同的運動場景、運動方式及視頻圖像特征和其他客觀環境因素的影響，使得目前穩像圖像序列的評價無法有一個統一的標準。對現有的穩像圖像質量評價方法進行介紹與分析，對靜態背景和具有掃描運動或含有運動物體的圖像序列的場景使用不同的評價方法。電子穩像是一個視覺尋優的過程，對抖動圖像進行穩像處理，目的是為了保證視頻序列的穩定性和人眼觀察的流暢性，穩像質量的評價應考慮客觀對抖動的濾除和人眼主觀觀測的特點。所列舉的方法亦對數字圖像質量評價有所參考。

2 主觀評價方法

主觀評價是最為直接的穩像評價方法。以個人作為觀察者對某一抖動的視頻序列，對其穩像前和穩像后的效果及圖像序列品質進行評定。選取的觀察者人數越多，統計樣本越多，其統計結果就越能反映穩像效果。但此方法存在的不足在于評價過程繁瑣，耗時長，人力成本高。個體觀察者在進行評價時，由于受到周圍環境、文化背景、個體差異等影響，人眼對同一圖像序列中的不同區域有不同的興趣程度，即人眼視覺特性中的視覺注意特性，使得個體的評價往往帶有較強的主觀性。

3 保真度(Fidelity)評價方法

3．1 均方差(MSE)方法［2］

均方差(MSE)是兩幀圖像間相對應像素灰度的偏差值。它反映了圖像序列變化的快慢和變化量的大小，其定義如下:

式中，n，m分別表示參考圖像幀和當前幀的像素;I1(i，j)和I0(i，j)分別表示圖像序列補償后的當前幀和參考幀在(i，j)點處像素的灰度值。對于進行穩像后的相鄰兩幅圖像，MSE(I1，I0)值越小，說明兩幅圖像重合度越高。MSE(I1，I0)=0時，則表明兩幅圖像完全重合，但在實際應用中由于噪聲、運動估計誤差、光照變化影響等原因，MSE值為0的情況不會出現。

3．2 差分圖方法

基于均方差的原理，提出差分圖方法，指利用相鄰兩幀的灰度圖像進行差分相減，得到差分圖。對于背景靜止的抖動視頻，若相鄰幀的抖動被完全補償時，差分圖的灰度值為0。同峰值信噪比一樣，在穩像過程總存在其他影響因素，使得差分圖的灰度值不為0。穩像后的相鄰幀進行差分處理，差分圖上殘留的灰度值越小則表明穩像補償越完全，穩像效果越好?；诓罘謭D的原理，文獻［3］提出一種方法:對待處理的視頻進行穩定處理之后得到的視頻稱為回答視頻，觀察回答視頻每一幀和正解視頻中相應幀的差別，用正解幀以幀單位對回答幀進行合格與否的判定，求出矯正率，如果這一視頻的矯正率達到90%，則這一待處理視頻被此穩定算法成功的穩定。矯正率的計算方法為:

矯正率=評價的視頻序列的合格幀數/評價的視頻序列的全幀數。

合格幀(OK):在正解幀和回答幀的差分圖像中沒有出現邊緣寬度超過3像素的對象。

不合格幀(NG):有上述邊緣對象的幀。

OK數+NG數=評價的動畫的全幀數。其中，以正解幀和回答幀的同一像素位置對等的亮度和兩個色度值Y，Cb，Cr歐幾里得距離差為32以上的像素為邊緣。邊緣寬度在3像素以下為合格。該評價方法只適合于靜態背景下穩像效果評價。

3．3 峰值信噪比(PSNR)方法

峰值 信 噪 比［4］(peak signal to noise ratio，PSNR)，反映的是參考圖像和當前圖像之間的峰值信噪比，目前廣泛應用在衡量圖像質量。此方法本質上與均方差(MSE)方法相同，其定義為:

根據公式，對于灰度圖像其灰度最大值為255，幀間的PSNR值越大代表圖像的灰度差別越小，穩像的效果也越好。PSNR對于靜態背景有很好的效果評價，但對于具有掃描運動或含有運動物體的圖像序列，即使完全補償圖像的晃動量，穩像后圖像仍不能重合，因此無法采用PSNR方法進行評價。此外PSNR方法未考慮到人眼的視覺特性，因為人眼的視覺對于誤差的敏感度并不是絕對的，其感知結果會受到許多因素的影響而產生變化，如人眼對空間頻率較低的對比差異敏感度比較高，對亮度對比差異的敏感度較高等。這些人眼視覺特性使得采用PSRN的評價無法和人眼看到、感知的視覺品質完全一致，可能出現在評價時PSNR較高的穩像圖像較PSNR較低的視覺感受差。

3．4 幀間變換保真度(ITF)

幀間變換保真度(inter-frame transformation fi-delity，ITF)是基于峰值信噪比PSNR計算獲得的，其定義如下式:

文獻［5］根據ITF對穩像結構進行客觀評估，實驗結果表明適合于靜態背景下的穩像評價。

3．5 幀間變換保真度差異(DITF)

針對背景運動的情況下，考慮連續幀間變化的差異來衡量穩像的結果，基于幀間變換保真度(ITF)原理，文獻［5］提出使用幀間變換保真度差異(difference of inter-frame transformation fidelity，DITF)來對背景運動下穩像結果進行評估，其定義如下:

其中，It為參考幀;It－1，It+1分別為 It前一幀和后一幀。根據式(4)，若視頻中攝像機運動越平滑，連續的幀間變化越小，DITF值應該越小，由此考察穩像算法對攝像機運動中所含抖動量的濾除和平滑效果，但對于含有變焦、目標尺度變化的場景并不適用。

4 結構相似(SSIM)法

Wang［6］等人認為人眼視覺系統的主要功能是提取視場中的結構信息，而基于結構失真的視頻質量評價法－結構相似(SSIM)法，該方法對兩幅圖像的亮度、對比度和相似度進行比較，其公式定義為:

式中，i，j分別代表原始圖像和失真圖像;μ是圖像的均值;σ 是標準差;C1，C2，C3是常數，SSIM 使得測量結構信息的改變與感知圖像質量的變化非常接近，與主觀評價有較好的相關性。此后，很多學者對其進行不同的改進，以適應不同的領域。文獻［7］提出了基于灰度投影結構相似性(GPASSIM)的電子穩像質量評價方法。GPASSIM評價的具體計算步驟如下:

(1)將參考幀與當前幀的圖像分成不重疊的若干子塊，計算每個子塊的行、列灰度投影值，a和b分別表示參考幀和當前幀中對應的子塊。計算得到參考幀和當前幀子塊的行、列灰度投影的均值μa1，μb1，μa2，μb2和標準方差 σa1，σb1，σa2，σb2;同時計算出參考幀和當前幀子塊的灰度投影協方差σab1，σab2。

(2)根據公式(9)～式(11)，分別計算子塊內行、列兩個方向的亮度、對比度和結構的比較函數，其比較函數可表示為:亮度比較函數:

對比度比較函數:

結構比較函數:

(3)計算參考幀與當前幀的每個對應子塊的行、列結構相似度，同理可得算的到參考幀和當前幀兩幀圖像之間的行、列結構相似度。最后，參考幀與當前幀圖像的結構相似度可定義為:

實驗表明，GPASSIM評價方法較PSNR具有更好的靈敏度，有效提高了穩像視頻質量評價的主客觀性。

5 標準差方法

文獻［8］提出了利用標準差的穩像算法效果評價的方法，其原理是通過計算穩像補償后圖像場景運動的標準差，以此作為穩像精度標準，反映電子穩像算法的精確程度。

標準差在概率統計中作為統計分布程度(Statistical Dispersion)上的測量，定義為方差的算術平方根，表示反映組內個體間的離散程度。標準差越高，表示實驗數據越離散，穩像效果越不理想。反之，標準差越低，代表穩像補償越精確，穩像效果越好，其定義如下:

式(13)表示抖動差值數據的均值x，式(14)表示抖動差值數據的標準差σ。實驗結果表明該方法能夠解決了電子穩像中在某些特殊情況下(如相機掃描運動或目標含運動小物體)，利用均方差方法、峰值信噪比及差分圖法等客觀方法無法準確對穩像效果進行評價的問題。

6 基于隨機性檢驗的穩像評價方法

文獻［9］認為攝像機隨機抖動所引起的圖像全局運動屬于一種無規律的、隨機性的變化，這和連續、平滑的攝像機有意掃描運動所引起的視頻全局運動有著明顯的區別。因此，所拍攝視頻的全局運動形式體現了攝像機運動的形式和程度，即視頻全局運動的隨機程度越強，則攝像機抖動越強，視頻的穩定性越差，反之則攝像機抖動越小，視頻的穩定性越好?；诖?，提出根據穩定后視頻全局運動的隨機程度(隨機性)來評價視頻的穩定程度。由于現有的隨機性檢測對象是二進制序列，對于穩像圖像評價需要將視頻的全局運動轉化為二進制序列，并且根據評價目標選擇合適的檢測指標來衡量視頻中隨機抖動的程度。為此需進行全局運動編碼，其關鍵在于將編碼所得到的二進制序列依然能反映出全局運動變化的隨機程度。視頻相鄰圖像的全局運動向量包含三個分量:旋轉分量、水平平移分量、垂直平移分量，對全局運動向量的三個分量分別編碼。具體的編碼規則如下列所示:

(1)視頻第一幀圖像全局運動矢量的分量編碼為0;

(2)如果全局運動矢量的分量為正，則相應分量的編碼為1;

(3)如果全局運動矢量的分量為負，則相應分量的編碼為0;

(4)如果全局運動矢量的分量為0，則相應分量的編碼和前一幀圖像同一分量的編碼相同。

根據全局運動向量任一分量的符號對全局運動進行編碼，反映了視頻全局運動的隨機變化。穩像后的視頻越趨于穩定，則圖像全局運動矢量的變化應該呈現一致、連續的狀態，即全局運動中各分量的符號應該趨近一致，反之則呈現隨機變化的狀態。

7 基于人眼視覺特性的評價方法

文獻［10］認為對于不同場景不同形式的抖動視頻，其穩像后圖像的散度(divergence)和抖動(jitter)之間存在平衡。結合人眼視覺特性，根據符合人眼視覺特性的抖動截止頻率確定期望誤差值，將1 Hz作為適合于人眼的截止頻率。通過高通/低通濾波和截止頻率c，將不需要的抖動運動分解為散度和抖動。低頻部分是圖像序列i的期望誤差值，其平方代表了散度:

散度(divergence)是低頻部分的平方，其平方根表示期望的偏移量:

同樣的，高頻部分的平方表示抖動量:

偏移量e表示了在x，y軸、旋轉角、縮放上理想位置參數與實際位置參數的差別。如，式(14)和式(16)可同時用光譜能量強度(PSD)函數計算。

衰減系數J表示殘留的抖動與原始抖動的關系，提供一個更不受原有運動約束的參考值來表述穩像后視頻圖像的穩定程度。

8 分析和總結

分析了現有的穩像圖像評價方法，考慮不同場景各種方法的使用范圍:對于靜態背景的穩像圖像評價，均方差(MSE)、峰值信噪比(PSNR)、幀間變換保真度(ITF)、差分圖、灰度投影結構相似性(GPASSIM)有較好的客觀評價效果;對于具有掃描運動或含有運動物體的圖像序列，幀間變換保真度差異(DITF)、標準差方法、隨機性檢驗方法可以反映出動態場景穩像圖像的質量。進一步的提出結合人眼視覺特性，根據符合人眼視覺特性的抖動截止頻率確定期望誤差值，定義穩像前后的抖動量之比定義為抖動衰減系數來衡量穩像圖像質量。綜上所述，考慮到穩像圖像序列輸出最終經過接收者和觀察者的人眼系統，未來研究方向應進一步分析考慮人眼視覺特性，包括前庭系統機理、視覺暫留機制、人眼視覺注意機制(人眼視覺興趣)、人眼視覺采樣機制等對穩像圖像序列的影響，改善現有的評價機制，提高穩像圖像質量評價的準確性及適用性。

［1］ Du Dengchong，Jiang Xiaoyu，Yao Jun．Electronic image stabilization algorithm based on phase correlation［J］．Laser＆ Infrared，2009，39(1):64 －66．(in Chinese)杜登崇，蔣曉瑜，姚軍．基于相位相關的電子穩像算法研究［J］．激光與紅外，2009，39(1):64 －66．

［2］ Zhang Yongxiang．Study on electronic image stabilization technology for the image sequences of the ship-borne camera system based on the Gyro［D］．Beijing:Chinese Academy of Science，2005．(in Chinese)張永祥．基于陀螺儀的船載電子穩像技術研究［D］．北京:中國科學院研究生院，2005．

［3］ Meng Long．Video stabilizing for digital camera［D］．Beijing:Tsinghua University，2004．(in Chinese)孟龍．數碼相機拍攝視頻的穩定處理［D］．北京:清華大學，2004．

［4］ Morinoto C，Chellappa R．Evaluation of image stabilization algorithms［J］．IEEE，1998，0 －7803 －4428 －6/98．

［5］ Wu Si．Research on techniques for videomotion information analysis［D］．Beijing:Chinese Academy of Science，2005．(in Chinese)吳思．視頻運動信息分析技術研究［D］．北京:中國科學院研究生院，2005．

［6］ Wang Zhou，Lu Ligang，Bovik A C．Video quality assessment based on structural distortion measurement［J］．Signal Processing:Image Communication，2004，19(2):121－132．

［7］ Yang Guang，Wang Rui，Cui Yuzhu．Electronic image stabilization and video quality assessment in 2-dimension-array［J］．Infrared and Laser Engineering，2011，40(7):1365 －1369．(in Chinese)楊光，王睿，崔玉柱．二維面陣的電子穩像與評價方法［J］．紅外與激光工程，2011，40(7):1365 －1369．

［8］ Lü Gaojie，Zhang Guohua，Che Hong．A method for evaluating the accuracy of electronic image stabilization system and algorithm［J］．Electronics Optics ＆ Control，2011，18(3):77 －79．(in Chinese)呂高杰，張國華，車宏．電子穩像算法精度評價方法研究［J］．電光與控制，2011，18(3):77－79．

［9］ Zhang Yuefei．Research on digital image stabilization for in-car video camera［D］．Chengdu:University of Electronic Science and Technology of China，2011．(in Chinese)張躍飛．車載攝像機數字穩像技術研究［D］．成都:電子科技大學，2011．

［10］ Matti Niskanen，Olli Silven，Marius Tico．Video stabilization performance assessment［J］．IEEE，2006，1 － 4244 －0367－7/06．