基于可伸縮備選區域的CVBF算法

吉聰建，武迎春，王安紅，李東紅，趙賢凌

(太原科技大學電子信息工程學院，太原 030024)

隨著數字多媒體技術的不斷發展，人們對3D視頻交互性及感官體驗的需求提升到了一個全新的層次：未來3D視頻不僅應提供更強的3D沉浸感，還應提供更高的觀看自由度[1]。在此背景下，自由視點視頻應運而生，并迅速成為國內外研究機構和工業界的關注熱點。多視點視頻[2](multi-view video, MVV)是自由視點視頻的一種常用格式，為了保證觀看自由度，該視頻格式往往需要存儲十幾個甚至幾十個視點的紋理序列，存儲占用內存大且傳輸所需碼率高。多視點視頻加深度[3](multi-view video plus depth, MVD)的視頻格式克服了MVV視頻格式的不足，它可用少數幾個視點的2D紋理序列及其對應的深度序列來合成任意虛擬視點的視頻[4]，被MPEG組織列為自由視點視頻數據格式。該視頻格式在傳輸時，若使用傳統的編碼器[5]對深度序列進行壓縮編碼，高效的壓縮算法會造成深度圖的陡變邊緣出現震蕩偽影[6]。

為了消除或淡化深度圖的邊緣震蕩偽影[7]，重建真實深度信息，Shujie Liu提出基于深度圖和紋理圖邊緣信息的三邊濾波器[8]，但在濾波過程中需要同時輸入紋理序圖，復雜度較高。Oh K-J提出一種濾波過程中考慮像素出現頻率、像素之間的歐氏距離的深度邊緣重建濾波器[9]，但是濾波過程中需要調整許多參數，濾波效果不夠明顯。Xuyuan Xu等提出了一種相對復雜度低，并且可以自適應深度圖的濾波器[10]，通過自適應的塊重新定位和擴張來提高深度圖濾波的準確性，但是簡單的替代算法在深度復雜區域并不適用。Lijun Zhao提出了基于備選像素[11]的深度圖邊界濾波算法(candidate value-based boundary filtering，CVBF)，該算法引入備選像素集，選取最優備選像素來替代不可信像素，濾波過程簡單且有效。CVBF在構建備選像素集時，采用不可信像素周邊固定區域的前背景值作為備選像素，在深度信息復雜且不可信像素密集出現的情況下，固定區域的選取會造成前背景值的計算錯誤，降低CVBF的魯棒性。針對這一問題，本文提出基于可伸縮區域的備選像素提取算法，選取可信度高的區域來還原出深度圖的原始數據，進而提高合成虛擬視點視頻的PSNR(Peak Signal to Noise Ratio).

1 CVBF算法濾波原理

CVBF算法的濾波原理如圖1所示，由于量化編碼后的深度圖的失真多發生在圖像的陡變邊緣，所以在進行濾波前需檢測失真像素。該濾波過程可簡單敘述為：①檢測失真像素：采用由五個像素構成的十字型模版去遍歷每個像素，如果當前像素與十字型模版上下左右的像素之差的絕對值均小于等于1，則定義為無失真像素，否則為失真像素，標記出所有失真像素。②構建備選像素集：將失真像素所在行列中與其距離最近的四個無失真像素及失真像素周邊9×9區域的前景值和背景值作為備選像素。③不可信像素替代：備選像素集的所有元素與不可信像素做差，差值最小的用于替代不可信像素。

2 基于可伸縮區域的備選像素選取

2.1 區域選取準則

圖1在構建備選像素集時，采用不可信像素(當前點)周邊固定的9×9區域的前景值與背景值作為其中兩個備選像素。在深度信息復雜且不可信像素密集出現的情況下，不可信像素的四個臨近無失真像素值與當前點的真實值偏差較大，且固定區域的前景或背景值也與實際偏差較遠。為了提高備選像素與真實值的接近程度，提出基于可伸縮區域的備選像素計算方法，該方法基于備選區域最小化與區域可信度高的準則。

2.1.1 備選區域最小化

CVBF算法備選區域前景值與背景值計算的原則是[11]：先求出所選9×9區域像素的平均值，將該區域中像素值小于等于平均值的像素記為前景像素，記前景像素的平均值為前景值，大于均值的像素記為背景像素，背景像素的平均值為背景值。對于固定的深度序列，備選區域越大，包含的深度信息越豐富，計算出的前景值與背景值與當前點的真實值偏差越大。圖2中(a)為序列Book_Arrival視點8.

圖1 CVBF算法原理圖
Fig.1 The schematic diagram of CVBF algorithm

圖2 深度圖分布
Fig.2 The distribution of depth map

表1 深度圖的特征值
Tab.1 The eigenvalues of depth map

備選區域均值前景值背景值3×31081051085×5101781097×795701099×99158107

的第一幀深度圖，以該圖中任意一點p為中心，其周邊9×9的區域對應點的灰度值如圖2(b)所示。p點對應的灰度值為108，以該點為中心點分別計算3×3、5×5、7×7、9×9區域的前景值與背景值，計算結果如表1所示?？梢钥闯鰝溥x區域越小，計算出的背景值與中心點的灰度值越接近，滿足備選區域最小化原則。

2.1.2 備選區域可信度高

備選區域的可信度定義為區域中可信像素與不可信像素的比例。備選區域中包含不可信像素的比例較高會造成區域前背景值的計算產生錯誤。當存在不可信像素的情況下，為了提高濾波器的性能，備選區域應在面積最小化的基礎上擴張。

2.2 基于可伸縮備選區域的濾波器設計

采用由五個像素構成的十字型模版檢測失真像素，濾波仍只對深度圖的失真像素做處理。在對失真像素構建備選像素集時，以當前失真像素的上、下、左、右為搜索范圍，選出失真像素所在行列與其距離最近的四個無失真像素作為備選像素。記選取的行備選像素為Ri(i=1,2)，選取的列備選像素為Ci(i=1,2)；記R1與R2間的像素為M，記C1與C2間的像素為N，計算 M×N確定區域的前景值與背景值，記為F1、B1.如圖3所示：藍色像素為當前待濾波失真像素，黑色像素為失真像素行列對應的最近的無失真像素，前景值與背景值圖中的灰色區域計算得到。對不同的失真像素，其對應的M與N各不相同，使得計算前景值與背景值的區域大小各不相同。前景值與背景值的計算公式如下：

(1)

(2)

其中，q(x,y)為M×N區域中的每個像素，mean為區域的平均像素值，m為區域前景像素的個數，n為背景像素的個數。

備選像素集(R1,R2,C1,C2,F1,B1)用G表示，從最備選像素集內選出最優像素p′(x,y)，最優備選像素為備選像素集內與當前不可信像素p(x,y)的絕對差最小的像素。用最優像素p′(x,y)替代不可信像素p(x,y).最優備選像素定義如下：

p'(x,y)=argmin|p(x,y)-G|

(3)

圖3 確定備選值區域示意圖
Fig.3 The schematic diagram of calculating candidate region

3 實驗

為了論證本文濾波算法的有效性，采用HEVC version12.0在QP值分別為31、36、41下對Dancer序列(視點5)的前100幀進行編碼，得到經過編碼后的深度序列。使用本文提出的濾波方法對經過編碼后的深度序列進行濾波，生成新的深度序列，最后采用3D-HEVC的1D-fast模式合成虛擬視點6.實驗流程圖如圖4所示。分別計算了不同QP值之下經過壓縮編碼序列濾波后合成虛擬視點與未壓縮編碼的序列合成虛擬視點的PSNR，并在相同實驗環境下與CVBF濾波器的實驗結果進行了對比，對比結果如表2所示，可見本文所提算法可使PSNR平均提高0.08 dB.

表2 序列Dancer的PSNR
Tab.2 The PSNR of sequence Dancer

PSNRQP無濾波CVBF改進后CVBF提高3140.9042.5142.530.023638.8640.6940.780.094137.5639.2439.360.12

圖4 實驗流程圖
Fig.4 Flow chart of the experiment

所有算法均是在配置為CPU 型號為Intel(R) Core(TM) i7-670主頻為3.40 GHz、系統內存為16GB RAM的64位操作系統計算機上的MATLAB R2014b平臺中實現的。從表中可以看出隨著量化參數(Quantization parameter，QP)值的增加，也就是壓縮比越來越高，序列的PSNR逐漸減小，基于可伸縮區域的CVBF算法的對合成視點質量提高也不斷增加。使用CVBF濾波算法與改進后的算法對QP值為31的100幀圖像進行濾波，平均濾波時間分別為39.50 s與34.64 s，因為可伸縮區域的區域可變性處理像素變少，使得計算復雜度變小，所以濾波所用時間減少。計算了不同序列經過壓縮編碼序列濾波后合成虛擬視點與未壓縮編碼的序列合成虛擬視點的PSNR，并在相同實驗環境下與CVBF濾波器的實驗結果進行了對比，對比結果如表3、表5所示。

4 結論

針對CVBF算法在場景深度復雜、不可信像素密集，從固定區域計算備選像素誤差較高的情況，提出備選像素由可信度高的區域獲得的可伸縮備選區域CVBF算法，實驗結果表明該算法提高了CVBF算法的魯棒性。采用多組對比實驗對該方法的有效性進行了論證，實驗結果表明，本文所提方法可有效抑制由于深度圖編碼帶來的邊緣誤差，并且運算簡單復雜度低，Dancer序列較CVBF算法可使峰值信噪比平均提高0.08 dB.

表3 序列Newspaper的PSNR
Tab.3 The PSNR of sequence Newspaper

PSNRQP無濾波CVBF改進后CVBF提高3141.5941.8041.820.023641.3040.5040.540.044138.9239.1339.190.06

表4 序列Lovebird的PSNR
Tab.4 The PSNR of sequence Lovebird

PSNRQP無濾波CVBF改進后CVBF提高3143.6743.9844.010.033642.4042.7042.730.034141.7142.0442.100.06

表5 序列Book_Arrival的PSNR
Tab.5 The PSNR of sequence Book_Arrival