基于梯度域引導濾波的視差精煉迭代算法

朱程濤，李 鏘

(天津大學微電子學院，天津 300072)

立體視覺是從兩個或多個視點觀察同一景物，以獲取在不同視角下的感知圖像，通過三角測量原理計算圖像像素點間的視差來獲取景物的三維信息[1].現階段，該技術已廣泛應用于眾多領域，如立體顯示、場景重建[2]、行人檢測等.立體視覺技術主要涉及到攝像機標定、圖像矯正、立體匹配、三維重建等步驟，其中立體匹配是最重要也是最困難的步驟，其主要目的是通過相應的算法獲取參考圖像與目標圖像之間對應匹配點間的關系，生成相應的視差圖，視差圖中每一個像素點的灰度值代表了該點與對應匹配點間的坐標差信息.

現階段常用的立體匹配算法通常建立在Sharstein等[1]提出的理論框架基礎之上，立體匹配的步驟主要分為：①初始匹配代價的計算；②匹配代價的聚合；③視差的計算；④視差精煉.

在初始匹配代價的計算階段，常用的有 AD、GRAD[3]、Census變換[4]等匹配代價.匹配代價的聚合階段是眾多立體匹配算法改進的重點之一，主要有基于窗口的算法[5-8]以及基于圖像濾波的算法[9-11].

傳統的立體匹配算法大多針對于初始匹配代價計算以及匹配代價聚合階段進行改進，Ma等[12]指出視差精煉算法的性能直接影響著立體匹配的精度.傳統的視差精煉方法主要是采用簡單的鄰近視差填充的方法[1]，此類方法一般能消除較多的誤匹配點的視差值，因此使用得較多，但視差精煉的精度有限.Rhemann等[13]提出了基于權重中值濾波的方法大大地提升了視差精煉的精度，其主要是根據圖像濾波算法對待精煉的視差圖進行加權濾波，以達到精煉誤匹配點視差的目的.

基于權重中值濾波的視差精煉方法中使用的濾波算法性能直接影響到視差精煉的精度，因此采用濾波性能優良的算法用以改進視差精煉的精度顯得尤為重要.Ma等[12]采用引導濾波算法[14]提升了視差精煉的精度.引導濾波算法是圖像濾波領域內常用的濾波算法.然而，引導濾波算法本身存在一定局限性，尤其在圖像邊緣處存在一定的濾波缺陷.而一些針對引導濾波的改進算法被不斷提出，具有代表性的有 Li等[15]提出的權重引導濾波算法 WGIF，以及Kou等[16]梯度域引導濾波算法 GDGIF.其中，GDGIF算法取得的濾波性能優于GIF、WGIF等具有代表性的濾波算法[16].

本文將 GDGIF與權重中值濾波相結合，運用于立體匹配的視差精煉階段.對得到的精煉視差圖進行迭代精煉，根據迭代前后的差異信息對視差做進一步的優化，以獲得更高精度的精煉效果.

1 傳統的視差精煉算法

在傳統立體匹配中，分別以左、右圖為參考圖像，經過立體匹配算法得到左圖初始視差圖、右圖初始視差圖后，需要采用左右一致性檢測(LRC)[1]剔除視差圖中的誤匹配點

滿足式(1)的點為好點；不滿足此條件的點為誤匹配點，應予以剔除.視差精煉算法是針對誤匹配點進行有效視差填充從而得到匹配精度更高的視差圖.

傳統的視差精煉方法[1]通常采用簡單填充的方式，即用離誤匹配點最近的好點對誤匹配點pocc進行填充，填充后的視差值為，其計算式為

上述方法可以在一定程度上提高匹配的精度，但提升的精度有限.一種較為有效的改進方式是對得到的進行權重中值濾波，即為誤匹配點鄰近的好點賦予不同的權重，并與中值濾波相結合得到較為合理的精煉結果[12].

式中：pξ代表以p為中心，矩形窗口ωr(p)(半徑為r)內的任意像素點；d代表視差搜索集合內的任意視差值；dmin、dmax分別代表最小、最大視差值；w(p,pξ)代表p、pξ兩點之間的權重；fmed代表中值濾波操作.

2 本文算法

為了獲得高精度的視差精煉效果，本文將梯度域引導濾波與中值濾波算法相結合，對立體匹配算法得到的視差圖進行迭代精煉.

2.1 權重中值濾波的改進

梯度域引導濾波GDGIF算法具有良好的保邊緣特性[16].在 GDGIF中，濾波輸出Q與輸入引導圖像I在限定的窗口內滿足一定的線性關系，即為

式中：(i,j)代表以(x,y)為中心點像素、窗口 ωr(x,y)內的任意像素點；aGD(x,y)、bGD(x,y)為濾波參數.

為求得最佳濾波參數(x,y)和(x,y)，Kou等[16]構建了一個能量方程 E(aGD(x,y),bGD(x,y))，使其達到最小化時即可求得濾波參數.

式中：P代表待濾波的圖像；γ(x,y)的定義與引導圖像結構有關；ε(x,y)是為了避免aGD(x,y)變化過大而設置的正則化參數，ε(x,y)值越大濾波強度越大，反之越小.

Kou等[16]同時指出由于GIF中ε(x,v)采用固定值，使得 GIF濾波效果受到限制，通過分析圖像的結構特征，不同區域的像素點應賦予不同的ε(x,y)值，即在圖像平坦區域的像素點應具有較大的ε(x,y)值，邊緣區域的像素點應具有較小的ε(x,y)值，從而達到較好的保邊緣效果.

本文根據 GDGIF的原理，對每個視差層圖像進行GDGIF濾波，首先構建每層視差層圖像的能量函數，即

式中：IL,n代表左圖(包含 3個 RGB通道n∈{R ,G,B})，將其作為引導圖像；a(x,y,d)、 b(x,y,d)為濾波參數；依據GDGIF原理，ε(x,y)、γ(x,y)定義[16]為

式中：ε0、λ為常數；Γn(x,y)代表圖像 IL,n的結構信息；|ωr(x,y)|代表窗口ωr(x,y)(半徑為r)內的總像素數 ；σn,ω1(x,y)、σn,ωr(x,y)分 別 代 表 圖 像 IL,n在 窗 口ω1(x ,y)、ωr(x,y)內的標準差；μn,χ,∞代表χn(i,j)在窗口ωr(x,y)內的平均值，即

為求得最佳濾波參數 a*(x,y,d)和b*(x,y,d)，使式(6)達到最小化時即可求得濾波參數.

式中：μ(x,y,d)、μ(x,y)分別代表 δ(Dfill(i,j)-

P；LI；L,nL d)、IL,n(i,j)在窗口ωr(x,y)內的均值；(x,y)代表IL,n(i,j)在窗口ωr(x,y)內的方差；即

因此圖像的 GDGIF濾波輸出結果 H(i,j,d)的表達式為

在 GDGIF濾波模型中，由式(7)計算得到的ε(x,y)可知，圖像平坦區域的像素點具有較大的ε(x,y)值，因此濾波程度較強；邊緣區域的像素點具有較小的ε(x,y)值，因此濾波程度較弱；而GIF濾波模型中ε(x,y)值為一常數.由上述分析可知GDGIF的保邊緣特性強于GIF.

在得到 H(i,j,d)之后，即可統計(i,j)鄰域內的累加濾波輸出

根據式(14)即可得到像素點(i,j)進行視差精煉后的視差值，即

2.2 視差精煉的迭代

在根據上述基于GDGIF原理得到精煉后的左視差圖后，對重復視差精煉過程，依次得到迭代精煉后的視差圖和.如圖1所示為對 Middlebury[17]提供的測試圖 Teddy圖像使用傳統的窗口聚合算法[1]得到未精煉的視差圖后，采用本文算法進行視差精煉迭代的示意.表 1為視差精煉迭代過程的誤匹配率實驗數據對比，誤差閾值取為1，其中 Nonocc、All、Disc分別表示非遮擋區域、總區域、深度不連續區域.

比較得出第2、3次精煉過程中視差值產生變化的像素點pc，即

對于像素點pc的視差需要做進一步的精煉，通常此類誤匹配點在做第1次視差精煉時未被檢測出，只有通過后面的迭代精煉過程才有可能被檢測出來.

圖 1(e)所示的黑色像素點為第 1次精煉后的圖1(b)在第 2次精煉后的圖 1(c)中被視為好點的點，視差值未被精煉，但在第 3次精煉后的圖 1(d)中這些區域的視差被精煉了，而圖 1(e)正是由圖 1(c)和圖1(d)經過式(15)檢測得到.

圖1 視差精煉迭代示意Fig.1 Schematic of the disparity refinement algorithm

采用基于權重中值濾波的視差精煉方法并不是迭代次數越多精度越高，過度的迭代則會導致一些好的像素點的視差值在精煉后發生錯誤.由表 1可知，第 3次迭代精煉的 All區域誤匹配率為 12.67%,，高于第2次迭代精煉的12.35%,.

為避免過度迭代產生的不良后果，本文擬采用濾波求均值的方式對式(15)檢測得到的誤匹配點進行修正，而不是直接采用更多次數迭代的精煉方法.

式中：w(p)為窗口N(pc)內 GDGIF濾波的權重；標志位矩陣M(p)定義為

最終得到的視差精煉結果為.

圖 1(f)所示為采用式(16)、(17)得到的最終視差精煉效果圖，與圖 1(c)相比較，小熊頭部上端的錯誤視差值得到更正.通過比較誤匹配率可知，本文精煉方法得到的誤匹配率最低，如在 All區域內的誤匹配率為 12.15%,，低于 refine_2階段的 12.35%,以及refine_3階段的12.67%,.

表1 視差精煉迭代過程的誤匹配率比較Tab.1 Comparison of error rates with the iteration times%

圖2所示為本文算法流程，待精煉視差圖經過 3次(基于梯度域引導濾波的)權重中值濾波后得到相應階段的精煉結果，再依據式(15)～式(17)進行濾波求均值計算后即可得到最終的視差精煉結果.

圖2 本文算法流程Fig.2 Flow chart of the proposed algorithm

3 仿真實驗結果及對比分析

本文利用 MATLAB編程實現所提算法及相關對比算法.實驗中使用的計算機硬件配置為 Intel Core i7-3610,QM CPU，8,GB內存.仿真實驗所用測試圖及標準視差圖來源于 Middlebury-Version 2(http：//vision.middlebury.edu/stereo).

在仿真實驗中，本文算法主要參數設置為

圖 3所示為采用傳統的窗口聚合算法[1]進行立體匹配得到未精煉的視差圖后，采用不同算法獲得的視差精煉效果對比.

圖3 不同方法獲得的視差精煉效果對比Fig.3 Comparison of disparity refinement maps with different methods

圖 4所示為對 Venus精煉結果進行局部放大后的效果對比，其中圖 4(a)中紅色矩形框所包含區域為對比的區域.表 2是各算法之間的誤匹配率實驗數據對比，誤差閾值取為 1.表 3是各算法之間的運行時間對比.

由圖 3以及表 2可知，傳統立體匹配方法得到的初始視差圖存在較多的誤匹配點，算法平均誤匹配率高達 15.68%.文獻[1]中的算法采用簡單的鄰近像素視差值對誤匹配點的視差進行填充，精煉后的視差圖存在明顯的填充痕跡，如Teddy圖小熊附近.

采用雙邊濾波中值濾波方法的算法[13]較為明顯地提高了匹配的精度，如Tsukuba在All區域的誤匹配率由文獻[1]中的算法的 6.03%,降低至 3.11%，Venus在 All區域的誤匹配率則由 3.20%降至0.76%.文獻[12]中的算法采用的引導濾波對視差進行精煉，其濾波性能優于雙邊濾波，得到的視差精煉精度優于文獻[13]中的算法，平均誤匹配率為6.87%.

在Teddy視差圖中，本文的迭代精煉算法較好地消除了小熊左邊區域的誤匹配視差，在 Disc區域的誤匹配率為 18.46%，低于文獻[12]的算法的20.11%.本文算法在Cones的All區域內的匹配性能好于文獻[12]的算法，圖中筷子所在區域存在誤匹配的現象是因為傳統立體匹配方法算法性能較差，致使得到的初始視差圖精度不高.

在經過迭代精煉后，本文算法得到的視差圖看上去較為自然，得益于 GDGIF的保邊緣特性，視差圖的邊界區域保留的較為完整，如圖4所示的Venus的前景區域，未精煉的視差圖在上述區域存在較多的誤匹配現象，相較于文獻[1]、文獻[13]和文獻[12]的算法，本文算法在這一區域獲得的精煉效果最佳，邊界得到較好的保留.

通過對比誤匹配率，使用傳統的基于窗口聚合的立體匹配算法進行立體匹配，得到的初始視差圖存在較多的誤匹配現象，經由本文視差精煉算法進行精煉后，得到的平均誤匹配率僅為6.25%,.

由表 3可知，文獻[1]的算法采用簡單的方式進行視差精煉，其運行時間最短.而本文算法由于需要進行迭代運算，故其運行時間較長.

圖4 實驗結果局部放大對比Fig.4 Comparison of close-up refinement results

表2 不同算法的誤匹配率比較Tab.2 Comparison of error rates of different algorithms%

表3 不同算法的運行時間比較Tab.3 Runtime comparison for benchmark stereo images

4 結 語

本文依據 GDGIF濾波算法，將其與權重中值濾波方法相結合，對立體匹配方法得到的初始視差圖進行迭代精煉，得益于 GDGIF濾波的優良性能，本文算法對于視差精度的提升具有一定的效果，實驗結果表明了本文算法的可靠性.

［1］Sharstein D，Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J].International Journal on Computer Vision，2002，47(1)：7-42.

［2］何 凱，朱程濤，姚靜嫻. 基于雙權重聚合的立體匹配算法[J]. 吉林大學學報：工學版，2015，45(4)：1318-1323.He Kai，Zhu Chengtao，Yao Jingxian. Stereo matching algorithm based on double weighting aggregation[J].Journal of Jilin University：Engineering and Technology Edition，2015，45(4)：1318-1323(in Chinese).

［3］de Maeztu L，Villanueva A，Cabeza R. Stereo matching using gradient similarity and locally adaptive support weight[J].Pattern Recognition Letters，2011，32(13)：1643-1651.

［4］周 龍，徐貴力，李開宇，等. 基于 Census 變換和改進自適應窗口的立體匹配算法[J]. 航空學報，2012，33(5)：886-892.Zhou Long，Xu Guili，Li Kaiyu，et al. Stereo matching algorithm based on census transform and modified adaptive windows[J].Acta Aeronautica et Astronautica Sinica，2012，33(5)：886-892(in Chinese).

［5］Zhang K，Lu J，Lafruit G. Cross-based local stereo matching using orthogonal integral images[J].IEEE Transactions on Circuits and Systems for Video Technology，2009，19(7)：1073-1079.

［6］Gu Z，Su X，Liu Y，et al. Local stereo matching with adaptive support-weight，rank transform and disparity calibration[J].Pattern Recognition Letters，2008，29(9)：1230-1235.

［7］Kehtarnavaz N. Stereo matching via selective multiple windows[J].Journal of Electronic Imaging，2007，16(1)：1-14.

［8］何 凱，王曉文，葛云峰. 基于 SIFT描述子的自適應聚合權重立體匹配算法[J]. 天津大學學報：自然科學與工程技術版，2016，49(9)：978-983.He Kai，Wang Xiaowen，Ge Yunfeng. Adaptive support-weight stereo matching algorithm based on SIFT descriptors[J].Journal of Tianjin University：Science and Technology，2016，49(9)：978-983(in Chinese).

［9］Min D，Lu J，Do M N. Joint histogram based cost aggregation for stereo matching[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35(10)：2539-2545.

［10］Yang Q. Stereo matching using tree filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37(4)：834-846.

［11］Heo Y S，Lee K M，Lee S U. Robust stereo matching using adaptive normalized cross-correlation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33(4)：807-822.

［12］Ma Z，He K，Wei Y，et al. Constant time weighted median filtering for stereo matching and beyond[C]//IEEE International Conference on Computer Vision.Sydney，Australia，2013：49-56.

［13］Rhemann C，Hosni A，Bleyer M，et al. Fast costvolume filtering for visual correspondence and beyond[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Colorado Springs，USA，2011：3017-3024.

［14］He K，Sun J，Tang X. Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35(6)：1397-1409.

［15］Li Z，Zheng J，Zhu Z，et al. Weighted guided image filtering[J].IEEE Transactions on Image Processing，2015，24(1)：120-129.

［16］Kou F，Chen W，Wen C，et al. Gradient domain guided image filtering[J].IEEE Transactions on Image Processing，2015，24(11)：4528-4539.