一種基于引導濾波的快速密集匹配方法

許 殊 譚愛紅 秦梓杰

1武漢大學遙感信息工程學院，湖北 武漢，430079

2中國科學院空天信息創新研究院，北京，100094

3揚州市職業大學機械工程學院，江蘇 揚州，225009

航空影像密集匹配旨在為由原始影像及經檢校和空三獲得的內外方位元素生成的核線像對重疊區域中每個像素確定同名點。其結果可用于數字表面模型（digital surface model，DSM）、數字正射影像圖（digital orthophoto map，DOM）等傳統測繪產品的生產。此外，相較于激光雷達（light detection and ranging，Li DAR），密集匹配生成的點云具有色彩、紋理，點云密度高，是三維城市重建的重要數據源［1］。

密集匹配通常有代價計算、代價聚合、視差選擇或代價函數優化、視差精化4個步驟［2］。依據光滑假設的使用方式，密集匹配方法分為局部方法、全局方法。一般全局方法速度慢，但效果優于局部方法［3］。

局部立體匹配方法一般在代價聚合階段隱式使用光滑假設。由于已經隱式考慮了光滑約束，其優化過程退化為贏家通吃（winner take all，WTA）［4］。針對原始匹配代價，局部立體匹配方法假定圍繞待匹配點的某種窗口中的視差滿足一定條件，選擇相應濾波手段，消除可能存在的一些噪聲。具體方法主要分為兩大類［5］：聚合窗口的選擇方式、聚合窗口內權重確定方式。對于矩形聚合窗口，可以通過變換窗口大小或者偏移［6，7］、使用多窗口［8］、自由變換聚合窗口形狀［9?11］來實現聚合窗口的選擇。值得一提的是Patch?Match算法［12］，首先為每個像素點隨機生成初始法向量；然后利用視、空間、時序等多種傳播過程優化每個像素點對應的法向量；最后進行視差、法向量精化。最小二乘匹配［13］在密集匹配中的應用解決了最小二乘初值問題，并在后續優化中使用了稍有差別的方法。PatchMatch衍生出許多改進方法［14?17］。另一大類方法通過改變聚合窗口內每個像素的權重來提升聚合效果，其本質是賦予不滿足窗口所使用假設的像素更低的權重［18］。其首見于文獻［19］，它通過雙邊濾波的方式確定窗口內權重，即依據距離中心像素的距離和與中心像素顏色距離來確定權重。此外也有測地線距離定權［20］、引導濾波定權［21］、利用空間通道可靠性定權［22］等方法。利用多尺度信息［23?25］、分割信息［26］輔助匹配也取得了相當不錯的效果。航空影像對應的地面結構相對復雜，幅面一般較大。為更好地處理大像幅航空影像，并在深度不連續處獲得較好的結果，本文提出了一種改進的基于引導濾波的快速密集匹配方法——基于Census測度的快速引導濾波匹配（fast matching with Census cost and guided fil?ter，FCG），旨在提高匹配效率和匹配正確性。

1 基于引導濾波的快速密集匹配方法

1.1 Census代價

本文使用具有一定抗差能力的Census測度計算匹配代價。具體過程如下：①針對以目標點和待匹配點為中心的目標窗口和搜索窗口內的像素，根據其與中心像素的灰度關系進行二值編碼；②對兩編碼串按照式（1）計算Hamming距離作為代價：

式中，C(i，l)為i像素視差為1時的原始代價；Cr(·)為r×r階的Census特征；I、I′分別為左右灰度影像；i、il分別為左影像i像素及視差為l時在右影像上的對應像素；h(·，·)表示Hamming距離。

1.2 候選視差序列的確定

影像上的視差分布并不是簡單的均一分布［27］，考慮到計算全部候選視差的方法效率低，且匹配解空間過大會引起匹配錯誤，本文首先將稀疏匹配獲得的尺度不變特征變換（scale?invariant feature trans?form，SIFT）點對［28］轉換到核線影像坐標系下，在使用核線約束對其進行檢查后，統計其視差分布情況。此外，對原始影像按規則格網進行分塊，對其使用相關系數進行匹配，并記錄通過左右一致性檢查的格網點的視差分布情況。統計上述兩種來源的視差出現次數之和，并按每一個視差在匹配結果中出現的頻次降序排列，選擇前30%的視差作為候選視差序列。

1.3 基于快速引導濾波的代價聚合

對應某個視差的代價影像是在給定一個視差值的情況下，將每個像素依據當前視差計算得到的代價作為灰度值記錄在對應像素位置上所生成的影像。將引導濾波應用于代價聚合就是將左核線影像和代價影像分別作為引導影像和參考影像，依據窗口內的均值、方差計算濾波的加性系數和乘性系數，以此求得濾波代價，代價聚合計算公式如下：

式中，Cjl為j像素在視差為l時的原始代價；Cil′為j像素在視差為l時聚合后的代價；G為引導影像；Wij為j像素對于中心像素i的權，可寫成：

式中，|ω|為歸一化系數，即窗口ωk中的像素數；Ii、Ij分別為引導影像上i、j像素的灰度；μk、分別為引導影像I在窗口ωk中的灰度均值和方差；ε為光滑系數。

為加快計算速度，其實際計算公式為：

式中，qi為輸出影像上i像素的值；ak、bk為由參考影像計算出的線性變換參數，可表達為：

式中，pi表示參考影像上像素i的灰度值；為參考影像p在窗口ωk中的灰度均值。

由于參數變化較緩慢，本文先對原始影像降采樣計算參數，再將其上采樣到原始分辨率來加快計算速度。本文重復使用不變參數，首次計算后存留后用。

2 實驗與實驗結果

實驗系統環境為Windows 10操作系統，8 GB內存，i7中央處理器（central processing unit，CPU），實驗數據為由德國Vaihingen地區航攝影像生成的一對像素為2 200×1 400的核線影像以及Middlebury［2，29］數據集的Cones、Teddy像對。

表1展示了不同參數組合下FCG方法的處理時間。圖1展示了樣例區域原始影像及利用FCG方法在不同實驗方案下得到的結果。較大的計算或聚合窗口的抗噪能力強，結果光滑，但消耗時間多。由于FCG方法優化了代價聚合，聚合窗口對時間的影響要小于計算窗口對時間的影響。

表1 FCG方法在不同參數配置下的處理時間Tab.1 Processing Time of FCG Method Under Different Parameter Configurations

圖1 不同參數視差圖Fig.1 Disparity Images of Different Parameters

本文將FCG、基于梯度顏色差代價的盒狀濾波匹 配（matching with gradient and color difference cost and box fiter，GB）、基于梯度顏色差代價的引導濾波匹配（matching with gradient and color difference cost and guided fiter，GG）、Census測度盒狀濾波的匹配（matching with Census cost and boxing filter，CB）、基于Census測度引導濾波的匹配（matching with Census cost and guided filter，CG）、Local Ex?pansion（LE）［30］、傾斜平面光滑立體匹配（slanted plane smoothing stereo，SPSS）［31］方法進行對比。參數設置見表2。

表2 對比實驗參數設置/像素Tab.2 Parameter Setting of Contrast Experiment/pixel

原始影像及不同方法獲取的結果見圖2。其中，藍色方框中樓房邊緣深度不連續和遮擋區的局部放大圖見圖3，紅色方框中視差傾斜變化和紋理重復區的局部放大圖見圖4。

圖2 原始影像及不同方法獲取的結果Fig.2 Original Image and Images Obtained by Different Methods

圖3 圖2中藍色方框局部放大圖Fig.3 Local Enlarged Images of Blue Boxes in Fig.2

圖4 圖2中紅色方框的局部放大圖Fig.4 Local Enlarged Images of Red Boxes in Fig.2

由圖2可知，FCG方法獲得的視差圖較為光滑一致，沒有明顯的噪聲或大面積錯點，且能較好地保留物體深度不連續的結構。觀察紅框區域，發現FCG在重復紋理、視差傾斜變化區表現較好。在淡綠色箭頭指示區域，GB、GG方法表現出雜亂的視差變化，CB出現了明顯的噪聲點，而FCG、CG、SPSS、LE方法在此區域均表現優秀。觀察藍框區域可知，GB、CB在深度不連續區域表現不佳，其視差變化未能與邊緣保持一致。觀察黃色箭頭區域，其結果呈現一定扭曲，將使重建房屋扭曲變形。而GB、GG在該區出現了明顯亮點，意味著結果中有大異常值，后續生成的三維點云里將會出現飛點。GB、CB方法在全片上還出現了大量錯點，而FCG、GG、CG方法表現優秀。FCG、CB、CG方法比GB、GG方法在左上角紋理重復區表現更優。SPSS與LE在上述位置表現優秀，但LE在粉色箭頭指示區出現了視差異常線，SPSS在黑色箭頭指示區賦予房屋邊緣與地面陰影相同的視差。相較于各類局部算法，FCG結果更優，其結果和LE與SPSS相比并未有太大質量退化。

各方法用時見表3，FCG快于GB、CB方法，比CG快約97%，且其明顯快于LE、SPSS，其耗時約為LE的0.4%，SPSS的1%。

表3 不同方法的處理時間Tab.3 Processing Times of Different Methods

由于航空影像缺少評價結果的真值，本文使用Middlebury測試數據集中的Teddy、Cones像對評價算法的正確性。雖有區別，但其結果仍可部分反映匹配質量。正確匹配為計算所得視差與真值視差之差小于一個像素。計算結果見表4，可以看出，FCG效果和原始方法接近，與半全局和全局方法大體相當。

表4 不同方法在Middlebury數據集Cones、Teddy像對上的正確率/%Tab.4 Correctness Matched by Different Methods of Cones and Teddy Image Pairs in Middlebury Dataset/%

3 結束語

針對航空影像場景復雜，幅面大的特點，本文提出了一種快速并在重復紋理、深度不連續處表現良好的基于快速引導濾波的密集匹配算法。相較于其他局部匹配方法，該方法速度更快，在深度不連續、重復紋理處匹配質量更好；相較于半全局方法和全局方法，該方法在保證匹配質量與其相當的同時，速度上有明顯優勢。