雙邊加權引導圖像濾波

惠紅軍, 楊 洋, 詹永照, 朱韻晨, 曾蘭玲

(江蘇大學 計算機科學與通信工程學院, 江蘇 鎮江 212013)

保邊濾波方法可以在濾波過程中有效地保留圖像中的邊緣信息,即在平滑圖像的同時保持銳利的邊緣.然而,如何有機地結合“保邊”與“濾波”2種相互矛盾的任務,使得保邊濾波方法成為近些年來的熱門研究課題之一.保邊濾波方法可廣泛應用于各種圖像處理,如增強[1]、高動態范圍色調映射[2-3]、著色[4]、分割[5]、圖像去霧[6-7]、風格化[8]、紋理模糊[9-10]、深度圖修復[11]和圖像融合[12]等.

傳統保邊濾波方法按照計算方式主要分為2種,即全局方法與局部方法.經典的全局保邊濾波方法如加權最小二乘濾波(weight least square, WLS)[13]、L0范數平滑(L0smoothing,L0)[14],二者將保邊濾波任務建模為不同平滑項正則化組成的全局優化問題.SONG J.等[15]提出將總變差最小化應用到移動最小二乘法中,以改善濾波效果.這些基于全局優化的方法通常會產生高質量的結果,但計算成本極高.盡管一些技術方法如通過逼近定義在高維空間上的線性系統或多個一維線性子系統[16]等可加速基于全局優化的濾波器,但仍達不到實際應用對于效率的需求,或以犧牲精度為代價加速平滑算子.局部濾波方法從局部鄰域像素中顯式地計算輸出像素值,如最為經典的雙邊濾波器(bilateral filter, BLF)[17].原始的雙邊濾波計算效率非常低,近年來許多改進方法[18-20]被提出.引導濾波器(guided image filter, GIF)[21]關鍵假設是濾波輸出結果與引導圖像在局部窗口中呈現線性關系,且其時間復雜度與窗口大小無關.盡管引導濾波可以快速地得到輸出,但該方法嚴重局限于光暈偽影的產生,尤其是在靠近邊緣的地方,嚴重影響結果圖像的視覺感受.為有效消除由引導濾波平滑后引起的光暈偽像,基于融合梯度信息的改進引導濾波方法被提出.加權引導圖像濾波器(weight guided image filter, WGIF)[22]考慮邊緣信息,將權重引入引導濾波的正則化項中感知邊緣,從而達到抑制光暈、克服邊緣區域過度平滑的目的.KOU F.等[23]拓展了WGIF的工作,提出顯式一階邊緣感知約束,并在此基礎上提出梯度域引導圖像濾波器(gradient domain guided image filter, GDGIF),其目標函數由零階數據保真度項和一階正則化項組成.這些方法通?？梢杂行б种乒鈺瀭斡?但抑制效果及噪聲濾除效果依然有限.

針對經典方法在效果及效率上存在的問題,文中擬提出一種新的局部保邊濾波方法,稱其為雙邊加權引導圖像濾波(bilateral weight guided image filter,BWGIF).通過在引導濾波的目標函數中嵌入雙邊權重增強邊緣感知性能,以進一步加強濾波器的邊緣保留特性.其目標函數被構建為雙邊加權嶺回歸模型.與引導濾波相似,該模型可以通過若干次雙邊濾波的執行來求解.為提高計算效率,文中采用雙邊濾波器的快速近似實現[24],即在下采樣的3D網格上進行3D高斯濾波.為評估所提出的濾波方法,文中在2種圖像處理應用上進行試驗,包括保邊模糊及人像磨皮.

1 引導圖像濾波

引導圖像濾波是一種基于局部線性模型的保邊濾波方法,使用指定的引導圖像以引導保邊濾波過程.GIF將圖像中的任意像素點及部分相鄰像素定義為線性關系,分別進行濾波處理并累積所有局部濾波,最后,得到與輸入圖像結構相似的輸出圖像.筆者認為圖像可以分解為2部分：

p=q+n,

(1)

式中：p為輸入圖像;q為基礎層;n為細節層.該方法的目標即使q與p盡可能相似.基于此,將q定義為與引導圖像I相關的線性模型,其中第i個像素可表示為

qi=akIi+bk,i∈Ωk,

(2)

式中：qi為輸出圖像像素值;Ii為引導圖像像素值;i和k為像素索引;Ωk為第k個窗口;ak和bk為窗口中心在k時線性函數系數.

為了得到最接近輸入圖像p的輸出圖像q,采用最小二乘法擬合線性關系,目標函數為

(3)

(4)

(5)

(6)

與其他局部濾波方法類似,引導圖像濾波傾向在圖像邊緣附近引入光暈偽影.為了突破這個限制,文中進一步改進了基于引導濾波的方法.

2 雙邊加權引導圖像濾波方法

2.1 雙邊加權引導圖像濾波

原始引導濾波引起光暈偽像的主要原因是該方法對整個圖像的每個區域皆使用統一的線性模型和相同的正則項參數.為了解決引導濾波的光暈問題,文中改變了目標函數.

通過在最小二乘公式后面引入一個權重wi,k,使得窗口內不同像素點以不同的程度參與到線性擬合過程中.新的目標函數為

(7)

ak和bk計算式為

(8)

(9)

同樣,如前文所述,一個像素會被包含在多個窗口中,為了具體找到某個點的輸出值,需要計算包含該點的所有線性函數值的加權平均值,計算式為

(10)

所述方法選擇雙邊核函數來計算權重,即

(11)

(12)

(13)

式中：K為量綱一化常數;σd為空間方差;σr為范圍方差.雙邊核函數是空間核和范圍核的復合結果.在圖像的平坦區域,像素值變化不大,對應的像素范圍域權重接近1,空間域權重起到主要作用,相當于執行高斯模糊;在圖像的邊緣區域,像素值變化較大,像素范圍域權重起到主要作用,進而保持了邊緣信息.

所述雙邊加權引導圖像濾波過程如方法1所示.

方法1雙邊加權引導圖像濾波.

輸出濾波輸出圖像q.

描述fdomain與frange分別由式(12)與式(13)計算得到,fwavg表示加權平均的計算.

圖1 變化雙邊權重得到的圖示化a、b

2.2 濾波核

將式(9)代入式(10)可得

(14)

(15)

在式(15)中,有

(16)

當j∈Ωk時,式(16)的導數為wj,k,否則為0.接下來可以得到

(17)

將式(17)代入式(15)可得

(18)

綜上所述,濾波器內核Wi,j(I)表示為

Wi,j(I)=

(19)

來自HE K. M.等[21]的引導濾波具有其他顯式局部方法的共同限制,這將導致邊緣附近容易出現光暈.考慮到這一點,文中在引導濾波的最小二乘公式中引入雙邊權重,以使得線性模型具有自適應的能力,從而達到克服邊緣區域過度平滑和減弱光暈的目的.

2.3 彩色圖像濾波

所提出的雙邊加權引導圖像濾波同樣可以擴展到彩色圖像.若引導圖像是RGB圖像,可以先將3通道拆分,并將濾波應用于每個顏色通道后合并通道.與引導濾波相近,彩色引導圖像的保邊比灰度圖更明顯.因此,上述局部線性模型可修改為

qi=akTIi+bk,

(20)

其中ak和Ii都是3×1向量,不同在于求解線性系數ak時,原始加權方差被加權協方差3×3矩陣Γk代替.計算式為

ak=(Γk+

(21)

(22)

彩色圖像的引導濾波結果可由下式計算：

(23)

圖2為原始方法實現與快速近似實現濾波結果比較.

3 試驗結果

3.1 保邊模糊

為了確保對比試驗的公平性,所有參與對比的保邊濾波方法都被調整到了相似的模糊程度,圖3展示了保邊模糊任務的質化對比結果(第1行為二維圖像,第2行為信號圖).

圖3 保邊模糊質化比較及像素值信號圖

如圖3b、c所示,使用現有局部方法如引導濾波GIF和雙邊濾波BLF,更容易出現偽像、丟失細節.圖3d使用加權引導濾波WGIF得到了更好的結果,但盡管保邊效果強如全局方法WLS,二者結果依然存在輕微的光暈.而所提出的雙邊加權引導圖像濾波(圖3f)未產生光暈偽影,即文中所述方法擁有較強的保邊濾波能力.底部信號(圖3g-l)為各方法濾波結果的像素值,藍線表示輸入值,紅線表示輸出值.在梯度變化劇烈的邊緣處,紅色濾波輸出信號值偏離原始藍色輸入信號值即證明存在光暈偽影.表1所示的灰度圖盲圖像質量指標(blind image quality index,BIQI,指標值越小代表圖像質量越高)[25]同樣證明了文中方法的優越性.由表1可見,文中方法的BIQI為20.082.

表1 保邊模糊量化指標比較

3.2 人像磨皮

用戶在拍攝人像時總希望有更自然的視覺效果,將保邊濾波用于人像磨皮,對人臉或身體上的痣與斑塊平滑的同時,保持其邊緣不被虛化.圖4展示了幾種濾波方法在人像磨皮應用中的效果.圖4b-d分別使用引導濾波器GIF、雙邊濾波器BLF和加權引導濾波WGIF,人像面部邊緣皆被過度模糊,細節嚴重丟失,并不滿足實際需求.圖4e采用加權最小二乘濾波WLS的視覺效果較好,但其顏色出現偏差,濾波后圖像渾濁.圖4f采用所提出的雙邊加權引導圖像濾波可在去除斑點的同時保證皮膚邊緣的清晰,其結果也更加自然.表2展示了2種彩色圖像評價指標即IL-NIQE(integrated local natural image quality evaluator)[26]與SSEQ(spatial and spectral entropies quality)[27]比較,這2個指標越小代表圖像質量越高,量化結果亦證明上述觀點.由表2可見,文中方法的IL-NIQE、SSEQ分別為47.026、53.103.

圖4 人像磨皮質化比較及局部放大圖

表2 人像磨皮量化指標比較

3.3 計算效率

由于使用了雙邊核,所述方法面臨著計算成本高昂的挑戰.眾所周知,隨著局部窗口半徑的增大,計算速度將變慢,無法滿足實時應用.文中使用由S. PARIS等[24]提出的雙邊濾波快速近似實現,這種快速實現加速了所述方法中雙邊權重的計算.

例如,在一臺普通PC(CPU為i5-4200H、GPU為GTX 950M)上,對一張757×505像素的灰度圖像執行多次濾波操作,未加速前平均時間為13.37 s,加速后平均時間為293 ms,滿足應用的實時性要求.表3對比了在同一環境下同一張圖像上一些濾波方法的計算效率.

表3 計算效率對比

從表3可見,文中方法的運行時間顯著優于大部分對比方法,如WLS、L0、BLF、WGIF.文中方法運行時間略高于GIF,但是可以得到更好的濾波質量.文中方法能夠實時處理分辨率為757×505像素的灰度圖像.

4 結 論

文中提出了一種新穎的局部濾波方法,通過將邊緣感知加權嵌入到引導濾波器中,可以保留銳利的邊緣并避免產生光暈偽影.雙邊加權引導圖像濾波器可以被視為引導濾波器的擴展.通過在圖像處理應用的量化及質化試驗證明,雙邊加權引導圖像濾波的效果及效率優于多數經典邊緣保留濾波方法.文中方法的指標BIQI、IL-NIQE、SSEQ分別達到20.082、47.026、53.103.