基于圖像分解和相對全變分的圖像平滑

劉業朋，楊得志，李思遠，張 帆，張彩明

基于圖像分解和相對全變分的圖像平滑

劉業朋1，楊得志1，李思遠1，張 帆1，張彩明2,3

(1. 山東工商學院計算機科學與技術學院，山東 煙臺 264005；2. 山東大學軟件學院，山東 濟南 250101；3. 山東財經大學數字媒體重點實驗室，山東 濟南 250014)

圖像平滑旨在去除圖像中紋理細節信息的同時保留重要的結構邊緣，因此如何正確區分二者成了圖像平滑的關鍵。梯度作為計算圖像變化速度的重要指標是區分結構邊緣和紋理細節的有效度量，但不同圖像以及同一圖像不同區域中的紋理和邊緣的梯度差異并非固定不變的。為了能夠有效識別結構邊緣和紋理細節，提出了基于圖像分解和相對全變分的圖像平滑方法。為了擴大結構邊緣和紋理細節之間的差異，實現在盡可能不改變結構邊緣的前提下降低紋理細節的梯度，以多方向的梯度為約束對圖像進行分解，提取圖像的平滑成分。在特定尺度下，基于圖像的區域結構差異，采用相對全變分方法，在保留結構邊緣的同時去除該尺度下的紋理細節。通過迭代優化，不斷調整圖像區域尺度，實現對不同尺度紋理細節的逐步去除。與現有算法相比，新方法在有效地去除紋理細節和完整地保留結構邊緣方面都具有較好的視覺效果。

圖像分解；相對全變分；多尺度；梯度約束；圖像平滑

圖像平滑的目的是通過一定的技術手段對圖像進行處理，在保留重要結構邊緣的同時去除紋理細節等冗余的信息，同圖像超分辨率、分割、去噪、超像素和顯著性檢測等都是圖像處理領域中的基礎研究內容之一，也是當前虛擬現實、智能駕駛等前沿領域的難點之一。其中，基于紋理細節等信息去除方式的不同，可分為基于空間域的圖像平滑方法、基于轉換域的圖像平滑方法和基于深度學習的圖像平滑方法。

基于空間域的圖像平滑方法，即通過圖像局部和非局部之間的相似性來區分紋理細節和結構邊緣，從而實現圖像平滑的目的。TOMASI和MANDUCHI[1]提出了雙邊濾波的方法，以強度距離和空間距離為約束實現對圖像的平滑。但是當圖像結構復雜時，部分邊緣結構會被破壞?；陔p邊濾波方法[1]，ZHANG等[2]提出了滾動濾波算法。通過高斯濾波去除紋理的同時采用雙邊濾波恢復邊緣，但導致邊緣周圍會出現振鈴和偽影。MIN等[3]提出了快速全局平滑器，結合了高效的邊緣保持的濾波器和基于優化的平滑方法。但算法時間復雜度非常高，且在紋理細節復雜的圖像中效果不佳。在快速全局平滑方法[3]的基礎上，KIM等[4]提出了一種快速的圖像平滑方法，有效地降低了算法時間復雜度，但殘留的紋理細節信息更多。XU等[5]提出了基于相對全變分的圖像平滑方法，但當紋理細節和結構邊緣交錯時，平滑效果不佳。為此，ZHAO等[6]先對圖像進行了裁剪，再結合歸一化方差度量，實現了圖像平滑的同時并將其應用到了圖像去噪的問題。但在復雜紋理區域，依然存在紋理殘留。崇斯杰等[7]將圖像濾波和圖像高頻信息恢復相結合并應用于深度相機，產生的圖像具有很好的形狀保持能力。張豪遠等[8]將圖像平滑作為保留結構邊緣的重要方法用于壁畫文物的修復。YANG等[9]提出了一種非線性算子，其能夠有效減弱圖像噪聲的同時平滑圖像細節。

基于轉換域的圖像平滑方法，是通過傅里葉變換或小波變換等將圖像從空間域轉換到頻率域，在頻率域實現對圖像的平滑。XU等[10]提出了基于0梯度最小化的圖像平滑方法，巧妙地利用了卷積操作在頻率域的特性，實現了以梯度為約束的平滑。但該方法機械地以同一閾值作為衡量邊緣和紋理的度量，缺乏對鄰域信息的參考，因而很難正確識別復雜區域的紋理和結構邊緣。LIU等[11]結合非局部均值濾波(non-local means，NLM)和0平滑[10]，通過在非局部區域尋找相似塊，用于抑制孤立的大梯度紋理，但對于復雜紋理區域的平滑效果不理想。MA等[12]提出了基于圖像分解和稀疏梯度約束的圖像平滑，將圖像分解和0平滑[10]相結合，有效地去除了紋理細節，但也導致部分結構邊緣變得更加模糊。NI和WU[13]提出了基于自適應修補的0梯度最小化平滑方法，因為分塊過多導致算法復雜度過高并且存在較多的縫隙。針對圖像中光照不平衡問題，LIU等[14-15]提出了基于分塊直方圖均衡化的圖像平滑方法，有效去除紋理細節的同時也因為分塊產生了縫隙。SUN等[16]提出了基于0最小化的結構提取方法，在不同強度的圖像平滑中都有不錯的視覺效果。HE和WANG[17]提出了一種具有截斷0梯度正則化的圖像平滑方法，能夠很好地保持原圖像的形狀和強度，因而對于一些銳化的邊緣有很好的效果。

基于深度學習的圖像平滑方法，即通過深度學習技術，實現更靈活和高質量的圖像平滑方法。ZHU等[18]提出了用于圖像平滑的數據集，同時還設計了基于深度學習的圖像平滑方法。FAN等[19]提出了基于深度學習的無監督圖像平滑方法，將訓練信號作為一種新穎的能量函數從而提高平滑效果。

1 問題和算法整體描述

在紋理細節區域內部，文獻[5]能夠很好地去除紋理細節，但對紋理細節和結構邊緣交錯區域的平滑效果并不好。由于少量梯度值較大的紋理細節被保留，導致連續的結構邊緣處出現鋸齒現象，例如圖1(b)中紅色和綠色框中的區域。

圖1 圖像部分區域((a)輸入圖像；(b)文獻[5]平滑后圖像)

為了有效去除交錯區域的紋理信息，保證結構邊緣的連續性，本文提出了基于圖像分解和相對全變分的圖像平滑方法。通過對圖像進行分解，有效降低復雜紋理細節的梯度，增大二者的辨識度(圖2左側)；通過相對全變分方法，在不同尺度下逐步平滑紋理細節(圖2右側)。

圖2 本文算法流程圖

2 算法實現

2.1 以梯度為約束的圖像分解

受到超分辨率、修復等圖像處理技術[20]的啟發，為了保證在盡可能不改變結構邊緣梯度的同時降低紋理細節的梯度，本文將輸入圖像分解為平滑成分和非平滑成分(去除的部分紋理細節信息)，即

其中，為值全1的5×5大小的低通濾波器；U為卷積操作；為圖像的低頻特征圖；為圖像中非平滑成分，因此，平滑成分=U。所以，對圖像的分解變成了對的求解問題。

為了盡可能不改變結構邊緣的梯度，以梯度為約束進行求解，得到

其中，參數是用于控制梯度降低程度的平衡因子，其取值越大，得到的圖像越平滑；和分別為沿著水平方向和垂直方向的梯度因子。

結合式(1)和式(2)，可知

為了加快求解速度，對式(3)通過快速傅里葉變換(fast Fourier transform，FFT)進行求解

圖像分解后的結果如圖3所示(其中，為了便于展示非平滑成分的細節信息，灰度值整體上增加了128)。因此，可知分解后的平滑成分I=U。

圖3 當α=38時圖像分解的結果((a)平滑成分IS；(b)非平滑成分INS)

2.2 以相對梯度為約束的多尺度全變分

在不同圖像或同一圖像的不同區域中紋理細節和結構邊緣的梯度差異是不固定的，這使得正確識別紋理細節和結構邊緣變得非常困難?；诙咛荻仍诮y計上的差異，從不同尺度(即不同范圍內)，通過相對差異確定紋理細節和結構邊緣；在此基礎上，采用相對全變分方法[5]，在保留結構邊緣的同時逐步去除紋理細節，即

其中，為紋理細節去除程度的平衡因子(其取值越大，圖像越平滑)；為接近于0的小數，防止分母為0。

(1)定義為

尺度和方差的關系為

其中，[·]為向上取整操作；(·)為按位與操作，目的是使尺度為奇數。

(3) 同理，可知

為了方便表示，分別定義，為

其中，U為卷積操作；ε同樣是接近于0的小數，防止分母為0。同理，可得

綜上，式(5)可轉換化為

式(14)直接求解非常困難，為了加速計算，采用交替求解方法：

步驟1.基于式(11)～式(13)，分別計算矩陣，，。

步驟2.固定，，，對式(14)中求導(其中為單位矩陣)

對式(15)直接進行線性求解可得優化后的平滑圖像+1，次迭代后可得平滑后的圖像。

3 實驗結果分析

為了證明本文方法的有效性，將新方法New和FGS算法[3]、RGF算法[2]、DSG算法[12]、HCDG算法[15]和RTV算法[5]在視覺效果方面進行了比較，結果如圖4～6所示，對算法的平均耗時比較結果見表1。

通過比較圖4～6和表1可知，FGS算法[3]有較快地處理速度，但是對于復雜紋理細節的去除效果較差，存在大量紋理細節殘留(圖4(b)、圖5(b)、圖6(b))；RGF算法[2]能夠較好地去除紋理細節，但是同時也產生了斑塊狀偽影(圖4(b)、圖5(c)、圖6(c))；DSG算法[12]在有效去除紋理細節的同時也平滑掉了部分結構邊緣，使得圖像中的結構邊緣更加模糊(圖4(d)、圖5(d)、圖6(d))；HCDG算法[15]整體上平滑效果不錯，但是因為分塊和直方圖均衡化使得每個區域圖像平滑程度不一致，同一區域的顏色存在差異從而產生少量縫隙或偽影(圖4(e)、圖5(e)、圖6(e))；RTV算法[5]在紋理復雜區域具有很好地平滑效果，但在紋理細節和結構邊緣交錯處，平滑效果欠佳，導致部分紋理細節殘留從而產生鋸齒狀紋理(圖4(f)和(g)、圖5(f)和(g)、圖6(f)和(g)。其中，圖(f)和(g)分別為不同平滑因子的結果。綜合紋理細節去除和結構邊緣保持2個方面，本文方法與上述方法相比具有最佳的視覺效果。

圖4 不同方法的結果1 ((a)輸入圖像；(b) FGS算法(σ=0.03，l=20.02)；(c) RGF算法(ss=3，sr=0.05，teration=4)；(d) DSG算法(l=0.035，k=55)；(e) HCDG(ld=38，l=0.04)；(f)RTV算法(l=0.01，s=3)；(g)RTV算法(l=0.015，s=3)；(h)新方法(a=38，b=0.01，s=2))

圖5 不同方法的結果2 ((a)輸入圖像；(b) FGS算法(s=0.03,l=20.02)；(c) RGF算法(ss=3,sr=0.05,teration=4)；(d) DSG算法(l=0.035,k=55)；(e) HCDG(ld=38,l=0.04)；(f) RTV算法(l=0.01,s=3),；(g) RTV算法(l=0.015,s=3)；(h)新方法(a=25,b=0.01,s=2))

圖6 不同方法的結果3 ((a)輸入圖像；(b) FGS算法(s=0.03,l=20.02)；(c) RGF算法(ss=3,sr=0.05,teration=4)；(d) DSG算法(l=0.035,k=55)；(e) HCDG(ld=38,l=0.04)；(f) RTV算法(l=0.01,s=3)；(g) RTV算法(l=0.015,s=3)；(h)新方法(a=38,b=0.01,s=2))

表1 不同方法的處理時間(s)

為了從數值結果上證明本文方法的有效性，采用單位面積(32×32)的信息熵作為衡量圖像平滑效果的指標。從表2可知，本文方法明顯比FGS[3]，RGF[2]，DSG[12]和RTV[5]算法信息含量少，從而證明本文方法的平滑效果。但因為DSG[12]和HCDG[15]算法在平滑紋理細節的同時去除了部分結構邊緣使得整體信息熵更低。

表2 不同方法的信息熵

4 算法應用

圖像平滑方法可應用于圖像處理的許多領域，如邊緣檢測、圖像增強以及非真實感繪制等。

直接通過Canny算子對輸入圖像進行邊緣檢測，可得邊緣圖(圖7(d))，但是因為復雜的紋理區域導致邊緣圖中包含了大量紋理細節。先通過本文方法對輸入圖像平滑，再通過Canny算子進行邊緣檢測，可得只包含圖像重要結構的邊緣圖(圖7(h))。

通過本文方法先對輸入圖像平滑，再通過Canny算子對平滑后的圖像邊緣檢測以得到結構邊緣圖。然后，增加圖像的邊緣像素點的數量，即梯度大于特定閾值的像素點及其四鄰域點都標記為新邊緣點。最后，將平滑圖像中新邊緣點像素值置為0，可得到具有抽象效果的圖像(圖8(c))。

通過本文方法對輸入圖像平滑可得平滑圖像，將輸入圖像減去平滑圖像并反加到輸入圖像中，可獲得細節增強的圖像(圖9(d))。為了證明本文方法的有效性，以高斯低通濾波器為平滑方法，得到細節增強的圖(圖9(c))。通過比較圖9(c)和(d)可知，本文方法在紋理細節增強方面效果更佳。

圖7 圖像邊緣檢測((a)輸入圖像；(b)圖像(a)的梯度圖；(c)圖像(b)的梯度強度圖；(d)圖像(a)的邊緣圖；(e)圖像(a)的平滑的結果；(f)圖像(e)的梯度圖；(g)圖像(f)的梯度強度圖；(h)圖像(e)的邊緣圖)

圖8 非真實感繪制((a)輸入圖像；(b)圖像(a)的平滑的結果；(c)非真實感繪制結果)

圖9 圖像增強((a)輸入圖像；(b)圖像(a)的平滑的結果；(c)圖像(a)高斯濾波增強的結果；(d)圖像(a)的增強后結果)

5 結束語

圖像平滑的關鍵是如何正確區分圖像中紋理細節和結構邊緣，為此，采用梯度作為區分二者的有效度量。針對不同圖像以及同一圖像不同區域中紋理和邊緣梯度的差異性，提出了基于圖像分解和相對全變分的圖像平滑方法。通過分解圖像，降低紋理細節的梯度，擴大二者之間的差異。采用相對全變分方法，在不同尺度下逐步去除紋理細節。

本文方法在有效地去除紋理細節的同時保留了重要的結構邊緣，但圖像分解導致結構邊緣的梯度也產生了一定的損失，使得平滑后的圖像部分結構邊緣模糊。同時，圖像在不同尺度下的紋理細節與結構邊緣的識別是依賴于經驗，而非自適應計算，算法的自動化程度還有待加強。

[1] TOMASI C, MANDUCHI R. Bilateral filtering for gray and color images[C]//The 6th International Conference on Computer Vision. New York: IEEE Press,1998: 839-846.

[2] ZHANG Q, SHEN X Y, XU L, et al. Rolling guidance filter[C]//Computer Vision - ECCV 2014. Cham: Springer International Publishing, 2014: 815-830.

[3] MIN D B, CHOI S, LU J B, et al. Fast global image smoothing based on weighted least squares[J]. IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 2014, 23(12): 5638-5653.

[4] KIM Y, MIN D B, HAM B, et al. Fast domain decomposition for global image smoothing[J]. IEEE Transactions on Image Processing, 2017, 26(8): 4079-4091.

[5] XU L, YAN Q, XIA Y, et al. Structure extraction from texture via relative total variation[J]. ACM Transactions on Graphics, 2012, 31(6): 139.

[6] ZHAO L J, BAI H H, LIANG J, et al. Local activity-driven structural-preserving filtering for noise removal and image smoothing[J]. Signal Processing, 2019, 157: 62-72.

[7] 崇斯杰, 王士瑋, 劉利剛. 深度圖像的法向指導GPU濾波[J]. 圖學學報, 2022, 43(1): 118-124.

CHONG S J, WANG S W, LIU L G. Guided normal GPU filtering of depth images[J]. Journal of Graphics, 2022, 43(1): 118-124 (in Chinese).

[8] 張豪遠, 徐丹, 羅海妮, 等. 基于邊緣重建的多尺度壁畫修復方法[J]. 圖學學報, 2021, 42(4): 590-598.

ZHANG H Y, XU D, LUO H N, et al. Multi-scale mural restoration method based on edge reconstruction[J]. Journal of Graphics, 2021, 42(4): 590-598 (in Chinese).

[9] YANG Y, TANG L, ZENG L L, et al. L0 image smoothing via iterating truncated L1 gradient regularization[J]. Journal of Electronic Imaging, 2022, 31(5): 053016.

[10] XU L, LU C W, XU Y, et al. Image smoothing via0gradient minimization[J]. ACM Transactions on Graphics, 2011, 30(6): 1-12.

[11] LIU Q, ZHANG C M, GUO Q, et al. A nonlocal gradient concentration method for image smoothing[J]. Computational Visual Media, 2015, 1(3): 197-209.

[12] MA G H, ZHANG M L, LI X M, et al. Image smoothing based on image decomposition and sparse high frequency gradient[J]. Journal of Computer Science and Technology, 2018, 33(3): 502-510.

[13] NI K, WU Y Q. Adaptive patched L0 gradient minimisation model applied on image smoothing[J]. IET Image Processing, 2018, 12(10): 1892-1902.

[14] IU Y P, MA X, LI X M, et al. Two‐stage image smoothing based on edge-patch histogram equalisation and patch decomposition[J]. IET Image Processing, 2020, 14(6): 1132-1140.

[15] LIU Y P, ZHANG F, ZHANG Y X, et al. Image smoothing based on histogram equalized content-aware patches and direction-constrained sparse gradients[J]. Signal Processing, 2021, 183: 108037.

[16] SUN Y J, SCHAEFER S, WANG W P. Image structure retrieval via minimization[J]. IEEE Transactions on Visualization and Computer Graphics, 2018, 24(7): 2129-2139.

[17] HE L T, WANG Y L. Image smoothing via truncated gradient regularisation[J]. IET Image Processing, 2018, 12(2): 226-234.

[18] ZHU F D, LIANG Z T, JIA X X, et al. A benchmark for edge-preserving image smoothing[J]. IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 2019, 28(7): 3556-3570.

[19] FAN Q N, YANG J L, WIPF D, et al. Image smoothing via unsupervised learning[J]. ACM Transactions on Graphics, 2018, 37(6): 259.

[20] ZHANG M L, DESROSIERS C. High-quality image restoration using low-rank patch regularization and global structure sparsity[J]. IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 2018, 28(2): 868-879.

Image smoothing based on image decomposition and relative total variation

LIU Ye-peng1, YANG De-zhi1, LI Si-yuan1, ZHANG Fan1, ZHANG Cai-ming2,3

(1. School of Computer Science and Technology, Shandong Technology and Business University, Yantai Shandong 264005, China; 2. School of Software, Shandong University, Jinan Shandong 250101, China; 3. Shandong Provincial Key Laboratory of Digital Media Technology, Shandong University of Finance and Economics, Jinan Shandong 250014, China)

The purpose of image smoothing is to process the image through certain technical methods, so as to remove the texture details in the image while preserving the important structural edges. Therefore, how to distinguish the two correctly has become the key to image smoothing. Gradients, as an important index for calculating the speed of image change, are an effective measure to distinguish the structural edges and texture details. However, the gradient difference between texture details and structural edges in different images or different regions of the same image is not fixed. In order to effectivelydistinguish structural edges and texture details based on gradients, an image smoothing method was proposed based on image decomposition and relative total variation. To expand the difference between the structural edges and texture details, the gradients of texture details were reduced without changing thegradients of structural edges as much as possible. The image was decomposed in frequency domain under the constraint of multi-directional gradient, and then the smooth components of the decomposed image were extracted. Next, for the smooth component of the input image, at the specific scale, based on the structural differences of a specific size region of the image, the relative total variation method was employed to remove the texture details at this scale while preserving the structure edges.Finally, through iterative optimization, the size of the image region was continuously adjusted to gradually remove texture details of different scales. Compared with the existing algorithms, the new method could attain better visual effects in effectively removing the texture details and completely preserving the structure edges.

image decomposition; relative total variation; multiscale; gradient constraint; image smoothing

TP 391

10.11996/JG.j.2095-302X.2022061143

A

2095-302X(2022)06-1143-07

2022-07-31；

：2022-10-17

國家自然科學基金項目(62002200，62202268)；山東省自然科學基金項目(ZR2020QF012，ZR2021QF134，ZR2021MF107)；山東省高等學校青創科技支持計劃創新團隊(2021KJ069)

劉業朋(1991-)，男，講師，博士。主要研究方向為幾何造型與智能圖形圖像處理。E-mail：liuyepengdream@gmail.com

31 July，2022；

17 October，2022

National Natural Science Foundation of China (62002200, 62202268); Shandong Provincial Natural Science Foundation (ZR2020QF012, ZR2021QF134, ZR2021MF107); Shandong Provincial Science and Technology Support Program of Youth Innovation Team in Colleges (2021KJ069)

LIU Ye-peng (1991-), lecturer, Ph.D. His main research interests cover geometric modeling, intelligent graphics and image processing. E-mail：liuyepengdream@gmail.com