基于NSST與稀疏先驗的遙感圖像去模糊方法

成麗波, 董 倫, 李 喆, 賈小寧

(長春理工大學 數學與統計學院, 長春 130022)

遙感圖像在采集、 傳輸、 存儲、 顯示的過程中會受到諸多因素的影響, 導致獲取的圖像信息有一定缺失, 圖像因此會失真而變得模糊. 模糊圖像會嚴重影響自身信息的豐富性和有效性, 從而影響人們對圖像信息的判斷. 所以遙感圖像去模糊[1-4]的研究至關重要.

在數學的角度上, 模糊圖像可視為由清晰圖像與某一模糊核進行卷積并疊加噪聲的結果[5]. 用數學表達式表示為f=K?u+ε, 其中K為模糊核,ε為噪聲.根據模糊核K是否已知, 圖像去模糊可分為圖像非盲去模糊和圖像盲去模糊.圖像非盲去模糊過程就是在已知模糊核的情況下, 從模糊圖像f中復原出清晰圖像u的過程, 該問題實質上是一個線性逆問題. 圖像去模糊領域中具有稀疏先驗的傳統方法包括基于稀疏表示的圖像復原算法、 基于全變分(total variation, TV)模型的算法等[6-7].

基于稀疏先驗的方法是近年來圖像去模糊領域中的一個研究重點, 其處理問題的方法是充分利用圖像信號的稀疏特征, 將其轉化為去模糊問題中的先驗約束條件, 從而把病態問題轉變為良性問題, 實現圖像信號的去模糊. Bredies等[8]針對圖像去模糊問題, 建立了以lp范式為約束項的優化模型; Beck等[9]建立了一種二次逼近的圖像去模糊算法, 該算法在收縮速度上有一定的提升; Dupe等[10]針對去模糊問題, 提出了由數據保真項、 稀疏促進項、 附加項組成的圖像復原框架, 該模型框架也是目前基于稀疏先驗的復原方法常用的模型框架. 之后, 諸多研究者在原始復原框架的基礎上進行了諸多改良. Daubechies等[11]構造了l1范式正則化的優化問題模型, 并提出用迭代收縮算法處理該優化問題; Pustelnik等[12]提出了多正則項約束優化解決單一正則項存在不足的問題; 孫濤等[13]通過將稀疏模型和全變分模型相結合, 證明了混合模型比單一模型具有更好的圖像去模糊性能; 鐘秋祥等[14]提出了一種自適應二階變分模型, 該模型對復原脈沖噪聲下的模糊圖像可以很好地抑制復原所產生的階梯效應; Duan等[15]構建了一種最大化l1正則化的圖像去模糊算法, 該算法對去除大氣湍流模糊具有良好的效果, 并設置了軟抑制策略抑制偽影.

一些研究者嘗試用圖像在小波[16]、 緊框架[17]、 輪廓波[18]等多尺度分析工具下的稀疏特征與稀疏先驗的模型框架相結合, 使復原模型得到了改進, 圖像復原的效果也得到提升. 例如: Cai等[19]利用圖像小波域系數的稀疏性作為約束條件, 所得復原后的圖像能很好地抑制噪聲和偽跡; 王艮化等[20]通過構建混合空域和小波域的正則化方法, 提升了原始稀疏表示框架的復原性能; 袁存林等[21]在小波變換域中圖像系數稀疏的先驗假設下, 構建一個包含數據保真項和基于小波框架的正則化項的算法模型, 實現了對圖像的去模糊、 去噪; 婁帥等[22]采用輪廓波對圖像進行分解, 輪廓波可以更好地刻畫圖像的細節紋理信息, 并通過對罰函數進行優化, 使復原后的圖像具有更豐富的細節特征; 張晶等[23]針對圖像復原時出現的紋理、 細節信息丟失的問題, 提出了緊框架小波與全變分協同稀疏的圖像復原算法, 該方法可準確刻畫圖像的細節信息; Shen[24]提出了一種基于小波框架的非凸正則化復原算法用于圖像去模糊, 采用多域主動學習(MDAL)算法進行模型的求解, 實驗表明該方法具有良好的去模糊和去噪能力.

近年來, 經過改良的多尺度幾何分析工具在圖像處理領域應用廣泛, 非下采樣剪切波變換(non-subsampled shearlet transform, NSST)就是一種改良的多尺度幾何分析工具, 它具有良好的時頻局域性和平移不變性[25-29], 與傳統小波相比可以更好地保留圖像的細節信息, 更好地刻畫圖像的結構特征. 目前, 非下采樣剪切波變換常用于圖像融合的研究, 而在圖像去模糊研究中的應用較少, 所以結合非下采樣剪切波變換與遙感圖像去模糊的研究有意義.

基于上述工作與改良多尺度分析工具的啟發, 本文設計一種基于非下采樣剪切波變換與稀疏表示相結合的圖像復原算法, 利用圖像在非下采樣剪切波變換下低頻和高頻圖像結構的特性, 對低頻、 高頻圖像分別進行相應的處理, 以有效保留圖像復原后的細節信息, 提升圖像復原的效果.

1 預備知識

1.1 剪切波變換

剪切波是一種由不同尺度小波所集成的合成波. 相比于單一小波, 剪切波對圖像有更細致的分解: 單一小波分解圖像只會產生3個高頻子帶, 而經過剪切波分解的圖像可分解出更多的高頻子帶, 并且低頻部分和高頻部分的特征分布會隨著變換尺度的不同呈現一定的規律.

剪切波對圖像在任何尺度上分解的低頻系數都是原圖像整體輪廓的近似, 且保留了原圖像的大部分能量信息; 高頻部分是原圖像在不同尺度特征值下提取的有效閾值信號, 主要突出原圖像的細節信息, 如邊緣信息、 紋理信息. 剪切波的定義表示為

SHf(a,s,t)=〈f,ψa,s,t〉,

(1)

其中ψa,s,t為剪切波母函數, 定義為

ψa,s,t(x)=a-3/4ψ(A-1B-1(x-t)),

(2)

a∈+,s∈,t∈2依次表示尺度參數、 剪切參數和平移參數; 矩陣A表示具有各向異性的膨脹矩陣, 定義為

矩陣B表示剪切矩陣, 定義為

1.2 非下采樣剪切波變換

NSST是對剪切波變換的改進, 其在保持剪切波變換的頻域緊支撐、 時域快衰減等優良特性的同時, 還保證每個尺度上的高頻系數都接近于最稀疏的表示. 與剪切波變換相比, NSST具有位移不變性和更好的方向性特征, 可以更準確地刻畫圖像的細節紋理信息.

NSST主要包括多尺度分解和方向局部化兩個步驟[30-33]: 采用非下采樣金字塔濾波器組(non-subsampled pyramid filter banks, NSPF)對圖形進行n級尺度分解, 實現多尺度化; 采用剪切濾波器組(shearlet filter banks, SFB)實現方向局部化, 最終得到低頻子帶及由細到粗的高頻子帶. 圖1為NSST分解的示意圖.

圖1 NSST分解示意圖Fig.1 Schematic diagram of NSST decomposition

2 算法設計

2.1 本文算法模型

本文受NSST對圖像進行分解后的高頻圖像具有稀疏性的啟發, 構造基于非下采樣剪切波變換與稀疏先驗的圖像去模糊模型, 表示為

(3)

其中‖·‖F表示Frobenius范數,W表示非下采樣剪切波變換,Θ(·)表示深度去除噪聲的卷積神經網絡(convolutional neural network, CNN)去噪器,α>0表示平衡正則項與保真項的正則化參數.

2.2 CNN去噪器

CNN除在圖像復原過程中具有良好的去噪性能外, 其高度的并行性還可大幅度縮短運行時間, 圖2為本文CNN去噪器的網絡結構. 由圖2可見, 該網絡結構由卷積核為64的卷積層、 歸一化單元(batch normalization, BN)和線性整流單元(rectified linear unit, ReLU)三種模塊構成, 網絡開始部分由一個卷積層和一個線性整流單元組成, 中間部分為若干個由卷積層、 歸一化單元和線性整流單元組成的模塊組構成, 結尾部分僅由卷積層組成. 該網絡已經通過大量的數據集完成去噪訓練, 可直接應用于本文算法中, 達到深度去噪的效果.

圖2 CNN結構Fig.2 Structure of CNN

2.3 模型求解

對模型(3)的求解, 引入輔助變量d,z, Lagrange乘子c,b.給定約束條件d=Wu,z=u, 則問題(3)變為如下約束形式:

其中λ>0,τ>0是罰參數.

利用交替方向乘子法(alternating direction method of multipliers, ADMM)對問題(4)求解得到如下子問題:

下面求解各子問題.首先, 求解u-子問題.由于求解該問題是可微的, 因此可直接給出u-子問題的閉合解形式:

(10)

其中F表示快速Fourier變換,F-1表示快速Fourier變換的逆變換,F(·)*表示快速Fourier變換的共軛轉置, °表示矩陣的點乘.

其次, 對d-子問題求解.因為需要對低頻和高頻圖像分別進行處理, 因此將低頻圖像記作dl、 高頻圖像記作dh.使用導向濾波對低頻圖像濾波進行處理, 以最大可能保持圖像信息, 采用閾值方法對高頻圖像進行處理:

(11)

其中G(·)表示導向濾波器,S1/τ(·)表示軟閾值算子.

最后, 求解z-子問題.從Bayes角度該問題是一個高斯去噪問題:

(12)

其中w=u+c/τ.

綜上, 可得如下算法.

算法1本文的圖像去模糊算法.

步驟1) 輸入含噪聲的模糊圖像f, 模糊算子K; 輸入變量u,z,b,d,c, 初始化u=f;

步驟2) 對圖像u進行分層ui(i=1,2,3);

fori=1∶kdo

步驟3) 利用非下采樣剪切波分解退化圖像ui;

步驟4) 利用式(11)更新d;

步驟5) 利用式(7)更新b;

步驟6) 利用非下采樣剪切波逆變換重構圖像ui;

步驟7) 利用式(10)更新ui;

步驟8) 利用式(12)更新z;

步驟9) 利用式(9)更新c;

end

步驟10) 對復原后的u1,u2,u3進行重構;

輸出: 復原后的遙感圖像u.

3 實驗結果與分析

本文在開放的遙感衛星圖像數據集[34]中選取6張大小為600×600不同場景的圖像(ImageA,ImageB,ImageC,ImageD,ImageE,ImageF)進行仿真實驗, 清晰圖像如圖3所示. 本文算法實驗在MATLAB R2020b上進行, 電腦配置為Windows10, Intel(R) Core(TM) i5-6300 HQ CPU @ 2.30 GHz.

圖3 實驗中使用的清晰圖像Fig.3 Clear images used in experiment

使用混合即插即用(hybrid plug-and-play, H-PNP)算法[35]、 基于稀疏組表示(group-based sparse representation, GSR)算法[36]、 L2TV算法與本文去模糊算法進行實驗對比. 選用3種模糊, 即平均模糊、 高斯模糊和運動模糊, 其中平均模糊核大小為7×7; 高斯模糊核的寬度為7, 濾波器的標準差為2; 運動模糊核的運動角度為3, 運動長度為17. 噪聲均選取均值為0、 標準差為5的高斯噪聲.

不同場景圖像去模糊的結果分別如圖4～圖9所示, 作為圖像去模糊的主觀評價指標. 每種模糊分別選取兩種場景, 展示去模糊后的結果, 本文算法可對含有高斯噪聲的模糊遙感圖像進行有效的圖像復原, 既保證復原后的圖像不失真, 也更好保留了圖像的細節, 同時也克服了圖像復原過程中產生的振鈴效應. 表1列出了高斯噪聲下的遙感圖像使用不同算法去模糊的評價指標結果. 由表1可見, 本文算法的客觀評價指標峰值信噪比(PSNR)和結構相似度(SSIM)的數值結果較好, PSNR和SSIM值均高于其他去模糊算法. 本文算法相比其他3種對比實驗算法, 對同一張含有模糊和噪聲的退化圖像進行復原, PSNR和SSIM均有顯著提升. 在進行去高斯模糊時, 本文算法可將PSNR提升0.28～1.25 dB, SSIM提升0.014～0.175; 在進行去平均模糊時, 本文算法可將PSNR提升0.11～1.61 dB, SSIM提升0.014～0.157; 在進行去運動模糊時, 本文算法可將PSNR提升0.23～1.67 dB, SSIM提升0.004～0.168.

表1 高斯噪聲下的遙感圖像使用不同算法去模糊的評價指標結果

圖4 不同算法對ImageA去除高斯模糊的結果對比Fig.4 Comparison of results for removing Gaussian blurring from ImageA using different algorithms

圖5 不同算法對ImageB去除高斯模糊的結果對比Fig.5 Comparison of results for removing Gaussian blurring from ImageB using different algorithms

圖6 不同算法對ImageC去除平均模糊的結果對比Fig.6 Comparison of results for removing average blurring from ImageC using different algorithms

圖7 不同算法對ImageD去除平均模糊的結果對比Fig.7 Comparison of results for removing average blurring from ImageD using different algorithms

圖8 不同算法對ImageE去除運動模糊的結果對比Fig.8 Comparison of results for removing motion blurring from ImageE using different algorithms

圖9 不同算法對ImageF去除運動模糊的結果對比Fig.9 Comparison of results for removing motion blurring from ImageF using different algorithms

表2列出了高斯噪聲下的遙感圖像使用不同算法去模糊的時間對比結果. 由表2可見, 本文算法對退化圖像復原的時間相比于L2TV算法的復原時間略長, 相比于H-PNP和GSR算法的復原時間則大幅度縮減. 因此, 本文算法在提升復原效果的同時, 也避免了實現對退化圖像復原所用時間過長的問題, 從而實現了對退化圖像的高質量、 高速率復原的目的.

表2 高斯噪聲下的遙感圖像使用不同算法去模糊的時間對比結果

綜上所述, 針對遙感圖像的模糊問題, 本文設計了一種基于NSST與稀疏先驗的遙感圖像去模糊方法. 該方法利用遙感圖像在非下采樣剪切波分解下的高頻圖像的稀疏特性構造基于NSST與稀疏先驗的圖像去模糊模型, 采用交替方向乘子法求解模型, 采用閾值方法對高頻圖像進行約束處理; 為減少由NSST分解多導致的圖像信息缺失, 在低頻圖像進行導向濾波處理, 以最大可能保留圖像的細節信息; 在整個復原過程中采用CNN去噪器進行深度去噪; 再將處理后的高頻圖像與低頻圖像進行重構, 最終復原出清晰的圖像. 本文方法有效復原了高斯噪聲下的高斯模糊、 平均模糊、 運動模糊的遙感圖像. 實驗結果表明: 對6種場景的遙感模糊圖像使用本文算法進行去模糊, 取得了較好的實驗結果, 在客觀評價指標(PSNR,SSIM)的數值結果上相比其他3種對比方法得到了大幅度提升. 在主觀視覺上也取得了較好的效果, 大量縮減了復原時間.