基于改進視覺顯著性算法的運動模糊圖像復原

嚴家奕,侯幸林,孫濤,經正,徐百川,劉德志

(1.常州工學院汽車工程學院,江蘇 常州 213032; 2.新奧能源物流有限公司,河北 廓坊 065000)

0 引言

圖像運動模糊源于相機曝光時間內被攝物與成像系統之間的相對運動,該過程的本質是圖像退化,運動模糊復原一般是基于退化過程的先驗知識建立圖像的退化模型,通過反退化逆向求解來恢復原始圖像的過程。隨著數字圖像處理技術的深入發展,運動模糊復原在各個領域都有廣泛應用。在汽車領域,模糊車牌圖像復原對電子眼識別車輛信息具有較大意義,自動駕駛系統對周邊環境感知也依賴于模糊圖像的清晰復原;在航空航天領域,采用運動模糊圖像復原技術對太空中的照片進行處理后便于資源調查,衛星拍攝的遙感模糊圖像通過復原處理可提高分辨率以獲取更多信息。綜上所述,研究模糊圖像復原技術對工業生產和人們的生活有著重要意義。

勻速直線運動所造成的模糊具有代表性,非勻速直線運動和曲線運動在一定條件下都可以近似看作多個勻速直線運動的合成,因此,分析勻速直線運動模糊機理可為研究其他類型的圖像復原提供參考。

在模糊圖像處理過程中,點擴散函數(point spread function, PSF)分為已知和未知兩種情況,直線運動點擴散函數是由相對運動的長度和方向決定的,因此,估計和分析點擴散函數是解決勻速直線運動模糊問題的關鍵?，F有的大部分算法忽略了傅里葉變換后頻譜圖像中心十字亮線的影響,在模糊長度較小時(2

1 盲去卷積國內外研究現狀

常見模糊圖像復原算法有逆濾波復原法[1]、維納濾波復原法[2]、R-L迭代復原算法[3]等。逆濾波復原法其核心思想是通過逆濾波器將損壞的圖像信號進行可逆反演得到復原圖像。維納濾波復原法的中心思想是找一幅圖像并使其與原始清晰圖像之間均方誤差最小。R-L迭代復原算法假設圖像服從泊松分布并采用最大似然法估計清晰圖像,該算法對退化過程的先驗知識要求少且復原效果好,但耗時長。3種方法都需要確定導致圖像降質的退化函數,同時要考慮與噪聲相關的先驗知識。

圖像的運動模糊從數學角度可看作輸入圖像和退化函數卷積后與噪聲相加的過程。運動模糊復原算法可分為兩種:一種是非盲去卷積復原算法;另一種是盲去卷積復原算法。因此,在復原圖像前需對模糊圖像的點擴散函數PSF進行估計,通過所得的PSF再進行去模糊處理。在工程應用中,大部分PSF是未知的,需要用到盲去卷積復原算法。PSF的估算是一個病態的過程[4],Le等[5]通過觀察實際拍攝的模糊圖像,發現了其頻譜中的十字亮線會嚴重影響算法的精準度。

此外,根據研究對象不同可以將處理方法分為空域法和頻域法?？沼蚍ㄊ窃谠械哪：龍D像上,根據圖像模糊前后像素的變化以及邊緣寬度變化進行復原。但空域法在應用中對圖像處理算法要求較高[6],很難處理背景較為復雜的模糊圖像,在工程運用中較困難。頻域法是根據模糊圖像進行傅里葉變換后得到的頻譜圖像條紋特性來研究退化函數的方法。Moghaddam等[7]針對頻譜圖像提出了Radon直線擬合的方法,使角度誤差控制在1°以內,長度誤差在0.95個像素左右。蔡慧敏等[8]基于二次傅里葉同態變化進行Hough變換測量角度,將精度再次提高,但是經過傅里葉變換的頻譜圖會削弱圖像的抗噪聲能力。王秋云等[9]研究圖像的倒頻譜,基于倒頻譜估計運動模糊參數,在一定程度上提升了圖像的復原質量,將角度誤差控制在0.2°左右,但該方法受噪聲的影響較大。針對上述問題,Zhou等[10]通過自適中值濾波,采用3次Radon變換法來提高測量的精度,減少了傅里葉變化噪聲和干涉條紋對估計結果的影響,很好地提高了角度測量精度,然而當模糊長度在3～5個像素時仍存在角度估計誤差大的問題。相對于空域法,頻域法可以處理背景較復雜的模糊圖像,工程應用范圍更廣。本文采用頻域法對運動模糊角度進行估計,且在模糊長度較小時,設計高精度角度估計方法。

2 勻速直線運動模糊圖像的退化

勻速直線運動造成的模糊圖像可看作是清晰圖像和退化函數進行卷積運算,并加上線性噪聲的結果,模糊圖像的時域表達式可寫為:

g(x,y)=f(x,y)?h(x,y)+n(x,y)

(1)

根據時域卷積定理,時域內卷積可化為頻域內的乘積,對式(1)兩邊進行傅里葉變換可得:

G(u,v)=F(u,v)H(u,v)+N(u,v)

(2)

當物體做勻速直線運動時,模糊圖像g(x,y)在x軸和y軸上隨時間變化的分量分別為x0(t)和y0(t),假設曝光時間為T,且圖像不受噪聲影響,則有:

(3)

u、v是二維圖像頻域上的變化量,物體在二維空間內運動,那么則有x0(t)=at/T和y0(t)=bt/T,其中a和b分別代表目標在x和y軸上的位移。因此退化函數可寫為:

H(u,v)=

(4)

3 運動模糊參數估計

3.1 模糊圖像角度估計

頻域法中,模糊角度的估計精度影響著模糊長度的求解誤差,直接關系到模糊圖像的復原結果。本文針對頻域上壓縮圖像過程中帶來的噪聲問題,采用腐蝕和膨脹的方法,將頻譜圖像高頻部分進行縮減細化,減小了圖像的高頻噪聲,同時在一定程度上縮小了頻譜圖像中的中心十字亮斑。針對小尺度下頻譜圖像出現的估計不準確問題,本文提出最小二乘直線擬合估算角度的方法,有效提高了模糊長度為3～5個像素時的角度估計精度。

3.1.1 圖像預處理

傅里葉變換將圖像從空域轉化至頻域,傅里葉變化后的特征頻率可以根據傅立葉系數進行提取和計算[11]。在頻譜圖像上進行同態變換,壓縮圖像的灰度值,可使傅里葉變換后的條紋特征更加明顯,無噪聲情況下的頻譜圖像函數經同態變換得:

log(|G(u,v)|)=log(|F(u,v)|)log(|H(u,v)|)

(5)

由傅里葉變化的互易性可知,對log(|H(u,v)|)做傅里葉變換時,會在方向θ上出現一條亮條紋。在處理模糊圖像過程中,將log(|G(u,v)|)進行傅里葉變換,取對數值以體現其特征。

雖然壓縮圖像可以明顯地體現條紋特征,但多次壓縮圖像后,圖像周圍會出現一系列分布不均勻的噪聲,同時中心的十字亮斑也會影響模糊參數的角度估計。為了減小壓縮圖像產生噪聲對角度估計的影響,需要對模糊圖像的頻域圖像進行預處理,本文采取圖像形態學中的腐蝕和膨脹,通過選取恰當的結構元素來去除圖像壓縮產生的噪點和減小中心十字亮斑帶來的影響。

3.1.2 改進的Radon角度估算方法

常見的估算角度方法有Hough直線擬合和 Radon變換,其中Hough直線擬合的時間復雜度和空間復雜度都很高,在估算圖像角度時需要測量多個點,并且在檢測過程中只能確定直線方向,丟失了線段的長度信息,不適合本文的運動模糊角度估計。

圖像f(x,y)在某一指定角度上的線性積分變換方法稱為Radon變換。對模糊圖像在給定角度內進行Radon變換,其結果可以用矩陣表示,在特定角度上Radon變化結果可以看做一個向量。由模糊圖像頻譜特征可知,如果在模糊角度上進行Radon變換,當頻譜中的亮暗條紋與積分直線束平行時,所得投影向量中就會出現一個最大值,若這個最大值為矩陣中的最大值,那么該值對應的角度,即為模糊角度?？梢?Radon變換能夠較為準確地估算運動角度,因此本文采取Radon變換測量角度。

對頻域圖像預處理后的圖像進行Canny算子邊緣檢測,并在邊緣檢測后進行Radon變換測量直線角度。為了進一步提高精度,本文將Radon變換的步長設定為0.1。該算法在模糊長度較長(L≥6)時有較高的精確度,算法的具體流程如圖1所示。首先,對模糊圖像進行連續兩次傅里葉變換并取其模的對數;其次,運用圖像形態學去除二次頻譜圖像上的噪聲;再次,運用Canny算子進行邊緣檢測;最后,對圖像運用Radon變換求取角度。

圖1 Radon算法流程圖

3.1.3 高精確角度估算算法

當模糊長度較小(2

(a)第一次同態變化后的圖像

用最小二乘法進行直線擬合,求取直線的角度。實驗數據表明,該角度估算方法可將平均精確度控制在0.5°以內,獲取的高精度角度值為:

通過求解可得:

(6)

直線擬合產生的誤差和取點方法有直接關系,因此,在取點過程中,需要平滑取點并且適當增加取點的個數以提高算法精度。

3.2 模糊長度估計

模糊長度估算一般以測量出的角度為基礎,將模糊圖像的模糊核旋轉至水平或者垂直方向,并在此基礎上求解模糊長度。本文采取頻譜投影估算方法,并對傳統微分自相關算法進行改進,其中頻譜投影法基于模糊圖像傅里葉變換的條紋特性進行估計,微分自相關則基于模糊圖像灰度值的特點估算模糊長度。

3.2.1 頻譜投影算法

在曝光時間內,假設圖像尺寸為D×D,其位移為L,則式(4)中a=Lcosθ,b=Lsinθ,將a、b代入式(4)中,并令V=(ucosθ+vsinθ)可得:

(7)

由式(7)可知,當LV取1、2、3、4……時,H(u,v)=0,此時二維頻譜圖像在與模糊角度垂直的方向上出現一系列明暗相間的條紋。因此,運動模糊圖像的頻譜圖滿足其條紋間距d和模糊尺寸L成反比,即L×d=D的規律,以此特性為基礎,可以通過統計頻譜圖像上暗條紋的個數估算出模糊長度L。

對模糊圖像進行二維傅里葉變換并且平移居中后旋轉至垂直,通過滑動平均濾波計算出頻譜的列平均像素。

該估算長度方法的流程為:

1)對水平模糊圖像進行傅里葉變換,得到二維頻譜圖;

2)通過已求得的模糊角度,將頻譜圖旋轉,使條紋垂直于水平面;

3)對頻譜圖像的像素求和再求平均,計算單個條紋間距;

4)用公式L=D/d解得運動長度。

實驗發現,當模糊長度不同時,頻譜投影法計算結果差異很大,例如,當運動長度小于等于25個像素時,估算出模糊長度的平均誤差可控制在0.2個像素以內,但當運動長度超過25個像素時,明暗條紋條數過多,算法無法準確地判斷暗條紋的數量。因此,頻譜投影法只適用于小范圍的估算,當模糊長度超過25個像素時,本文采用基于微分自相關的估計方法。

3.2.2 微分自相關估計法

在二維圖像處理中,一般只考慮二維運動的情況,本文只針對勻速直線運動模糊的情況進行研究。勻速直線運動時可將圖像看作是整體平移,其間圖像像素所對應的灰度值不隨時間的變化而發生改變。文獻[13]中的自相關運算分配率表達式為:

(8)

式中:Rg′g′是模糊圖像的差分自相關運算函數;Rff是清晰圖像的自相關運算符。由式(8)能很好地看出,在Δx=0處存在中央正峰,在距其±d處存在一對共軛負峰。

該模糊核長度估算方法流程為:

1)通過所求的模糊角度,將模糊圖像旋轉至水平方向;

2)對模糊圖像在水平方向上進行一階微分運算,得到水平微分圖像;

3)對微分圖像在水平方向上進行自相關運算,得到水平自相關圖像;

4)將自相關圖像各列求和再求平均,得到一條特征向量;

5)分析向量數據并獲取長度,兩負峰間距的一半即為模糊長度。

3.2.3 基于傅里葉變換對的自相關估計法

微分自相關估計法所求出的模糊長度準確度較高,但其對計算要求比較高,耗時較長。因此,本文提出一種基于傅里葉變換對的自相關估算方法,可有效減少計算時間,提高算法效率。由維納辛欽定理可知,一個信號的功率譜密度就是該信號自相關函數的傅里葉變換,即信號的功率譜密度和信號的自相關函數是一對傅里葉變換對,因此,本文在功率譜密度上進行逆傅里葉變換可得到自相關圖像鑒別曲線。

將模糊圖像旋轉至垂直方向,運用Sobel算子求圖像垂直方向上的一階微分后取模,可得其功率密度,在功率密度上作傅里葉逆變換即為模糊圖像的自相關函數。

兩負峰之間距離的一半即為模糊長度。

該長度估算方法的流程為:

1)通過已求得的模糊角度,將模糊圖像旋轉至垂直方向;

2)對垂直模糊圖像用Sobel算子進行一階微分得到垂直微分圖像;

3)對微分圖像進行二維傅里葉變換得到頻域圖像;

4)提取出頻域圖像中的實部和虛部,并計算圖像的功率譜;

5)對能量圖進行傅里葉反變換,得到自相關數據;

6)求自相關圖中兩負峰間的距離。

4 無參考圖像質量評估系統

在分析運動模糊參數估計結束后,針對不同模糊程度的圖像復原方法進行總結。第1種,當模糊長度大于10個像素時,采取Radon算法估計模糊角度,改進自相關估計長度;第2種,當模糊長度在6～10個像素時,采取Radon算法估計模糊角度,頻譜法估計長度;第3種,當模糊長度在3～5個像素時,采用最小二乘法估計模糊角度,頻譜法估計長度。但在進行圖像復原時,何種方法估算出的模糊參數最準確,針對該問題本文設計了一種無參考圖像質量評估流程來確定最佳復原圖像。

首先將X×X的待評估圖像分割為多個N×N的圖像塊P(N);其次對各個圖像塊進行降采樣得到長度為n的相量h(n);再次利用視覺顯著性計算各個圖像塊的權重值w(n);最后用模糊特征向量曲線歸一化面積表征圖像質量,并形成待評估圖像的分數。

圖像降采樣過程中,對圖像塊進行梯度計算,很大程度上體現出圖像的紋理特征。對梯度計算后的圖像塊按列求取信息熵,形成長度為n的相量h(n)。當復原圖像較為清晰時,其紋理特征更明顯,信息熵也更高,反之則低。對于各個圖像塊權重w(n)的計算,采用FT算法來模擬人的視覺特點形成視覺顯著圖,極大地保留了圖像的形狀特征。通過計算各個圖像塊灰度值在整幅圖像中的占比可以得到圖像塊的權重大小。

(9)

(10)

式中:p(ai)代表所求列各個像素出現的概率;Iu代表圖像的平均特征;Iwhc代表所求的某一點高斯濾波后的像素值。

文獻[14]對模糊程度不同的圖像進行圖像質量特征向量對比,并以顯著度加權的失真特性向量預測模糊圖像的質量得分,公式為:

(11)

本文復原模糊圖像的流程如下:首先,判斷輸入的模糊圖像是否存在噪聲,有則去除噪聲;其次,進入模糊核估計,并對模糊圖像進行復原;最后,對復原后的圖組進行評分,輸出得分最高的圖像。

本節基于圖像視覺顯著性算法提出了一種新的圖像評分方法,一方面提高了圖像復原后的質量,另一方面也加快了圖像復原的速度。

5 實驗與結果分析

5.1 實驗結果

在MATLAB環境下進行實驗,針對有噪聲和無噪聲兩種情況,估計模糊圖像的運動模糊參數,并利用估算出的運動參數進行運動模糊圖像復原,通過計算復原后清晰圖像的峰值信噪比驗證圖像的復原質量。圖像的峰值信噪比(PSNR)定義如下:

RPSN=

(12)

在無噪聲和方差為0.001的高斯噪聲兩種情況下的運動模糊角度估計結果見表1。由表1可以看出,在模糊長度為3～6時,最小二乘估計角度方法在計算精度上較高,在模糊長度大于6時改進后的Radon算法效果更好。

表1 無噪聲和方差0.001的高斯噪聲情況下運動模糊角度估計結果

無噪聲和方差為0.001的高斯噪聲時的運動模糊長度估計結果見表2。由表2可看出,在模糊長度小于等于10個像素時,頻譜投影法估計長度精度更加準確,在模糊長度大于10個像素時,本文改進后的自相關估算法求解效果更好。

表2 無噪聲和方差0.001的高斯噪聲情況下運動模糊長度估計結果

無噪聲和方差0.001的高斯噪聲兩種情況下,使用維納濾波和R-L迭代復原算法對模糊圖像進行復原后的峰值信噪比和得分見表3?？梢钥闯?同一幅圖的峰值信噪比越高的圖像其得分也越高,一定程度上說明了本文設計的圖像質量評估系統的準確性與穩定性。復原結果相比于原始圖像,信噪比與得分在大部分情況下有較大的提高,但在有噪聲的情況下,由于不同算法對噪聲的敏感程度不同,提高的程度有所差異,總之,本文提出的運動參數估計算法能在一定程度上提高參數的估計精度和魯棒性。

表3 無噪聲和方差0.001的高斯噪聲情況下復原的圖像質量

圖3、4是在不同模糊長度的情況下,用不同算法獲取運動參數并通過R-L迭代復原算法進行復原的結果,不難看出,在兩種情況下,本文提出的算法在復原圖像的細節上優于對比算法。圖5、6是有噪聲情況下與已有方法的對比,同樣可以看出,本文算法的復原結果使Lena臉部更加清晰,頭發和帽子邊緣也更平滑、清晰,總體上優于對比算法。

圖3 模糊長度較大(L≥6)時的R-L迭代復原法復原圖像結果

圖4 模糊長度較小(2

圖5 噪聲方差0.001模糊長度較大(L≥6)時的維納濾波復原圖像結果

此外,實驗對比了除Radon以外的多種算法與本文算法在估計結果上的差異,如表4、5所示。本文算法在模糊長度較小和較大兩種情況下,所估計結果的最小誤差、最大誤差及平均誤差絕大部分小于對比文獻。

表4 模糊長度大于15個像素的不同算法的運動模糊參數估計結果對比

表5 模糊長度3～15個像素的不同算法的運動模糊參數估計結果對比

5.2 實驗分析

由實驗數據可知:在無噪聲情況下模糊長度在3～6個像素時最小二乘直線擬合法對無噪聲圖像模糊角度估算精度較高,平均誤差可以控制在0.5°左右;當模糊長度大于6個像素時,改進后的Radon算法對模糊角度估算精確度較高,平均誤差可以控制在0.2°左右;本文算法對于小尺度模糊長度的估算有了較好的改進。針對長度估計,當模糊長度在3～10個像素時頻譜投影法的模糊長度估算精確度較高,而當模糊長度大于10個像素時采用改進后的自相關估算法所得效果更好,從實驗結果可以看出本文的算法所得結果相比其他算法,特別是模糊長度估算有更好的效果。此外,實驗結果顯示:當準確知道退化函數或估算出的退化函數誤差極小且不存在噪聲時采用維納濾波算法復原效果更好;當估算出的退化函數有一定誤差或有噪聲存在時,采用R-L迭代復原算法復原效果好。通過分析噪聲對結果的影響可知,本文的算法對較小噪聲的圖像復原有一定的魯棒性,但噪聲較大時必須對噪聲圖像進行預處理,以避免復原圖像時受噪聲的影響。

6 總結

本文主要針對勻速直線運動模糊圖像復原質量問題進行研究。對模糊圖像點擴散函數估算不準確的問題,首先基于圖像預處理和改進的Radon變換,解決了頻譜圖像噪聲和中心十字亮條紋的問題,在一定程度上提高了模糊角度參數估計的精度;其次針對模糊尺寸較小情況下角度估算不準確的問題,采取最小二乘直線擬合估算其角度;最后結合兩種方法估算出模糊角度。對長度估算問題,通過解得的角度進行長度運算。實驗表明:在模糊長度小于等于10個像素時頻譜投影法估算的值更為精確;在模糊長度大于10個像素時應采取改進的自相關估計算法。對判別復原圖像最優解的問題,基于圖像視覺顯著性算法,本文構造了得分函數以便求解最優質的圖像,實現復原圖像的自適應。實驗證明,本文方法解決了圖像自相關能量分布不均勻,算法耗時長,復原圖像質量不為最優解的問題,改進后的算法精確度更高。在圖像去噪過程中選擇更加泛化的去噪方法,在最小二乘直線擬合估算角度過程中如何采點取樣才能更加方便準確,如何正確選取形態學結構元素,是未來的研究內容。