拉普拉斯修補矩陣下圖像漸暈高效復原方法

呂 晶,薛亞非,劉益新

(1. 南京師范大學中北學院,江蘇 丹陽 212300;2. 南京大學,江蘇 南京 210023)

1 引言

圖像是人類獲得信息的主要方式,具有簡單、直觀、清晰等優點,在各個領域中都有著舉足輕重的作用。隨著時代進步和科學技術的不斷發展,人們對于影像的認識也越來越深刻,與此同時對圖像品質的要求也越來越高,數字圖像處理技術已逐漸成為業界關注的焦點。其中圖像還原是從退化模糊圖像中提取圖像的一項重要技術。影像模糊或漸暈通常受到晃動影響,因物件與攝影機間的相對移動,導致物體成像模糊不清,從而給人類的生產、生活甚至是科學研究等帶來諸多的不便。圖像漸暈復原是當前研究的熱點之一,在很多科學研究和工業生產中有著舉足輕重的作用。

白亮等人[1]研究的層級融合自適應復原法,將不同層次的圖像特性融合,提高了圖像的總體結構,注意機理增強了模型自適應能力,實現了不同層次的圖像動作狀態的融合,提高了主觀視覺質量;王向軍等人[2]提出一種循環注意力復原法,利用深度可分離卷積有效地降低模糊圖像的參數量,合理分配圖像資源,計算邊緣損失,修復邊緣細節信息,實現圖像的復原處理。但上述兩種方法都在圖像去噪效果不夠理想,或多或少將原本信息也去除掉,導致復原圖像內有效信息量降低。

為解決上述方法存在的問題,提出基于拉普拉斯修補矩陣的漸暈復原方法。利用調和去噪模型將圖像中存在的噪聲干擾有效去除,并對圖像保真,在盲區模糊處理中,利用先驗信息計算后驗概率,通過拉普拉斯修補矩陣估算復原最優值,實現漸暈圖像的深度復原。

2 圖像漸暈復原調和去噪模型構建

為保證漸暈圖像在復原過程中,能保持良好的清晰度和邊緣細節,建立圖像的調和去噪模型[3],基于L2范數,構建圖像四邊形擴散降噪模型[4],具體的函數表達式為:

(1)

式中,u表示原始圖像,u0表示含噪聲的圖像,Ω表示圖像的整體區域范圍,λ表示拉格朗日乘數[5],|?u|表示去噪模型中的梯度算子模值。通過上述函數模型可以實現變分推導,求解出拉格朗日方程,在此基礎上利用梯度下降流,將方程轉換成偏微分方程式:

(2)

其中?表示梯度下降流的微分參數[6],此時圖像中各個方向上同性擴散對應的調和去噪模型可以實現離散化處理:

(3)

式中,Δt表示離散處理的迭代時間步長,w表示原始圖像坐標ui,j上的8個領域點,根據離散化處理后的模型可以看出,噪聲向圖像中各方向上擴散的能力基本相同,這樣會在去噪過程中使邊緣模糊化。

在圖像中,任何象素點都有一個較穩定的邊界方向和梯度,因為擴散降噪模型在每個方向上的擴散能力基本上是一樣的,所以不能充分地反應沿邊緣或斜坡方向發生的擴散系數差,所以,在降噪過程中,圖像邊緣很容易變得模糊,因此,采用拉普拉斯算子,該算子在邊緣上擴展,既能更好地抑制噪聲,又能有效地防止邊界的破壞。

在圖像中相對平滑區域中,邊緣和梯度的擴散系數值相對來說較大,既滿足降噪的需求又能有效的消除圖像噪點的階梯效應,在圖像的邊沿上,擴散系統的數值維持較大值,同時,在斜率方向上要保持一個很小的數值,這樣可以防止圖像的邊緣出現嚴重模糊。在精確地確保邊緣細節不會受到影響的情況下,對圖像中的邊緣細節適當處理。利用拉普拉斯算子處理,完成銳化過程,同時保持了圖像的背景信息,?2表示拉普拉斯算子,其對應的模型表達式如下所示:

?2u1(i.j)=(u(i,j))xx=ui-1,j-2ui,j+ui+1,j

(4)

?2u2(i.j)=(u(i,j))xy

(5)

?2u3(i.j)=(u(i,j))yx

(6)

?2u4(i.j)=(u(i,j))yy=ui,j-1-2ui,j+ui,j+1

(7)

(8)

通過拉普拉斯算子的計算,將ROF模型、L2范數模型和拉普拉斯算子與權重系數相結合,形成一個完整的RHI二階偏導求和模型:

(9)

式中,τ1和τ2表示各個模型之間融合的加權系數,γ表示改進過后的圖像保真項系數,ε小值正數。

RHI模型經過多次的迭代計算最終逐漸收斂得到正解:

wn(i,j+1)-4wn(i,j)]

(10)

3 圖像盲去模糊

對去噪后的圖像采取盲去模糊處理,大多數都是利用圖像和卷積核控制先驗信息來完成圖像的空間約束,但實際過程中存在圖像各方向上擴散高度的不適應性,為此在研究圖像漸暈復原方法時,為了提高整體的穩定性,利用先驗信息計算求得后驗概率最大解。假設圖像中模糊的觀測點y,利用貝葉斯規則計算圖像模糊問題[7]的后驗分布情況:

P(k,x|y)∞P(y|k,x)·P(x)·P(k)

(11)

式中,N表示漸暈圖像中包含的像素數量,ζ表示像素的高斯分布形態,σ2表示漸暈圖像中高斯噪聲的方差數值,P(x)、P(k)分別為漸暈圖像和其對應模糊核的先驗信息。通過給出合適的漸暈和模糊核的統計特性,可以得到更加全面的圖像。

在最大后驗估計值的基礎上,對漸暈圖像盲去模糊主要分成兩個步驟:一是估計漸暈圖像的模糊核[8],二是估計漸暈圖像中間層的清晰區域,交替迭代上述步驟,實現對圖像清晰區域和模糊核同時估計的目的。假設模型中均為高斯白噪聲,此時漸暈圖像的最大后驗概率模型可表示為:

(12)

為了方便計算,將式(12)簡化處理,得出實際的能量函數[9]：

(13)

式中,μ表示先驗信息中正則項對應的權重系數,交替迭代下面式(14)和(15)可以求解式(13):

(14)

(15)

此時,將式(14)作為漸暈圖像的非盲去卷積,式(15)作為漸暈圖像的估計模糊核,當二者對圖像先驗信息以及空間的真實約束力不同時,最終求解得到的中間層圖像也會大不相同,從而直接影響到圖像的估計模糊核。

4 圖像漸暈復原算法的實現

考慮到先驗信息以及空間的真實約束力不同問題,使用基于拉普拉斯修補矩陣的影像強化實現最終復原算法。圖像漸暈恢復是對圖像去模糊,與影像強化相似,影像恢復技術其終極目標是提高一個特定的影像質量,而圖像增強則是一種主觀的圖像恢復過程,而對圖像的漸暈部分復原中大多數程序都是客觀的,圖像恢復是一種嘗試利用某些已知的退化現象重構或者恢復已退化的技術,所以,圖像漸暈復原技術就是對退化建模,采取反向處理[10]

拉普拉斯修補矩陣是圖像中經常用到的一種矩陣模型,由于圖上的結點對應的是自變量,信號函數是“結點域”上的函數,而圖上結點之間并沒有這種全序關系,因此考慮所以鄰居結點,使用拉普拉斯修補矩陣對各個分量的二階偏導求和,有效地實現圖像的復原和補充。假設一個圖像中包含多個定點,可將其定義為L=D-A,其中D表示的是圖像中的度矩陣,A表示圖像相鄰的矩陣。

通過圖1可知拉普拉斯修補矩陣具備對稱性,將其轉換為正則化的拉普拉斯修補矩陣:

圖1 圖像退化/復原過程模型

Lsym=D-1/2LD-1/2=I-D-1/2AD-1/2

(16)

為了最大程度恢復原始的圖像內信息,通常的做法是用數學方法來確定最優標準答案,對所需結果的最優值估算,其中包含噪聲干擾、大氣環境等影響圖像質量的重要因素,以及成像裝置和目標對象之間的相對運動等,因此,要建立一個統一圖像降級數學模型,這種模式很難實現,為此選用線性位移數學模型來描述圖像退化類型[11]。

利用數學模型,將真實的降維過程分解為一個退化函數和一個加性噪聲項,如圖1所示。

圖1中,f(x,y)表示原始的清晰圖像,g(x,y)表示經過退化后的圖像,給定圖像g(x,y)和對應的退化函數[12]H一定信息,在此過程中加入適量的噪聲項η(x,y),對漸暈圖像復原主要是為了獲取接近于原始圖像的估計值f′(x,y),這種無線逼近的估算可以看作是對漸暈恢復的最后結果。

建立圖像漸暈復原的自適應拉普拉斯模型[13-14]：

(17)

式中,實際的漸暈狀態擴散控制系數p(?u)的數值范圍為1≤p(|?u|)≤2,該數值主要取決于等照度線的曲率k和梯度?u兩個因素共同決定的:

(18)

式中:

(19)

當p(|?u|)為常數值時,搭建的自適應拉普拉斯圖像漸暈復原模型函數[15]可表示為:

p(|?u|)=p(|?u|)|?u|p(|?u|)-1+

(ln|?u|)p′(|?u|)|?u|p(|?u|)

(20)

根據式(20)的計算結果可以得出,所提方法在圖像平滑區域部分取值無限接近于2時,圖像漸暈部分可以實現快速平滑;在圖像的邊緣部分,若取值接近于1的情況下,模型將沿著等照度線完成擴散,并在指定的梯度方向上采取平滑處理,抑制和削弱圖像的漸暈,更大程度的保留圖像細節。

5 實驗分析

為驗證基于拉普拉斯修補矩陣的漸暈復原方法(所提方法)的實際性能,選擇一張像素標準的灰度圖像作為實驗圖像,如圖2所示?？梢钥吹皆紝嶒瀳D像中包含大量噪聲,且模糊程度和漸暈程度均嚴重影響圖像的實際觀賞性。

在實驗過程中選擇Tensorflow1.2深度學習框架,判斷訓練和測試結果,實驗選用的硬件配置為Ubuntu16.04操作系統,為保證對圖像分辨率的判斷準確,選擇NVIDIA GeForce GTX 1080 Ti顯卡。

基于已有的超分辨率,將均值為0、標準方差為10的高斯白噪聲添加到原始圖像中,分別利用層級融合自適應復原法、循環注意力復原法和所提方法對原始圖像漸暈復原操作和驗證。

通過人眼觀察的主觀判斷評定圖像復原質量,利用三種不同方法對原始模糊圖像去噪處理,結果如圖3所示。

圖3 三種方法下圖像去噪效果

從圖3中可以清晰的觀察出,經過層級融合自適應復原法去噪后的圖像跟原始圖像相比,清晰了一些,但沒法做到完全去除噪聲影響;循環注意力復原法的去噪效果相比層級融合自適應復原法要好,圖像經過去噪后更加清晰,但會發現循環注意力復原法在去噪過程中將圖像的對比度和曝光度過度提高,導致圖像細節虛化,需要從后續的去模糊和復原圖像中確定循環注意力復原法的實際效果;所提方法對圖像去噪處理后,圖像中的噪點干擾基本消失,且一定程度上優化了圖像的明暗對比度,但是并未過度,方便后續對模糊內容的甄別。

利用三種不同方法對圖像深度去模糊處理,實現圖像漸暈復原,實驗結果如圖4所示。

圖4 三種方法下圖像漸暈復原效果

根據圖4可以看出不同方法針對圖像去模糊后的感官效果,循環注意力復原法效果優于層級融合自適應復原法,但通過所提方法完成漸暈復原后的圖像,相對其它方法更加清晰,噪聲干擾少,漸暈及模糊情況得到明顯的改善,且圖像丟失信息。

進一步針對圖像復原方法的客觀量化采取實驗,通過對指定量的分析,確定方法的實際性能,分別對三種方法的復原模型采取200次的迭代計算,記錄下圖像漸暈復原過程中損失函數隨著時間的變化情況,實驗結果如圖5所示。

圖5 不同方法模型的損失函數迭代曲線

從圖5的試驗結果可以看出,在層次融合自適應恢復方法中,損失函數的訓練值存在很大的波動,為了獲得最后的收斂,必須多次迭代;循環注意力復原方法的模型有一定的波動,但總體來說,與層次融合自適應恢復法相比,更加的穩定,在訓練的前期,模型可以快速的進入收斂狀態,而在訓練的時候,則是比較平穩的;在三種方法比較中,所提方法的波動平緩,且在很小的訓練量下,就可以獲得最佳的圖像恢復方案,并具有良好的性能。

6 結論

采用拉普拉斯算子完成圖像漸暈修復的過程中,對圖像噪聲抑制,以區分光滑和邊緣區域,在對邊緣區域處理后,可以有效地抑制梯度噪聲,并使邊緣方向的擴散增大,減少邊緣模糊情況發生。結合模型優勢,利用拉普拉斯算子提高圖像細節,實現圖像去模糊和漸暈修復,達到圖像保護的目的,經實驗證明所提方法可行有效,迭代次數少,效果穩定清晰,魯棒性好。