改進的暗通道先驗圖像去霧霾算法

王文慶,孫 柯,黃世奇,盧 瑩

(1.西安郵電大學 自動化學院,陜西 西安 710121;2.西安郵電大學 西安市先進控制與智能處理重點實驗室,陜西 西安 710121)

在霧霾氣候條件的作用下,大氣中懸浮粒子數量不斷增加,導致光線的正常傳輸受到影響,會干擾圖像采集設備對圖像的采集。對遙感圖像進行采集時,大氣中的粒子散射作用會導致傳感器的成像質量下降,遙感圖像中的物體模糊不清,信息存在一定的損失。因此,圖像去霧的重要性不容忽視[1-2]。

目前,圖像去霧方法主要包括基于圖像增強的去霧方法、基于物理模型復原的圖像去霧方法和基于深度學習的圖像去霧方法?；趫D像增強的去霧方法原理是通過對比度的增強,突出圖像中背景與目標的差別來提高圖像的視覺效果,從而達到一個去霧的目的。常見的方法有直方圖均衡化[3-4]、基于Retinex的增強算法[5]和基于小波變換的對比度增強去霧方法等[6-7]。這種方法有較高的時效性和廣泛的適用性,在圖像去霧領域較為常用。但是,該類方法是從人眼視覺效果出發,沒有考慮圖像降質的根本原因,在處理霧霾較為均勻的圖像時能夠取得較好的效果,但對于霧霾不均勻的圖像往往會產生不可預測的失真?；谖锢砟Ｐ蛷驮膱D像去霧方法主要是通過對成像的物理過程進行分析,考慮圖像受霧霾影響而退化的主要原因。通過對大量無霧圖像和有霧圖像觀察總結,建立精確的物理模型來呈現有無圖像和原始無霧圖像的關系,最終從有霧圖像反推出無霧圖像[8]。該類方法的核心是需要盡可能精確地得到物理模型中的參數值,最終得到復原圖像。最經典的方法是He等[9]提出的暗通道先驗理論(Dark Channel Prior,DCP)。該理論是根據暗通道統計規律,通過求解大氣散射模型的逆過程恢復清晰圖像,屬于圖像復原的范疇。在正常的成像過程中,大氣光包括太陽的直射光、場景的反射光及大氣的散射光等,而該類方法一般只將大氣光作為全局常量,會導致遠景去霧效果減弱,并伴隨光暈現象。

隨著計算機技術以及硬件條件的迅速發展,以數據為驅動的基于機器學習的圖像去霧方法,特別是卷積神經網絡(Convolutional Neural Networks,CNN)被廣泛應用于圖像去霧領域中[10]?；诰矸e神經網絡去霧方法大致分為兩類,一類是使用卷積神經網絡生成大氣散射模型中所需要的大氣光、透射率等參數,再通過大氣散射模型還原圖像。另一類是使用卷積神經網絡進行訓練,直接端到端地生成無霧圖像。文獻[11]提出一種基于生成對抗網絡(Generative Adversarial Networks,GAN)去霧模型,實現起來較為復雜并且需要大量的樣本對。2016年,Cai等[12]首次提出了Dehaze Net去霧網絡,該網絡用于估計有霧圖像的透射率,主要通過特征提取、局部極值、非線性回歸和多尺度映射形成的端到端的卷積神經網絡系統進行去霧[13-14]。采用GAN實現端到端圖像去霧算法[15]可直接從有霧圖像恢復出無霧圖像。但是,基于卷積神經網絡去霧方法在應用于真實霧天圖像時會出現過飽和或去霧不徹底的現象。結合神經網絡和暗通道先驗的去霧方法[16]能夠處理偏色圖像,但在處理天空區域的室外圖像時,天空區域會有明顯的光暈現象。

為了改善傳統暗通道先驗算法對圖像去霧霾時會出現估算的大氣透過率比實際值偏低,導致恢復影像的色彩與真實情形出現偏差的問題,擬提出一種改進的暗通道先驗圖像去霧霾算法?；谖锢砟Ｐ蛷驮椒ǖ膬烖c,改善透射率參數選擇方法,從圖像受霧霾影響而退化的主要原因出發還原圖像,以期較好地保持圖像色彩和圖像質量。

1 暗通道先驗原理

暗通道先驗是一個統計規律,該規律認為在大多數無霧圖像中(不包含天空區域),總存在一個像素值極低、甚至接近于0的通道,將此通道稱為暗通道。暗通道去霧是基于物理模型還原的去霧方法,采用McCartney大氣散射模型[17],該模型用公式描述為

I(x)=J(x)t(x)+A(1-t(x))

(1)

式中：x為像素的坐標;I(x)為有霧圖像;J(x)為去霧后圖像;t(x)表示圖像的透射率,所描述的是到達成像鏡頭且未被散射掉的光;A為大氣光值。由式(1)可知,利用大氣散射模型對圖像去霧的關鍵是求得大氣光值A以及透射率t(x),得到這些關鍵參數后,代入式(1)通過等式的數學變形便可得到J(x)。

暗通道先驗理論指出,在大多數非天空局部區域中,幾乎每一個像素點都至少一個通道具有特別低的灰度值,這個值接近于零[18]。由此,對于任意一幅輸入的圖像J,其暗通道Jdark的數學公式可定義為

(2)

大氣光值A反映了影像上霧最濃區域的值,通過暗通道圖像可獲取大氣光值。因此,在實際中,將提取暗通道上最亮的前0.1%像素,取出其相對應的原始有霧圖像上對應位置具有最大亮度的像素點的值作為大氣光值。

得到大氣光值A后,對式(1)兩端分別計算其暗通道圖,得到

(3)

將式(2)代入式(3)可得透射率為

(4)

但是,在實際的戶外圖像中,即使是在晴朗的天氣里,空氣中仍存在著一些粒子,使得人們在向遠處看的時候會覺得有一些極薄的霧存在,同時,這些霧給人的眼睛以景深的存在。因此,在式(4)的基礎上,加入一個調節景深的因子w(取值為0～1),則得到估計的透射率為

(5)

由此得出的透射率是粗估計,還需進一步通過軟扣圖或引導濾波等方法進一步細化。將求得的大氣光值和透射率代入式(1),可還原出原圖

(6)

2 改進算法

霧和霾具有不同的形成過程和不同的形態結構。霧是一種常見的自然天氣,其實質上是懸浮在空氣中凝結的小水珠,具有不均勻的特性。而霾是指懸浮在空氣中的細小顆粒,霾的來源也比較豐富,如煙、塵等。暗通道先驗算法對圖像去霧和去霾均可適用,但對圖像去霾有時也會出現估算的大氣透過率比實際值偏低,導致恢復影像的色彩與真實情形出現偏差的問題。為了改善該問題,改進的暗通道先驗圖像去霧霾算法對透射率參數選擇方法上進行改善,從而達到較好的去霧霾效果。

2.1 求取大氣光值以及粗透射率計算

將傳統大氣光的求法進行改進,提取暗通道中亮度最高的前0.1%的像素,找出原始有霧圖像上對應位置處像素點的平均值。

在計算粗透射率的式(5)中,w的選取一般是根據經驗值確定,DCP算法中w取0.95[9],但根據測試,w的選取對最終的去霧效果有較大的影響。文獻[19]提出一種結合峰值信噪比(Peak Signal to Noise Ratio,PSNR)信息自適應調節霧氣參數w的暗通道先驗去霧改進算法。通過設定具體初值和步長采用迭代的方法,求出PSNR最優時所對應的w值。峰值信噪比與原圖和處理后的圖像都相關,由此特性可通過迭代法求出最優w值。

大量實驗驗證表明,w的選取在0到1之間且接近于1時去霧效果是最好的,而如果需要對w進行迭代取最優時,w取0.4～0.6時既能夠保證不錯失最優值,也能夠保證算法的運行速度。為盡可能提升迭代算法的運算速度,先選取w的初值為0.6,根據此值得出粗透射率,再計算出此時的PSNR值。然后w以0.01的步長增加,得到一個新的透射率以及新的PSNR,將此時的PSNR與上一步對比,若PSNR增大則繼續迭代,直至PSNR不再增大或者增大值小于0.001則認為其是最優的PSNR。而此時也就是最后一步迭代的w值,將作為最終計算粗透射率的w值。

2.2 透射率優化

在透射率優化方面,常用的有軟扣圖、雙邊濾波和引導濾波等方法。文獻[20]采用的軟扣圖細化透射率,但是這種方法具有計算復雜度高、耗時長的缺點。隨后,雙邊濾波被提出替代軟摳圖法修復透過率圖,并且達到了較好的處理效果。導向濾波同雙邊濾波類似,具有邊緣保持、圖像平滑的特性,但與雙邊濾波相比,一方面,導向濾波在算法的時間復雜度和空間復雜度都有很大幅度的降低,其時間復雜度與濾波核的尺寸和亮度范圍無關。另一方面,導向濾波避免了雙邊濾波在邊緣附近產生的“梯度逆轉”偽影效應,其在圖像邊緣有著更好的處理效果,極大保留了圖像邊緣特性,且平滑了圖像邊緣。因此,為使透過率圖更加平滑,同時使景物的邊緣、輪廓更加突出,改進算法采用導向濾波優化透過率圖,改善透過率圖存在的缺陷。在得到優化的透射率之后,通過有霧圖像物理模型,即將大氣光和優化的透射率帶入式(6)可復原圖像。改進算法流程如圖1所示。

圖1 改進算法原理流程

改進算法具體步驟如下。

步驟1在暗通道中獲取亮度最高的前0.1%的像素,找出原始有霧圖像上對應位置處像素點的平均值,作為大氣光值A。

步驟2求暗通道圖像,依據大量實驗和經驗,w選取初值為0.6,計算透射率以及PSNR。

步驟3選取步長為0.01增大w。

步驟4再次計算透射率以及PSNR。根據經驗w最佳值應當接近于1,而第二步選取的w初值為0.6,因此此時的PSNR值應當大于第二步的PSNR值。故可通過重復第三、四步直到PSNR達到最優值,即當PSNR值開始降低或增量小于0.01時,輸出最終的透射率。

步驟5利用導向濾波對初步獲得的透射率通過引導濾波進行精細化處理得到細透射率。

步驟6利用獲得的大氣光值和精細透射率代入物理模型的變形式即式(6)還原圖像。

3 實驗結果分析

以Matlab 2016a為實驗操作平臺,選取戶外采集的不同時間段不同類型的6個場景霧天圖像,通過直方圖均衡化算法、DCP算法以及改進算法等3種算法分別對有霧圖像進行圖像去霧處理仿真,對比結果圖像與原始圖像的去霧效果。其中,濃霧圖像去霧效果分別如圖3和圖4所示,淡霧圖像去霧效果分別如圖2和圖5所示,含大量天空區域的圖像去霧效果如圖7所示。

圖2 3種算法對場景1的去霧效果對比

圖3 3種算法對場景2的去霧效果對比

圖5 3種算法對場景4的去霧效果對比

圖6 3種算法對場景5的去霧效果對比

圖7 3種算法對場景6的去霧效果對比

由圖2—圖7可以看出,場景1、場景2和場景3為近景圖像,且含有較少的天空區域,此類圖片經過直方圖均衡化算法以及DCP算法處理后都會有色彩偏差的現象,圖像的整體色彩與原圖不符。而對于場景4、場景5和場景6這類遠景且含有大量天空區域的圖像,經DCP算法處理后對天空區域的處理效果欠佳,存在較明顯的光暈現象以及色彩偏差等現象。這是因為直方圖均衡化算法片面地對圖像的質量進行增強,并未考慮到圖像降質的具體原因,去霧圖像的失真嚴重且去霧效果不明顯。采用DCP算法去霧時,有的影像因為受到地面偏亮地物影響,使得大氣光值計算出現偏差,導致去霧后顏色發生了偏移,特別是對于含有大片天空區域圖像的去霧,會出現光暈現象以及色彩失真等現象。而采用改進算法進行去霧時,不會出現明顯的光暈,在處理天空時效果較好,且去霧后的圖像符合正常的人眼視覺感受,更接近正常的清晰圖像。

為進一步驗證改進算法的去霧效果,對比直方圖均衡化算法、DCP算法和改進算法等3種算法的圖像去霧PSNR和信息熵,結果分別如表1和表2所示。信息熵[21]能夠評價圖像的細節信息,取值越大,圖像細節信息越豐富,去霧越徹底。PSNR[22]描述圖像最大像素值與噪聲的比值,PSNR值越大,圖像越清晰。

表1 3種算法的PSNR對比結果

表2 3種算法的信息熵對比結果

從表1中可以看出,直方圖均衡化算法的PSNR指標雖優于改進算法,但對應其處理場景1圖像,即圖2(b)的去霧效果并不明顯,且有顏色失真的現象,視覺效果沒有改進算法好。從表2中可以看出,6個場景中直方圖均衡化算法的信息熵數據都不太理想,這也是由于直方圖均衡化算法只是片面地增強圖像質量,而信息熵偏低會導致很難保留較多的圖像信息。DCP算法處理后的信息熵數據雖然效果好,但表1中該方法的PSNR值普遍偏低,特別是場景1,而改進算法針對PSNR值選用圖像物理模型復原公式,即式(5)中w值經過迭代優化,能夠得到較好的PSNR數據。另外,通過導向濾波對透射率進行優化,得到的結果沒有明顯的光暈現象,信息熵也有不錯的效果,能夠包含更多的圖像信息。因此,改進算法去霧的綜合效果優于其他兩種方法。

4 結語

結合大氣散射模型的物理意義,以暗通道先驗為基礎,提出一種改進的圖像去霧霾算法。該算法選取亮度最大的前1%的像素作為大氣光值,采用迭代的思想,求出使PSNR值最大時所對應的w,將w值作為權值代入公式得出粗透射率,再以導向濾波細化透射率。最后,將得到的大氣光值和細化透射率帶入變形后的有霧圖像物理模型中達到還原圖像的效果。實驗結果表明,改進算法能夠更加有效地針對含大片天空的有霧圖像進行去霧處理,去霧后的圖像細節保持好、有較高的色彩保真度,光暈現象也不明顯。