基于半選擇性曝光融合的霧天圖像復原算法

陳照春

(1.福建省特種設備檢驗研究院,福建 福州 360008;2.國家特種機器人產品質量檢驗中心(福建),福建 福州 360008)

霧是一種自然現象,在有光的條件下,會產生大氣散射,對于戶外采集的圖像會造成遮擋問題,同時也會引起圖像的對比度降低和顏色退化,嚴重影響基于機器視覺的系統的工作,如交通監控、地形勘探、智能導航和無人駕駛等。為了有效提高出行的安全,減少霧對人們生命財產的影響,對于霧天圖像的復原具有重要意義。

圖像去霧最早起源于對大氣散射和損失的研究,根據反射與散射的關系,發展出兩種模型：基于人眼視網膜雙皮層[1]和大氣散射模型[2]。前者是NASA為了提高航天發射的安全性開發的一種圖像增強模型,該基礎模型演化出三種：單尺度Retinex[3]、多尺度Retinex[4]和帶顏色恢復的多尺度Retinex[5]。雖然很多學者對其改進,不斷突破,有了較大的發展,但該類模型主要針對的是低對比度圖像,對于霧天圖像的復原有很大的局限性,主要表現在容易造成色彩畸變和過增強等問題。

鑒于基于人眼視網膜雙皮層方法的缺陷,學者根據大氣散射和損失關系,建立了基于大氣散射模型的模型[6]。該模型是通過圖像中目標的深度信息來進行復原,因此在建立之初很受限制。之后,He等[7]通過大量的統計試驗發現了暗通道先驗理論(DCP),該方法簡化了大氣散射模型的求解,從而大大提高了算法的應用性。由于該模型處理后會出現一定的色彩畸變和亮度損失問題,之后,很多學者在該模型的基礎上不斷的進行研究。

目前,針對暗通道先驗方法的研究主要集中在以下兩類：基于神經網絡的方法和基于模型修正的方法。

基于神經網絡的方法是最近幾年隨著人工智能方法發展才開始在該領域得到應用。Cai等[8]通過有霧圖像與無霧圖像的關聯關系,提出了一個去霧的網絡。Zhang等[9]提出了一個帶有殘塊的密集連接的金字塔網絡。Ren等[10]提出了一個門控融合網絡的端到端的訓練模型。Qin等[11]提出了一個殘差注意力塊的FFA-Net。雖然這些基于深度學習的方法很好的解決了圖像去霧的問題,但這些模型需要大量的樣本進行訓練。對于自然環境下的霧天圖像,隨機性較大,因此這些方法也不能很好的適應。

基于模型修正的方法是一種對影響暗通道先驗變量進行精細化修正的方法。眾所周知,暗通道理論中影響復原結果的變量為：全局大氣背景光和透射率。因此,模型修正方法中主要針對的是以上2個方向。針對全局大氣背景光的修正,主要是通過分割和識別的方法,剔除圖像中非天空區域的高反射目標,如Wang等[12]提出一種區域分解和融合的方法將圖像分為天空區域和非天空區域進行復原,Zhu等[13]采用圖割的方法進行分割天空區域,通過能量最小化進行求解,獲取無霧的圖像。針對透射率的優化,主要集中在一些先驗方法的開發,如彩色線[14],霧線[15],顏色損失先驗[16],加權導向濾波[17],局部常數假設[18]等。這些方法根據先驗信息,很好地修正了透射率,但由于先驗信息的不確定性,自然環境中霧的多變性,造成了很多先驗方法的魯棒性不高。

圖像融合借助相關特征,通過融合的思想很好的解決了復原中不缺性的問題,所以,受此啟發,結合霧天圖像構造中,圖像的清晰和模糊區域類似于曝光的特征。本文提出了一種基于半選擇性曝光融合的霧天圖像復原算法。為了解決曝光的問題,運用統計學方法,分析霧圖的直方圖特征,對明亮區域進行了分割,以準確獲得不同的全局大氣背景光。為了減少光暈偽像,本文提出了一種基于邊界限制的快速自適應雙邊濾波來優化傳輸。為了提高復原的視覺效果,本文構造了一種選擇性曝光融合方法。為了減少計算開銷,本文使用圖像縮放的方法進行傳輸。

本文通過統計先驗的方法,解決了圖像的亮度失真問題。通過構造基于邊界限制的快速自適應雙邊濾波來優化透射率圖像,減少了光暈現象。最后,開發了多曝光融合方法,改善了圖像去霧的視覺效果。

1 算法

經典的暗原色理論被描述成以下數學模型[19,20]

I(x)=J(x)t(x)+A(1-t(x))

(1)

式中：I(x)表示霧天采集的圖像,J(x)表示復原后的圖像,t(x)表示透射率圖像,A表示全局大氣背景光值。該理論通過先驗假設,結合式(1)得到復原后的圖像為

J(x)=(I(x)-A)/max(t1(x),t0)+A

(2)

式中：t1(x)經過導向濾波優化后的透射率。t0為限值,一般設定0.1。

霧天圖像的復原是一個不適定問題,建立在經典的暗原色理論之上的求解,都是在尋找一種最優的復原方法。本文在統計試驗的基礎上,通過大量分析霧天圖像有霧區域的特征,對霧天圖像進行分割,獲取天空的區域;之后通過自適應邊界的相對快速雙邊濾波對透射率圖像進行優化。最后,結合大氣背景光有效范圍,運用多權重曝光融合,復原霧天圖像,其流程圖如圖1所示。

圖1 算法的流程圖

1.1 大氣背景光獲取

經典的方法對全局大氣背景光的求取采用的是全局方法,該方法不能兼顧圖像中明暗的變化,從而容易出現偏移,造成圖像強亮度邊緣的光暈現象。

運用統計學方法,分析霧天圖像的直方圖特征,發現霧的區域梯度均勻且偏小,亮度偏大?；诖颂攸c,本文提出一種基于先驗統計的方法,實現對霧天圖像進行分割,獲取圖像中明亮區域,也就是霧存在的區域,精準地實現對大氣背景光的獲取。

考慮到霧天圖像的特點,本文從兩個方面對圖像進行區域分割處理。亮度色空間的分割：首先將圖像轉化到HSI色空間,獲取圖像的亮度空間;其次對亮度空間進行自動閾值處理、中值濾波處理;最后進行小區域的形態學腐蝕,文中通過試驗,設定的腐蝕最小面積為圖像的1/1 000。梯度域的分割：首先將圖像轉化為灰度圖像;其次獲取灰度圖像的梯度,運用梯度的閾值,進行特定的二值分割;最后通過中值濾波處理和形態學最小區域腐蝕,獲得分割的區域。通過以上的兩種分割區域,綜合判斷圖像中明亮的區域。

ac=f1(Ic(x)),c∈{r,g,b}

(3)

式中：ac是每個通道圖像的明亮區域圖像,f1(·)為通過最優逼近原理對圖像直方圖的局部分割點的求取方法,Ic(x)為輸入的霧天圖像,ac為每個通道內圖像的分割閾值點,r、g、b表示輸入圖像的三個通道。

傳統的暗原色理論中天空的亮度值A求取,采用的是暗通道圖像中亮度最大的0.1%的像素的均值,通過對大量的霧天圖像進行處理發現,該估算的方法會造成圖像的亮度偏暗,且對于不同亮度霧景,由于天空的亮度值估計的不準確,其效果往往相差很大。本文在試驗的基礎上,對大量的不同亮度的霧天圖像進行統計,并與實際的天空的亮度值對比,構建擬合出大氣背景光值的有效范圍函數。

A=[min(nac),max(nac)]

(4)

式中：nac=[min(ac),at,max(nac)],其中at是每個通道內大于min(ac)值中占比最多的像素點。圖2是根據統計先驗獲取的閾值進行明亮區域分割的效果圖,魯棒性比較高。

圖2 大氣背景光區域的提取

1.2 透射率圖像的優化

采用固定邊界限制求取的初始透射率圖像一定程度地避免了暗通道圖像的“階梯”效應,但直接采用,可能會出現一定的光暈現象,尤其是在濃霧和亮度明顯變化的區域[22]。為了解決這個問題,本文提出一種基于邊界限制的自適應雙邊濾波方法來優化透射率圖像。

首先將輸入圖像縮小一半,根據輻射立方體的定義,邊界約束定義為

(5)

針對邊界約束后的初始透射率圖新,本文設計了一種自適應雙邊濾波的方法,來優化初始透射率圖像,其泛函為

t2(x)=f2(ti(x))

(6)

式中：t2(x)優化后的透射率圖像,f2(·)是自適應雙邊濾波的平滑方法,根據文獻[23],定義如下

(7)

式中：Ω是一個以原點為中心的窗口,中心φi和寬度ω(j)是空間變化的函數。

(8)

(9)

式中：窗口通常設置為φi(t)=[-3ρ,3ρ]2。文中采用文獻[24]提出的解析逼近方法進行求解。如圖3所示,對透射率圖像進行二次優化,可以有效解決DCP方法中的‘階梯’效應,從而降低光暈現象。

圖3 透射率圖像優化過程

1.3 半選擇性曝光融合圖像融合

在邊界限制的自適應雙邊濾波方法和基于直方圖特征的大氣背景光值范圍提取基礎上,本文設計了一種選擇性曝光融合方法。首先,對多個不同曝光程度圖像的進行構造

Ji(x)=(I(x)-Ai)/(max(t2(x)↑n,t0))λ

(10)

式中：Ji(x)是初始復原后的圖像,↑n是上采樣運算,λ是gamma校正的參數。

經過初始復原,獲得了曝光度不同的圖像,為了獲取更好的視覺效果,根據圖像曝光特征,提出了一種半選擇性多權重曝光融合方法。

眾所周知,圖像熵反映圖像平均信息量的多少。在獲取初始曝光圖像過程中,信息量越大,圖像越清晰,因此本文在這里通過圖像的信息熵設計一個半選擇器,對圖像進行初選。

首先,本文需要設計半選擇函數,其定義如下

H=Fmb(EJ)

(11)

式中：Fmb(·)表示求解局部最優值。EJ表示圖像熵的值。H表示輸出的參與融合的圖像。其中,EJ的求解如下

(12)

式中：pi是直方圖圖像J中第i個統計小區間值。N是總的統計區間,一般設置為256。由于圖像的熵獲取輸入是灰度圖,因此需要把輸入的圖像Ji(x)轉化為灰度圖,之后縮放到50×50,提高處理速度。

其次,設計多圖像融合方法。融合具體步驟如下。

通過高斯平滑濾波操作,獲取局部對比度權重Cωi,公式如下

(13)

式中：Cgi=G(Ji(x)*h(x))表示對Ji(x)進行高斯濾波,G(·)表示灰度處理。Cωi表示不同圖像的對比度權重,i表示每個通道。

根據初始復原后的圖像,獲取亮度映射權重。由于圖像存在曝光和欠曝光問題,通過一定的閾值操作,直接獲取視覺感較好的區域

(14)

式中：Bi表示亮度分割的閾值,其值范圍為[10,30]。Bωi表示最終的亮度權重。最后,通過不同圖像的顏色差異獲取顏色差異性權重Dωi,其公式如下

Dωi=(Clωi⊕s1)?s2

(15)

式中：Clωi表示計算的圖像顏色差異性,Clωi=exp((Hei(x)-Hmi(x))/δ2),Hmi(x)是中值濾波處理函數,Hei(x)表示直方圖均衡函數,s1、s2表示半徑為r1、r2圓狀腐蝕盤,⊕、?表示膨脹和腐蝕。

對三個權重進行規整和規則化濾波,獲取最終的融合權重Wfi,公式如下

Wfi=Rf(Cωi×Nf(Bωi×Dωi))

(16)

式中：Rf(·)表示遞歸濾波處理,Nf(·)表示歸一化處理方法。

通過最終的融合權重,獲取復原結果如下

(17)

式中：Jf(x)表示最終融合的圖像。如圖4所示,獲取的初始復原的圖像有2個,分別是圖4的(b、c),之后通過融合獲取最終的復原圖。

圖4 多曝光融合的結果

2 試驗結果及分析

本文的試驗平臺為Matlab R2018a,系統為雙核2.4GHz CPU好Windows 10操作系統,試驗的對象為當前經典的霧天數據庫SOTS。為了有效地對算法的效果進行評價,本文對HE[7]、Meng[22]、Cai[8]、Bui[16]、Gao[25]、Ju[26]進行主觀和客觀評價?？陀^評價采用全參考和無參考兩種評價方法對多種經典算法進行分析。此外,為了更加有效地說明算法的效率,本文對算法處理時間進行分析。

2.1 算法效果的主觀分析

目前,霧天圖像分為自然狀態下的和合成狀態下,為了更加合理地對算法的效果進行客觀分析,本文將從這2個方面分別進行試驗,對算法進行主觀分析。

圖5是戶外自然霧天圖像的多種算法處理效果,其中第一列是原圖,第2列到第6列分別是上述的5種對比方法,最后一列是本文算法的方法。由于天空區域對求取大氣背景光的值很重要,影響著霧天圖像復原結果,因此本文在戶外自然圖像的選用中,著重用天空區域占比不同的圖像,以便檢驗本文算法對不同天空區域的魯棒性。本文將從顏色保真度,清晰度和圖像的視覺感三個方面進行分析。

圖5 戶外自然霧天圖像的多種算法處理效果

在顏色保真度方面,圖5里在天空區域占比比較低的圖像中,如第一行,每種方法復原結果顏色保真度都比較好,圖像中各種目標的顏色得到有效的復原,但隨著天空區域占比擴大,如第四行和第二行,在天空區域,HE、Meng和Bui出現了明顯的光暈現象,發生色彩畸變。Gao 的方法比以上三種方法稍弱,針對不同的圖像,出現一定程度的色彩畸變。Ju的方法部分出現了顏色畸變。Cai和本文方法復原后的圖像色彩保真度比較好。

在清晰度方面,圖5中,每種方法都能達到增強復原的目的,但每種方法增強的程度不同。HE和Bui方法增強的程度最強,導致復原后圖像的對比出現過增強現象,圖像亮度偏低,很多細節無法辨認,如第5行圖像,圖中的高樓基本被掩蓋,出現細節丟失問題。Meng的方法增強程度弱于以上方法,但在天空區域也出現了一定程度的過增強現象。Gao的方法很大程度增強了圖像的細節,每個景物都清晰可見,但出現一定的顏色畸變問題。Cai和本文方法復原后的圖像很好的恢復了圖像的清晰度。Ju的方法復原后的圖像對比度比較大,圖中的目標比較清楚,圖整體清晰度最好。

在圖像的視覺感方面,以上7種方法在一定程度上都提高了圖像的視覺感,但提高的程度不同。HE、Meng、Bui、Ju這4種方法通過增強濾波的方法提高圖像的清晰度,達到提高視覺感,但其中某些強亮度邊緣區域出現了光暈現象,嚴重影響圖像整體的視覺感。Gao的方法雖然豐富了圖像的細節,但由于局部過增強,也影響視覺感的提高。Cai的方法在視覺感方面明顯優于以上的5種方法,但處理后圖像亮度有所損失,低對比度的目標無法清晰可辨,且圖像表面仍有淡淡的薄霧,這些都在一定程度上影響著視覺感。Ju的方法雖然清晰度有很大提升,但與輸入的霧圖像顏色有一定的改變。與以上算法進行對比,本文算法針對天空區域占比不同的圖像,在該區域沒有出現顏色畸變,在顏色保真方面具有較高的魯棒性,此外,本文算法在提高圖像清晰度的同時,也很好地提高了圖像的視覺感。

圖6是合成霧天圖像的多種算法處理效果,其中第一列是原圖,第2列到第7列分別是上述的六種和本文方法對比方法,最后一列是無霧的圖像。

圖6 合成霧天圖像的多種算法處理效果

在圖6中,HE、Meng和Bui這三種處理的霧天圖像,出現了嚴重的色彩畸變和亮度損失問題,圖像的清晰度和視覺感也不能有效提高,如以上6幅圖像。Cai和Gao的方法很好地復原了圖像,圖中大部分景物都清晰可辨,在天空區域,也沒有出現較大的色彩畸變,但視覺效果上,距離無霧的圖像還有較大的差距。Cai的方法降低了圖像的亮度,圖中低對比度區域無法可見,如第二行和第六行圖像。Gao的方法雖然很大程度提高了圖像的亮度,但局部的過增強依然影響圖像的視覺感,如第四行和第六行圖,圖中的建筑物頂端出現了一定的過增強現象。Ju的方法很好地提高了圖像的清晰度,但是在這過程中的增強,影響了圖像的顏色恢復,造成一定的色畸變。

與以上方法相比,本文算法很好地復原霧天圖像,在天空區域沒有出現畸變,圖中各種目標都清晰可見,如第三行圖,本文算法在視覺效果上明顯優于無霧的圖像。此外,在圖像的亮度方面,本文算法處理后,圖像的亮度基本和原圖保持一致,處理后的視覺效果基本和無霧圖像一致。

2.2 算法的客觀評價分析

戶外霧天圖像由于在采集過程隨機性非常大,且很難獲取相同視場角度下的無霧的圖像,因此針對戶外自然狀態下有霧的圖像,本文采用無參考的評價方法(ENIQA)[27];針對合成的霧天圖像,本文采用無參考(ENIQA)[27]和全參考的評價方法(SSIM)[28]。

無參考的評價方法值越大,說明圖像的視覺感越好。全參考的評價方法的值越接近于1,說明和參考圖像約接近。表1是針對圖5做的評價,表2是針對圖6做的評價。在評價中,本文把最好的兩種方法用黑體表示。

表1 圖5質量評價

在圖5中,客觀評價采用無參考的評價方法,具體的客觀評價值如表1所示。

從表1可以看出,針對這10幅自然狀態下的圖像,文獻[7]與[26]表現最差,沒有產生一個最高值的評價值,主要原因是DCP和IDE方法在處理自然圖像時,缺乏有效的判斷和優化。文獻[22]優于前2個,只產生了一個最高值。文獻[25]與[8]的處理結果,優于前4種方法,但只產生了3個最大值。在所有的對比文獻中,只有方法[16]表現得最好,產生了4個最大值。與以上的優秀對比方法相比,本文方法產生7個最大值,優于以上的各種方法。

在表2中,針對無參考的評價方法,表現最差的是文獻[22]、[8]、[25]和[26],均沒有產生一個最大值。文獻[7]的結果優于以上4個對比方法,產生了3個最大值。對比方法中,效果最好的是文獻[16],產生了4個最大值。與這5種文獻相對比,本文方法產生了5個最大值。

針對全參考圖像評價方法,從表2可以看出,本文算法最接近與實際場景中無霧的圖像,產生了6個最大值。其次是文獻[8],也產生了6個最大值,但其值略小于本文方法。其余的幾種對比方法都基本類似,沒有產生最大值,與無霧的圖像差距較大。

為了對算法的復雜度進行評價,本文根據對圖6的6個圖進行平均時間的計算,如表3所示。

表3 算法的平均處理時間對比 s

在表3中可以看出平均處理時間最短的是文獻[16],其次是文獻[7],其余的都在2s以上。本文方法平均處理時間排在第5,主要原因是通過融合來復原,增加了算法的復雜度,但從表1和表2可以看出,處理后圖像的視覺效果是最好的。

3 結論

傳統的基于暗原色理論算法在處理霧天圖像時,會出現一定程度的亮度損失、強亮度邊緣區域會出現“光暈”現象、算法的復雜度較高和效率低等問題。鑒于此,本文在大量統計試驗的基礎上,結合圖像分割理論,實現對圖像中明亮區域的有效分割,準確估計出大氣背景光值范圍。對于透射率圖像,本文設計了一種自適應邊界限制的雙邊濾波方法,對透射率圖像進行優化。結合圖像融合的優勢,本文構造了一種選擇性曝光融合方法,通過融合多圖像,獲得比較符合人眼視覺的去霧圖像。通過主客觀試驗對比證明本文方法能有效地解決去霧過程中出現的色彩和曝光問題,同時還提高視覺效果。此外,由于采用融合的方法進行復原,增加了算法的復雜度,這也是本文下一步的重點研究工作。