基于邊緣檢測暗通道先驗的全變差圖像去霧算法

馬 悅，金正猛，馮 燦

(1.南京郵電大學 理學院，江蘇 南京 210023 2.北方信息控制研究院集團有限公司，江蘇 南京 211153)

隨著我國綜合國力與科學技術的快速發展，對戶外視覺系統智能化的需求變得愈發迫切［1］。 在現實生活中，惡劣天氣下拍攝的戶外圖像會受到能見度低和對比度下降的影響，大氣光和介質透射的混合會導致圖像有霧，給很多應用造成困難，如物體檢測、應變檢測和三維重建等。 因此，去除和減少霧的影響顯得尤為重要。

近年來，基于變分和深度學習的圖像去霧方法備受研究者們關注。 Meng 等［2］通過對透射率固有邊界約束的探索，提出了邊界約束和正則化相結合的圖像去霧方法（以下簡稱為Meng 方法）。 2014 年，文獻［3］提出了加權矢量變分模型對有霧圖像同時進行去霧和去噪，但該模型不能去除遙遠場景的霧氣。 為此，文獻［4］對文獻［3］的模型進行改進，提出了與無霧圖像和場景深度相關的全廣義變差（Total Generalized Variation，TGV）正則化模型，該模型可以有效去除遙遠場景的霧氣，但去霧圖像顏色偏暗。 文獻［5］ 提 出 了 非 局 部 全 變 差（Non-local Total Variation，NLTV）正則化模型進行圖像去霧。 隨著技術的不斷發展，卷積神經網絡（Convolutional NeuralNetwork，CNN）在圖像去霧方面［6－9］取得了卓越的成就。 文獻［6］提出了一種端到端的網絡，稱為DehazeNet 圖像去霧方法，該方法將深度學習與傳統方法相結合，以有霧圖像為輸入，通過深度學習估計透射圖，然后使用大氣散射模型復原圖像。 與傳統網絡相比，該網絡圖像去霧的效率更高。 但是，復原圖像容易出現霧氣去除不徹底的情況。

各種先驗知識和假設的提出［10－14］，有力地推動圖像去霧方法的研究。 文獻［10］提出了基于暗通道先驗（Dark Channel Prior，DCP）的圖像去霧方法，利用該先驗可以直接估計有霧圖像的透射率，但由于對圖像明亮區域的透射率估計不準確，導致去霧后的圖像偏暗和邊緣細節丟失。 文獻［12］提出了顏色衰減先驗（Color Attenuation Prior，CAP），該先驗通過建立場景深度線性模型獲取有霧圖像的深度信息。 文獻［14］ 利用梯度剖面先驗（Gradient Profile Prior，GPP）從有霧圖像中估計場景深度，并通過引入各向異性擴散和基于迭代學習的圖像濾波（Guided Anisotropic Diffusion and Iterative Learning Based Image Filter，GADILF） 改進透射率。

注意到He 方法［10］中的暗通道先驗對圖像透射率估計不準確，導致去霧后圖像的邊緣和結構等信息損失嚴重。 另外，雙TGV 方法［4］的計算復雜度較高。 本文提出基于邊緣增強的全變差圖像去霧模型及其快速算法。 主要創新點如下：（1） 引入基于邊緣檢測的暗通道先驗（Dark Channel Prior with Edge Indicator，EI-DCP）估計初始透射率，同時獲取保留圖像邊緣細節信息的初始場景深度；（2） 結合該初始場景深度，提出一種新的全變差（Total Variation，TV）圖像去霧模型，并證明該變分模型解的存在性和唯一性；（3） 結合原始-對偶（Primal-dual） 方法［15］，設計該模型的快速數值求解算法，并給出算法的收斂性。 數值實驗結果表明：相較于文獻［4］的雙TGV 模型，本文模型同樣可以獲得令人滿意的去霧結果，且較大地縮短了模型求解算法的運算時間。

1 相關工作

本文中，Ω ?R2表示具有Lipschitz 邊界的有界圖像域。 觀測到的彩色有霧圖像為

灰度圖像H可通過加權平均得到

1999 年，Nayar 等［16］提出大氣散射模型

其中，d為場景深度函數。 為了簡單起見，η通常被設置為1。 通過對數變換，式（1）可轉化為

1．1 暗通道先驗

He 等［10］通過觀察大量戶外無霧圖像的暗通道發現：在大多數戶外無霧圖像的非天空區域內，至少有一個顏色通道的像素強度非常低，且像素值接近于0 或等于0。 故將其定義為暗通道先驗（DCP）

其中，c為顏色通道，ωδ（x） 表示以像素x為中心、δ為半徑的局部窗口。

假設傳輸t（x） 在局部窗口ωδ（x） 中為常數，并在局部窗口ωδ（x） 中對有霧圖像的3 個彩色通道取最小值可以得到

這里，全局大氣光值Ac定義為暗通道中最亮的像素值。 結合式（5）的暗通道先驗和式（6），得到初始透射率

最后，由式（2）得到初始場景深度d0＝－lgt0。

1．2 雙TGV 模型

Gu 等［4］利用暗通道先驗估計出初始場景深度。 同時注意到：彩色戶外圖像和場景深度通常是分片光滑的，故提出了如下的雙TGV 圖像去霧模型

雙TGV 模型可以有效去除戶外有霧圖像中的霧氣，同時TGV 正則也可以較好地刻畫場景深度。注意到：在圖像背景復雜、霧濃度較大的情況下利用DCP 先驗估計的初始場景深度邊緣等細節特征丟失嚴重，導致利用雙TGV 模型恢復后的圖像場景邊緣和對比度等特征發生退化。 例如，在圖1 中，圖1（a）、圖1（b）分別為合成戶外有霧圖像和原始圖像；圖1（c）、圖1（d）分別為由DCP 估計的初始場景深度圖和雙TGV 模型得到的去霧結果。 從圖1（d）可以看到，紅框區域中“山峰”的邊緣處出現白色偽影，場景的能見度降低。 事實上，從圖1（c）可以看出，“山峰”區域的邊緣細節特征在初始場景深度圖中沒有被很好地刻畫，導致雙TGV 模型在去霧過程中，最終恢復的圖像邊緣、對比度等細節信息損失較嚴重。

圖1 不同初始場景深度的比較及兩種模型的去霧結果

2 本文方法

2．1 邊緣檢測暗通道先驗

為了恢復有霧圖像中更多如邊緣、結構等有價值的圖像細節信息，本文引入基于邊緣檢測的暗通道先驗（EI-DCP）估計初始透射率，同時獲得保持圖像邊緣細節信息的初始場景深度。 這里，定義基于邊緣檢測的暗通道先驗為

下面利用EI-DCP 估計初始透射率，在式（1）兩邊同時乘以邊緣檢測函數ψ， 并除以Ac， 再在等式兩邊同時取兩次最小值得到

利用式（7）的EI-DCP，得到初始透射率

最后，由式（2）得到初始場景深度d0＝－lgt0。從圖1 可以觀察到：由EI-DCP 估計的初始場景深度圖1（e）相較于DCP 估計的初始場景深度圖1（c）保留了更多邊緣、結構等圖像細節信息。

2．2 本文模型

本文利用EI-DCP 估計初始場景深度d?0。 同時為降低雙TGV 模型計算復雜度，這里提出如下基于邊緣增強的全變差（TV）圖像去霧模型

其中，

參數λ、μ ＞0，BV（Ω；R3） 為向量值有界全變差空間。

相較于雙TGV 模型，本文模型結合EI-DCP 同樣可以恢復出令人滿意的去霧圖像。 繼續觀察圖1這個例子，圖1（e）展示了由EI-DCP 估計的初始場景深度圖，本文方法的去霧結果如圖1（f）所示。 不難發現，圖1（e）的初始場景深度圖中放大區域“山峰”的邊緣特征被清晰地刻畫出來，使得所提模型的去霧圖像能夠很好地保持原始圖像的場景邊緣細節，恢復出具有較高能見度和對比度的去霧圖像。本文方法恢復的去霧圖像的PSNR 值要高于雙TGV方法恢復的去霧圖像的PSNR 值。 而且，還注意到：雙TGV 模型算法相較于本文模型算法更耗時。 所以本文模型在計算性能上也優于雙TGV 模型。

2．3 理論分析

首先，簡單介紹BV（Ω；R3） 空間［18］的一些基本知識。

定義1設R3），且滿足

BV（Ω；R3） 在賦予范數

后成為一Banach 空間。

引理1假設且在則有

引理2假設是BV（Ω；R3） 中的一函數列，且滿足則存在子列使得當j→∞，在L1（Ω；R3） 中有

定理1設，對于固定參數有最小值。

由Ω 為R2中的有界域知，在L1（Ω；R3） 中是一致有界的。 此外，結合式（10）可得在BV（Ω；R3） 上是一致有界的。因此，存在使得

由引理1 可得

對 于 任 意k∈N有和應用Fatou 引理，得到

進一步，有

因為式中矩陣G是正定的，所以E0是嚴格凸的，從而是嚴格凸的，因此存在唯一的解。

2．4 本文算法與收斂性分析

本文利用原始-對偶方法［15］，給出所提模型式（9）的快速數值求解算法。 令M×N表示輸入圖像的大小，經過對偶變換，式（9）可以等價為如下鞍點問題

求解式（11）的過程如下：

進一步，有

其中，

本文算法的具體計算步驟如下：

步驟1初始化

步驟2未滿足迭代停止條件時，反復執行以下步驟。

步驟3迭代終止條件為其中ε為控制迭代終止的參數，當滿足該條件時停止迭代，輸出。

由于本文算法的收斂性證明與經典Primal-dual算法［15］的收斂性證明過程相同，故這里不再贅述，僅給出算法的收斂性結果。

定理2對于任意給定的σ1，σ2，τ1，τ2＞0 以及L ＝‖?‖，當σ1τ1≤1／L2，σ2τ2≤1／L2時，由本文算法產生的序列收斂到鞍點問題式（11）的解。

3 實驗結果及分析

本文實驗在Windows7 系統、Intel（R） Core（TM）i5-6200U @ 2.30 GHz 處理器、8 GB RAM，使用MATLAB 2019b 完成。 將本文提出的方法與CAP 方法［12］、DehazeNet［6］、Meng 方法［2］和雙TGV 方法［4］的去霧結果進行比較，分別使用定性評估和定量評估的方式來驗證本文方法的有效性。 定量評估方法采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結構相似性（Structural Similarity，SSIM）［19］作為合成有霧圖像和噪聲有霧圖像去霧效果的評價標準，利用圖像可見度測量（Image Visibility Measurement，IVM）［20］、通 用 質 量 指 數（Universal Quality Index，UQI）［21］和 直 方圖 相 關 系 數（Histogram Correlation Coefficient，HCC）［20］這3 個評價指標定量評價不同方法對于真實有霧圖像的去霧性能。 其中，IVM 用來衡量無霧圖像的可見邊緣數，UQI 用來評估有霧圖像和去霧圖像之間的結構相似性，HCC 用來評估無霧圖像顏色恢復的性能。 這里，PSNR 值和SSIM 值越高，表示圖像去霧效果越佳，測試方法的IVM 和HCC 值越高，UQI 值越低，表示該方法具有更好的去霧效果。

3．1 參數的選擇

在每一個像素點x，ωδ（x） 為11×11 的局部窗口。模型式（9）中，固定μ ＝4， 對于λ， 圖像的噪聲越大，λ取值越大，將其設置為0.03、0.05 或0.09，所有實驗圖像的λ詳細值如表1 所示。 在本文算法中，令實驗的停止準則ε ＝1×10－4。

表1 本文模型參數λ 的取值

3．2 比較不同初始場景深度的性能

本節在圖2（a1）和圖2（a2）兩幅合成有霧圖像上展示所提模型分別應用DCP 和EI-DCP 的去霧性能，驗證本文所提先驗的優越性，實驗結果如圖2 第二行所示。 從圖2（b1）和圖2（b2）的紅框區域可以看出，與傳統DCP 相比，EI-DCP 估計的初始場景深度保留了更多圖像細節信息，這使得相較于本文模型應用DCP 得到的去霧結果（圖2（f1） 和圖2（f2）），應用EI-DCP 可以獲得具有更高對比度的去霧結果（圖2（e1）和圖2（e2））。 這些結果表明，相較于DCP，應用EI-DCP 估計初始場景深度更具有優越性。

圖2 本文模型應用EI-DCP 和DCP 的結果比較

3．3 合成戶外圖像去霧

下面展示不同方法對于合成戶外有霧圖像的去霧性能。 圖3 最后一列展示了4 幅原始戶外圖像，第一列為相應的合成有霧圖像Ⅰ、Ⅱ、Ⅲ、Ⅳ，其去霧結果如圖3 第二到第六列所示?？梢钥闯?，CAP 方法［12］和DehazeNet 方法［6］的去霧結果存在大量霧氣。 從圖3 第四列的去霧結果中可以看出，Meng 方法［2］會產生過度曝光的區域。 雙TGV 方法［4］雖然可以有效去除霧氣，但它會使去霧后的圖像顏色變暗，如圖3 第五列的第一、三幅圖像所示。 與其他4 種方法相比，本文采用EI-DCP 先驗和TV 正則刻畫場景深度，可以有效去除霧氣，同時保持原始圖像的對比度和清晰度。

圖3 不同方法對合成戶外圖像的去霧結果

為了定量分析不同方法的去霧性能，表2 列出了圖3 中各去霧結果的PSNR 值和SSIM 值，且每行中的最佳值均用粗體標記。 由于CAP 方法［12］和DehazeNet 方法［6］分別利用顏色衰減先驗和深度卷積神經網絡粗略估計有霧圖像的初始場景深度，然后通過式（1）直接得到去霧后的圖像，導致去霧后圖像的質量欠佳。 如表2 所示，CAP 方法［12］和DehazeNet 方法［6］得到的PSNR 值和SSIM 值普遍較低。 Meng 方法［2］不能準確估計圖像中明亮區域的初始場景深度，導致去霧圖像易產生顏色失真情況。表2 中，除圖像II 外，Meng 方法［2］去霧結果的PSNR 值和SSIM 值均低于本文方法。 雙TGV 方法［4］利用傳統DCP 估計的初始場景深度無法詳細刻畫場景邊緣結構特征，而本文應用EI-DCP 不但能夠有效去除圖像中的霧氣，同時還能更好地保持原圖像的邊緣結構特征，觀察表2 不難發現，本文所提方法的PSNR 值和SSIM 值均高于雙TGV 方法［4］。 特別地，本文方法的平均PSNR 值和SSIM 值要高于其他4 種方法，這也說明本文模型和算法在合成圖像去霧中的有效性。

表2 圖3 中去霧結果的PSNR 值和SSIM 值

3．4 真實戶外圖像去霧

本節展示不同方法對于真實戶外有霧圖像的去霧性能。 圖4 第一列展示了4 幅真實有霧圖像Ⅴ、Ⅵ、Ⅶ、Ⅷ，其去霧結果如圖4 第二到第六列所示。 可以看出，CAP 方法［12］和DehazeNet方法［6］的去霧效果較差；類似于合成有霧圖像的去霧結果，Meng 方法［2］的去霧結果仍然出現了過度曝光的區域；如圖4 第五列第二、三幅圖所示，雙TGV 方法［4］的去霧結果仍然出現圖像顏色變黑的現象。 另外，圖4 第五列的最后一幅圖像中依然存在大量霧氣。 相比之下，本文方法能更好地保持圖像的局部邊緣和對比度等信息，獲得具有更優視覺效果的去霧圖像。

圖4 不同方法對真實戶外圖像的去霧結果

表3 給出了不同方法去霧結果的UQI 值、HCC值、IVM 值，其中加粗字體代表每行中的最佳值。從表3 可以觀察到，相較于其他4 種去霧方法，本文方法的去霧結果均獲得了最低的UQI 值，這表明本文方法可以更多地保留圖像的結構特征，獲得具有較高圖像質量的去霧結果。 Meng 方法［2］有3 幅圖像具有最高的HCC 值，但從圖4 中可以看出，Meng方法［2］的去霧結果雖然可以提高圖像對比度，但易出現過度曝光區域。 相比之下，本文方法的去霧結果有1 幅圖像具有最高的HCC 值，也有3 幅圖像具有第二高的HCC 值，這表明本文方法可以獲得具有較高圖像對比度的去霧結果。 進一步，由于CAP 方法［12］、DehazeNet 方法［6］、Meng 方法［2］和雙TGV 方法［4］無法較好地恢復去霧圖像的邊緣細節特征，導致去霧結果的IVM 值偏低。 本文方法的IVM 值均高于其他4 種方法，這表明本文方法應用EI-DCP得到的去霧結果的可見邊緣數更高，圖像邊緣結構更清晰，圖像對比度更高。 特別地，本文方法獲得了最低的UQI 平均值和最高的HCC 平均值，這表明所提方法可以得到具有更高圖像質量和圖像對比度的去霧結果，同時可以很好地恢復圖像顏色。 除此之外，本文方法還獲得了最高的IVM 平均值，這也體現了本文所提模型和算法在真實戶外圖像去霧中的優越表現。

表3 圖4 中去霧結果的UQI 值、HCC 值和IVM 值

下面，比較不同模型在真實圖像去霧時的運算時間。 在相同設備上，應用CAP 方法［12］、DehazeNet 方法［6］、Meng 方法［2］、雙TGV 方法［4］以及本文方法計算圖4 中圖像Ⅴ、Ⅵ、Ⅶ、Ⅷ的平均運算時間如表4 所示?？梢钥闯?，直接基于大氣散射模型生成去霧圖像的CAP 方法［12］耗時較短，DehazeNet［6］利用訓練好的模型對圖像進行去霧處理，其運算速度也非?？?，Meng等［2］提出的基于透射率邊界約束的方法的運算速度也相對較快。 雙TGV 模型算法［4］相較于本文模型算法更復雜，更耗時，本文算法運算速度更快，效率更高。

表4 平均計算時間

3．5 噪聲戶外圖像去霧

最后，將本文所提方法應用于帶有不同噪聲的合成有霧圖像去霧。 圖5 展示了兩幅帶有不同程度噪聲的有霧圖像，不同方法的去霧結果及相應的放大區域如圖6 所示。 通過觀察CAP 方法［12］去霧結果的放大區域，可知“座椅”的四周出現了白色偽影。 DehazeNet 方法［6］和Meng 方法［2］可以去除較小的噪聲，而對于添加了較大噪聲的圖像X，他們的去霧結果并不理想。 相較于雙TGV 方法［4］，本文方法去霧和去噪結果的視覺效果更佳。

圖5 兩種不同噪聲的有霧圖像

圖6 不同方法的去霧結果（第一行：圖像IX 的去霧結果；第二行：圖像X 的去霧結果；第三行：第一行圖像的放大圖；第四行：第二行圖像的放大圖）

表5 中計算了各方法去霧結果的PSNR 值和SSIM 值。 從 表 5 可 以 看 出， CAP 方 法［12］和DehazeNet 方法［6］的PSNR 值和SSIM 值較低，其同時去霧和去噪效果較差。 Meng 方法［2］、雙TGV 方法［4］和本文方法均可以同時進行去霧和去噪。 特別地，對于兩種不同噪聲水平的有霧圖像，本文方法均可以得到最高的PSNR 值和SSIM 值。 這些結果表明：在處理含噪聲的有霧圖像時，本文方法仍然可以獲得令人滿意的去霧結果。

表5 圖6 中去霧結果的PSNR 值和SSIM 值

4 結束語

本文提出了一種基于邊緣檢測暗通道先驗的全變 差 圖 像 去 霧 模 型。 通 過 與 CAP 方 法［12］、DehazeNet 方法［6］、Meng 方法［2］以及雙TGV 方法［4］去霧結果的比較，可以發現，本文方法不僅能夠解決在處理背景復雜的有霧圖像時易丟失局部邊緣細節信息的問題，而且能夠平衡圖像顏色，增強圖像對比度。

在未來的工作中，將根據各種戶外圖像的特點，通過引入不同的暗通道先驗知識，建立新的變分優化模型來改善戶外自然有霧圖像的去霧結果。 此外，未來可通過引入基于邊緣檢測函數的水下暗通道先驗，研究水下圖像的有效去霧方法。