基于霧濃度分類與暗-亮通道先驗的多分支去霧網絡

張琪東 遲 靜 陳玉妍 張彩明

1 （山東財經大學計算機科學與技術學院 濟南 250014）

2 （山東省數字媒體技術重點實驗室（山東財經大學） 濟南 250014）

3 （山東大學軟件學院 濟南 250101）

圖像去霧是圖像處理和計算機視覺領域的研究熱點，也是一個充滿挑戰性的難題.霧是由大氣中懸浮的細小水滴或冰晶經大氣散射后產生的天氣現象，帶霧圖像存在諸多問題，如對比度低、飽和度低、紋理細節丟失、顏色出現偏差等.這類圖像實際用于視頻監控、自動駕駛、圖像識別等領域時，會對現有技術的處理結果造成負面影響.因此，圖像去霧作為一種不可或缺的圖像預處理技術，具有十分重要的研究意義.

圖像去霧方法可分為基于圖像增強的方法、基于圖像復原的方法、基于深度學習的方法.基于圖像增強的方法[1-2]主要通過去除圖像噪聲和提高圖像對比度恢復無霧圖像.基于圖像復原的方法[3-7]大多以大氣散射模型為基礎，通過估計透射率和大氣光實現去霧，但是容易出現參數估計不準確等問題，影響生成圖像質量.基于深度學習的方法[8-19]主要通過卷積神經網絡（CNN）實現端到端去霧，相比基于圖像增強和圖像復原的方法，其生成圖像的質量得到大幅度提升，但同時伴隨著模型復雜度的提升和運行效率的降低.

在圖像去霧中，根據霧濃度對帶霧圖像進行分類，有助于在圖像去霧時選擇合適的網絡模型，使去霧處理更具有針對性，從而在一定程度上簡化網絡結構，減少內存占用.但在目前的去霧領域中，對霧濃度分類的研究較少，多數現有霧濃度分類算法[20-23]的準確率有待提升，且沒有固定的分類標準.分類網絡結構的設計和帶霧圖像特征的選擇作為2 個關鍵因素，共同影響著最終分類的準確率和識別度.因此，如何借助霧濃度的分類，更具針對性地設計去霧模型的網絡結構，使模型能夠為不同霧濃度的輸入圖像選擇合適的分支網絡，以更靈活地處理，這對于在保證精度的前提下簡化網絡結構、減少內存占用、提高計算效率具有重要意義.

針對現有去霧模型對濃霧圖像去霧效果欠佳、精度和算力難以有效平衡的問題，本文提出一種新的圖像去霧方法，主要貢獻有3 個方面：

1）提出一個基于霧濃度分類與暗-亮通道先驗的多分支去霧模型，該模型包括輕量級霧濃度分類器和基于暗-亮通道先驗的多分支去霧網絡2 個部分.前者對輸入帶霧圖像進行分類，輸出霧濃度標簽；后者根據標簽針對性地選擇相應的分支去霧網絡，恢復無霧圖像，從而實現圖像去霧質量與網絡計算效率的良好平衡.

2）提出新的暗通道先驗損失函數與亮通道先驗損失函數，用于約束分支去霧網絡.該損失函數可以增強模型去霧性能，提高生成圖像的對比度，使去霧后的圖像更加清晰.

3）提出一個新的霧濃度分類方法，并基于該方法提出一個新的霧濃度分類損失函數.該損失函數的引入，可使模型依據帶霧圖像的暗通道特征和恢復難度，并結合生成圖像的質量與模型的計算效率，得到對帶霧圖像更加合理和準確的分類結果.繼而依據分類結果，由相應的分支網絡處理帶霧圖像，從而在保證精度的前提下，有效提高模型的效率，減少內存的占用.

1 相關工作

1.1 基于圖像增強和復原的方法

早期的傳統去霧方法多數是基于圖像增強和圖像復原的方法.文獻[2] 對圖像進行偏色檢測校正，通過亮度和對比度增強以及飽和度補償獲得無霧圖像.文獻[3]通過高階濾波迭代優化透射率，利用大氣散射模型復原無霧圖像.文獻[6]提出暗通道先驗(dark channel prior, DCP)，指出室外無霧彩色圖像的大多數圖像塊中通常存在一個像素值很低的顏色通道，并基于DCP 和大氣散射模型，通過暗通道圖來估計透射率和大氣光，從而實現先驗去霧.該方法廣泛應用在圖像去霧領域中，但其生成圖像存在整體顏色過暗和局部細節模糊等問題.基于暗通道先驗，文獻[7]提出了暗通道與亮通道相結合的去霧算法.亮通道先驗理論的基本思想是，在最模糊的圖像塊中通常存在一個像素值很高的顏色通道.然而，基于先驗的去霧算法普遍存在透射率估計不準確、天空區域過曝、圖像顏色過暗等缺點.綜上，傳統方法雖然運行速度較快、實現較為簡單，但去霧效果不理想.

1.2 基于深度學習的方法

隨著深度學習技術的興起，利用卷積神經網絡恢復無霧圖像的研究取得較大進展.早期的深度學習算法大多基于大氣散射模型，利用卷積神經網絡估計大氣散射模型的參數.文獻[8]利用神經網絡估計帶霧圖像的透射圖，通過大氣散射模型實現去霧.文獻[9]提出了基于多尺度卷積神經網絡的去霧模型，通過不同尺度的網絡估計并優化透射圖，應用大氣散射模型輸出無霧圖像.文獻[10]將大氣散射模型直接嵌入到網絡中，利用聯合訓練實現端到端去霧.文獻[8–10] 所述的方法雖然在去霧效果上得到了不同程度的提升，但仍然需要估算透射率和大氣光值，因此難以避免參數估計不準確和無法生成高精度圖像等問題.

近年來，基于深度學習的很多圖像去霧技術不再依賴大氣散射模型，無需估計透射率和大氣光，而是利用輸入的帶霧圖像，通過訓練卷積神經網絡模型，直接生成無霧圖像.文獻[11]將透射率和大氣光統一為一個參數表示，并構建輕量級卷積神經網絡估計該參數的值，進而生成無霧圖像.文獻[12]將注意力機制與圖像去霧相結合，提出了基于特征注意的深度去霧網絡.文獻[13]提出一種基于注意力機制的多尺度去霧網絡，通過通道注意力機制將不同尺度的特征和經過殘差塊卷積后的不同分支特征相融合實現去霧.文獻[14]提出了一種基于U-Net[24]架構的具有密集特征融合的多尺度增強去霧網絡，通過增強解碼器逐步恢復無霧圖像.文獻[11–14]中的模型有效提升了去霧性能以及生成圖像的精度，但精度的提升往往依賴于網絡深度與寬度的增加.這會導致參數量與算力需求的增加，從而不可避免地出現模型內存占用增大和計算效率降低的問題，而且模型對于新樣本的適應性不強，泛化能力較弱.文獻[15]利用帶霧圖像和清晰圖像的信息分別作為負樣本和正樣本，設計了以自編碼器為核心的輕量級去霧網絡，均衡了模型的性能與參數量.文獻[16]提出無監督自增強去霧框架，通過將透射圖分解為密度信息和深度信息實現去霧，在提高模型去霧性能的同時增強了泛化能力.

很多研究工作將生成式對抗網絡(generative adversarial network, GAN)[25]引入到圖像去霧中.文獻[17]提出了一種基于循環生成式對抗網絡Cycle-GAN[26]模型的去霧方法，訓練時無需使用成對的帶霧圖像與目標無霧圖像，并加入循環一致性損失和感知一致性損失，提高了圖像紋理細節恢復的質量以及視覺上的去霧效果.文獻[18]基于GAN 提出了一個端到端去霧模型，可在實現去霧的同時避免網格偽影的產生.文獻[19]針對現有模型對真實帶霧圖像的泛化能力差的問題，提出了基于GAN 的域自適應去霧模型.通過圖像轉換模塊實現合成帶霧圖像與真實帶霧圖像之間的相互轉換，然后使用轉換前后的圖像訓練2 個具有一致性約束的去霧網絡，有效提升了模型的泛化能力.這些基于深度學習的去霧模型在訓練時大多采用最常見的L1 損失或L2 損失，而L1 損失和L2 損失在很多情況下會使得模型對圖像中紋理細節的處理過度平滑，導致生成圖像的部分邊緣區域出現一定程度的模糊，并且會存在霧殘留，尤其在處理濃霧圖像時，部分生成圖像會有大量的霧殘留，整體質量較差.

1.3 霧濃度分類方法

近年來，基于深度學習的圖像分類研究取得長足進展.文獻[27]針對樣本收集難度較大、標記數據較少等問題，利用多尺度生成器生成不同尺度的圖像特征，獲得多尺度信息的相似性得分并進行標簽傳播，通過計算傳播結果實現分類.文獻[28]提出一種基于余弦相似性的Softmax 損失函數，計算嵌入表示與分類全連接層權重的正負相似性，有效提升多分類任務性能.文獻[20–23]把圖像分類引入到圖像去霧工作中，實現對帶霧圖像的識別與分類.文獻[20]通過灰度共生矩陣提取圖像紋理細節特征，使用支持向量機實現對有霧圖像與無霧圖像的識別，但是無法根據霧濃度實現對帶霧圖像的精細分類.文獻[21]使用高斯混合模型對無霧、有霧、濃霧3 種霧濃度圖像的概率密度進行建模，并通過期望最大化算法學習模型參數.文獻[22]提出了基于顏色特征和角偏差特征的霧濃度分類方法，通過訓練支持向量機實現對4 種不同霧濃度圖像的分類.文獻[23]利用序數關系實現霧圖像的能見度檢測.文獻[20–23,27–28]所述的方法普遍存在2 個問題：1）霧濃度分類方法的相關數據集較少，沒有固定的分類標準，并且霧濃度的大小是相對的，其分類結果不具備普適性；2）霧濃度分類方法采用的是硬分類，沒有考慮分類結果對整個去霧模型的去霧質量和計算效率之間的平衡所產生的影響，分類方法不具備自適應性和靈活性.

2 本文方法

本文提出一個新的基于霧濃度分類與暗-亮通道先驗的多分支去霧模型，模型的結構如圖1 所示.本文模型由2 部分組成，分別是輕量級霧濃度分類器(light-weight fog image classifier, LFC)和基于暗-亮通道先驗的多分支去霧網絡(multi-branch defogging network based on dark and bright channel priors, MBDN).LFC 由3 個卷積塊與2 個全連接層組成，利用本文提出的新的霧濃度分類損失函數，并結合生成圖像的質量與模型的計算效率，實現對帶霧圖像的分類；MBDN 由3 個結構相同、寬度不同的分支去霧網絡組成，分別用于處理輕霧圖像、中霧圖像、濃霧圖像.每個分支去霧網絡都由3 個模塊組成：特征提取模塊(feature extract module, FE)、通道注意力模塊(channel attention module, CA)、空間注意力模塊(space attention module,SA).本文方法的基本流程是：首先將帶霧圖像I輸入至LFC，得到輸入圖像的概率向量p，向量中的元素p1,p2,p3分別表示圖像屬于輕霧、中霧、濃霧3 類圖像的概率值，取最大概率值所對應的霧濃度類別作為輸入圖像的濃度標簽；然后將濃度標簽輸入至MBDN，MBDN 根據當前輸入圖像的濃度標簽將其輸送到相應的分支去霧網絡.在分支去霧網絡中，FE用于提取融合特征，輸出組合特征圖至CA，CA 通過通道注意力機制在通道方向上獲取特征權重，再由SA 通過空間注意力機制在像素維度上進一步獲取特征權重，使模型能夠定位重點信息，提高處理效率.同時，結合本文新提出的暗通道先驗損失與亮通道先驗損失，進一步約束分支去霧網絡，提高分支網絡的去霧性能，最終生成無霧圖像.

圖1 本文方法框架Fig.1 Framework of our method

2.1 輕量級霧濃度分類器

本文提出一個新的LFC，可根據帶霧圖像的暗通道特征和恢復難度以及生成圖像的質量，將帶霧圖像分為輕霧、中霧、濃霧3 類.LFC 由3 個卷積塊和2 個全連接層組成，其中每個卷積塊由1 個卷積層、1 個激活層、1 個最大池化層組成.LFC 是一個十分輕量級的分類網絡，參數量僅有0.32 MB，它的引入幾乎不會對本文模型的去霧工作帶來計算成本和內存占用量的增加.模型中各模塊的參數量對比及說明詳見3.3 節.設當前帶霧圖像為I，將其輸入至LFC，可得到帶霧圖像I的概率向量p(I)=(p1,p2,p3)，p1,p2,p3分別表示I屬于輕霧、中霧、濃霧類別的概率.取其中最大概率值元素所對應的霧濃度類別作為當前圖像的分類結果，該結果表示為濃度標簽L.L將與I共同輸入至后續的分支去霧網絡MBDN.設FLFC(·)為LFC 的函數表示，則LFC 的處理過程可表示為

2.1.1 霧濃度分類方法

為了提高霧濃度分類的合理性和準確性，同時保證整個網絡模型在去霧精度和算力消耗上的良好平衡，本文提出一種新的霧濃度分類方法.霧濃度在現實世界中是指懸浮在空氣中的霧滴數量的多少，反映在圖像上表現為圖像的不清晰程度.不同霧濃度的圖像具有不同的暗通道特征和恢復難度，因此，可用暗通道特征和恢復難度來描述圖像霧濃度.新方法根據帶霧圖像的暗通道特征和恢復難度這2 個因素，實現對霧濃度的分類.2 個因素值的計算分別為：1）求取帶霧圖像的暗通道圖的平均像素值并歸一化；2）將帶霧圖像通過DCP[6]算法去霧處理后，求取生成圖像的峰值信噪比(peak signal to noise ratio,PSNR)與結構相似性(structural similarity, SSIM)，這二者均為評價圖像質量的指標.暗通道圖的平均像素值代表了帶霧圖像的暗通道特征.由暗通道先驗理論可得，輸入圖像中存在的霧越濃，其暗通道圖通常會越亮.而濃霧圖像相對輕霧圖像而言，恢復難度自然會更大，即濃霧圖像經同一去霧算法處理后的生成圖像的PSNR 值與SSIM 值往往會更低.因此，可用PSNR 值與SSIM 值表示帶霧圖像的恢復難度.這里用于計算PSNR 值與SSIM 值所采用的去霧處理操作，僅僅是為了得到不同帶霧圖像經過同一算法去霧后的客觀量化結果，以此來反映不同帶霧圖像的恢復難度，對去霧處理操作本身的精度沒有特別的要求.因此，本文使用綜合速度最快的DCP 算法來對圖像進行去霧操作.另外，本文也對去霧后圖像的PSNR 值和SSIM 值與霧濃度的關系在多個數據集上進行了實驗論證.圖2 展示了在RESIDE[29]數據集中的室內訓練集ITS (indoor trainset)上的驗證結果.這里，采用DCP 算法處理ITS 數據集后，對圖像的霧濃度和去霧后圖像的PSNR 值與SSIM 值的乘積之間的關系進行了直觀的可視化展示.其中，橫軸表示圖像根據乘積值由小到大重新排列后的序列號，縱軸表示PSNR 值與SSIM 值的乘積.可見，PSNR 值和SSIM 值的乘積與圖像霧濃度之間的關系呈現了一種規律，即：去霧后具有較小乘積值的霧圖像中存在的霧往往較濃，其恢復難度相對于乘積值較大的霧圖像而言往往會更高.圖2 中的曲線表示了這種規律.基于上述理論，本文綜合考慮帶霧圖像的暗通道特征和恢復難度，提出了新的霧濃度分類方法.將帶霧圖像的霧濃度系數定義為去霧后所得圖像的PSNR值和SSIM 值的乘積與帶霧圖像的暗通道圖的平均像素值的歸一化結果之比.設霧濃度系數為K，輸入的帶霧圖像為I，其暗通道圖為Id，由DCP 算法處理后的生成圖像為IDCP，則霧濃度系數K的具體表示為

圖2 霧濃度與去霧后圖像PSNR 值和SSIM 值乘積的關系可視化Fig.2 Visualization of the relationship between fog concentration and PSNR-SSIM product of defogged images

其中VPSNR(·)表示求取圖像的PSNR 的數值，VSSIM(·)表示求取圖像的SSIM 的數值，VMP(·)表示求取暗通道圖的平均像素值并歸一化.

圖3 展示了本文提出的霧濃度分類方法在ITS數據集上的預分類結果.利用式（2）計算帶霧圖像的霧濃度系數K，同樣，根據K值對ITS 數據集中的所有帶霧圖像由小到大排序，體現為序列號的由小到大.我們發現圖像霧濃度呈現了從濃到輕的趨勢，這表明具有較高K值的圖像的霧濃度往往較低，而具有較低K值的圖像的霧濃度往往較高.我們從視覺上對這種趨勢直觀地進行了展示.圖3 表示圖像霧濃度的變化趨勢.同時，為方便直觀地展示效果，這里按照K值的區間粗略地將其平均分為輕霧、中霧、濃霧3 個區域.可見，本文的分類方法可以有效地對帶霧圖像的濃度進行劃分.關于本文分類方法的合理性的進一步論證，詳見3.3 節.

圖3 新的霧濃度分類方法在ITS 數據集上的預分類結果Fig.3 Pre-classification result with the new fog concentration classification method on ITS dataset

顯然，僅根據均分K值范圍的方式將圖像劃分為輕霧、中霧、濃霧3 類是不合理的.我們需要結合數據集的實際情況，以及整個網絡模型的去霧質量和計算效率，對圖像霧濃度類別進行動態和靈活地劃分.因此，基于新的霧濃度分類方法，本文又提出了霧濃度分類損失函數，用于約束LFC 對帶霧圖像類別的識別，以實現動態分類.該損失函數的引入，可建立起LFC 和MBDN 之間的聯動優化，使整個網絡模型可根據帶霧圖像的暗通道特征和恢復難度，并結合生成圖像的質量與模型的計算效率，得到更加合理和準確的分類結果.繼而可根據分類結果，由相應的分支去霧網絡處理不同類別的帶霧圖像，從而達到整個網絡模型在去霧精度和運算效率上的良好平衡.下面詳細介紹霧濃度分類損失函數.

2.1.2 霧濃度分類損失函數

本文提出新的霧濃度分類損失函數，該函數使得LFC 能夠根據帶霧圖像的暗通道特征和恢復難度實現動態分類.而且，將該損失函數引入整個網絡模型的聯合訓練中，還可以使得分類能夠同時依據生成圖像的質量與模型的計算效率，進一步提高分類的合理性和準確性，繼而提升整個網絡的性能.

由2.1.1 節所述可知，在考慮帶霧圖像的暗通道特征和恢復難度的情況下，圖像中存在的霧越濃，則霧濃度系數K的值越小.對所有圖像的K值做歸一化處理，結果記為k,k∈(0,1).顯然，k值的大小同樣反映了霧的濃度.當k值趨近于1 時，說明圖像中存在的霧很少，我們希望這種情況下，LFC 所得概率向量中代表輕霧圖像的概率p1的值最大；同樣，k值趨近于0.5 時，說明圖像中存在的霧屬于中等程度，我們希望其概率向量中代表中霧圖像的概率p2的值最大；k值趨近于0 時，說明圖像中的霧很濃，我們希望其概率向量中代表濃霧圖像的概率p3的值最大.基于此，本文提出新的霧濃度分類損失函數，公式定義為

其中k為霧濃度系數K的歸一化值，每張圖像的k值是由式（2）計算得到的已知量；p1,p2,p3分別表示當前帶霧圖像經過LFC 計算得到的概率向量中屬于輕霧、中霧、濃霧類別的概率值，是待優化的未知量.通過Lk來約束LFC，使其能夠根據霧濃度系數實現對霧圖像的分類.如式（3）所示，若當前輸入帶霧圖像的k值越接近1，則該圖像屬于輕霧類別的概率應該越高，即：LFC 對該圖像生成的概率向量中，p1的值應該越大并且越接近于k.在優化LFC 的過程中，式（3）通過縮小k與p1的距離可使p1增大，同時減小p2,p3.若當前輸入圖像的k值越接近0.5，則該圖像屬于中霧類別的概率應該越高，即：LFC 對該圖像生成的概率向量中，p2的值應該越大并且越接近于 2k.式（3）在優化LFC 的過程中，通過縮小 2k與p2的距離可使p2增大，同時減小p1,p3.若當前輸入圖像的k值越接近0，則該圖像屬于濃霧類別的概率值應該越高，即：LFC對該圖像生成的概率向量中，p3的值應該越大.式（3）通過縮小1-k與p3的距離，可使p3增大的同時減小p1,p2，從而實現對LFC 優化.

可見，霧濃度分類損失能夠使LFC 根據帶霧圖像的暗通道特征和恢復難度，實現對帶霧圖像的分類.同時，本文還將霧濃度分類損失引入到對整個模型的聯合訓練中，通過與其他損失函數相結合，使模型能夠進一步根據生成圖像的質量和計算效率，得到對帶霧圖像更加合理和準確的分類結果.繼而依據分類結果，由相應的分支去霧網絡處理帶霧圖像，從而在保證精度的前提下，有效提高模型的效率，減少內存的占用.關于聯合訓練的方法及總損失函數，詳見2.3 節.

2.2 基于暗-亮通道先驗的多分支去霧網絡

多分支去霧網絡MBDN 由3 個結構相同、寬度不同的分支網絡組成，分別用于處理濃度標簽為輕霧、中霧、濃霧的帶霧圖像，最終將其恢復為無霧圖像.寬度是神經網絡的基本維度之一，指神經網絡每層的通道數.寬度貢獻了大量計算量，可以使模型的每一層學習到更加豐富的特征.若寬度過小，會導致模型特征提取不充分，模型性能受限；若寬度過大，會使模型提取過多重復特征，加大模型計算負擔.同樣，對于圖像去霧工作而言，為去霧模型設計合適的寬度值，并根據霧圖像的分類結果，針對性地處理不同類別的霧圖像，不僅能夠提升模型的去霧性能，而且能夠減少計算成本.因此，綜合考慮帶霧圖像的恢復難度，以及網絡寬度對模型精度和速度的影響，并經過多次實驗，本文將輕霧分支網絡的寬度設置為48，中霧分支網絡的寬度設置為56，濃霧分支網絡的寬度設置為64，以實現圖像去霧質量與網絡計算效率的良好平衡.

將當前帶霧圖像I以及經過LFC 得到的該圖像的濃度標簽L，共同輸入至MBDN，MBDN 根據當前輸入圖像的濃度標簽，為其選擇合適的分支去霧網絡.這樣，隨著圖像的霧濃度從重、到中、再到輕，其恢復難度逐漸降低，即使采用結構逐漸簡單的分支網絡，亦可以達到理想的去霧效果.因此，分支去霧網絡結構的設計可以在降低網絡復雜度和減少內存占用量的同時，保證生成圖像的質量.另外，為進一步提升去霧精度，本文還提出了新的暗通道先驗損失函數與亮通道先驗損失函數，以進一步約束分支網絡，使其具有更優的去霧性能.

2.2.1 多分支去霧網絡MBDN

多分支去霧網絡MBDN 由FE、CA 和SA 這3 個模塊組成.FE 提取帶霧圖像的特征，并將輸出的特征圖在通道方向上相連接，實現特征融合；CA 在通道方向上獲取特征權重，使模型識別并獲取更有價值的通道信息[30]；SA 在空間方向上獲取特征權重，使模型定位圖像中重要的空間位置，重點關注濃霧區域并進行處理.注意力機制的引入，使模型能夠定位重點信息，并抑制非重點信息，提高了模型的計算效率.同時，結合本文新提出的暗通道先驗損失與亮通道先驗損失來訓練模型，以進一步提高模型的去霧性能.下面具體介紹MBDN 的3 個模塊.

1）特征提取模塊（FE）

將帶霧圖像輸入至特征提取模塊，首先通過卷積層將輸入的RGB 帶霧圖像轉換為特征圖，然后通過3 個帶有殘差連接的特征提取器FE1, FE2, FE3 進一步提取特征.每個特征提取器由20 個結構完全相同的殘差塊[12]組成，加入殘差連接可以更有效地減少梯度消失，使模型訓練簡單化.最后把每個特征提取器輸出的特征圖在通道方向上連接起來，實現特征融合，輸出組合特征圖FFE.

2）通道注意力模塊（CA）

CA 基于注意力機制獲取不同通道的權重.該部分的輸入是組合特征圖FFE，通過自適應全局平均池化(global average pooling, GAP)[31]將FFE的尺寸由H×W×C變為1×1×C，即將FFE變成一個維度為C的向量vGAP.為使特征圖的每個通道具有不同的權重，以提取通道相關性，將vGAP進行逐點卷積來提取通道特征，并利用修正線性單元(rectified linear unit,ReLU)激活函數獲取各通道權重，再卷積恢復至原維度，通過Sigmoid 激活函數得到特征向量vCA，vCA中的每個元素值即為各通道的權重值.最后將生成的特征向量vCA與FFE逐元素相乘，得到具有通道權重的組合特征圖FCA.

3）空間注意力模塊（SA）

SA 在提取通道特征的基礎上，進一步提取空間特征，即獲取組合特征圖FCA通道方向上的所有通道在同一像素點位置的權重.SA 模塊的輸入為FCA，FCA經卷積、激活后，尺寸變為H×W×1，且被賦予空間特征的權重.換言之，SA 模塊將FCA轉換為一個尺寸為H×W的權重矩陣MSA，MSA的每個元素即為FCA相應空間位置的特征權重.然后將權重矩陣MSA與FCA逐元素相乘，生成特征圖FSA.最后將FSA轉換為RGB 圖像，得到輸出圖像Io，即最終的去霧圖像.

2.2.2 暗通道先驗損失與亮通道先驗損失

本文用于訓練分支去霧網絡的損失函數由3 個約束項組成：L1 損失、暗通道先驗損失、亮通道先驗損失.其中L1 損失是傳統方法中常采用的約束項，暗通道先驗損失和亮通道先驗損失則是本文提出的2 個新約束項.暗通道先驗損失用于增強模型的去霧性能，提高生成圖像的去霧效果.亮通道先驗損失在增強去霧效果的同時，可適當提高生成圖像的亮度與對比度.該損失有效解決因僅使用暗通道先驗損失造成的生成圖像過暗問題，以及因使用L1 損失對紋理細節過度平滑導致的邊緣區域模糊問題，從而使去霧后的圖像更加清晰.下面具體介紹3 個損失約束項以及相關理論.

1）暗通道先驗與亮通道先驗理論

暗通道先驗理論的基本思想是，在非天空區域的彩色無霧圖像中，大多數局部區域中都存在一些像素，這些像素在至少1 個顏色通道中的強度很低.此處，像素強度指該通道中的像素值，取值范圍為0～255.對任意圖像I，其暗通道Id(x)的表達式為

其中IC表示彩色圖像I的某一顏色通道，y∈Ω(x)表示以像素點x為中心的局部區域內的像素.暗通道先驗理論指出，對無霧圖像而言，其暗通道Id(x)應盡可能的小，并且趨近于0.

亮通道先驗理論指出，大多數模糊圖像的局部區域中都存在一些像素，這些像素在至少1 個顏色通道中具有很高的強度.對任意圖像I，其亮通道Ib(x)的表達式為

其中IC,y∈Ω(x)的含義與式（4）中相同.由亮通道先驗理論可推得，帶霧圖像的亮通道相對無霧圖像要高.

本文將圖像暗通道圖的2 范數定義為圖像的暗通道值，將亮通道圖的2 范數定義為亮通道值.基于暗通道先驗理論與亮通道先驗理論，本文計算了ITS數據集中的13 990 對帶霧圖像與清晰圖像的暗通道值與亮通道值，并從中隨機選取了1 399 對帶霧圖像與清晰圖像的計算結果進行可視化.圖4 和圖5 分別展示了這些帶霧圖像與清晰圖像的暗通道值對比曲線和亮通道值對比曲線.圖4中，橙色曲線表示帶霧圖像的暗通道值，藍色曲線表示清晰圖像的暗通道值.圖5中，橙色曲線表示帶霧圖像的亮通道值，藍色曲線表示清晰圖像的亮通道值.綜合圖4 和圖5 表明，帶霧圖像的暗通道值與亮通道值都相對較高，而清晰圖像的暗通道值與亮通道值都相對較低.該結果與暗通道先驗理論和亮通道先驗理論也是相吻合的.因此，根據帶霧圖像與清晰圖像的這一暗通道與亮通道特征，本文提出了暗通道先驗損失與亮通道先驗損失，這2 項損失能夠有效提升模型的去霧能力，使生成圖像具有更好的去霧效果，同時提高圖像的亮度與對比度，使生成圖像更加清晰.

圖4 帶霧圖像與清晰圖像的暗通道值對比曲線Fig.4 Comparison curves of dark channel values between the foggy and clear images

圖5 帶霧圖像與清晰圖像的亮通道值對比曲線Fig.5 Comparison curves of bright channel values between the foggy and clear images

2）暗通道先驗損失

上述暗通道先驗理論和實驗表明，帶霧圖像的暗通道值較高，清晰圖像的暗通道值較低.若模型去霧性能較差，則其生成圖像的部分區域仍會存在霧殘留，暗通道值就會偏高.而且相比于輕霧圖像，濃霧圖像去霧后的霧殘留會更多，暗通道值會更高.因此，為增強模型的去霧性能，我們希望生成圖像的霧殘留盡量少，即生成圖像的暗通道值盡可能小.基于此，本文提出暗通道先驗損失函數，用于約束分支去霧網絡所生成圖像的暗通道值，以提升模型的去霧效果，尤其是對濃霧圖像的去霧效果.暗通道先驗損失函數表示為

其中xi為第i個像素點，Id為生成圖像的暗通道圖，Id(xi)為生成圖像的第i個像素點的暗通道值，H,W為圖像尺寸.該損失函數值越小，表明生成圖像的暗通道值越小，整體的霧殘留越少.

3）亮通道先驗損失

上述亮通道先驗理論和實驗表明，帶霧圖像的亮通道值相比清晰圖像要高.因此，適當降低生成圖像的亮通道值，可提升生成圖像的清晰度，從而提高模型的去霧效果.基于此，本文提出亮通道先驗損失函數，用于約束分支去霧網絡所生成圖像的亮通道值，使其盡可能的小.另外，由于暗通道先驗損失易使生成圖像亮度過暗，導致生成圖像的對比度降低.通過引入亮通道先驗損失與暗通道先驗損失共同約束模型，可很好地保持生成圖像的亮通道值與暗通道值的平衡，從而在提高模型去霧性能的同時，保證生成圖像的亮度與對比度，使模型生成的圖像更加清晰.亮通道先驗損失函數表示為

其中xi為第i個像素點，Ib為生成圖像的亮通道圖，Ib(xi)為生成圖像的第i個像素點的亮通道值.該損失函數值越小，表明亮通道值越小，生成圖像越清晰.

4）L1 損失

用于計算生成圖像與目標清晰無霧圖像之間對應像素的誤差，表達式為

其中IGT為目標清晰無霧圖像，Io為模型的生成圖像，即去霧后的圖像.

綜上，多分支去霧網絡MBDN 的總損失函數為

其中 ω1, ω2, ω3是損失函數的權重.關于暗、亮通道先驗損失的消融實驗，見3.5.1 節.

2.3 聯合訓練策略

在2.1 節中，本文提出新的霧濃度分類方法，根據帶霧圖像的暗通道特征和恢復難度進行分類，并由此提出了新的濃度損失函數，該損失函數能夠使LFC 得到對帶霧圖像的更加合理和準確的分類結果.然而在實現分類時，還要考慮到分類結果對整個網絡模型最終生成圖像的質量以及計算效率的影響.因此，本文不是根據預定的濃度標簽來單獨訓練LFC，而是將LFC 和MBDN 聯合起來進行訓練，從而使分類既考慮到帶霧圖像的暗通道特征和恢復難度，又考慮到最終生成圖像的質量和網絡的計算效率.聯合訓練時，固定MBDN 中已經訓練完成的分支去霧網絡，對LFC 進行訓練，使LFC 能夠根據帶霧圖像的暗通道特征和恢復難度，并結合生成圖像質量以及模型的計算效率，實現對輸入圖像的分類.聯合訓練中，當前輸入的帶霧圖像會分別經過每個分支去霧網絡，將LFC 輸出的當前圖像的概率向量中每個元素的概率值與對應類別的分支去霧網絡所生成圖像的乘積之和，作為聯合訓練的最終結果.聯合訓練輸出圖像的公式表示為

其中M為帶霧圖像的總類別數，本文中M=3，I為輸入圖像，pi為當前輸入圖像被分至第i類的概率，BNi(I)為第i個分支去霧網絡所生成的圖像.IJ為聯合訓練的最終輸出圖像.

在聯合訓練過程中，帶霧圖像的特征以及生成圖像的質量均是影響模型性能的關鍵因素.而本文提出的霧濃度分類損失函數，可根據帶霧圖像的暗通道特征和恢復難度約束模型，將其與L1 損失相結合，可進一步保證生成圖像的質量.此外，通過霧濃度分類損失與L1 損失共同約束模型，還可以使模型能夠根據計算效率進一步優化分類結果.例如，若低寬度分支去霧網絡足以處理當前圖像且能夠保證生成圖像的質量時，則無需使用更高寬度的分支去霧網絡處理，從而使當前圖像霧濃度分類降低1 個等級，有效提高了模型的計算效率.另外，為增加分類結果的可信度，我們還引入了類間損失[32]，與L1 損失和霧濃度分類損失共同約束整個模型.因此，本文模型聯合訓練的總損失函數由3 個約束項組成：

1）L1 損失

用于計算生成圖像與清晰圖像之間對應像素的誤差，以保證生成圖像的質量，表達式為

其中IJ為聯合訓練時模型的生成圖像，IGT為目標清晰無霧圖像.

2）類間損失

用于擴大概率向量中各元素之間的距離，即增大每個分類結果之間的概率差距，使概率向量中最大的元素值趨近于1，從而增加最大概率對應的分類結果的可信度，避免分類結果的模糊性.公式為

3）霧濃度分類損失

霧濃度分類損失Lk如式（3）所示，該損失用于約束LFC，使其能夠根據帶霧圖像的暗通道特征和恢復難度實現分類.

綜上，聯合訓練的總損失函數為

其中 λ1, λ2, λ3是損失約束項的權重.

3 實 驗

3.1 數據集

本文采用RESIDE, RS-HAZE[33], O-HAZE[34]這3個數據集進行實驗.

3.1.1 RESIDE 數據集

RESIDE 包含由NYU Depth Dataset V2[35]和Middlebury Stereo Datasets[36]合成的室內圖像與室外圖像.在RESIDE 數據集中，本文分別使用ITS 與OTS (outdoor train set)進行訓練，使用SOTS (synthetic objective testing set)進行測試，使用HSTS (hybrid subjective testing set)測試模型對真實霧圖像的去霧效果.本文在訓練分支去霧網絡時，在ITS 中，使用13 000 張圖像用于訓練，990 張用于驗證.在OTS 中，使用130 000張圖像用于訓練，990 張用于驗證.SOTS 包含500 張室內圖像與500 張室外圖像，本文使用SOTS 分別對ITS 與OTS 進行測試實驗.

3.1.2 RS-HAZE 數據集

RS-HAZE 是一個合成的遙感圖像去霧數據集，由512×512 的遙感圖像塊組成，包含51 300 張訓練集圖像和2 700 張測試集圖像.我們使用5 130 張圖像進行訓練，900 張圖像進行測試.

3.1.3 O-HAZE 數據集

O-HAZE 包含45 張不同場景中拍攝的室外真實霧圖像，霧圖像中均為真實霧霾，由專業造霧設備生成.我們在O-HAZE 中隨機選取30 張圖像來測試模型的泛化能力.

3.2 訓練策略

本文訓練模型的機器配置與運行環境為：Ubuntu 18.04, GeForce RTX 3 090, CUDA 11.0, PyTorch 1.7.0,Pycharm 2021, Python 3.6.

模型的訓練主要分為2 個步驟：第1 步，使用式（9）定義的損失函數，即：將新提出的暗通道先驗損失和亮通道先驗損失，與L1 損失相結合，分別訓練3個分支去霧網絡，使其能夠將帶霧圖像恢復至無霧清晰圖像.本文實驗中，將式（9）中的權值設置為ω1=1,ω2=10,ω3=10.此外，為了減少訓練成本，我們在訓練分支去霧網絡時，按照數據集圖像的霧濃度系數K值由小到大排列，并按照區間粗略地將數據集分為3 類，以分別訓練3 個分支網絡.其中，輕霧分支網絡訓練集包含k∈(0,0.4)的圖像，中霧分支網絡訓練集包含k∈(0.3,0.7)的圖像，濃霧分支網絡訓練集包含k∈(0.6,1)的圖像，k為霧濃度系數K的歸一化值，其中，每個分支網絡的訓練集中存在一定的重合，是為了保證分支網絡的精度.第2 步，固定訓練好的3 個分支網絡，使用式（13）定義的損失函數，即：將新提出的霧濃度分類損失與L1 損失和類間損失相結合，對模型進行聯合訓練，使LFC 能夠根據帶霧圖像的暗通道特征和恢復難度，并結合生成圖像質量與模型計算效率，實現對帶霧圖像的分類.本文實驗中，將式(13) 中的權值設置為λ1=1000,λ2=1,λ3=1.其中，訓練分支去霧網絡時，設置迭代次數為8E5，批處理大小為4，學習率初始值為1E-4，使用Adam 優化器[37]優化學習率，通過余弦退火衰減函數將學習率從初始值調整為0，設置β1=0.99，β2=0.999；聯合訓練時，設置批處理大小為64，初始學習率為2E-4，訓練周期為100.

3.3 霧濃度分類方法的合理性

為證明本文提出的霧濃度分類方法的合理性和有效性，對本文模型在多個數據集上的分類結果，以及生成圖像的質量和網絡的計算性能進行了測試.表1 是對SOTS 室內測試集的測試結果.實驗中，利用訓練好的網絡模型對500 張室內測試圖像進行分類，得到輕霧類圖像69 張、中霧類圖像303 張、濃霧類圖像128 張.為測試生成圖像的質量和計算性能，將3 類圖像均輸入至MBDN 中的每個分支去霧網絡，得到不同分支網絡下生成圖像的平均PSNR 值，該值可反映圖像的生成質量.表1 中第5 列的參數量表明，LFC 的參數量相比分支去霧網絡而言非常小，因此LFC 的引入幾乎不會對模型的去霧工作帶來更多的計算成本和內存占用.由第2 列輕霧圖像去霧后的平均PSNR 值對比可得，輕霧圖像經過3 個不同分支去霧網絡處理后，所得圖像的平均PSNR 值十分接近，而輕霧分支網絡的參數量相對濃霧分支網絡減少了40%有余.由此可見，使用低寬度的分支網絡處理輕霧圖像，即可獲得與高寬度網絡非常相近的結果，其精度的損失是可以忽略不計的，但計算成本卻大大降低.對比第3 列中霧圖像去霧后的平均PSNR 值同樣可得，中霧圖像經過中霧分支網絡處理后的圖像精度，相比濃霧分支網絡略有一點下降，該損失是可接受的，但中霧分支網絡相比濃霧分支網絡，參數量卻減少了30% 有余.因此，通過對帶霧圖像的分類，以損失極小的精度為代價，使參數量大大降低，從而提高了計算效率，減小了計算成本，這證明了本文的霧濃度分類方法是合理和有效的.

Table 1 Average PSNR and Parameters Comparison of Our Branch Networks for Three Levels of Images in SOTS (Indoor)表1 本文分支網絡處理SOTS 室內數據集中3 類圖像的平均PSNR 以及參數量對比

3.4 對比實驗結果

為了驗證本文方法的有效性，我們分別在RESIDE數據集中的SOTS, HSTS 測試集，和RS-HAZE, O-HAZE測試集上對模型進行測試實驗.我們對比了8 種去霧算法，在視覺上展示了本文方法與其他方法在不同數據集上的去霧效果的對比結果.同時，為了更直觀地展示模型對不同霧濃度類別圖像的去霧效果，我們在SOTS 測試集中對輕霧、中霧、濃霧3 類圖像分類展示.

圖6、圖7、圖8 分別展示了輕霧、中霧、濃霧3類圖像經本文方法和其他方法處理后在SOTS 數據集上的視覺對比結果.在圖6～8 中，分圖(a)中的圖像來自SOTS 室內測試集，分圖(b)中的圖像來自SOTS室外測試集，每圖的第1 列為輸入的帶霧圖像，最后1 列為目標清晰無霧圖像.由圖6～8 可見，DCP 算法由于先驗假設的局限性，存在參數估計不準確等問題，導致其生成圖像的顏色失真較為嚴重，如圖6(a)第2 列第1 行結果圖的桌面區域和圖7(b) 第2 列第2 行、第3 行結果圖的天空區域顏色失真嚴重，另外，由圖8 可見，DCP 算法對濃霧圖像處理效果較差，存在著較多的霧殘留；AOD-Net 算法的去霧效果較差，尤其是在處理濃霧圖像時，僅去除了小部分霧霾，而且生成圖像色彩比例失衡，如圖8(b)第3 列第2 行結果圖的對比度較低，且有明顯的霧殘留，圖7(a)第3列第2 行結果圖中的桌面區域顏色出現明顯偏差；DehazeNet 算法生成圖像的亮度過高，其去霧效果雖優于AOD-Net 算法，但仍無法達到滿意的結果，如圖7(b)第4 列第2 行結果圖的天空區域過亮，圖8 中的濃霧圖像在去霧后仍存在較多的霧殘留；GCANet 算法對紋理邊緣細節的處理效果較差，部分圖像出現顏色失真問題，如圖7(b)第5 列第2 行結果圖的天空區域出現大范圍的模糊，圖7(b)第5 列第3 行結果圖的天空區域過曝；FFA 算法在輕霧、中霧圖像上的表現較好，但在處理濃霧圖像時，存在局部區域模糊的問題，如圖8(a)第6 列第3 行結果圖左側墻壁區域和圖8(b)第6 列第2 行結果圖的路面區域，均出現一定程度的模糊；MSBDN 算法的生成圖像整體偏亮，且對濃霧圖像的去霧效果欠佳，如圖8(a)第7 列第3 行、圖8(b)第7 列第1 行結果圖中仍存在較多的霧霾；AECRNet 算法在室內圖像中的表現較好，但在部分室外圖像中的處理效果較差，如圖8(b)第8 列第3 行結果圖的天空區域出現模糊；D4 算法的生成圖像整體較亮.相比其他方法，本文模型具有更好的去霧效果，尤其在處理濃霧圖像時，可有效減少霧殘留，使生成的圖像更加清晰，這也證實了本文提出的暗通道先驗損失函數與亮通道先驗損失函數的優勢.

圖6 不同方法對SOTS 數據集中的輕霧圖像去霧后的視覺對比結果Fig.6 Visual comparison of defogged results obtained by different methods on light fog images in SOTS dataset

圖7 不同方法對SOTS 數據集中的中霧圖像去霧后的視覺對比結果Fig.7 Visual comparison of defogged results obtained by different methods on medium fog images in SOTS dataset

圖8 不同方法對SOTS 數據集中的濃霧圖像去霧后的視覺對比結果Fig.8 Visual comparison of defogged results obtained by different methods on dense fog images in SOTS dataset

我們在RS-HAZE 數據集上對模型進行了實驗，圖9 展示了本文方法與其他部分方法在RS-HAZE 數據集上的視覺對比結果，同時對方框內的圖像細節區域進行了放大.由圖9 可見，DCP, AOD-Net 的圖像質量和去霧效果均較差，在霧濃度較低的圖像中，FFA, AECRNet 的處理效果較好，本文方法在細節方面的表現更優于FFA, AECRNet.如圖9 第1 行、第2行結果圖，本文方法能夠更好地保留圖像細節信息和整體色彩；對于霧濃度極大的圖像，如圖9 第3 行結果圖，在圖像失真較為嚴重時，本文方法能夠更大程度地保證生成圖像的質量.

圖9 不同方法在RS-HAZE 數據集上的去霧效果視覺對比Fig.9 Visual comparison of defogged results obtained by different methods on RS-HAZE dataset

為了測試模型的泛化性，我們在O-HAZE 數據集中隨機選取了30 張圖像，不進行模型的訓練，通過ITS 數據集訓練的模型直接輸出結果，圖10 展示了本文方法與其他方法在O-HAZE 數據集上的視覺對比結果.由圖10 可見，本文方法具有較優的泛化能力.此外，我們在圖11 中展示了本文模型與其他模型在RESIDE 的子數據集HSTS 中真實霧圖像上的表現.

圖10 不同方法在O-HAZE 數據集上的去霧效果視覺對比Fig.10 Visual comparison of defogged results obtained by different methods on O-HAZE dataset

圖11 不同方法在HSTS 數據集上的去霧效果視覺對比Fig.11 Visual comparison of defogged results obtained by different methods on HSTS dataset

在視覺對比實驗的基礎上，本文使用不同的圖像質量評價指標對模型進行了量化對比實驗.使PSNR 反映圖像的失真情況，以衡量重構圖像的質量；使用SSIM 衡量生成圖像與真實圖像的相似程度，通過上述2 個指標進一步評價和證明本文方法的有效性.表2 展示了本文模型與其他模型分別在SOTS，RS-HAZE，O-HAZE 測試集上的量化評估結果，表2表明，本文方法在SOTS 和RS-HAZE 上均表現最佳.在O-HAZE 上，本文方法的平均PSNR 值優于除D4，MSBDN 外的其他方法，SSIM 值優于除D4, GCANet外的其他方法，雖然本文方法的平均PSNR 與SSIM不是最優，但是由圖10 可見，本文方法在處理輕霧圖像時可以達到較好的視覺效果.

Table 2 Average PSNR and SSIM Evaluation for Different Methods on SOTS, RS-HAZE and O-HAZE Datasets表2 不同方法在SOTS, RS-HAZE, O-HAZE 數據集上的平均PSNR 與SSIM 評估結果

本文對SOTS 室內測試圖像進一步測試，保存了模型對SOTS 室內測試圖像分類結果，使用不同模型對輕霧、中霧、濃霧圖像分別測試評估.表3 展示了SOTS 室內測試集中輕霧、中霧、濃霧3 類圖像分別在不同去霧模型上的量化評估結果.除表2 中的2 個圖像質量評估指標外，表3 增加了參數量評估指標，參數量為網絡模型中所需要訓練的參數總量，可用于衡量網絡的空間復雜度以及所占內存的大小.通過綜合比較各模型的PSNR、SSIM 和參數量，以證明本文分類方法和分支去霧網絡的有效性.表3 的評估結果表明，在去霧質量方面，本文模型處理不同霧濃度圖像的結果均為最佳.在參數量方面，相比AODNet, DehazeNet, GCANet, AECRNet 方法，本文模型的參數量略大，但是對去霧質量的提升卻是極大的；而相比FFA, MSBDN, D4 方法，本文模型均能夠以較小的參數量，達到較高的去霧質量.另外，本文模型自身還可根據帶霧圖像的分類結果在不同去霧分支間靈活調整，進一步平衡了整個網絡的去霧質量和計算效率.綜上，本文方法可以靈活處理不同濃度的帶霧圖像，顯著提高了模型的計算效率，同時使用新提出的暗通道先驗損失函數與亮通道先驗損失函數，顯著提高了模型的去霧性能，使得方法能夠在達到較高精度的前提下，有效降低模型的空間復雜度和內存使用量，實現了去霧精度和速度的良好平衡.

3.5 消融實驗

3.5.1 暗、亮通道先驗損失

我們對新提出的暗通道先驗損失Ld和亮通道先驗損失Lb進行了消融實驗，以證明引入這2 個先驗損失后能夠使模型的去霧性能得到進一步提升.圖12 展示了利用不同損失約束項訓練的模型在SOTS 室內測試集上得到的直觀視覺結果，表4 展示了圖12 第2～5 列的每張圖像的PSNR 值對比結果.圖12 中，第1 列為帶霧圖像，第2 列為僅使用L1 損失訓練的分支去霧網絡的視覺結果，第3 列為去掉暗通道先驗損失Ld后訓練的分支網絡的視覺結果，第4 列為去掉亮通道先驗損失Lb后訓練的分支網絡的視覺結果，第5列為使用式（9）即總損失LB訓練的分支網絡的視覺結果，第6 列為清晰無霧圖像.方框區域對所有結果在相同位置的細節表現進行了放大.對比第2～5 列的去霧結果可見，第2, 3 列圖像均存在不同程度的殘留霧；第4 列圖像細節處相對第2, 3 列表現較好，但在PSNR 值上仍遜于第5 列圖像；第5 列結果圖中的細節更加清晰，去霧效果更好.綜合圖12 與表4，可證明本文提出的2 個先驗損失的有效性，它們與L1 損失共同約束分支去霧網絡，可使模型的生成圖像在視覺上更加清晰，在精度上達到更高的水平.圖13 中的各曲線展示了在ITS 數據集上使用不同損失約束項對本文模型進行訓練時，生成圖像的PSNR 值變化曲線對比情況.由圖13 可見，加入暗通道先驗損失和亮通道先驗損失所訓練的模型，其生成圖像的PSNR值上升速度更快，且收斂時可以達到更高的數值.

Table 4 PSNR Evaluation Results of Images in Columns 2 to 5 in Fig.12表4 圖12 中第2～5 列圖像的PSNR 評估結果

圖12 采用不同損失函數約束項的模型去霧視覺效果對比Fig.12 Visual comparison of defogged results obtained by models with different loss function constraints

圖13 采用不同損失函數約束項訓練模型時的PSNR 曲線Fig.13 PSNR curves of the model under different loss function constraints

3.5.2 霧濃度分類損失

為驗證霧濃度分類損失Lk的有效性，我們在式(13)中固定了 λ1, λ2，取λ3=0,1,4,10分別進行了實驗，在SOTS 室內測試集上的實驗結果如圖14 所示.圓點代表將 λ3=0，即去掉霧濃度分類損失Lk這1 個約束項，此時，所有圖像都會被劃分為濃霧類，雖然PSNR值較λ3=1時略高，即精度略微上升，但相比之下參數量增加了近40%，大大增加了計算成本，這說明霧濃度分類損失能夠使模型達到去霧精度和計算效率的良好平衡.可見，雖然平均參數量有所減小，但PSNR值降幅較大，說明此時對Lk的權重 λ3設置過大，抑制了L1 損失，從而導致了生成圖像質量的下降，這證明了當 λ3=1 時，我們能夠以較低的參數量得到較優的結果.

圖14 不同權重霧濃度分類損失的PSNR 和參數量對比Fig.14 Comparison of PSNR and parameters of different weight of fog concentration classification loss

4 結 論

本文提出一個基于霧濃度分類與暗-亮通道先驗的多分支圖像去霧模型，可根據帶霧圖像的暗通道特征和恢復難度，結合生成圖像的質量與模型的計算效率，實現對帶霧圖像的分類，并根據分類結果為當前輸入的帶霧圖像選擇合適的分支去霧網絡，分別實現輕霧、中霧、濃霧圖像的去霧處理.新的霧濃度分類損失函數的提出以及在模型聯合優化中的應用，可使模型對帶霧圖像進行動態分類，達到去霧精度和計算消耗的良好平衡；新的暗通道先驗損失和亮通道先驗損失的提出以及在分支去霧網絡中的應用，大大提高了生成圖像的質量.與當前圖像去霧領域中現有的大多數經典去霧模型相比，本文模型具有更高的去霧性能，且能夠在保證生成圖像精度的同時減少參數量，降低網絡的空間復雜度，提高計算效率.

作者貢獻聲明：張琪東負責設計具體算法、實施實驗、撰寫論文；遲靜提出研究思路和方案框架，指導論文撰寫；陳玉妍負責數據采集、整理和論文校對；張彩明提供算法理論指導.