多尺度注意力密集連接網絡的單幅圖像去雨算法

李 宏 濤, 李 朋 鵬, 金 桂 月, 金 基 宇

( 大連工業大學 信息科學與工程學院, 遼寧 大連 116034 )

0 引 言

雨水會造成嚴重的圖像模糊和視覺質量下降,特別是雨霧、雨條紋與空氣中的雨水顆粒一起疊加在背景上形成的類似面紗的視覺降質,大大降低了場景的對比度和能見度[1]。因此,雨水天氣下的圖像復原成為一些圖像視覺任務中必不可少的前提步驟[2-3]。

近年來,單幅圖像去雨為眾多研究人員所關注,惡劣天氣圖像復原已經逐漸從模型驅動過渡到數據驅動?；谀Ｐ万寗拥膫鹘y方法包括基于濾波的方法和基于先驗的方法[4]。其中基于濾波的方法是利用物理濾波來恢復干凈圖像[5-6]?；谙闰灥姆椒ㄊ菍毫犹鞖獾膱D像復原視為一個優化問題[7-8]。除此之外,還有高斯混合模型[9]等方法。這些基于模型驅動的方法只能濾除服從特定分布的噪聲(高斯噪聲等),得到的圖像清晰度有限,不能較好地表達惡劣天氣圖像的主要特征,復原效果受到限制。

與基于模型驅動的方法相比,數據驅動的方法則將惡劣天氣圖像復原視為學習非線性函數的過程[10]。在深度學習技術的推動下,研究人員使用卷積神經網絡(CNN)、生成對抗網絡(GAN)、半監督/無監督學習來研究單幅圖像去雨?；贑NN的研究方法,聯合雨水檢測和去除網絡(JORDER)[11]專注于去除大雨下重疊的雨條紋,在大雨條件下取得了令人印象深刻的結果,但它可能會錯誤地刪除一些紋理細節。為了避免錯誤刪除紋理細節,深度細節網絡(DDN)[12]只將高頻細節作為輸入以達到更好的效果,但該方法不能處理過多的密集雨條紋。漸進式遞歸去雨網絡(PReNet)[13]緩解了深度網絡結構難以復現的問題。輕量金字塔網絡(LPNet)[14]由較少的參數組成從而使網絡變得簡單。然而,大多數現有的單幅圖像去雨網絡都沒有很好地注意到不同尺度下雨條紋的內部聯系。RESCAN采用了擴張卷積來獲取背景信息,并使用遞歸神經網絡來重塑雨水特征[15]。GCANet采用平滑擴張卷積代替擴張卷積,并融合了上下文信息以提高恢復效果[16]。徐志京等[17]2021年提出了一個多尺度沙漏結構的網絡,該網絡通過多尺度提取、沙漏結構信息融合和殘差密集連接更準確地獲得雨條紋特征。

與基于CNN的方法相比,GAN的引入是為了捕捉惡劣天氣中一些不能被建模和合成的特性,以減少生成的結果與真實的干凈圖像之間的差距。Zhang等[18]直接將條件生成對抗網絡(CGAN)應用于單幅圖像的去雨任務,結果呈現出更好的光照、顏色和對比度分布。多尺度融合生成對抗網絡則是更好地保障了有雨圖像復原過程中圖像的語義信息和紋理結構的一致性[17]。但是,基于GAN的方法不善于捕捉圖像的細節信息,因此對于具有多樣化雨條紋的圖像效果較差。為了進一步提高對真實有雨圖像的恢復性能,半監督和無監督的學習方法已經被提出[19-20]。這些方法直接從真實的雨水數據中學習特征,以此提高方法的泛化性和可擴展性,但是相比在合成雨水數據中學習的方法效果較為一般,尤其是在處理大雨圖像時。

現有的單幅圖像去雨方法并沒有完全利用尺度-空間上的圖像特征相關性,從而導致存在細節紋理和信息恢復效果差等問題,而基于GAN與半監督和無監督的方法也存在很多局限性。受多尺度特征提取、知識蒸餾、密集連接網絡的啟發,本文基于CNN設計了一個多尺度注意力密集連接網絡以有效地學習更豐富尺度-空間上的圖像特征,從而獲得良好的去雨效果,同時更好地保留圖像原本的紋理細節。

1 多尺度注意力密集連接網絡

所提出的單幅圖像去雨多尺度注意力密集連接網絡如圖1所示。整體網絡架構主要由多尺度注意力模塊(multi-scale attention block,MAB)和并行注意力蒸餾模塊(concurrent attention distillation block,CADB)組成,分別用于特征提取和知識蒸餾。原始圖像通過多個密集連接的MAB模塊進行雨條紋的特征提取,每個MAB的輸出又被作為CADB的輸入進行蒸餾,以解決多個MAB模塊深度較深時圖像特征的表征能力減弱和產生大量冗余信息的問題。然后使用相減的方式與主干網絡所提取的特征進行交互,將減弱的特征進行加強,冗余的特征進行剔除。

圖1 多尺度注意力密集連接網絡

1.1 并行注意力知識蒸餾模塊

為了更好地獲取雨條紋特征并對其表征,以便去除,采用一種簡單的注意力蒸餾模塊CADB,結構如圖2所示。利用并行的通道和子空間注意力機制對特征信息進行重新校準,實現特征提煉。通過結合通道注意力模塊[21]和子空間注意力模塊[22]實現并行結構,以消除大量冗余的特征并提取更多有用的圖像特征。此并行通道和子空間注意機制專注于獲取空間和通道特征信息,并只允許包含有用信息的特征進一步傳輸。

圖2 并行注意力蒸餾模塊

1.2 多尺度注意力模塊

多尺度特征獲取方法有效地結合了不同尺度下的圖像特征,被廣泛應用于提取目標及其周圍環境的有用信息。為了進一步提高網絡對于雨條紋特征的獲取和表征能力,提出了MAB,如圖3所示。采用層內多尺度信息融合,實現不同尺度的特征之間的信息融合。這種結構確保了輸入信息能夠通過所有的參數層進行傳播,使原始圖像的特征信息得到更好的學習。

圖3 多尺度注意力模塊

參照多尺度注意力模型(圖3),MAB的輸入特征圖像設為Fin,通過卷積層,卷積核大小為1×1、3×3和5×5,輸出表示如式(1)～(3)所示。

(1)

(2)

(3)

(6)

(7)

(8)

(9)

由圖3可以發現,MAB在經過多尺度卷積層之后分別通過卷積核大小為1×1、3×3的卷積實現了層內信息融合,最后引入一個CADB來提升圖像有用特征信息的表征能力,MAB的最終輸出如式(10)所示。

(10)

式中:Fout表示MAB的輸出,CADB(·)表示并行注意力蒸餾模塊,{δ1;δ2;δ3;δ4}表示MAB輸出的超參數。

1.3 損失函數

為了訓練多尺度注意力密集連接網絡,采用了一個混合損失函數,包括結構相似度指數(structural similarity,SSIM)Ls損失[23]和L1損失[24],如式(11)、(12)所示。SSIM損失被用于評估結構相似性,可以更好地保留高頻結構信息。L1損失提供了一種有效的方法來約束顏色和亮度特征之間的差異。

(11)

Ls=1-SSIM(R-GT)

(12)

式中:R為有雨圖像,GT為真實無雨圖像。

通過對SSIM損失和L1損失的加權和,得到混合損失函數如式(13)所示。

Ltot=L1+λLs

(13)

式中:λ是一個權重參數,根據經驗設定為0.2。

2 實驗結果和分析

2.1 實驗設置

數據集:合成數據集采用Rain100L[11]、Rain100H[11]、Rain800[18]、Rain1400[12]數據集,對應各數據集的訓練集和測試集大小分別為200和100、1 800和100、700和100、12 600和400。真實有雨圖像數據集為Li等[25-26]提出的兩個已有數據集,分別由185張和34張真實圖片組成。

評價指標:單幅圖像去雨性能通常根據峰值信噪比(peak signal to noise ratio,PSNR)和結構相似度(SSIM)來評估。PSNR越高則從有雨圖像中恢復無雨圖像的性能就越好。SSIM為兩個不同圖像的相似度,其范圍為0～1,當SSIM越接近1時去雨性能就越好。由于在真實世界中難以獲取完全干凈的圖像,定量地去衡量一個真實有雨圖像的恢復質量非常困難。因此除了將PSNR和SSIM作為評價指標,也需要評估網絡在真實世界數據集上的視覺效果。

訓練配置和參數細節:為了更好地進行特征提取,MAB的數量被設置為6。訓練過程中,損失函數權重λ設置為0.2,并將輸入的訓練圖像進行隨機裁剪,大小為64×64。實驗的優化方法為Adam,參數為初始學習率0.001,批次大小為32,其中β1和β2的默認值分別為0.900和0.999。為了提高性能,對Rain100L/H數據集迭代訓練200次,Rain800/1400數據集迭代訓練100次。所有的訓練和測試實驗均是基于Pytorch深度學習框架,其實現的工作站配置為CPU:Core i7-11700k;RAM:32 GB;GPU:NVIDIA Geforce RTX 3080Ti(12 GB)。

2.2 合成數據集的測試結果

在數據集Rain100L、Rain100H、Rain800和Rain1400上的實驗結果如表1所示?？梢钥闯鏊岢龅乃惴≒SNR和SSIM均有所提高。這表明所提出的算法具有更好的魯棒性和泛化性。

表1 測試數據集上的PSNR和SSIM

圖4為圖像去雨效果的直觀比較。在Rain100L和Rain100H中各挑選了一張圖像,分別使用不同方法進行測試,并選擇了圖像中的一些細節將其放大。通過觀察放大后的局部區域,可以發現GCANet算法對于雨條紋的去除效果較差,殘留了大量雨條紋;JORDER、LPNet、PReNet和RESCAN雖然去除了大量的雨條紋,但是都會引起不同程度上的背景模糊,在保存圖像背景細節方面存在缺陷。LPNet在Rain100L/H數據集上的結果存在不同程度上的紋理失真和模糊;PReNet算法則帶來了局部細節的丟失和色彩失真。通過與參照的干凈圖像相比,本文算法取得了良好的效果,能夠在多種復雜雨天圖像上去掉絕大部分的雨條紋。因此,本文所提出的多尺度注意力密集連接網絡可以在有效地去除雨條紋的同時保留合成數據集上的背景細節。

(a) Rain100L

2.3 真實數據集的測試結果

因為真實數據集不存在完全相同背景下的有雨圖像和無雨圖像對,無法進行訓練,所以每個方法均使用從Rain100H數據集上獲得的預訓練模型的權重,這樣也能體現方法的泛化性。真實數據集中有雨圖像的近景和遠景雨條紋特征信息差異較大,而且由于雨水圖像的復雜性,這可能造成對比方法圖像恢復后的明顯模糊并導致取得較差效果。如圖5所示,從放大的局部細節可以看出GCANet有大量的雨條紋殘留,不能很好地恢復圖像;DDN算法也存在雨條紋殘留,并且沒有處理好局部特征,導致紋理丟失、圖像背景不清晰;JORDER和LPNet也存在圖像不清晰和色彩失真問題。本文提出的算法在真實數據集上處理得更自然、效果更好,可以更有效地去除真實世界有雨圖像中的雨條紋,并保留更多的紋理細節。

(a) 真實數據集(1)

3 結 論

本文所提出的多尺度注意力密集連接網絡采用密集連接來實現特征重用和充分傳播。為了更好地獲取和表征雨條紋的特征信息,引入了多尺度注意力模塊來提取局部和全局特征。應用一個并行注意力蒸餾模塊,通過利用通道注意力和子空間注意力機制重新校準層內和層間圖像特征以減少無用的特征并保留空間和背景信息。在合成和真實數據集上的定量和視覺直觀結果表明,本文所提出的算法在真實數據集上處理得更自然、效果更好,可以更有效地去除真實世界有雨圖像中的雨條紋,并保留更多的紋理細節。