圖像去霧中深度學習數據增強方法

蘇欣宇,王濤,諸葛杰,王華英,4,5,胡爭勝,張小磊,李佩,蘇群,董昭,4,5

(1.河北工程大學數理科學與工程學院,河北 邯鄲 056000; 2.國家衛星氣象中心,北京 100000;3.杭州佐格通信設備有限公司,杭州 310000; 4.河北省計算光學成像與光電檢測技術創新中心,河北 邯鄲 056000;5.河北省計算光學成像與智能感測國際聯合研究中心,河北 邯鄲 056000)

0 引言

霧是一種自然現象,會模糊場景、降低可見度,進而影響圖像采集和處理系統(如海上監控、道路監控、智能導航、衛星遙感和目標識別等系統的正常運行),給人們的生產和生活帶來不便。因此,在多霧天氣下對圖像進行去模糊處理,以保證視覺系統性能的穩定,具有重要的實用價值[1-3]。

基于深度學習的方法在圖像處理方面展示了巨大潛力,國內外學者在深度學習去霧領域做了大量研究。CAI等[4]提出了單幅圖像去霧的端到端系統—DehazeNet,采用了基于霧霾形成模型的合成訓練集;LI等[5]提出了一種一體化去霧網絡—AOD-Net,該方法對大氣散射模型進行變形,將大氣光值和大氣透射率合并為一個參數,然后使用這個新參數和大氣散射模型復原出高質量的圖像,但是在對真實霧圖進行去霧時容易造成圖像的色調丟失等現象;ZHANG等[6]提出了用于圖像去霧的金字塔通道的特征注意力網絡—PCFAN,該網絡利用通道注意機制以金字塔方式利用不同層次特征之間的互補性進行圖像去霧;LIU等[7]提出了用于圖像去霧的注意力的多尺度網絡,該網絡是一種不依賴大氣散射模型的端到端去霧網絡,分別由預處理模塊、主干模塊和后處理模塊組成,它是一種全新的基于注意力的多尺度網絡,能有效緩解傳統多尺度方法中的瓶頸問題;馬悅[8]提出了基于pix2pix模型的單幅圖像去霧算法,pix2pix網絡[9]與非條件式對抗網絡不同,它的生成器和判別器都加入了源域圖像,所以很好地優化了生成圖像的效果,但是該網絡需要相匹配的數據對,而真實霧數據對難以采集,或因環境、時間等問題難以滿足匹配數據要求[10],使用公開合成霧數據集容易造成去霧后顏色失真和去霧不徹底等問題?，F有相匹配的數據集大多根據大氣散射光參數和大氣散射系數參數合成,但真實霧復雜多變,因此獲得具有真實霧特征數據集對于提高去霧效果顯得格外重要。

生成對抗網絡(Generative Adversarial Network,GAN)[11]可以根據訓練數據生成新數據。其中,循環生成對抗網絡(CycleGAN)[12]無需匹配數據即可進行訓練。本文利用該網絡,通過學習真實霧的特征來訓練網絡模型,從而生成有霧圖片并與清晰圖片形成匹配數據對,最后該數據對再作為去霧網絡的訓練集進行去霧訓練和測試。結果表明,使用本文數據集訓練出的模型能夠改善真實霧去霧效果上的顏色失真和去霧不徹底問題。

1 本文方法

1.1 總體模型結構

圖像去霧中深度學習數據增強方法整體思路包含3個過程(圖1為所提方法流程):1) CycleGAN訓練過程,負責學習真實霧圖特征,該過程分別選取了291張干凈圖片和真實霧圖的256像素×256像素區域作為訓練集;2) 數據生成過程,選取1000張RESIDE數據集中OTS(Outdoor Training Set)數據集[13]的干凈圖片賦予真實霧圖特征并與自身構成相對應的數據對;3) 去霧過程,將過程2) 的數據對作為訓練pix2pix網絡的數據集來達到去霧的目的。其中,RESIDE數據集為常用公開數據集。

圖1 圖像去霧中深度學習數據增強方法流程圖

1.2 循環生成對抗網絡

CycleGAN是一種常用的圖像風格轉換網絡,它可以在沒有成對圖像作為訓練數據的條件下完成源域到目標域的轉換,為深度學習提供匹配數據對,已常被用作圖像去噪和圖像重構[14-15]。CycleGAN合成霧的過程中存在著細節丟失,而丟失的方式反映了霧的特征。然而該網絡從低質圖像很難恢復高質量圖片[16],用于去霧時若輸入霧圖,其生成的去霧圖像很容易出現去霧不徹底和顏色失真問題,故本文沒有直接用該網絡進行去霧,而是用以生成訓練去霧網絡的數據集。

該網絡包含兩個生成對抗網絡,其基本結構包含一個生成器和一個判別器。圖2為CycleGAN的結構,該網絡是一個環形結構,主要由生成器G、F和判別器D(X)、D(Y)組成。生成器G,F分別代表X到Y的映射和Y到X的映射。判別器D(X)、D(Y)可以對轉換后的圖片進行判別。CycleGAN的原理是將一類圖片轉換成另一類圖片,圖2中,X和Y為兩類圖片,X代表干凈圖片,Y代表真實霧圖。網絡的目標是學習從干凈圖到真實霧圖的映射,即對干凈圖片賦予真實霧圖特征。

圖2 CycleGAN結構

1.2.1 生成器

生成器網絡相當于一個自編碼網絡,分別由編碼器、轉換器、解碼器3部分構成。編碼器由3層卷積層構成,通過卷積層從圖像中依次提取更高級的特征。輸入的圖像首先通過一個步長為1、卷積核數量為64的7×7卷積模塊,提取的特征圖數量為64,然后再通過兩個步長為2的卷積模塊,由大小為3×3的卷積核構成,提取的特征圖數量增加到256個。轉換器由9個殘差塊組成,該功能主要將編碼器所輸出的不同特征圖像從源域轉換到目標域。解碼器從特征向量重新構建低級特征,通過轉置卷積層,將低級功能轉換為目標域中的圖像。

1.2.2 判別器

判別器用來判斷輸入的圖像是否屬于某一特定域的圖像,其采用PatchGAN結構。判別器網絡由5個卷積層構成,前3層是步長為2、卷積核數量為64的4×4卷積層,其余2層是步長為1的卷積層。從圖像中提取特征后,判斷所提取的特征是否屬于特定類別。PatchGAN可以獲取較高質量的結果,由于其具有較少的參數使得整個網絡運行速度較快。

為了實現靈活轉向，小車采用兩輪驅動控制方式。電源選擇大功率大容量的鋰電池，以提供強大的續航能力。各模塊電路盡量減少面積，五路循跡傳感器安裝在小車靠前的部位，單片機控制系統安裝在車身中部，電機驅動模塊安裝在電機附近。

1.2.3 損失函數

CycleGAN的總體損失函數包含對抗性損失函數和循環一致性損失函數。在本文中,訓練樣本為干凈圖片X和帶霧圖片Y。樣本的圖像數據分布可以分別表示為x～pdata(x),y～pdata(y)。本文的模型需要訓練2個映射,分別是G:X→Y和F:Y→X。對于映射G:X→Y和它的判別器DY,損失函數可以表示為

LGAN(G,DY,X,Y)=Ey～pdata(y)(lnDY(y))+Ex～pdata(x)(ln(1-DY(y)G(x)))

(1)

式中:G用于將樣本X的圖像轉換為樣本Y的圖像;DY的目的是判別G(x)生成的圖像和真實圖像Y;G的目的用來最小化這個損失,DY用來最大化這個損失。同理對于映射F:Y→X,損失函數可以表示為

LGAN(F,DX,Y,X)=Ex～pdata(x)(lnDX(x))+Ey～pdata(y)(ln(1-DX(x)F(y)))。

(2)

循環一致性損失可以使該網絡保持高性能,如圖2(b)所示,對于每個輸入樣本X,經過一個圖像轉換周期后會還原為初始圖像,滿足X→G(X)→F(G(X))≈X,該過程稱為正向循環一致性。同理圖2(c)為逆向循環一致性,滿足Y→F(y)→G(F(y))≈Y。循環一致性損失可以表示為

(3)

所以總體損失函數表示為

L(G,F,DX,DY)=LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLCYC(G,F)

(4)

式中,λ代表對抗損失函數和循環損失函數之間的權重比。

2 實驗與分析

2.1 數據介紹

本文在合成數據集的過程中,使用了OTS數據集中的干凈圖片和O-Haze[17]數據集。OTS數據集為2061張清晰室外圖像,利用大氣散射模型合成了室外有霧圖像,其中,大氣散射光參數在0.8～1.0之間,大氣散射系數β在0.04～0.2之間,O-Haze數據集為專業霧霾生產器構建的真實霧數據集。

2.2 性能指標

為了客觀地評價去霧效果,本文使用峰值信噪比(PSNR)和結構相似性指數(SSIM)反映圖像結構信息的完整性和相似性[18]。PSNR越高,圖像受噪聲影響越小,SSIM值越大,圖像越接近1,失真差越小。兩個指標分別為

(5)

(6)

(7)

2.3 實驗結果分析

傳統去霧實驗過程中往往會遇到去合成霧效果很好,但是去真實霧容易造成顏色失真和去霧不徹底的問題[19]。利用本文合成霧數據集與OTS數據集分別作為去霧網絡的訓練集進行訓練,測試真實去霧結果對比如圖3所示。圖3(b)整體去霧效果不如圖3(c),可以明顯觀察到,pix2pix網絡沒有學習到如何提取這類真實霧的特征。在使用本文方法合成的數據集作為pix2pix網絡的訓練集時,去霧效果明顯并且沒有出現類似圖3(b)箭頭所示樹枝顏色失真明顯的問題。通過峰值信噪比(PSNR)和結構相似性指數(SSIM)評價去霧效果,求取兩個指標平均值,對比結果如表1所示,SSIM值提高了32.21%,PSNR值提高了32.16%。由此可見,在使用相同去霧網絡時,CycleGAN合成的數據集要比傳統好很多,使去霧效果和SSIM、PSNR值都得到了一定的改善。

表1 去霧結果評價指標對比

圖3 本文方法數據集與OTS數據集在pix2pix訓練結果對比

OTS數據集的合成依賴于深度圖、大氣散射光參數和大氣散射系數等參數,這極大地限制了該方法的應用,使得其數據集種類不足,這種情況下用其訓練出的模型對真實霧特征掌握不足。CycleGAN生成霧圖所需條件少,通過大量、多種類數據可以在很大范圍內將霧圖信息賦予網絡模型。由于每一張圖像被賦予了霧的多種特征,不單單依賴大氣散射模型,所以后期的去霧結果也得到了一定改善。

為了檢驗本文CycleGAN生成的數據集是否適用于其他網絡對真實霧特征的提取,將本文方法的數據集用在AOD-Net、PCFAN、GridDehazeNet這3個網絡中分別訓練并與其現有模型在真實霧上分別進行測試對比,對比結果如圖4所示。從主觀角度來說,換用本數據集后,圖4(d)、圖4(f)、圖4(h)無論從顏色還是去霧的效果上都得到了改善,一些細節如圖中箭頭所示也得到了一定提升。從客觀評價上看,通過指標PSNR和SSIM來評價去霧效果,可以發現,利用本文的數據集在AOD-Net上訓練,SSIM值從0.5456提高到0.6834,PSNR值從17.4732 dB提高到17.918 0 dB;利用本文的數據集在PCFAN上訓練,SSIM值從0.4445提高到0.7601,PSNR值從15.612 7 dB提高到21.1519 dB;用本文的數據集在GridDehazeNet上訓練,SSIM值從0.6933提高到0.8120,PSNR值從18.6538 dB提高到22.4102 dB。結果表明,本文CycleGAN生成的數據集適用于其他網絡對真實霧特征的提取。

圖4 本文方法數據集在3個網絡中訓練測試結果與現有模型測試結果對比

如前文所述,本文通過CycleGAN網絡合成了一批具有真實霧特征的薄霧匹配數據集,將這些數據集作為pix2pix網絡的訓練集,達到了一定的去霧效果。因此,本文對于厚霧也采用了相同的方法進行了匹配數據集的制作。選取了RTTS數據集(RESIDE中的數據集),該數據集有4322張真實霧圖,但都沒有相匹配的原始干凈圖像。從中選取了100張圖像并截取其中大小為256像素×256像素區域,進行不匹配數據對在CycleGAN中訓練,同樣選取OTS數據集中的1000張清晰圖像作為霧特征賦予的對象。然后將制作的厚霧數據集同樣放在AOD-Net,GridDehazeNet,PCFAN和pix2pix網絡中進行訓練。厚霧會造成更多信息細節的丟失,遮蔽物體的大部分特征,在去霧網絡進行霧特征提取的時候難度也會大大提高。將含有真實厚霧的圖像分別放在用公開合成霧數據集和本文方法合成的數據集在AOD-Net、GridDehazeNet、PCFAN網絡上訓練的模型中進行測試,測試對比結果如圖5所示。在相同去霧網絡上,圖5(d)與圖5(c)相比,雖然在紅色框中出現了線條顏色變深,但是相對于圖5(c),黃色框中遠景的顏色和細節處理得更好,去霧效果也更好;圖5(e)與圖5(f)進行比較,可以明顯觀察到使用本文數據集后,在圖5(f)中的去霧效果和輪廓處理都得到了顯著的改善;圖5(h)和圖5(g)相比,圖5(h)沒有出現圖5(g)去霧后質量損壞的問題,并且換用本文數據集后去霧效果和細節的處理得到了改善。將真實霧圖放到訓練好的pix2pix去霧網絡模型中進行測試,測試結果如圖5(b)所示。通過對比圖5(b)、圖5(d)、圖5(f)和圖5(h)可以發現,圖5(b)整體效果上更接近現實,圖5(d)沒有圖5(b)輪廓清晰;圖5(f)在細節上恢復得很好,但是右邊出現了部分顏色的失真;圖5(h)在線條的處理上沒有圖5(b)清晰。結果表明,本文的數據增強方法同樣適用于厚霧場景。

圖5 濃霧測試對比

3 結束語

在本文中,利用CycleGAN的風格遷移能力和不需要匹配數據對的特點,解決了傳統去霧之后的顏色失真和去霧不徹底問題。通過學習少量不匹配清晰圖像到真實霧的一一映射,將真實霧的特征賦予到清晰圖像上,制作了一批具有真實霧特征的匹配數據集。將這些數據集用在去霧網絡上進行訓練測試,驗證了這種方法的可行性,為今后去霧研究提供了一種新的數據生成方法。