一種自我正則映射的弱光圖像增強方法

張華成，劉朝倩，胡建斌

(1.桂林電子科技大學 計算機與信息安全學院，廣西 桂林 541004；2.廣西中煙工業有限責任公司，南寧 530001)

0 引 言

在弱光條件下拍攝的圖像通常會出現對比度低、 能見度差和ISO噪點高等問題。這些問題不僅嚴重影響了圖像的實用性, 也降低了眾多計算機視覺算法的可靠性。為了解決這些問題, 從直方圖均衡化[1]到基于學習的方法[2], 已經提出了大量的算法。在早期的弱光圖像的增強方法中, 往往會出現顏色失真、 細節丟失等問題。Iqbal等[3]雖然保留了圖像的對比度, 但還是會出現上述問題, 并且Wang等[4]和Fu等[5]提出的方法無法增強圖像中的暗區, 視覺效果較差。

基于深度學習的大多數方法都嚴重依賴成對圖像訓練網絡模型, 比如多曝光序列圖像[6]、 超分辨率[7]、 去噪[8]和去模糊[9]。當它們在沒有成對的訓練集的情況下就失去了原本的優勢。到目前為止, 有幾種低亮度和正常亮度的成對圖像數據集, 然而它們都不是最真實的, 也不容易被擴展。Wei等[10]在亮度正常減少相機曝光時間獲取的數據集以及Chen等[11]在亮度差條件下增加曝光時間獲得的圖像對數據集都不是最真實的。LOL數據集是唯一一個從真實場景中獲取的低亮度和正常亮度圖像對的數據集, 但它仍然可能偏離自然的低亮度和正常亮度圖像之間的真實映射, 也可能會因局部區域曝光過度或不足而出現偽影[10]。

在實際中獲取成對的訓練圖像是非常困難的, 尤其是涉及不受控制的場景, 例如除霧、 弱光增強等場景。一方面在同一場景同一時刻拍攝弱光/正常亮度的圖像對是不切實際的; 另一方面從多曝光序列圖像中合成高質量的圖像的方法是可行的, 但合成的結果通常都會失真, 會出現各種偽影和噪聲。

雖然Jiang等[12]提出了一種無監督的、 無需成對圖像的弱光圖像增強方法(EnlightenGAN), 但還是會出現整體和局部過度增強的情況。針對上述問題, 在無法使用成對的訓練數據的情況下, 可以利用原始弱光圖像的光照條件和灰度圖增強過暗區域, 同時也可以抑制亮區域的過度曝光。

因此, 本文基于生成對抗網絡(GAN)提出了一種無監督的弱光圖像增強方法, 稱為SAMGAN。它可以在弱光圖像和正常亮度圖像之間學習不成對的映射關系, 而無需依賴成對的圖像集。它具有成對的生成器和判別器, 但是不像Zhu等[2]的方法使用循環一致性損失。

由于缺乏成對的訓練數據, 本文使用了許多創新技術。首先提出一種雙重生成器和判別器, 以平衡增強圖像中局部和整體的亮度。其次, 由于缺少真實成對的數據監督學習, 使用特征自我保留損失(SFPLoss)限制弱光圖像與其增強圖像之間的特征空間距離, 同時在彩色圖像和灰度圖之間使用該損失。最后, 為了實現正則化無監督學習, 在每個深度特征中將弱光圖像的照明信息作為自我正則映射。由于無監督的設置, 證明SAMGAN可以增強來自不同領域的真實世界的弱光圖像。

SMAGAN具有以下顯著的特點:

(1)SAMGAN能夠在沒有成對數據的情況下訓練模型。這種訓練方式消除了對成對的訓練數據的依賴, 使其適應來自不同領域的弱光圖像。

(2)SAMGAN使用雙層亮度增強保證機制, 能夠平衡局部和整體亮度; 使用自我調節的思想, 既可以通過SFPLoss又可以通過自我正則映射來實現。由于沒有成對數據的設置, 沒有強大的外部監督的作用, 因此自我規范的機制在模型SAMGAN中起到至關重要的作用。

(3)通過全面的實驗, 將SAMGAN與幾種具有代表性的方法進行比較。視覺質量、 無參考圖像質量評估對比的結果證明了SAMGAN的優越性。 此外, 與現有的成對訓練的方法相比, SAMGAN具有簡單和靈活的特性, 可用于增強來自不同域的真實世界的弱光圖像。

1 SAMGAN

如圖1所示, 本文的方法使用帶自我正則映射的U-Net[13]作為RGB生成器, 利用雙判別器——RGB判別器和灰度判別器矯正圖像的亮度信息。此外, 使用自我保留損失來保留和維護原始圖像的紋理和結構, 以及灰度一致性函數保證增強圖像的局部和整體亮度的協調性。

圖1 SMGAN的網絡結構Fig.1 Network structure of SMGAN

1.1 帶自我映射的U-Net生成器

U-Net[13]是比較早的使用全卷積網絡進行語義分割的算法之一, 在語義分割、 圖像恢復和增強方面具有很大的影響力。U-Net從不同深度提取不同的特征圖, 從而保留了豐富的紋理信息, 并使用多尺度上下文信息合成了高質量的圖像。

本文設計了一種易于使用的自我正則映射機制(自我正則映射是一種自我調節的形式, 是一種可以持續改善視覺質量的方法)的生成器, 它能夠在空間變化的光照條件下, 增強圖像暗區域的同時抑制亮區域的過度曝光。首先提取輸入RGB圖像的灰度通道I, 將其標準化為[0, 1]; 然后使用1-I (逐元素差)作為自我正則映射; 最后調整自我正則映射的大小以適合每個特征圖, 并相乘。

U-Net生成器包含8個卷積塊, 每個卷積塊都是由2個3×3的卷積層、 LeakyReLu激活層和批歸一化層3部分組成。在升采樣階段, 將標準反卷積層替換為一個雙線性升采樣層加一個卷積層, 以減輕矩形偽像的影響。為了增加生成樣本的真實度和質量, SAMGAN參考了LSGAN[14]的對抗損失函數。因此RGB生成器GX和RGB判別器DX的損失函數分別如下:

G(G,D,X,Y)=x～Pdata(x)[(D(G(x)))2];

(1)

D(G,D,X,Y)=y～Pdata(y)[(D(y)-1)2]+

x～Pdata(x)[(D(G(x)))2]。

(2)

1.2 灰度生成器和灰度判別器

使用對抗損失來最小化弱光圖像和正常亮度圖像之間的空間距離, 也就是實際亮度的分布和正態亮度分布之間的距離。 但是, 僅僅用一個RGB判別器還不能處理空間亮度的變化關系。如果一張弱光圖像不僅有暗區域, 還有曝光度強的亮區域, 那么一個RGB判別器也不能很好地處理這種情況。

在同一張弱光圖像中, 為了增強暗區域的同時避免亮區域的過度曝光, 本文提出了一個新的雙亮度保障機制。在使用RGB生成器、 RGB判別器的同時, 用灰度生成器、 灰度判別器來平衡局部和全局的亮度, 并使用PatchGAN[15]的判別器網絡結構作為DX和Dgray主要的網絡結構。在DX和Dgray中, 刪除所有的批歸一化層。為了避免增強的灰度圖出現眩暈、 矩陣噪聲等現象,Dgray比DX少了特征數為512的卷積層。因此, 灰度生成器Ggray和灰度判別器Dgray的損失函數分別如下

Ggray(Ggray,Dgray,Xgray,Ygray)

=xgray～Pdata(xgray)[(Dgray(Ggray(xgray)))2];

(3)

Dgray(Ggray,Dgray,Xgray,Ygray)

=ygray～Pdata(ygray)[(Dgray(ygray)-1)2]+

xgray～Pdata(xgray)[(Dgray(G(xgray)))2]。

(4)

1.3 灰度一致性損失函數

分別使用RGB生成器和灰度生成器增強RGB圖像和灰度圖, 因此很容易使得增強的灰度圖不一樣。如果RGB生成器增強的灰度圖質量很好, 而灰度生成器增強的灰度圖質量很差, 模型就失去了意義, 無法達到預期的效果。因此, 為了防止出現這種情況, 需要灰度一致性損失函數保證增強的灰度圖一致性。將兩個增強后的灰度圖相減來計算它們的差距, 差距越小, 這兩個灰度圖就越相似, 這就是灰度一致性損失。

idt(GX,Ggray)=x～Pdata(x)[‖GX(x)gray-Ggray(xgray)‖1]。

(5)

1.4 特征自我保留損失——SFPLoss

在EnlightenGAN[12]中, 特征自我保留損失能夠在增強后的圖像中保留原始弱光圖像的紋理和結構。因此, 為了限制GX(X)與X、Ggray(Xgray)與Xgray之間的VGG特征空間距離, 從EnlightenGAN[12]中引入SFPLoss

(6)

其中:I表示輸入的弱光圖像;G(I)表示生成器生成的圖像;φi, j表示從預訓練好的模型VGG-16中提取的特征映射;i表示第i層最大池化層;j表示在第i層最大池化層后的第j層卷積層;Wi, j和Hi, j表示所提取的特征的維度大小。i和j分別默認取5和1。

因此, SAMGAN的整體損失函數為

Loss=GX(GX,DX,X,Y)+Ggray(Ggray,Dgray,Xgray,Ygray)+

λSFPSFP(GX,X)+λSFPSFP(Ggray,Xgray)+

λidt(GX,Ggray),

(7)

其中,λ控制著灰度一致性損失對整體損失函數的影響程度, 而λSFP控制著SFPLoss對整體損失函數的影響程度。 根據經驗值,λ取值5,λSFP取值1。

2 實 驗

2.1 數據集和實驗細節

因為SAMGAN使用的是未配對的低/正常亮度的圖像進行訓練的獨特能力,所以使用Jiang等[12]所使用的測試集和訓練集。 其中測試集包含LIME[16]、 NPE[17]、 MEF[18]、 DICM[19]、 VV(https://sites.google.com/site/vonikakis/datasets)等的測試集。

首先以2e-4的學習率訓練SAMGAN 100個epoch, 隨著學習率線性遞減到0, 再訓練100個epoch。使用Adam優化器, 批大小為32。

2.2 消融實驗

為驗證設計模型SAMGAN的可行性, 設計了幾個消融實驗來驗證, 分別是只使用GX和DX的實驗(即NoGrayandIdt), 使用GX、DX和Ggray、Dgray但不使用idt的實驗(即NoIdt), 以及完整的SAMGAN實驗。 一共3個實驗,結果如圖2所示: 第1列為輸入圖像, 第2～4列分別是對應NoGrayandIdt、 NoIdt和完整的SAMGAN實驗結果。

圖2 SAMGAN、NoGrayandIdt和NoIdt的消融實驗結果比較Fig.2 Comparison of visual effects of ablation experiments among SAMGAN，NoGrayandIdt and NoIdt

在第2列的NoGrayandIdt實驗結果中的第1行中, 柵欄上出現部分區域的亮度過度增強, 使得整幅圖像的亮度很不協調; 在第2行中, NoGrayandIdt使得汽車旁邊的草地和樹木更加泛黃, 而原本的顏色是綠色的; 在第3行中, 原本綠色的桌面更加泛白, 原本黑色衣服也被加上了一層白色的噪聲; 在第4行中, 也同樣出現部分區域的亮度過度增強的情況。NoGrayandIdt出現的問題也同樣出現在NoIdt實驗中, 只是程度比較輕。相比之下, 完整的SAMGAN不僅能夠很好地避免前兩個實驗出現的問題, 而且還能很好地增強暗區域, 圖像的亮度更加均勻。這證明了本文設計的模型SAMGAN是可行的, 能夠取得令人愉悅的視覺效果, 產生的圖像質量也比較高。

2.3 對比實驗

將SAMGAN的性能與當前具有代表性的方法進行一系列比較實驗, 包括視覺質量比較和無參考圖像質量評估(IQA)。

2.3.1 圖像的視覺質量比較 使用SAMGAN與具有代表性的方法在視覺質量上進行對比, 分別是EnlightenGAN[12]、RetinexNet[10]、LIME、SRIE和NPE。結果如圖3所示, 第1～7列分別是原始的弱光圖像、 RetinexNet、 LIME、 NPE、 SRIE、 EnlightenGAN和SAMGAN的增強結果。為了方便觀察, 在方框中放大了一些能夠容易區分的細節。

圖3 SAMGAN與其他算法的效果比較Fig.3 Comparison of SAMGAN with other state-of-the-art methods

在第1行中, RetinexNet出現嚴重影響圖像真實度的噪聲, 而LIME出現多個過度增強的區域, NPE和SRIE雖然避免了過度增強, 但是亮度比較暗, EnlightenGAN也出現與LIME一樣的問題, 而SAMGAN避免了前四種方法出現的問題。在第2行中, RetinexNet、 LIME、 NPE和SRIE出現了顏色失真的情況, 并且NPE和SRIE的比較暗, 而EnlightenGAN和SAMGAN能夠在增強暗區域的同時也能夠保留原始的顏色。在第3行中, LIME和EnlightenGAN過度增強整張圖像, 其他幾種方法則很好地避免了這種情況。在第4行中, 除了SAMGAN, 其他幾種方法都使得原始圖像的紫色過度加深, 并且NPE和SRIE的結果比較暗, 在RetinexNet中出現較多的噪聲。相比之下, SAMGAN不僅增強了暗區域, 還保留了細節的顏色和紋理, 避免了整體和局部過度曝光, 具有更令人滿意的視覺效果。

2.3.2 無參考的圖像質量對比 盲/無參考圖像空間質量評估器(BRISQUE)[20], 是一種被廣泛使用的無參考的空間域圖像質量評估算法, 用于評估沒有真實圖像對照的增強圖像恢復的情況, 以提供定量比較。表1列出了5個公開圖像集(MEF、 NPE、 LIME、 VV和DICM)以及總測試集的BRISQUE分數, 較低的BRISQUE值表示視覺質量更優, 字體加黑的表示結果最好。

表1 BRISQUE在總和子數據集(MEF、 NPE、 LIME、 VV和DICM)上的得分Table 1 BRISQUE scores on the whole testing set and each subset(MEF,NPE,LIME,VV,DICM) respectively

SAMGAN不管是在總的測試集還是子測試集中得到的分數基本上都是最低的。在NPE的數據集上, NPE融合多曝光圖像序列能夠產生很好的效果, 獲取最低的BRISQUE分數, 但是視覺效果比SAMGAN的差, 也會丟失部分細節。SAMGAN不僅在彩色圖中保留原始圖像的特征和內容, 同樣在灰度圖中保留, 而且還保證了生成的灰度圖的一致性。這進一步證明了SAMGAN增強弱光圖像的質量比當前很多技術更好。

2.4 現實世界的圖像

域自適應是實現現實世界可泛化圖像增強的一個必不可少的因素。SAMGAN可以在沒有成對的弱光/正常亮度的弱光圖像訓練數據集下訓練模型, 因此SAMGAN可以直接增強來自不同領域真實的弱光圖像。在這些領域中可以沒有成對的訓練圖像, 甚至可以沒有相同領域的正常亮度的圖像。為了驗證SFPGAN增強現實世界的弱光圖像的有效性, 本文使用來自真實駕駛數據集Berkeley Deep Driving (BDD100K)[21]和DPED數據集[22](DSLR Photo Enhancement Dataset, DPED)中的弱光圖像進行實驗, 以顯示SAMGAN在實際中的這一獨特優勢。

在數據集BDD100K中, 隨機選擇了900多張弱光圖像, 每一張弱光圖像的像素強度平均值都小于45, 再隨機選擇50多張弱光圖像作為測試集。這些弱光圖像具有嚴重的偽影和高ISO噪聲, 并且訓練集和測試集沒有交集。然后使用兩個不一樣的訓練集訓練得到的模型作對比, 包含: 1)使用2.1節中的訓練集并且是沒有包含BDD100K中任何一張圖像的訓練集訓練得到的模型SAMGAN; 2)SAMGAN_N: SAMGAN的一個域適應版本, 它使用BDD100K數據集的弱光圖像進行訓練, 而正常亮度的圖像仍然來自2.1節中非成對數據集中的高質量的圖像。在此使用另外的兩個方法作對比, 自適應直方圖均衡化(AHE)和LIME。結果如圖4所示: 第1列為弱光圖像, 第2～5列分別為LIME、 AHE、 SAMGAN和SAMGAN_N的增強的結果, 其中SAMGAN_N是SAMGAN的域適應版本。

圖4 在BDD100K數據集上直觀比較結果Fig.4 Visual comparison of the result on the BDD100K dataset

LIME的結果受到嚴重的噪聲放大和過度偽影的影響, 而AHE不能夠充分增強弱光圖像的亮度。相比于LIME和AHE的結果, SAMGAN出現的噪聲更少、 更清晰。雖然SAMGAN_N的結果更清晰, 但是出現很明顯的噪聲, 影響圖像的實用性。使用2.3.2節的無參考圖像質量評價方法依次對第1～5行增強的結果進行評價, 所得到的分數依次是45.951 9、 42.955 9、 45.906 8、 40.907 3、 41.613 0, 進一步證明SAMGAN能夠適用于車載夜間圖像。

為了驗證SAMGAN能夠將質量差的手機拍攝照片轉換為高質量的圖像, 在DPED中分為測試集和訓練集, 選擇測試集中使用iPhone 3GS拍攝的照片作為測試集, 共50張; 隨機選擇訓練集中使用iPhone 3GS拍攝的照片作為弱光圖像的訓練集, 共960張。實驗過程類似前面的實驗過程。此外, 還與Ignatov等[22]提出的DSLR增強方法作了比較, 結果如圖5所示。

圖5 在DPED數據集上直觀比較結果Fig.5 Visual comparison of the result on the DPED dataset

LIME出現整體過度增強的情況; 而SAMGAN_N出現顏色失真的問題, 亮度也不夠; DSLR在增強亮度的時候, 能夠避免顏色失真; 對于SAMGAN而言, 不僅能夠避免顏色失真, 而且能夠使得亮度更溫和一點, 但不會過度增強。使用無參考圖像質量評價方法依次對第1～5行增強的結果進行評價, 所得到的分數依次是16.908 6、 18.119 2、 15.194 7、 14.304 7、 14.896 2, 證明SAMGAN能夠增強實際的弱光圖像。

由于在BDD100K和DPED數據集中選擇的是無成對的弱光/正常亮度的圖像訓練集, 因此SAMGAN能夠輕松地適應SAMGAN_N, 而無需在新域中進行任何受監督的數據重新訓練模型, 這極大地促進了其在現實世界中的推廣。

3 結 論

本文使用新穎且靈活的無監督框架解決了在無成對低亮度和正常亮度圖像集的弱光增強問題, 提出的SAMGAN在各種弱光數據集上的實驗結果表明, 在主觀和客觀指標下, 它均優于多種具有代表性的方法。此外, SMAGAN可以適應真實、 嘈雜的弱光圖像, 增強的圖像在視覺上令人非常滿意。