基于生成對抗網絡的低光照圖像增強算法

楊鎮雄，譚臺哲

（廣東工業大學 計算機學院, 廣東 廣州 510006）

現階段，圖像處理技術在各個領域都有廣泛的應用，而圖像增強是其中的一個重要方向。在不同情況下獲取圖像時，環境因素會對圖像的質量造成或多或少的影響。而圖像增強則是處理這些圖像，使圖像中的細節增加，去除圖像中因為環境而出現的噪聲，提高圖像對比度，從而提高圖像的整體質量，使其和現實中的真實場景靠攏。特別是其中的低照度圖像，在監控、半晚拍照等情況下，由于光線不足，形成圖像的亮度嚴重不夠，圖像中的許多細節缺失[1]，所以低照度圖像增強方法隨之產生。隨著時間推移，越來越多的研究者開始嘗試通過深度學習解決圖像增強任務[2-3]。

目前基于深度學習的圖像增強任務有LLNet(Low Light Network)[4]，通過增強和去噪2個階段對圖像進行增強；MSR-Net(Multi-Scale Retinex Network)[5]引入卷積神經網絡(Convolutional Neural Networks, CNN)，仿照多尺度的Retinex理論(Multi-Scale Retinex，MSR)，分為多尺度對數變換、卷積差分、顏色恢復3個模塊；Retinex-Net[6]參考Retinex理論，其分為2個子網絡，解耦網絡對輸入圖像進行解耦得到光照圖和反射圖，增強網絡再對光照圖進行增強處理，增強后再與反射圖結合得到結果圖等。但基于深度學習的圖像恢復和增強方法主要依賴于配對的數據集。

但是，配對的數據集在獲取方面有比較大的困難，在很多場景中，因為現實光照增強不受控制，想要獲得相對應的正常光圖像和低光圖像幾乎很難實現[6-7]，所以現有大部分的低照度圖像增強方法基本都是使用合成的配對數據集進行訓練。例如，LLNet[4]使用伽馬校正和添加高斯噪聲來模擬低光環境，并通過2個階段把圖像進行增強和去噪；LOL數據集中的低光照圖像則是用Adobe Lightroom接口調節得到的[6]。但合成的配對數據集和正常場景相對比就顯得不夠真實，通過合成數據集訓練的模型在現實場景中的表現難以讓人滿意[2,8]。

因為配對數據集難以獲得，為了解決這個問題，在其他圖像生成領域里已經有人通過無監督學習來對圖像進行轉化增強[9-10]，而這些方法大多是基于生成對抗網絡(Generative Adversarial Networks，GANs)，在對抗中生成圖像和目標圖像逐漸靠近，從而達到不依賴于相對應配對的圖像數據集的目的，也可以在低照度圖像和正常亮度圖像之間轉換。

目前這些無監督生成對抗模型在圖像增強任務上可以生成對比度比較好的圖像[11-14]，循環生成對抗網絡(Cycle-Consistent Generative Adversarial Networks，Cycle-GAN)[15]在圖像轉化、超生圖像增強等方面也有較好表現，但在低照度圖像中就顯得有些不足，增強圖像的對比度和照度沒有那么理想。因為低照度圖像中的亮度分布不均勻，在增強過程中可能一些相對高亮度區域被增強得過高，也可能對一些低照度噪音進行加強而產生過多的噪音。

針對低照度圖像增強方法的難點，本文進行了以下研究：采用無監督學習網絡，基于循環生成對抗網絡無監督網絡結構，解決配對數據集難以獲取的問題；對生成器引入注意力機制，把低光照圖像中的低光區域和亮區域區分開來，從而促進網絡對圖像中的低光區域給予更多的關注；使用殘差增強網絡，通過加深網絡層數，加強低照度圖像的增強效果；判別器采用全局-局部雙判別器結構，保證生成的正常亮度圖像的所有局部區域看起來更接近于現實環境，避免局部曝光過低。

1 相關工作

1.1 生成對抗網絡

生成對抗網絡是一個比較特殊的模型[16]，由生成模型和判別模型組成。其中生成器用于處理輸入數據，輸入圖像到生成器后產生數據樣本，這些數據不僅適用于圖像，在文本甚至語音等方面也可以使用[17]。判別器則用來判斷生成器生成圖像相比于真實圖象的真實程度。兩者互相更新對抗，生成器的目的是處理數據生成判別器都無法判斷的圖像樣本，而判別器的目的則是提升判斷能力，以確保判斷數據更準確。通過生成器和判別器的互相迭代升級，使輸出的數據更好。

其損失函數為

式中：x為真實正常光照圖像數據，z為真實正常光照圖像數據，G為生成器，D為判別器，z通過生成器后輸出，并且和x一起輸入到判別器中，判別器判斷其真實程度； Ex～Pdata為真實數據的數學期望，其中服從概率分布Pdata；Ez～Pz為真實數據的數學期望，其中服從概率分布Pz；V(G，D)為二元交叉熵函數，通常用于二元分類問題。若把判別器的判定標準轉換為數據顯示，則把真實的判定真實的正常光照圖像定為1，生成器輸出的不符合真實數據的偽正常光照圖像定為0，而生成器的目的是不斷自我升級，使生成的圖像能夠欺騙判別器，使判別器認為生成器輸出的是真實圖像，判別器也不斷自我升級使其能更好地進行判斷。

1.2 注意力機制

視覺注意機制[18]是類似于人類眼睛的視覺，后者是人類在進化過程中形成的特殊技能，視覺看到的畫面從人類的眼睛輸入，在腦海故意排除無關的信息，并對關心的對象領域集中更多的注意力。注意力機制可以有效利用人類有限的視覺注意力，排除其他無關因素，專注處理目標數據。因此，把注意力機制引入深度學習中，使深度學習越來越高效化。

注意力機制主要分為柔性注意力和硬性注意力[19-20]，柔性注意力和硬性注意力都可以分為基于輸入項和基于位置2個方向。

1.3 殘差網絡

在網絡模型中，因為卷積層的層數加深，會出現各種各樣的問題，比如過擬合和梯度消失。由若干的殘差塊所構成的殘差網絡(Residual Networks，Res-Net)[21-22]能夠很好地解決以上問題，殘差網絡已經發展成了一種最為重要的特征提取方法。殘差塊的數學模型如下。

式中：xl為 殘差塊的輸入，xl+1為殘差塊的輸出特征圖的映射，F(xl,Wl)為運算過程，f()為激活函數。通常殘差塊是通過卷積操作組成的，每次卷積都有非線性激活函數。

2 方法

2.1 循環生成對抗網絡

傳統的生成對抗網絡都是需要輸入圖像相對應的真實數據圖像，即輸入圖像通過生成器生成一個假的數據圖像，再通過判別器判斷這個假數據是否屬于真實圖像，并把結果發送回給生成器，生成器通過這個結果自我更新，使下次生成的圖像能更接近于答案，通過反復循環提高，生成最貼近于真實圖像的輸出。這樣的設計在有相對應的圖像數據集的情況下是沒有問題的。

由于現實中成對低照度圖像數據集難以獲取，并且光照的模式和風格種類繁多，人工合成的光照和噪聲通常與自然中的有所不同，導致這些基于合成圖像的低照度增強方法對來自真實世界的低照度圖像增強能力有限，可以利用無監督學習，從循環生成對抗網絡出發，設計一個網絡解決當前低照度圖像增強方法依賴配對圖像數據集的問題。

循環生成對抗網絡不僅將低照度圖像生成正常亮度圖像，而且將生成的正常亮度圖像作為輸入，讓生成器生成低照度圖像，并和原輸入的低照度圖像進行對比，使兩者更加接近，以此來擺脫對相應數據集的依賴。

如圖1所示，循環生成對抗網絡分為2組生成器和判別器，輸入分別為低照度圖像和正常照度圖像，兩者數據集不用互相對應。首先，向生成器1輸入低照度圖像，生成的正常光照度圖像通過判別器1判斷是否是正常光照度圖像，同時輸入生成器2，生成偽低照度圖像，其要與原輸入的低照度圖像盡可能相似。另一組原輸入為正常照度圖像，流程一致。

圖1 Cycle-Gan網絡結構Fig.1 The network structure of the Cycle-Gan

Cycle-GAN的損失函數總體來說可以分為2部分，一部分是對抗損失，另一部分是循環損失。

循環損失函數為

式(4)～(6)中： Ex～Pdata(x)和Ey～Pdata(y)分別為循環生成對抗網絡的X和Y兩組輸入圖像在數據空間中定義的真實數據的數學期望，λ為用于控制循環一致性損失和對抗損失之間的相對權重。因為需要使循環生成的低照度圖像和原輸入圖像盡可能接近，所以在生成器1生成正常亮度圖像后，在生成器2中盡可能恢復成原輸入圖像，除了對抗損失之外，還需要循環損失來保證循環一致性[23]。

2.2 改進的網絡

為了增強低照度圖像的同時解決圖像噪聲，把網絡分解[24]為注意力機制引導網絡和殘差增強網絡。如圖2所示，首先輸入圖像通過注意力機制網絡區分低光區域和亮光區域，生成注意力機制圖，以便后續的增強網絡能對其進行區分增強。接著把輸入圖像和注意力機制圖像通過串接形式一起輸入殘差網絡，通過注意力機制圖象的區域劃分，對輸入圖像進行精準亮度增強。因為低照度圖像中的光線普遍偏暗，所以圖像中的特征信息較少，并且會有部分噪聲干擾，在這個基礎上，使用殘差連接構建基礎殘差模塊，使網絡的層數加深。通過增強模型的弱光圖像，避免由于網絡加深造成特征損失。

圖2 生成器網絡結構Fig.2 Generator network diagram

2.2.1 注意力機制網絡

傳統圖像增強學習方法一般針對圖像整體發展進行不斷增強，而忽略了照片中各個區域亮度不一致的情況，進而容易造成高亮度區域過曝光，低亮度區域相對欠曝光的問題。為解決低照度圖像中亮度區域分布不均勻的問題，打算引入注意力機制，通過注意力機制網絡區分低光區域和亮光區域，生成注意力機制圖象，從而促進網絡對圖像中的弱光區域給予更多的關注和增強。在低照度圖像生成正常圖像時，盡管圖中的不同區域進行了不同增強，各個部分的亮度盡可能靠近，但生成亮度還是有所區別。因此在正常圖像中，也有亮度分配不同的情況，通過對亮度情況進行區分，同樣也能生成低照度圖像。

U-Net[25]在圖像生成領域特別是圖像恢復和增強方面有著不錯的表現，可以在輸入圖像中獲取不同深度的特征信息，保留比較完整的特征信息，并且利用多層次信息多尺度地生成效果較好的圖像，因此使用類U-Net網絡作為主要網絡。

注意力機制網絡作為輔助網絡，其訓練得到的注意力圖與原輸入圖像相結合，以待后續的加強網絡對低光區域進行特別加強，確保低照度圖像中低光區域的增強效果。

圖3為注意力機制網絡，采取類U型網絡，首先輸入低照度圖像通過下采樣層的池化和卷積，對輸入圖像進行分解，加深維度。卷積操作增加圖像的維度，池化操作減小圖像每一維度的尺寸，以達到提取特征有效地收集光照信息的目的。再結合上采樣層得到的光照信息，對得到的信息進行建模，得到注意力圖，如圖4所示。圖中的白色區域代表輸入圖像的低照度區域，黑色區域代表輸入圖像的較亮區域。

圖3 注意力網絡結構Fig.3 Attention network structure

圖4 低照度圖像和注意力圖像Fig.4 Low illumination images and attention-based images

式中：Ix為 低照度圖像，p ixel(Ix)為輸入圖像本身的像素值，m ax(Ix)為輸入圖像中的最大像素值。

2.2.2 增強網絡模塊

如圖5所示，殘差增強網絡分為3個部分，其中第1部分為卷積層，首先將圖像合并在一起，然后進行卷積運算，步長為2，即將每一維度的尺寸大小減半。中間的殘差單元部分為第2部分，通過建立連接多個殘差單元提高低照度圖像的增強能力，通過一系列的殘差塊，利用上采樣恢復圖像的尺寸以及維度。第3部分為普通卷積層，把前面處理的多特征轉換成RGB圖像。

圖5 殘差增強網絡結構Fig.5 Residuals enhance network architecture

2.3 判別器

在傳統的生成對抗網絡方法中[26]，判別器不能很好地對光線變化大的低照度圖像發揮作用，和上述注意力機制的作用相比，不能很好地處理低照度圖像中特別亮或者特別暗的區域，原因在于傳統方法中使用的是全局判別器，對于局部信息變化大的部分不能擁有比較好的自適應能力。為了提高判別器對于低照度圖像任務的作用，使用了全局加局部的雙判別器結構[27]，其中全局判別器在工作的期間，局部判別器也同時工作。從生成器輸出的圖像和真實的光照圖像當作輸入，輸入全局判別器中，同時把輸入分解成多個局部區域輸入局部判別器中，局部判別器使用PatchGAN對真實圖像和輸出圖像進行判別，通過對抗，使輸出圖像包括其局部區域看起來更加接近于真實圖像，避免局部過度曝光。

如圖6所示，把生成器生成的圖像和正常亮度的圖像作為輸入在全局判別器中進行判定，從全局的角度來保證完整圖像的真實性；同時把兩者裁剪數量相等的若干局部區域輸入局部判別器中，并輸出每份局部區域的真實度，保證圖像中每個區域都更靠近真實圖像。

圖6 全局-局部判別器Fig.6 Global-local discriminator

在全局判別器中，使用LSGAN版本的相對論平均GAN損失[28]，損失函數如下。

式中：G為生成器，D為判別器，Pr為真實圖像的正態光分布，xr為 其相對應的樣本；Pf為生成圖像的正態光分布，xf為其相對應的樣本，Exr～Pr和 Exf～Pf分別為真實數據和生成數據的數學期望。

對于局部判別器，也采用原始LSGAN損失來進行訓練，生成器和判別器的損失函數如下。

3 實驗

在本節，首先比較每個模型在Enlighten-GAN的未配對增強數據集中的對比度和照明增強性能。然后，報告合成的低光(Low-Light，LOL)數據集的對比度增強后的結果，這些數據集都包含具有明顯噪聲的低光圖像。

3.1 數據集

未配對的增強(Enlighten) 數據集：Jiang等[26]收集了一個未配對的數據集，用于訓練對比度增強模型。訓練集由914張較暗但沒有顯著噪聲的低光圖像和1 016張來自公共數據集的正光圖像組成。本文使用這個數據集來比較每個模型的對比度增強性能。該評價集由公共數據集的148對低光/正光圖像對組成。所有來自訓練和評估集的圖像的分辨率都被重新調整到400×600。

LOL數據集[6]：LOL數據集由500對弱光和正光圖像對組成，分為485對訓練對和15對測試對。低光圖像包含了在照片捕獲過程中產生的噪聲。大部分的圖像都是室內的場景。為了使數據集適應本文的無監督設置，這里采用485張訓練圖像作為本文的弱光訓練集，并采用未配對增強Enlighten數據集中的正光圖像作為正光訓練集。測試映像與LOL數據集保持相同。所有圖像的分辨率都為400×600。

3.2 實施細節及評價指標

使用Adam優化器，學習率設置為1 0-4，批量大小設置為32。為了對增強后的圖像進行質量評價，本文采用峰值信噪比(Peak Signal to Noise Ratio，PSNR)和結構相似度(Structural Similarity，SSIM)[29]2個指標進行定量分析。SSIM表示了一種全參考的圖像評價質量指標，代表結構相似性指標，包括亮度、對比度以及圖像具體的結構3個部分，PSNR是峰值信噪比指標。

3.3 Enlighten數據集上的實驗

這里比較了本文模型以及包括UNIT[25]、Cycle-GAN[15]和Enlighten-GAN[26]在內的低光照圖像增強模型在Enlighten數據集上的表現。所有的模型都在訓練集上進行訓練，并在測試集上進行評估。

在圖7中可以看出UNIT模型和Cycle-GAN模型提升了一定的亮度，但對比其他模型，其色彩有一定的缺失，產生沉重的偽影和遭受輕微的顏色扭曲；而Enlighten-GAN模型的增強效果很明顯，并且色彩鮮艷，在天空和地上行人部分都能得到很好的增強，和本文的模型一樣可以在全局和局部區域生成具有合理對比度和清晰度的圖像。

圖7 Enlighten數據集上的結果Fig.7 Results on the Enlighten dataset

除了主觀視覺感官外，本文還報告了生成圖像的PSNR和SSIM，作為對未配對增強數據集的數據評價。結果如表1所示，本文的模型比現有的模型表現得更好，這與視覺結果是一致的。

表1 在Enlighten數據集和LOL數據集上的結果Table 1 Results on the Enlighten and LOL datasets

3.4 LOL低光圖像增強實驗

在合成數據集的LOL弱光圖像增強數據集上評估了本文的方法，并將其與先進的無監督圖像轉換進行比較，包括Cycle-GAN和Enlighten-GAN。 圖8顯示了LOL數據集的表現結果。Cycle-GAN的數據存在嚴重的顏色失真，無法保留LOL數據集的細節。Enlighten-GAN能夠提高圖像的對比度，但圖像上仍存在噪聲和偽影。

圖8 LOL數據集上的結果Fig.8 Results on the LOL dataset

放大圖8中保齡球道增強的細節，如圖9所示，Enlighten-GAN中的球瓶顯示情況并沒有本文方法的清晰，從此細節看出本文方法在單一模型的真實低光圖像增強中同樣具有優勢。

圖9 放大的細節圖像Fig.9 Magnified details of the image

同樣，對于LOL數據集的實驗，本文也報告了生成圖像的PSNR和SSIM，作為LOL數據集的數據評價。結果如表1所示，本文的模型同樣領先，進一步證明了本文模型的優越性。

3.5 消融研究

為研究本文模型中的每個組件對最終結果的貢獻設計了2個實驗，分析了使用殘差網絡而不用注意力機制網絡的情況，和使用了注意力機制網絡并且調整殘差塊數量的情況，對比整個模型，明確看出其發揮的關鍵作用。

具體來說，第1個實驗不使用注意力機制網絡來進行訓練并和完整的模型進行對比，以此看出注意力機制網絡在本文模型中的作用。第2個實驗則是因為本文使用了殘差塊進行增強，并且在殘差增強網絡中殘差塊的數量也對實驗結果有著一定的差異影響，所以進行額外對比，分別選取數量為4，6，8，10的殘差塊數量進行對比實驗。

實驗結果如圖10所示，在沒有注意力機制網絡時，結果與完整模型相比，在兩側的玻璃和玻璃柜子上的亮度偏低，并且出現了一些亮度噪聲。而殘差塊部分，幾種殘差塊數量的結果在感官上大致相差不大。隨著殘差塊數量的增加，增強網絡的層數也增加時，在一些局部復雜部分，部分線條會出現重疊，出現過擬合的現象。殘差塊數量為6塊時，得到的圖像最為平滑。

圖10 在Enlighten數據集上的消融研究Fig.10 Ablation studies on the Enlighten dataset

同時，對于消融實驗，本文報告了生成圖像的PSNR和SSIM，作為消融實驗的數據評價。結果如表2所示，在殘差塊數量為6塊時取得的效果最好，雖然隨著數量增加，PSNR和SSIM數值同時也在增加，但是在超過6塊時，殘差塊數量增加會導致模型深度增加，從而使網絡的復雜程度和時間消耗增加。所以選取殘差塊數量為6塊的殘差網絡作為增強網絡是最好的選擇。

表2 在Enlighten數據集上消融實驗的結果Table 2 Results of ablation studies on the Enlighten dataset

4 結論

本文所介紹的方法采用無監督生成對抗網絡作為主要網絡，并把網絡分解為注意力網絡和殘差增強網絡，對低照度圖像進行增強，達到比較理想的效果。相比較傳統的方法，不僅能適應多種低照度環境下的圖像增強，同時也提高了增強后圖像的視覺效果。通過實驗表明，本文所提方法，得到的結果細節描述更準確，色彩深度更豐富，局部對比度更強，在主觀和客觀驗證下都優于Enlighten-GAN、Cycle-GAN等方法。