基于注意力機制的多階段低照度圖像增強方法

李健　成雅清

關鍵詞：低照度圖像；多階段；注意力機制；特征提??；特征融合

中圖分類號：TP391.4 文獻標識碼：A 文章編號：1006-8228（2023）11-83-07

0 引言

低照度圖像增強是一項重要的圖像處理技術，旨通過增強低照度條件下的圖像質量來解決圖像的可視化效果差和信息傳遞效率低的問題。隨著計算機視覺和圖像處理技術的不斷發展，越來越多的低照度圖像增強算法被提出并得到了廣泛應用，如視頻監控、車載導航、夜間拍攝、醫療影像等。

傳統低照度圖像增強方法包括基于直方圖均衡化的算法[1]、Retinex（Retinacortex）理論的算法[2-5]。其中，基于直方圖均衡化的方法是旨通過調整圖像的灰度值分布，使得整張圖像的像素灰度值盡可能地分布在整個灰度值范圍內，從而提高圖像的對比度和亮度?；赗etinex 理論的方法是旨通過將圖像分解為反射和亮度兩部分，從而增強圖像的對比度和亮度。

近年來，隨著人工智能的發展，利用深度學習對低照度圖像進行增強的方法逐漸取代了傳統方法。如Lore 等[6]最早運用深度學習的方法實現了低光照圖像增強LLNet（Low-light Net），提出了一種基于深度自動編碼器的方法來識別弱光圖像中的信號特征，在不過度放大飽和高動態范圍圖像的較亮部分的情況下自適應地使圖像變亮。Wei 等[7]提出了一種基于Retinex 理論與深度學習方法相結合的網絡Retinex-Net （Retinacortex Net），該網絡利用三個模塊（分解模塊、增強模塊和重建模塊）去約束低照度圖像的反射光和照射光之間的關系，從而增強圖像效果。Jiang 等[8]提出了一種高效的無監督生成對抗網絡EnlightenGAN （Enlighten Generative Adversarial Networks），其主要思想是利用生成器和判別器兩個網絡相互博弈以生成更加逼真的圖像。Guo 等[9]提出了一種無需參考圖像的網絡Zero-Dce（Zero-Reference Deep CurveEstimation），該方法通過深度學習模型自適應地學習每張圖像的曲線，可以將輸入圖像的暗部分和明部分分別映射到對應的輸出空間中。通過對這兩個部分的增強，將增強后的圖像進行合成，得到最終的增強結果。Ma 等[10]提出了一個輕量級的自校準照明框架SCI（Self-Calibrated Illumination），建立了一個具有權重共享的級聯光照學習過程，用于針對不同的現實世界場景進行低光照圖像增強。

基于深度學習的方法相比于傳統方法在結果上有顯著的提升，但是，目前所提出的基于深度學習的方法需要更多計算資源和訓練時間，并且還存在顏色失真、細節恢復能力差和整體主觀視覺質量低等問題。針對上述問題本文提出一種基于注意力機制的多階段低照度圖像增強方法，能夠有效解決局部噪聲、顏色失真、細節紋理丟失等問題。

本文的貢獻：①提出了一個基于注意力機制的特征提取模塊，來解決圖像局部增強能力弱、語義特征提取效果差的問題；②提出了一個基于上下文學習的細節恢復模塊，來解決紋理細節恢復能力差的問題；③在公開數據集LOL 上進行實驗，采用峰值信噪比（PSNR）和結構相似性（SSIM）[11]作為客觀評價指標，實驗結果的主觀視覺效果、客觀評價指標優于其他大多數方法，證明了本文模型的有效性。

1 網絡構架設計本

文提出一種基于注意力機制的多階段低照度圖像增強網絡AMS-Net（Attention Multi-Stage network）。網絡結構如圖1 所示。該網絡共分為三個階段，將原始圖片分別分割為不重疊的1/4 尺寸，1/2 尺寸和原始尺寸作為各階段的輸入信息，實現從“粗”到“細”的恢復方法，在增強圖像亮度的同時注重圖像細節的恢復。

在該模型的各個階段中，首先通過一個卷積和注意力機制模塊PSA（Pyramid Split Attention）[12]進行初步特征提??；然后，利用編碼器-解碼器完成更多的細節特征提取，并將前兩個階段的特征圖在空間維度上兩兩拼接；接著，由上下文學習模塊ACCA（AggregatedContextual Channel Attention）對局部特征進行細節恢復；最后，利用監督注意力模塊SAM（SupervisedAttention Module）[13]對相鄰階段進行特征融合。經過以上三個增強階段的處理，最終將低照度圖像還原出與原始清晰圖像亮度、紋理清晰度接近的高質量圖像。

1.1 特征提取模塊

特征提取部分是低照度圖像增強模型中的一個重要組成部分，其作用是從輸入圖像中提取有用的特征以便后續的處理。AMS-Net 的特征提取分為兩步：首先通過一個卷積和注意力機制模塊對輸入圖像的重要特征信息進行提取，得到初步的特征圖；隨后使用編碼器-解碼器模塊，進一步提取不同大小和形狀的物體語義特征。

1.1.1 注意力機制特征提取模塊

為了增強低照度圖像重要的空間位置信息并抑制不重要的背景信息，以提高模型對目標的定位準確性和語義信息的利用，本文采用注意力機制PSA（Pyramid Spatial Attention）模塊[12]對低照度圖像中重要的信息進行提取。該模塊利用金字塔形特征提取和空間注意力機制提高網絡對不同尺度低照度圖像特征的感知能力和重要區域關注度。

PSA 模塊構造如圖2 所示。主要分為以下四個步驟：首先，通過實現分裂與拼接SPC（Split and Concat）模塊[12]，獲得多尺度特征圖；其次，使seweight 模塊[12，14]提取具有不同尺度特征圖的通道注意力向量；然后，使用Softmax 函數重新校準多尺度通道的注意力向量，得到多尺度通道的權重；最后，將重新校準的權重和相應的特征圖進行逐元素乘積的運算。通過以上操作，可以得到一個經過細化的特征圖，該特征圖中包含更豐富的多尺度特征信息。

1.1.2 編碼器-解碼器模塊

為了提取不同大小和形狀的物體語義特征，本文采用編碼器和解碼器網絡。網絡基于U-Net 結構，通過編碼器進行下采樣獲得多尺度的圖像特征，然后解碼器對多尺度圖像進行上采樣來恢復圖像原有的分辨率。

其網絡結構如圖3 所示。具體結構信息如下：首先，添加了通道注意力CAB（Channel AttentionBlocks）模塊[12]以提取每個尺度的特征；其次，對于編碼器-解碼器模塊中跳轉連接部分（Skip Connections）的特征圖也使用CAB 模塊處理；最后，使用雙線性上采樣加一個卷積層進行處理，而不是使用轉置卷積，來提高解碼器處理后特征圖的分辨率，有助于減少輸出圖像中由于轉置卷積而出現的棋盤效應。

1.2 細節恢復模塊

由于特征提取階段采用下采樣和上采樣的操作，會導致圖像細節的模糊和丟失。因此，受ACT（Aggregated Contextual Transformations）[15]啟發，本節提出一種上下文注意力ACCA 模塊，模型結構如圖4所示。該模塊利用遙遠空間位置信息，來恢復圖像細節，同時避免過度增加網絡層次。ACCA 模塊采用多級注意力機制，提升了特征圖的表達能力，并通過操作不同尺度的注意力圖增強了網絡對特定區域的感知能力。具體流程如下。

⑴ 接收上一層提取出來特征圖，將256 個通道的內核拆分為四個子內核，使每個子內核具有64 個輸出通道。子內核使用不同的膨脹率來執行輸入特征X1的不同變換，使用較大的膨脹率專注感受野大的全局區域，使用較小膨脹率專注感受野小的局部區域。

⑵ 將每個子內核輸出的特征圖分別經過Mish 激活函數后，輸入到通道注意力EAC（Efficient ChannelAttention）[16]模塊中，對其進行通道特征加強。EAC 模塊可以提供更精細的特征表示，并且其參數和計算量的需求也小，因此使用ECA 模塊可以優化模型結構、減少模型計算量、提高模型的訓練效率。

⑶ 將來自不同感受野的上下文信息通過級聯依次進行聚合，然后通過3 × 3的卷積進行特征融合。

⑷ 此外，通常使用殘差連接[17]方式提高模型的準確性，其通過以空間不變的方式逐元素求和來聚合輸入特征X₁和殘差特征X₂，但是此操作忽略了缺失區域內外像素值的差異，導致修復圖像中出現顏色差異問題。為了解決這一問題，本文采用一種新的門控殘差連接，門控殘差連接先通過標準卷積和Mish 激活函數運算從X₁計算空間變化的門值g，然后ACCA 模塊通過與g 的加權和來聚合輸入特征X₁和殘差特征X₂。

通過門控殘差連接的特征聚合在恢復缺失區域內特征的同時，并保留缺失區域外的已知特征。

2.4 對比實驗

2.4.1 主觀分析

本節對不同的低照度圖像增強方法進行對比實驗，可以更好地評估和比較它們的性能和優劣之處，選取的經典傳統方法有LIME（Low-light Image Enhancement）[20]，具有代表性的深度學習方法有Zero-Dec（Zero-Reference Deep Curve Estimation）， RetinexNet（Retinacortex Net），Kind（Kindling the Darkness） [21]，HWMNet（Half Wavelet Attention on M-Net+）[22]。將以上實驗置于統一實驗環境，實驗結果如圖6 所示。

相較于本文提出方法的實驗結果，LIME 方法整體亮度恢復偏暗，視覺效果不真實，并且會出現顏色失真；RetinexNet 方法會出現過度增強的情況，導致圖像的細節損失和顏色失真，并且恢復后的圖像噪聲也特別多；Zero-Dec 方法相比于RetinexNet 算法在圖像整體感知質量上表現略有提升，但在亮度增強方面存在不足，同時可能會引入偽影和失真，且噪聲抑制效果不佳，影響圖像的視覺效果；Kind 方法在亮度和飽和度方面表現不錯，但是對于局部細節紋理的恢復不夠清晰，且恢復過度容易引起顏色失真現象；HWMNet 方法在圖像的細節和紋理恢復的不錯，但在噪聲抑制方面效果不佳，并且圖像整體亮度過亮。本文提出的低照度圖像增強方法在亮度、對比度和噪聲抑制方面均表現出色，整體視覺效果相對于其他方法更佳，且主觀視覺效果更接近于真實清晰圖像。

2.4.2 客觀分析

為進一步驗證本文提出方法的有效性，本節實驗采用PSNR 和SSIM 的指標作為參考，分別對不同的低照度圖像增強方法進行定量分析。實驗結果如表1所示，黑色加粗表示對比實驗中單項指標的最優值。本文方法在指標PRSN，SSIM 的指標都為最優，分別為26.31，0.921。

從表1 中可以看出，AMS-Net 網絡在PRSN，SSIM指標上遠超于LIME、RetinexNet、Zero-Dce 網絡；相比于Kind 在PRSN 指標上提升了26.12%，在SSIM 指標上提升了14.40%；相比與HWMNet 在PRSN 指標上提升了8.53%，在SSIM 指標上提升了8.09%。實驗結果表明，AMS-Net 網絡在客觀評價指標方面相比于其他主流網絡具備顯著的優勢，且在主觀視覺質量方面更接近于原始高清圖像。

2.5 消融實驗

為了驗證本文網絡中局部特征提取模塊和細節恢復模塊的作用和效果，本文進行以下的消融實驗：分別刪減AMS-Net 的局部特征提?。≒SA）模塊和細節恢復（ACCA）模塊，以及同時刪減這兩個模塊，并與完整AMS-Net 進行對比。消融實驗結果如圖7 所示。其中，圖7（a）為低照度圖像，圖7（b）為原始的清晰圖像，圖7（c）為AMS-Net 去除ACCA 模塊和PSA 模塊的生成圖，圖7（d）為AMS-Net只去除ACCA 模塊的生成圖，圖7（e）為AMS-Net 只去除PSA 模塊的生成圖，圖7（f）為本文提出的完整AMS-Net 的生成圖。

可以看出，同時去除PSA 模塊和ACCA 模塊的增強結果，整體效果不錯，但是圖7（c）色彩盤處可以看到明顯的噪聲，圖片的整體亮度也偏暗；當只去除ACCA模塊時，增強結果相比于同時刪減兩個模塊顏色亮度有所提升，圖7（d）中公仔顏色更接近真實清晰圖像；當只去除PSA 模塊時，實驗結果相比只去除ACCA 模塊圖像細節恢復的更加完整，但還是存在失真和噪聲，圖7（e）中非洲鼓上花紋顏色偏淡；而使用完整MMFNet的結果可以看出，本文設計的完整網絡不僅能夠有效地提高圖像亮度，在色彩飽和度，噪聲抑制，圖像細節恢復都表現出很好的結果。

模塊消融實驗的客觀評價如表2 所示。使用完整AMS-Net 模型的結果表現最優，相比于同時刪除兩個模塊，PSNR 指標上升了3.3%，SSIM 指標上升了1.6%。PSNR，SSIM 指標越高意味著圖像恢復的質量越好，此消融實驗客觀結果表明，PSA 模塊與ACCA 模塊對低照度圖像有良好的增強效果。

3 結束語

本文提出了一種基于注意力機制的多尺度低照度圖像增強的方法，該方法能夠在不影響圖像質量的情況下有效地對低照度圖像進行增強。此網絡結構分為三個階段，三個階段的輸入分別為不同尺寸的低照度圖像，其中每個階段首先經過特征提取模塊，以提取圖像中重要特征信息；隨后，由一個聯系上下文學習模塊進行細節恢復；最后進行特征融合，使得每個階段的聯系更緊密。通過與主流的低照度圖像增強方法的對比可以看出，本文方法在主觀視覺和客觀數據上均為最優。然而，低照度圖像增強在噪聲抑制、信息丟失等問題上仍然具有挑戰性，需要進一步研究和探索。