基于光譜反射率的低照度圖像增強方法研究

麻祥才, 曹 前, 白春燕, 王曉紅, 張大偉

1. 上海理工大學光電信息與計算機工程學院, 上海 200093

2. 上海出版印刷高等?？茖W校印刷包裝工程系, 上海 200093

3. 上海理工大學出版印刷與藝術設計學院, 上海 200093

引 言

光照不足會影響圖像成像質量, 造成不佳的人眼視覺感知和限制其在機器視覺領域中的應用。 研究者們提出了許多低照度圖像處理技術, Retinex理論是圖像增強方法中應用最廣泛的方法之一, 最經典的算法包括單尺度Retinex(SSR)算法[1]、 多尺度Retinex(MSR)算法[2]以及具有色度保持的MSR方法(MSRCP)[3]。 為了更好抑制噪聲和顏色恢復, 后來研究人員又提出基于變分優化的Retinex模型[4]和通過照明圖估計的低亮度圖像增強(LIME)[5]等算法, 這些算法可以較好再現圖像顏色和階調層次, 但參數復雜。

深度學習網絡模擬人腦信息處理機制來提取數據特征, 采用復雜的非線性函數擬合輸入到輸出映射關系, 在許多計算機視覺領域應用中展現出優勢。 Li等提出LightenNet[6], 利用卷積神經網絡來估計低照度圖像的光照圖像, 然后利用引導濾波優化光照圖像, 最后基于Retinex模型獲得增強圖像。 Lü等設計了反射和照明分解網絡[7], 為了在保持邊緣信息的同時提高亮度, 增加注意力引導照明調整網絡。 通過對抗學習網絡融合圖像, 以減少圖像退化來提高圖像自然度。 Zhang等建立了一個簡單有效的KinD網絡[8], 該網絡將圖像分解為反射分量和光照分量, 使用在不同曝光條件下拍攝的成對圖像進行訓練。 Zhang等提出了一種基于信息熵理論和Retinex模型的自監督(Self-supervised)圖像增強方法[9]。 深度學習和Retinex理論相結合的方法在一定程度上取得不錯效果, 但在顏色恢復和抑制噪聲方面仍需提高。 光譜反射率是一種物理特性, 通常用于高保真彩色再現以解決同色異譜現象[10], 但基于光譜反射率的低照度圖像增強研究較少。

鑒于此, 本研究提出了一種基于光譜反射率的低照度圖像增強方法。 首先介紹基于光譜反射率的低照度圖像增強的理論, 利用光譜重建技術構建圖像庫中正常RGB圖像的多光譜數據集, 然后利用深度學習訓練將低照度圖像映射為多光譜圖像的網絡模型。 任意低照度圖像通過網絡模型得到多光譜圖像, 多光譜圖像根據色度學理論得到CIEXYZ三刺激值, 再通過標準顏色空間轉換到RGB顏色空間中顯示并利用主客觀評價方法對多光譜圖像的參照光源進行選擇。 通過測試圖像的增強效果, 比較現有方法與本文方法的優越性。

1 基于光譜反射率的低照度圖像增強的理論基礎

Retinex理論模型是用于低照度圖像增強的經典算法之一, 該模型將圖像看作反射分量與光照反射之積如圖1所示, 認為物體的顏色的反射系數決定了圖像的內在固有屬性。

圖1 Retinex理論模型示意圖

假設圖像I由光照分量L與反射分量R組成如式(1)所示。

I(x,y)=L(x,y)×R(x,y)

(1)

從低照度圖像中只需要估計出光照分量L并去除或者校正光照分量L, 得到反射分量R即可達到圖像增強目的。

非發光體的顏色視覺感知形成過程是當光線照射在顏色物體上并與表面的顏料物質相互作用時, 一部分波長會被吸收, 而另一部分波長會被反射或透射, 并允許繼續通過材料, 反射或透射的波長進入人眼并刺激視網膜中的感覺細胞, 最后刺激被傳送到大腦形成視覺感知。 圖2顯示了反射物體顏色感知的形成過程。

圖2 反射物體視覺感知形成過程機理

Retinex理論是基于圖像分解角度進行出發, 但該理論與顏色視覺感知過程相類似, 圖像的反射分量與色度學理論中光譜反射率, 圖像中光照分量與顏色視覺感知中光照分量相等同, 可以為基于光譜重建的低照度圖像增強提供理論依據。

2 實驗部分

提出一種基于光譜反射率的低照度圖像增強方法。 該方法的實施流程包括三個部分： 真實圖像光譜反射率數據重建、 深度學習模型設計和深度學習模型應用, 如圖3所示。

圖3 基于光譜反射率的低照度圖像增強的實施過程

2.1 圖像光譜數據重建

研究證明孟塞爾1 269個無光澤標準色塊顯示出好的光譜反射率重構結果[11], 因此選擇它作為訓練樣本來求解設備響應值到光譜反射率的轉換矩陣。 孟塞爾色塊顏色的光譜反射率利用分光光度計測量得到, 由于光譜反射率重建技術是對照度正常的RGB圖像進行重構, 這要求孟塞爾色塊設備響應值為RGB空間。 光譜反射率通過使用CIE 1931顏色匹配函數和CIE D50光源轉換為CIE XYZ三刺激值, 如式(2)所示

(2)

式(2)中,K為調整系數, 這個常數取決于照明光源的Y刺激值, 通過式(3)求出

(3)

顏色CIE XYZ三刺激值借助sRGB標準顏色空間轉換得到RGB空間即為設備響應值。 根據訓練樣本的RGB數值和光譜反射率利用文獻[12]方式進行求解轉換矩陣, 實驗表明, 基于[1,rgb,r3,g3,b3,rg2,rb2,gr2,gb2,br2,bg2,rg,rb,gb,r2,g2,b2,r,g,b]的平均色差為0.24, 最大色差為2.04, 適合求解轉換矩陣。

2.2 深度學習模型設計

U-Net網絡是一種形狀類似U形的對稱網絡, 因其形狀特殊性越來越多被應用到圖像增強中, 分為編碼過程和解碼過程。 網絡卷積層使網絡具有更強的特征提取能力, 但隨著網絡卷積層的增加, 會導致網絡的梯度消失問題。 He等提出的殘差模塊可以避免卷積層增加引起的梯度消失問題[13]。 因此, 在U-Net中引入殘差模塊形成Residual U-Net網絡。 Residual U-Net結構示意圖如圖4所示, 參數如圖5所示。

圖4 Residual U-Net結構示意圖

圖5 Residual U-Net參數圖

訓練過程就是不斷改變參數, 以獲得較小的損失函數值。 該算法使用1-范數計算網絡輸出圖像數據和正常光照多光譜圖像之間的損失, 其表達式如式(4)

(4)

式(4)中,N表示訓練樣本的顏色數, ‖·‖1為1-范數,G表示相應的正常光照的多光譜圖像,E是網絡輸出的預測值。

2.3 深度學習模型應用

低照度圖像輸入到訓練好Residual U-Net模型中輸出得到增強后的多光譜圖像, 根據色度學理論將多光譜圖像轉換CIEXYZ三刺激值圖像后, 利用標準顏色空間到RGB空間的轉換矩陣將CIEXYZ三刺激值圖像轉換RGB圖像進行顯示, 從而實現低照度圖像的增強。

2.4 圖像數據庫

LOL圖像數據集是一個真實場景提取的低照度/正常光照圖像對的數據集[14]。 該數據集包含485對用于訓練的圖像和15對用于測試的圖像, 分辨率為400×600, 數據集包含場景較多, 適用于不同場景下的圖像增強。

2.5 實驗平臺

實驗是在臺式服務器上進行的, 顯卡NVIDIA GeForce RTX3090, 編程語言Python 3.9.12, 深度學習框架TensorFlow 2.6, 在訓練過程中, 輸入圖像隨機裁剪長寬大小均為256個像素并對圖像進行上下左右翻轉操作來擴充圖像數據庫, 顏色值范圍0到255除以255歸一化為0到1, batchsize設置1, 共訓練1 500次, Adam優化算法用于優化訓練結果。

3 結果與討論

3.1 不同標準照明體下結果

根據色度學理論, 網絡輸出的多光譜圖像需要在光源照射下才能被人眼所感知。 人眼所感知的色彩受不同標準照明體的光譜功率能量分布影響。 不同標準照明體下多光譜圖像CIE XYZ值由等式(2)計算得出, 再通過sRGB標準顏色空間將多光譜圖像CIE XYZ值轉換到RGB空間中顯示, 不同標準照明體下同一幅圖像的人眼感知的顏色如圖6所示。

圖6 書柜圖像不同照明體下顏色剮知

從圖6中可以看出, 同一幅多光譜圖像的顏色在不同標準照明體下人眼感知存在顯著差異, 在低色溫標準照明體下圖像整體趨于暖色調, 在高色溫標準照明體下圖像整體趨于冷色調。 相對于A和F2標準照明體, B、 C和D系列照明體下的人眼感知更符合正常光照下的人眼感知。 為了進一步選擇出最佳的標準照明體, 三個經典指標： CIEDE2000[15]、 峰值信噪比(PSNR)[16]和結構相似性指數測度(SSIM)[17]來評價不同照明體下圖像的客觀數值, 具體數據見表1。

表1 不同標準照明體下的CIEDE2000、 PSNR和SSIM

從表1中可以看出, 不同標準照明體下增強后圖像與參考圖像之間的CIEDE2000和PSNR存在差距, SSIM幾乎相同, 這說明不同照明體對增強后圖像顏色色相影響較大, 對增強后圖像顏色亮度影響較小。 CIEDE2000數值越小, 說明增強后圖像與參考圖像色差越小。 PSNR和SSIM越大, 說明增強后圖像越好。 D50標準照明體下增強后圖像與參考圖像的色差為9.36, 均小于其他標準照明體下的色差, PSNR為19.79均大于其他標準照明體下數值。 結合主觀視覺感知, D50標準照明體的光譜功率分布選擇為參考光源。

3.2 算法比較

本文算法與NPE[18]LIME、 RRM[19]、 KinD、 Self-supervised、 RetinexNet進行比較驗證對低照度圖像的增強效果。 所有方法都在同一個數據集上測試, 該數據集包括來自LOL數據集的15個圖像對, 不同方法的增強結果如圖7所示。

圖7 不同算法對測試圖像的增強結果

從圖7中可以看出, 不同算法都顯著提高了圖像的質量。 從主觀可以看出NPE算法盡管在圖像顏色和亮度恢復效果較好但噪聲嚴重, LIME算法對圖像的亮度過度增強, RRM算法增強后的圖像清晰度不夠, KinD網絡對圖像亮度和抑制噪聲表現好但在顏色恢復方面性能較差, Self-supervised網絡對顏色和亮度恢復效果好但是噪聲問題未很好的解決, RetinexNet網絡同樣存在噪聲問題, 本文所提出算法可以很好地考慮圖像的亮度和顏色。 客觀評價方法借助于一些數學模型反映了人眼的主觀感知。 為客觀地評估增強結果, 采用三個經典指標： CIEDE2000、 峰值信噪比(PSNR)和結構相似性指數測度(SSIM), 評價結果如表2所示。

表2 不同算法的客觀評價結果

從表2中可以看出, 低照度圖像采用不同方法增強后評價數值存在較大差距, 本文所提方法圖像的客觀評價優于比較算法的結果, 進一步證明所提方法的有效性。

4 結 論

旨在從光譜角度來提高低照度圖像的質量。 該方法的優越性主要使用了圖像顏色的光譜反射率, 與Retinex理論假設的圖像反射分量相比, 圖像顏色的反射率是顏色的物理屬性。 Residual U-Net可以很好地實現低照度RGB圖像到多光譜圖像的轉換。 實驗表明, 該方法比現有方法具有好的圖像質量, 可以為計算機視覺應用提供高質量的圖像。 本研究將光譜重建應用到圖像增強領域, 拓寬光譜重建的應用范圍。