基于圖像融合的低光照水下圖像增強

張微微,祝開艷

(大連海洋大學 信息工程學院, 遼寧 大連 116023)

海洋在給我們帶來大自然饋贈的同時,也給身處信息時代的我們帶來了無限挑戰,由于水下環境中存在的物理特性,水下機器人進行目標識別和檢測充滿了挑戰性。與陸地圖像不同,水下圖像成像不僅受到水下環境的影響,而且還因為自然光的衰減,人眼無法清晰觀察水下圖像。另外,水體對自然光具有吸收和散射作用,光線隨距離和深度呈指數衰減,所以水下圖像呈現霧狀。而水下環境中存在各種介質,導致光線沿人眼的視線從水下散射回來的部分會顯著降低場景對比度,因為水下介質的這些特性,水下圖像會存在對比度差的特點。在普通海水中,距離超過10 m的物體幾乎無法區分,而顏色則會產生色偏,因為水下圖像的色彩通道特征波長會根據水深進行切割,所以水下拍攝的圖像會呈現出藍綠色。為了能夠更精確地識別攝像機拍攝的海洋生物,拍取到的水下圖像都要經過一系列的處理,比如進行圖像增強或圖像復原操作,以增強圖片的對比度、亮度、細節等。圖像增強算法根據是否基于圖像成像模型,主要分為兩大類,一類是圖像增強,一類是圖像復原,這兩類方法的共同目的都是為了突出圖像中感興趣的部分,改善圖像總體質量,提高圖像的可視效果。海洋的特性給水下圖像增強研究帶來了無限挑戰,也帶來了無限可能。

低照度圖像增強,是目前圖像處理領域中熱門研究方向之一,低照度圖像增強的應用場景包括海洋、道路交通、監控視頻等計算機視覺相關領域。低照度圖像增強屬于特殊環境下的圖像增強,低照度環境包括自然光不足、室內光線不足,兩種情況下拍攝出的圖像亮度都比較低,整體亮度低影響了人眼的視覺感知。低光照圖像亮度低和細節模糊,不僅嚴重影響人眼的識別能力,而且降低了計算機系統對其的后期處理性能。光線不足情況下抓拍的水下圖像被稱為低照度水下圖像,因為海水和光照的原因,導致顏色失真,更加難以識別,對低照度水下圖像進行增強有著重要的科學研究意義和實用價值。傳統的水下圖像增強算法在處理一些極限環境下的水下圖像時存在局限性。

本文介紹了一種新的方法,在傳統的水下圖像增強算法的基礎上,添加低光照圖像增強算法,最終實現低照度水下圖像增強。主要貢獻如下:

(1)本文算法建立在融合原理的基礎上,提出了白平衡算法融合Retinex理論的低照度水下圖像增強方法。

(2)使用灰度世界對水下圖像進行增強,消除了水下圖像的藍綠色調,在白平衡處理的基礎上,對圖像進行銳化處理,增強圖像的細節。

(3)設計了一個亮度增強模塊,該模塊將經過白平衡處理的圖像進行Gamma校正,對圖像的亮度進行初步處理,再基于Retinex理論對圖像進行分解,基于HSV顏色空間下對照度分量V進行增強,有效增強圖像的亮度。

(4)設計了一個融合模塊,提出基于拉普拉斯金字塔的多尺度融合策略進行融合增強,改善了圖像顏色,提高了圖像的亮度,更大化地保留了圖像的細節信息。

(5)采用圖像質量評價指標對實驗結果進行評價,結合主觀評價,證明了本文算法在低照度環境下對水下圖像增強的優越性。

1 相關工作

低照度圖像增強比較具有代表性的算法有:傳統算法、基于深度學習的算法、基于圖像融合的算法。

1.1 傳統算法

用于圖像增強的傳統算法包括:直方圖均衡化[1](Histogram Equalization,HE)、白平衡[2]、灰度邊緣假設[3]、基于Retinex理論[4]的算法等。圖像增強研究早期階段,應用最多的是直方圖均衡化,但是經過HE增強后的圖像會出現過度增強、細節丟失、顏色失真等問題。為了解決這些問題, Banik等人[5]采用光照調整結合直方圖均衡來增強不同類型的低照度圖像,經顏色空間轉換,即在HSV顏色空間下進行低照度圖像增強。為了緩解對比度過度增強的現象,Reza等人[6-7]提出了限制對比度自適應直方圖均衡化算法(Contrast Limited Adaptive Histogram Equalization,CLAHE),該算法的原理是裁剪直方圖時添加了閾值,通過閾值限制裁剪。隨后Chang等人[8]提出了自動對比度限制自適應直方圖均衡算法,提升了對比度增強的效果,但該算法在處理低照度圖像時,難以兼顧色彩和對比度,會導致顏色失真。綜上,直方圖均衡化算法可以對水下圖像和低照度圖像有效增強,但是處理結果在細節和顏色上還存在問題。

Retinex算法最先在1963年的時候被Edwin.H.Land提出,基于Retinex理論的增強方法包括單尺度Retinex理論(Single-Scale Retinx,SSR)[9]、多尺度Retinex理論(Multi-Scale Retinex,MSR)[10]、帶有色彩恢復因子的多尺度Retinex理論(Multi-Scale Retinex with Color Restoration,MSRCR)[11]。Retinex是基于人類視覺系統的算法,它不僅可以調整圖像的動態灰度范圍,而且在細節上處理較好?；赗etinex理論的方法在水下圖像和低照度圖像增強方面效果有明顯提升,但是這類算法容易產生光暈效應。

1.2 基于深度學習的算法

用于水下圖像增強的神經網絡主要為卷積神經網絡和生成式對抗網絡,常見的網絡模型有:U-NET[12]、DehazeNet[13]、DenseNet[14]、RetinexNet[15]、Grid Network[16]、DCNN[17]、殘差網絡[18]等?；趥鹘y算法的圖像增強存在局限性,于是很多研究者開始使用卷積神經網絡對低照度圖像進行增強,提出了各種網絡結構。由于基于Retinex的理論比較實用,一些網絡結構融合了Retinex理論,這類算法的思路是通過訓練好的網絡模型提取出入射光,然后對其進行調整,接著根據Retinex模型計算出反射率,最后得到增強圖像。Li C等人[24]提出了LNET算法,該算法就是結合Retinex理論對圖像進行增強的。首先使用卷積神經網絡估計光照圖像,然后使用引導濾波優化光照圖像,最后根據Retinex模型進行融合得到增強圖像。隨后Wang提出了一種端到端的可訓練神經網絡GLADNet[25]。該網絡以低光照圖像作為網絡的輸入,直接端到端地輸出正常光照圖?，F有的基于卷積神經網絡的低照度圖像增強算法還有很多局限性,會導致增強后的圖像不符合人眼視覺特性,缺乏魯棒性。由于水下環境比較特殊,可用于研究的真實水下數據集較少,Li等人[27]建立了水下圖像增強測試集(UIEB),基于此還提出了新的網絡模型Water-Net,此網絡采用UIEB數據集進行網絡模型訓練,該模型的水下圖像增強性能優于大部分現有水下圖像處理方法,但是對于一些特殊環境下的水下圖像處理不是很好。

1.3 基于圖像融合的算法

圖像融合包括決策級融合、特征級融合、數據級融合(又叫像素級融合)。由于單一的傳統算法處理效果不佳,Ancuti等人[19]第一次提出了一種基于融合的方法。該算法的思路是:首先,從輸入圖像中生成兩幅用于融合的圖像;然后,根據兩幅待融合圖像的對比度、顯著特征和曝光量確定四個融合權重;最后,采用多尺度融合策略,將兩幅圖像和確定的權重進行融合,得到對比度增強和細節突出的增強圖像。隨后,Ancuti等人[20]在原有的實驗步驟上進行了改進,提出了一種用于水下圖像增強的顏色平衡與融合新方法。融合的思想隨之深化,Dong等人[21]于2020年在U-Net架構上提出基于密集特征融合的多尺度增強去霧網絡,提出的密集特征融合模塊可以同時彌補高分辨率特征缺失的空間信息,從而達到圖像去霧效果。以上基于融合的方法在低照度圖像中得到很好的對比度增強效果,但是還是會出現細節丟失的問題。

本文在Ancuti提出的圖像融合基礎上,對現有的水下圖像增強算法進行改進,提出一種新的可用于低光照環境下的水下圖像增強算法。該算法主要包含顏色恢復、細節增強模塊和亮度增強模塊,將后面兩個模塊得到的圖像作為融合模塊的輸入圖像,以得到增強后的低照度水下圖像。本文選取了UIEB數據集結合U45數據集作為實驗數據,以驗證本文算法的有效性。

1.4 水下圖像成像理論

水下圖像成像的環境主要是海洋,海水的成分比較復雜,除了液態水外,還有很多雜質,包含多種懸浮粒子、細菌、浮游生物等。自然光源在照射海水時,因為水中懸浮粒子的存在,光線受懸浮粒子的影響在水下很容易發生散射,同時水體本身對光線具有一定的衰減特性,導致水下機器人采集到的水下圖像對比度不佳。一些研究表明,水的衰減是光波長的復函數,因為水體對光具有散射和吸收作用,所以光線在海水中傳輸時的能量按指數規律迅速地衰減。影響海水衰減的比例顯示,散射作用和吸收作用的比例是6∶4。

水下圖像質量不佳表現為顏色失真、對比度低、細節模糊。水下圖像呈現藍綠色是因為光線的吸收和衰減作用,水下圖像對比度低是因為光線后向散射作用,水下圖像細節模糊是因為光線前向散射作用。水體對光的散射作用是水下圖像質量不佳的主因子。另外,水體對自然光的散射作用主要是因為受到水體中懸浮粒子的影響。水下圖像成像過程可參見Jaffe-McGlamery水下成像模型。

圖1 Jaffe-McGlamery水下成像模型

圖1反映了水下環境中光源、相機和物體之間的直接關系,水下圖像總照度=直接衰減分量+前向散射分量+后向散射分量。直接衰減分量是指海水經過物體本身反射而未發生散射的光照;前向散射分量是指物體反射光到達相機的過程中射入懸浮粒子而發生小角度散射的光照;后向散射分量是指海洋環境的反射光經懸浮粒子散射后進入相機的光照。Jaffe-McGlamery水下圖像成像模型可以用如下表達式表示:

I(x)=D(x)t(x)+B(1-t(x))

(1)

表達式中,I(x)表示相機拍攝的物體圖像,D(x)表示物體自身光源,t(x)表示直接傳輸映射,B表示環境光,D(x)t(x)表示直接傳輸光,B(1-t(x))表示背景散射光。其中t(x)會受衰減效應的影響,公式如式(2)所示:

t(x)=e-βd

(2)

表達式(2)中,β表示衰減系數,d表示傳輸距離,可以看出直接傳輸映射與傳輸距離密切相關。光線的衰減在空氣中和水下是不同的,在海洋環境下,光線是呈指數衰減的,相機距離物體的距離也得到了限制,所以圖像成像的性能在水下環境是非常低的。

2 低照度水下圖像增強算法

2.1 算法設計思路

本文提出的算法主要包含了四個部分,分別是顏色恢復模塊、細節增強模塊、亮度增強模塊、融合模塊。算法設計如圖2所示。

圖2 本文算法框架

2.2 顏色恢復模塊

針對水下圖像呈現藍綠色調的特點,自適應地進行顏色補償和顏色校正,這里選取了傳統算法中的白平衡算法,考慮了大量現有的白平衡方法,并確定了有效又適合現存問題的解決方案,本文選取的是灰度世界算法。

2.3 細節增強模塊

水下圖像經過顏色恢復模塊,已經改善了整體顏色,為了保留圖像的細節信息,在顏色恢復的圖像基礎上進行銳化處理,讓圖像細節更加突出。

2.4 亮度增強模塊

在顏色恢復模塊經過白平衡處理過的低照度水下圖像會呈現亮度比較高的現象,需要對全局對比度進行調整,使用伽馬校正對圖像進行初步調整。接著基于Retinex理論對圖像進行分解,分為照度分量和反射分量,本文重點對照度分量進行增強,將RGB顏色空間轉變為HSV顏色空間,在HSV顏色空間下,對亮度通道V進行增強,對通道H和S進行歸一化,通過此步驟得到亮度增強圖像。

2.5 融合模塊

首先,從輸入圖像中生成兩幅融合圖像:input 1是原圖經過白平衡和銳化處理得到的增強圖像,input 2是原圖經過亮度增強后的圖像。然后,根據多尺度融合策略,定義圖像的融合權重,這里主要包括拉普拉斯對比度權重(Laplacian contrast weight,Wl)、顯著權重(Saliency weight,Ws)和飽和權重(Saturation weight,Wsat)。最后,根據多尺度融合策略,將兩種圖像和確定的權重進行融合,得到全局對比度和細節信息更好的增強圖像。

為了描述圖像在卷積和下采樣操作中丟失的高頻細節信息,人們定義了拉普拉斯金字塔。本文多尺度融合基于拉普拉斯金字塔,金字塔表示將圖像分解為帶通圖像之和。實際中,金字塔每一層都對圖像用參數為2的低通高斯濾波核進行濾波,從輸入中減去一個高采樣版本的低通圖像,并用低通圖像作為后續輸入。然后,它從輸入中減去低通圖像的上采樣版本,從而近似拉普拉斯(倒數),并使用抽取的低通圖像作為金字塔后續級別的輸入。形式上,使用G1表示一系列低通濾波和抽取,然后進行后續采樣操作,我們將金字塔的級別定義如下:

I(x)=I(x)-G1{I(x)}+

G1{I(x)}?L1{I(x)}+G1{I(x)}=

L1{I(x)}+G1{I(x)}-G2{I(x)}+

G2{I(x)}=L1{I(x)}+L2{I(x)}+

(3)

式(3)中L1和G1分別表示拉普拉斯金字塔和高斯金字塔的第一層,融合過程如圖3所示。

圖3 融合模塊

3 實驗與分析

本文使用公開的數據集進行實驗,并選擇在相同條件下與其他傳統算法進行對比實驗。我們對實驗結果進行主觀評價以及客觀評價,另外還引入了視覺感知任務進行對比實驗,根據觀察和分析,實驗效果比較好。

3.1 數據集

我們選取的是Li等人提出的UIEB[27]數據集,數據集中包括890張raw圖像、890張reference圖像和60張challenging圖像,在測試時也選取了U45水下圖像數據集中的相關圖片。

3.2 圖像評價指標

為了證明水下圖像處理方法的有效性和速度,通常需要借助水下質量評價指標來進行。圖像質量評價的方式包括主觀評價和客觀評價。主觀評價建立在個體參與圖像質量評價的基礎上,根據人眼觀察來進行評價;而客觀評價建立在選定的指標上。水下數據集可以分為兩類,為參考圖像數據集和無參考圖像數據集,根據有無參考圖像,客觀評價又可以分為全參考評價和無參考評價。

全參考評價包括峰值信噪比(PSNR)、均方誤差(MSE)、結構相似性(SSIM)[28]等。無參考評價包括基于人類視覺系統的水下圖像質量評價度量(UIQM)[29]、水下彩色圖像質量評價度量(UCIQE)[30]等。由于水下圖像很難獲取對應的參考圖像,所以一般情況下都是采取無參考評價。表1根據測量分量和方式將UIQM和UCIQE算法進行對比。

表1 圖像質量評價指標對比

3.3 視覺效果分析與主觀評價

在進行視覺效果分析時,本文所提出的算法與基于對比度約束的自適應直方圖均衡(CLAHE)、帶顏色恢復的Retinex(MSRCP)、自動白平衡(AWB)進行比較。圖4中的圖片來自UIEB數據集,第一列為輸入水下原始圖像,后四列分別為不同算法增強結果。通過人眼觀察圖4可以看到,本文算法不僅還原了水下圖像的顏色,而且提高了圖像的整體亮度,水下圖像細節更加明顯。圖5是在圖4基礎上進行了細節放大處理,根據魚的眼睛和巖石可以看出本文算法在細節上處理效果最佳。

圖4 UIEB圖像不同算法效果圖對比

圖6中的圖片來自U45數據集,第一列為原圖,圖像中主要包含了水下海膽和扇貝。和傳統的水下增強算法對比,本文算法有效去除了水體綠色。圖7是放大細節圖,通過觀察扇貝和水下人像衣服,可以明顯看到圖像細節。

3.4 客觀評價

將本文所提算法和其他算法使用不同指標進行比較。我們使用水下圖像質量測量指標(Underwater Image Quality Measure, UIQM)和水下彩色圖像質量評價指標(Undewater Color Image Quality Evaluation,UCIQE)對各個算法的測試結果進行了定量比較。UIQM代表水下圖像質量指標,它只需要一張圖像,是一個非參考評價指標,更適合用于開放的水下任務。UIQM 的評價分為三部分,即圖像顏色指標(UICM)、清晰度指標(UISM) 和對比度指標(UIConM),ULQM的值為三部分指標線性之和,其值越大,表示圖像的顏色平衡、清晰度、對比度越佳。UCIQE是利用色度、飽和度和對比度的線性組合進行定量評估,分別量化不均勻的偏色、模糊和低對比度,其值也為三部分指標之和。

圖5 UIEB圖像不同算法細節圖對比

圖6 U45圖像不同算法效果圖對比

圖7 U45圖像不同算法細節圖對比

表2為各種算法在測試集上的比較結果,我們選取了基于對比度限制的直方圖均衡化算法(CLAHE)、帶色彩恢復的多尺度視網膜增強算法(MSRCP)、自動白平衡算法(AWB)和水下參考圖像與本文算法進行比較,從以下兩個評價指標進行圖像質量的評價。從表2中可以看到:本文算法在UIQM和UCIQE評價指標上均優于其他對比算法,這說明本文算法能有效增強圖像,和主觀評價結果相一致。

表2 不同水下圖像增強算法在測試集上的定量比較

3.5 視覺感知任務

將水下圖像進行增強是為了使水下機器人進行目標檢測作業時更加容易,增強圖像的對比度和亮度有利于提高水下機器人的視覺感知能力,本文利用圖像特征點匹配來證明算法的效果。

這里選取的圖像為U45水下數據集中編號為5和6的圖像,圖像中包含了海膽和扇貝等信息。采用不同的算法進行圖像特征點匹配,圖8是算法對比效果,圖8(e)中海膽和扇貝的匹配線段最多,可以看出本文算法處理效果比較好。

可以看到圖8(c)和力學8(e)中的特征點匹配數都較多,表3將幾組圖像特征點匹配對數進行展示,從而通過主觀觀察結合客觀指標反映了本文算法的優勢。

(c)MSRCP增強圖像

(d)AWB增強圖像

(e) 本文算法增強圖像

表3 圖像特征點匹配對數對比

4 結 論

本文算法不僅很好地解決了水下圖像呈現藍綠色的問題,而且增強了圖像的整體亮度,大量實驗結果表明,該算法可以獲得高質量的水下圖像,在視覺感知任務中表現良好。根據圖像質量評價指標顯示,本文算法在UIQM指標達到了1.1304,UCIQE指標達到了0.4295,都優于傳統算法。未來,我們將考慮融合Retinex理論與深度學習方法對低照度水下圖像進行增強。