基于同態濾波耦合的低照度圖像超分辨率重建算法

王叁軍

(廣州城建職業學院 繼續教育學院,廣東 廣州 510925)

從自然環境中獲取圖像,經常受到光照、氣候、地理等因素影響,同時圖像采集設備也會由于抖動、系統干擾等問題導致所獲取的圖像存在較為明顯的噪聲干擾,嚴重時會出現圖像對比度降低、顏色失真等質量問題[1]。如果圖像分辨率較低、質量較差,將會嚴重影響與該圖像相關的后續工作開展。例如電力系統巡檢工作需要利用無人機采集電力線路的圖像[2-3],通過分析無人機采集的圖像獲取電力系統的安全情況,這種從戶外采集的圖像,經常受到惡劣天氣的影響,導致圖像模糊不清,圖像中的內容會出現嚴重灰白色,發生顏色失真;還有應用于監控設備的圖像也會受到多種因素影響發生失真[4-6]。如果圖像采集設備在大風環境中會發生抖動,在夜間環境中清晰度會降低,如果受到濃霧天氣影響,將無法準確獲得需采集的內容[7]。由此可以看出,提升圖像質量、消除干擾信息、獲得高分辨率圖像,是目前有關行業重點需要研究的問題。

王通等[8]研究人員使用優化后的U-Net神經網絡的稀疏視角實現圖像質量提升,該算法能夠實現低質量圖像的重建,獲得效果更好的圖像結果,但是不能消除圖像上的噪聲干擾,所以圖像質量提升效果并不優異。陳瑞娟等[9]學者利用圖像融合算法提升圖像的質量,該算法先分割原始圖像,得到圖像結構信息,使用靈敏度矩陣算法重建圖像,最后使用小波融合算法獲得融合后的圖像,該種算法能夠凸顯出眾多細節信息,但是圖像的分辨率依舊不是很好。

同態濾波能夠解決圖像上細節模糊以及光暈干擾的問題,利用同態濾波處理原始圖形,消除圖像上的噪聲,提升圖像的對比度,提升圖像的質量,以便后續重建圖像工作的開展[10-11]。本文使用同態濾波耦合算法,結合灰度變換優化后的卷積神經網絡,輸出超分辨率重建的圖像。

1 低照度圖像超分辨率重建算法

1.1 基于同態濾波耦合的低照度圖像對比度增強

同態濾波耦合以光照反射模型為基礎,反射成分p(x,y)和照度成分q(x,y)相乘,獲得圖像f(x,y):

f(x,y)=q(x,y)×p(x,y)

(1)

其中,q(x,y)屬于緩慢變化,主要用于描述低照度圖像中的低頻成分,該成分能夠反映出圖像中的亮度特征;p(x,y)屬于劇烈變化,用于描述低照度圖像中的高頻成分,主要可以表征圖像內的邊緣細節特征與噪聲特征。

對數運算處理f(x,y),式(1)中q(x,y)與p(x,y)的關系為相乘,對數運算時,將該關系轉化為相加:

lnf(x,y)=lnq(x,y)+lnp(x,y)

(2)

使用傅里葉變換處理式(2):

F{lnf(x,y)}=F{lnq(x,y)}+F{lnp(x,y)}?F(u,v)=Q(u,v)+P(u,v)

(3)

其中,F{·}用于表示傅里葉變換,q(x,y)、p(x,y)與f(x,y)發生傅里葉變換后轉變為Q(u,v)、P(u,v)和F(u,v)。

H(u,v)為同態函數,濾波處理式(3)后獲得式(4):

H(u,v)F(u,v)=H(u,v)Q(u,v)+H(u,v)P(u,v)?HF(u,v)=HQ(u,v)+HP(u,v)

(4)

對式(4)開展傅里葉反變換,該變化需要使用F-1{·}完成處理,式(5)為傅里葉反變換:

F-1{HF(u,v)}=F-1{HQ(u,v)}+F-1{HP(u,v)}?hf(x,y)=hq(x,y)+hp(x,y)

(5)

指數變換式(5)的兩側,通過計算獲得對比度提升后的低照度圖像g(x,y):

g(x,y)=exp|hf(x,y)|=exp|hq(x,y)|×

exp|hp(x,y)|

(6)

提升低照度圖像對比度的關鍵步驟,就是將原始低照度圖像中的P(u,v)成分升高同時降低Q(u,v)成分,該過程中,可以將同態函數H(u,v)看成是一個高通濾波器。

雖然經過以上過程處理,能夠提升低照度圖像的對比度,但是并不能完全保留低照度圖像上的細節特征,所以進一步使用中心像素點(u0,v0)和頻域像素點(u,v)之間存在的距離D(u,v)建立指數型同態濾波函數:

H′(u,v)=(pH-pL)e[-D0/D(u,v)]2+pL

(7)

其中,D0用于描述截止頻率,pH是高頻增益,pL用于表示低頻增益。假設pH>1,且pL<1,使用H′(u,v)就能夠將照度成分降低,使得圖像中的反射成分得到提升,濾除圖像中的干擾信息,保證低照度圖像中的對比度得到提升。

1.2 基于自適應非線性拉伸的低照度圖像飽和度提升

盡管經過同態濾波耦合處理后,低照度圖像的對比度得以提升,但是這種低照度圖像受到圖像采集環境的影響,飽和度較低,喪失原本的圖像色彩,導致清晰度較差,不利于低照度圖像的超分辨率重建,因此本文使用自適應非線性拉伸算法提升對比度增強后低照度圖像的飽和度。由于原始圖像存在差異,所需拉伸的圖像飽和度大小也各不相同,所以選取自使用非線性拉伸算法[12-13],將對比度提升后的低照度圖像飽和度提升,計算式見式(8):

Rout={1+mean(R,G,B)/[max(R,G,B)+

min(R,G,B)+1]}Rin

(8)

其中,與同態濾波耦合處理后低照度圖像像素點RGB顏色分量相對應的最大值為max(R,G,B);Rout用于代表對比度增強后低照度圖像經過飽和度提升之后的結果;mean(R,G,B)是對應同態濾波耦合處理后低照度圖像像素點RGB顏色分量的均值;Rin用于表示初始飽和度;min(R,G,B)用于描述圖像上像素點顏色分量的最小值。通過該處理,進一步提升低照度圖像的飽和度,使得圖像的色彩更加鮮明。

1.3 基于改進卷積神經網絡的低照度圖像超分辨率重建

1.3.1 卷積神經網絡網絡結構構建

為實現圖像超分辨率重建,需要使用卷積神經網絡,該網絡主要包括三個關鍵部分,詳細結構與作用如下:

1)提取低照度圖像特征

對提升對比度與飽和度的低照度圖像特征提取時,需要利用卷積神經網絡中的卷積核,本文分別選擇兩種卷積核,一種包含28個卷積核,大小為3×3;另一種也是28個卷積核,大小仍然為3×3,但該卷積核包含兩層[14]。這些卷積核與contact共同完成特征提取工作,根據卷積核數量,一共可以獲得56個特征圖。

2)低照度圖像特征映射

經過上文同態濾波耦合處理和自適應非線性拉伸后,低照度圖像的對比度與飽和度都得到改善,但是經過處理后,該圖像中還是存在部分低分辨率特征情況,對于這部分特征,使用卷積層中的卷積核進行處理,向高分辨率特征映射。該映射過程中,利用兩層深度可分離卷積處理數個特征圖,卷積核的數量為n個,卷積核的大小按照研究經驗初步確定為3×3[15]。

3)分辨率重建

經過以上處理,對比度與飽和度提升后的低照度圖像中的高分辨率特征被拓展,這些特征都被放大和重建。選取卷積核大小為9×9,子像素卷積操作這些卷積核與56個特征圖,實現對比度與飽和度提升后的低照度圖像的超分辨率重建。卷積操作使用的卷積函數如式(9)所示:

Fn(Y)=max{σ×[wn*Fn-1(Y)+Bn],

wn*Fn-1(Y)+Bn}

(9)

通過式(10)實現子像素的卷積操作:

Fn(Y)=U[wn*Fn-1(Y)+Bn]

(10)

其中,Fn(Y)代表卷積層輸出的結果;*用于描述卷積操作;wn代表卷積計算中的偏置;Fn-1(Y)用于表述輸入到卷積層的特征圖;U代表子像素卷積操作;Bn表示卷積核的大小;σ用于代表激活函數ReLU的激活參數。

1.3.2 改進卷積神經網絡超分辨率重建

本文研究過程中利用同態濾波耦合與自適應非線性拉伸提升低照度圖像的對比度與飽和度,使用灰度變換優化卷積神經網絡,將質量較差、分辨率較低的低照度圖像通過重建分辨率,提升圖像的質量。

該算法過程中對比度與飽和度提升后的低照度圖像為輸入,使用灰度變換處理這部分輸入圖像,同時確保利用卷積神經網絡訓練這部分經過灰度變換之后的圖像,經過灰度變換以及訓練之后,更利于獲得這些圖像中的特征?；叶茸兓瘯r,對于特征進行選擇性變化,避免錯誤提升圖像中的無效特征,只針對其中有效的部分特征實現灰度變換,算法的詳細過程如下:

Step 1:將對比度與飽和度提升后的低照度圖像作為輸入,并差異化放大該圖像,將該輸入標記為x。

Step 2:為提升對比度與飽和度增強后的低照度圖像x的特征顯示能力,先使用灰度變換方式處理x,再引導x向第一個卷積層前進,x0表示灰度拉伸之后的低照度圖像。

(11)

Step 3:首次卷積運算x0,獲得首個卷積層的輸出y0:

y0=w1*x0+B1

(12)

其式中,w1表示卷積模板;B1代表偏置。

Step 4:針對特征圖y0的每一個通道需要開展灰度變換操作,灰度變化后的特征y0變為y1:

(13)

Step 5:二次卷積計算y1,獲取第二個卷積層輸出y2:

y2=w2*y1+B2

(14)

其中,w2代表二次卷積計算的卷積模板;B2則是二次卷積計算的偏置。

Step 6:繼續灰度變換y2內各通道,y2增強后轉換為y3:

(15)

Step 7:第三次卷積運算y3,最終輸出超分辨率重建后的圖像結果y:

y=w3*y3+B3

(16)

其中,w3表示第三次卷積運算的模板;B3表示第三次卷積運算的偏置。

Step 8:確定如下關系:

(17)

使用式(18)描述等待優化的損失函數Loss(θ):

(18)

Step 9:循環迭代之前,先對卷積神經網絡中存在的參數進行全新變換,獲得新的參數,直到停止迭代,或者損失函數符合既定閾值條件就可以停止參數更新。

Step 10:輸出低照度圖像超分辨率重建結果。

2 重建結果分析

2.1 數據集

為驗證本文所研究的超分辨率重建算法的性能,使用較為常見的CIFAR-10/100數據集,該數據集包含電力巡檢、交通監控等10個類別,圖像的像素均為32×32,屬于低分辨率圖像,圖像數量共525 480幅,其中測試集為112 357幅,訓練集為413 123幅。從該數據集中分別選取一幅電力巡檢低照度圖像和一幅交通監控低照度圖像,開展試驗分析,二幅圖像的原始情況如圖1所示。

圖1 原始低照度圖像

從圖1中能夠看出,原始圖像的照度均較低,對比度和飽和度均較低,圖像的清晰度較差,色差較大,需要使用本文方法實現各個低照度圖像的超分辨率重建。

2.2 同態濾波耦合處理效果試驗

在對低照度超分辨重建之前,本文算法先使用同態濾波耦合處理低照度圖像,提升該圖像的對比度,處理結果如圖2所示。

圖2 同態濾波耦合處理效果

由圖2可知,使用同態濾波耦合處理各個低照度圖像之后,能夠提升圖像的對比度,消除原始圖像的大量噪聲信息,凸顯出圖像上的細節信息,為后續圖像超分辨率重建提供便利條件。

2.3 自適應非線性拉伸處理效果試驗

原始低照度圖像經過同態濾波耦合處理后,低照度圖像上的噪聲得到消除,對比度發生改善,但是低照度圖像上存在的色差問題仍舊較為嚴重,因此使用本文算法中的自適應非線性拉伸部分,處理同態濾波耦合后的低照度圖像,處理結果見圖3。

圖3 自適應非線性拉伸處理效果

由圖3可知,經過自適應非線性拉伸算法處理后各個低照度圖像的顯色信息得到提升,原始圖像缺失的顏色信息得到彌補,使得低照度圖像的視覺效果更好。

2.4 超分辨率重建效果試驗

低照度圖像經過同態濾波耦合處理和自適應非線性拉伸算法處理以后,圖像的質量一定程度上得到提升,但是仍然不能滿足使用需求,使用本文算法處理各個圖像后,實現低照度圖像的超分辨率重建,重建結果如圖4所示。

圖4 超分辨率重建結果

通過圖4能夠看出,使用本文算法處理后的低照度圖像,亮度、銳度等圖像特征均得到提升,超分辨率重建的圖像,更加清晰,沒有再出現明顯干擾信息,適合后續工作開展。

2.5 超分辨率重建效果評價

使用峰值信噪比評價超分辨率重建后的低照度圖像的質量情況。通常情況下峰值信噪比高,則超分辨率重建后的圖像更逼真。峰值信噪比通過式(19)計算獲得峰值信噪P:

P=10×lg[(2n-1)2/MSE]

(19)

其中,MSE代表均方誤差,n為常數。

為使試驗結果更加具有對比性,使用改進的U-Net神經網絡算法(文獻[8]算法)和圖像融合算法(文獻[9]算法)同時處理本文所使用的2幅低照度圖像,各個算法的重建效果評價結果如表1所示。

表1 峰值信噪比評價結果

由表1可知,使用本文算法處理后的低照度圖像,具有更大的P值,說明使用本文算法后,低照度圖像更加逼真。與本文算法相比,兩種對比算法的峰值信噪比略低,說明在同類算法中,本文算法更加具有優勢。

結構相似性也是評價圖像質量的一個指標,圖像的結構相似度和圖像質量之間存在正比例關系。添加噪聲干擾,通過試驗分析,確定各個算法處理兩種低照度圖像后,該圖像的結構相似性變化情況,結果見圖5。

圖5 結構相似性對比結果

通過圖5可知,受到不同噪聲水平干擾,各個算法處理后圖像超分辨率重建結果均出現結構相似性降低的變化趨勢,由于本文算法使用同態濾波耦合,一定程度降低低照度圖像的噪聲干擾,所以本文算法重建后的圖像始終保持較高水平,沒有出現明顯畸變。由于低照度圖像1上的背景干擾信息較少,因此圖5(a)中本文算法處理后的超分辨率圖像結構相似性更平穩,結構相似性變化更小。

3 結論

受到多種外部因素的影響,圖像采集后照度較低,同時存在對比度、飽和度較低的情況,因此使用基于同態濾波耦合的低照度圖像超分辨率重建算法提升圖像質量。本文將同態濾波耦合和自適應非線性拉伸算法處理后的低照度圖像作為卷積神經網絡的輸入,結合灰度變換,實現低照度圖像的超分辨率重建。實驗結果表明:該方法能夠消除原始圖像上的噪聲,保留圖像的細節信息,優化圖像的質量,結合自適應非線性拉伸算法提升低照度圖像的飽和度,使得低照度圖像更真實、清晰。