深度學習下模糊高光譜圖像復原數學模型仿真

蘇樂輝

(泉州信息工程學院,福建 泉州 362000)

1 引言

在高光譜圖像拍攝過程中,由于拍攝設備運動,導致載荷平臺的振動,從而采集到的高光譜圖像較為模糊。圖像的空間、光譜的分辨率決定圖像質量?？臻g分辨率能夠展現出圖像空間數據的詳細程度;光譜分辨率則表現出其對光譜細節的區分能力,提升圖像分辨率是解決模糊圖像最有效的方法,但在提升圖像空間、光譜的分辨率卻是當前面臨最大難題[1-2]?，F階段,提升光譜分辨率只能通過降低空間分辨率方式,解決此問題,需要革新成像設備,周期長,且成本昂貴。因此,可通過圖像復原技術,借助信號預處理方式提升高光譜圖像的空間、光譜的分辨率,成為解決此問題的唯一有效方法[3]。

諸多學者對模糊高光譜圖像復原算法進行深入研究。張華衛等人[4]通過Canny算子提取模糊高光譜圖像的紋理特征,采用二次約束模型建立圖像復原數學模型,進而將模糊圖像復原;譚晏松等人[5]首先調整模糊圖像飽和度,利用粒子群優化方法平衡圖像色彩,完成模糊高光譜圖像的復原;趙晉陵等人[6]采用主成分分析算法將高光譜數據降維處理,通過聯合局部二值模式提取圖像特征,利用最近鄰分類器識別出圖像上噪聲并過濾掉,從而清晰的高光譜圖像。二次約束、PSO復原方法能夠有效保證復原圖像質量,但復原運算較為復雜,用時較長;K-最近鄰算法圖像復原速度較快,但復原結果不理想。

為解決上述方法存在的問題,研究一種基于深度學習的模糊高光譜圖像復原數學模型方法。深度學習能夠利用卷積神經網絡的逐級卷積操作方式,提取出高光譜圖像的空間維特征、光譜維特征,有效保證復原圖像質量。實驗結果表明,所提方法能夠實現對模糊圖像的復原,且圖像復原時間短。

2 模糊高光譜圖像復原數學模型構建

2.1 高光譜成像過程分析

高光譜成像起點即為遙感數據源,其能量主要來源于太陽,太陽放出的電磁波在真空介質下,傳播到地球表面的大氣層附近,一部分電磁波被大氣層表面反射到太空,剩余部分入射至大氣層中,通過其內部氣體的相互作用,傳播到地物表面[7-8]。目標物體接收到的能量在反射作用下,物體攜帶光譜信息,由信號接收裝置接收,經過處理后得到高光譜圖像,詳細過程如圖1(a)所示。

圖1 高光譜成像與鏈路模型

根據高光譜成像原理可知,其能量相互作用過程可看成1個系統,也就是成像鏈路,如圖1(b)所示。此鏈路主要由信息源、大氣、目標物體及其傳感裝置的模型組成[9],采用式(1)表述高光譜成像c,即:

c=?l(x,y,λ)τ(x,y,λ)r(x,y,λ)b(x,y,λ)dxdydλ

(1)

式中,λ描述光譜維度;x與y即為空間維、光譜維的變量;l(x,y,λ)描述信息源模型;τ(x,y,λ)描述大氣模型;r(x,y,λ)與b(x,y,λ)分別描述目標物體模型及其傳感裝置的模型。

2.2 圖像退化模型

高光譜成像過程中,由于高光譜拍攝平臺以振動方式進行姿態運動,這會使圖像質量退化,從而采集到高光譜圖像較為模糊[10]。針對此問題,通過分析拍攝平臺每一個姿態的偏移與振動導致圖像模糊成因,即像元運動偏移量,結合高光譜成像原理,分析出物體光譜與拍攝姿態二者間的聯系及其退化數學模型。

高光譜圖像數據可看成1個三維立方體,各波段都有各自的空間圖像。假設用e(x,y,λ)描述振動后的光譜數據,即模糊圖像的光譜數據,其表達式為。

e(x,y,λ)=f(x,y,λ)h(x,y,λ)c+s(x,y,λ)

(2)

式中,f(x,y,λ)代表實際高光譜圖像信息;h(x,y,λ)描述圖像點擴散函數;s(x,y,λ)代表高光譜圖像噪聲。

在理想狀態下(無噪聲),f(x,y,λ)通過一個平面運動,x1(t)描述x方向上移動量,y1(t)描述y方向上移動量,t描述運動所用時間,則模糊后的數據求解過程為:

(3)

根據式(3)可知,模糊高光譜信息立方體的λ是固定不變的,也就是h(x,y,λ)與λ無關,將式(3)中λ根據光譜分辨率Δλ離散處理,得出:

(4)

式中,n描述的波段數量;fi(x,y)描述第i個波段的空間圖像。

假設Fi(u,v)、E(u,v,ω)為fi(x,y)、e(x,y,λ)的傅里葉變換結果,則

(5)

式中,ω描述姿態角度;u、v即為x方向和y方向頻域變化量。將式(5)整理,可得:

(6)

式中,H(u,v)即h(x,y)的傅里葉變換的結果,則有:

(7)

通過式(2)-式(7)分析出模糊高光譜圖像的退化原理,進而找到模糊圖像與實際圖像之間關系,為后面模糊圖像復原數學模型提供理論基礎。

2.3 模糊圖像復原數學模型

2.3.1 基于3D卷積網絡的高光譜圖像復原技術

模糊高光譜圖像復原通常利用深度學習下卷積神經網絡完成模糊圖像復原,其將圖像中各幀都看成一個單獨且靜止的二維圖像處理,通過卷積神經網絡檢測每一幀目標的動作。但此方法忽略連續幀之間的目標運動信息,影響模糊圖像復原效果。由此,采用3D卷積方法完成模糊圖像復原,該方法能夠將圖像之間的運動信息融合到圖像分析中,并通過相鄰幀之間產生的許多信息通信,在各通道進行卷積與下采樣,進而得到沿圖像空間維與光譜維的特征,再將所有特征重組,最終得到現實的高光譜圖像,完成模糊圖像復原,詳細過程如圖圖2(a)所示[11]。

圖2 深度學習下模糊高光譜圖像復原

從圖2(a)可知,3D卷積網絡主要由1層3D淺層特征提取層、2層3D卷積層與2層激活函數、1層三維反卷積層、3D重建層構成。其中,3D淺層特征提取層負責采集高光譜圖像的淺層特征;3D卷積層由2個三維數據立體組成,任意卷積層都需要借助激活函數得到特征增加非線性因子;3D反卷積層負責將LR空間變換至HR空間,得到HR空間的特征圖譜,從而實現高光譜圖像采樣;3D圖像重建層即輸出層,用于重組特征圖譜,生成HR圖像,進而得到清晰的高光譜圖像[12]。

2.3.2 復原實現

在二維卷積中,卷積核的深度和輸入圖像的通道數量相等,進行卷積操作過程中,卷積核只能沿兩個方法進行滑動,即圖像高、寬方向,滑動遍歷結束后獲得通道數是1的二維圖像。而在三維卷積中,卷積核深度始終小于輸入圖像通道數量[13],如圖2(b)所示。

從圖2(b)看出,3D卷積核以三維立方體方式展現出來,進行卷積操作時,不僅能從圖像寬、高滑動遍歷,還可以從光譜維上滑動遍歷,遍歷到位置經過卷積運算可得到特定值[14]。由于3D卷積核在三維空間內滑動,獲得的結果依舊是三維圖像。

卷積詳細過程為:選取大小為2×2×2的卷積核,在模糊高光譜圖像像元矩陣上按照設定的步長滑動,將感受野范圍內采用加權求解與卷積計算,借助非線性因子得到輸出的特征映射[15]。

在深度學習下,設定3D卷積層共k層,任意一層都會產生k1個特征圖,則卷積模糊高光譜圖像復原數學模型為:

(8)

通過式(8)提取出高光譜空間維與光譜維特征,然后將其輸入三維反卷積層放大處理,最后經3D重建層重建,得到清晰高光譜圖像,進而實現了模糊高光譜圖像復原。

3 仿真過程與結果分析

3.1 可視化效果分析

實驗隨機選取1張模糊高光譜圖像,其空間尺寸為590×350,波段數量為240個,波長范圍410nm-1200nm,采用二次約束、K-最近鄰與PSO方法與所提方法復原處理,不同方法的圖像復原效果分析如圖3所示。

圖3 不同方法的圖像復原效果分析

從圖3能夠明顯看出,所提方法模糊高光譜圖像復原效果最佳,而二次約束、K-最近鄰與PSO方法的模糊高光譜圖像復原效果較差,存在不同程度的細節模糊。通過對比可知,所提方法的復原效果最佳,因其能根據高光譜成像原理及其退化原因得出模糊圖像與實際圖像之間相關性,通過深度學習提取圖像各維度特征并重組,從而得到復原圖像較為理想,對比方法只能提取圖像部分特征,圖像復原效果較差。

3.2 量化指標對比分析

3.2.1 空間維度分析

空間維度最常用評價指標為峰值信噪比(PSNR),其是指圖像信號最大功率與噪聲功率比值,設定H2×W2×L2表示模糊高光譜圖像尺度;Q表示實際高光譜圖像;Q1表示復原后的高光譜圖像,其計算過程如式(9)所示。

(9)

式中,PSNR值越大,表示圖像空間維度特征提取越多,圖像失真越少。

根據式(9)分別求解不同方法下復原圖像的峰值信噪比實驗結果如圖4所示。

圖4 復原圖像的峰值信噪比情況

圖4中,所提方法每張高光譜圖像復原的峰值信噪比在6dB以上,而二次約束、K-最近鄰與PSO方法的復原信噪比則在0～6dB,通過對比可知,所提方法的峰值信噪都大于對比方法,表明所提方法的圖像失真最少,復原效果最好,這是由于所提方法能夠在高光譜圖像空間維上進行特征提取,并能保證特征提取數量與質量,為此復原圖像的峰值信噪比值較高。

3.2.2 光譜維度分析

光譜相關系數是衡量光譜維特征提取質量重要指標之一,其取值范圍為[-1,1],值越大表明光譜相似性越大,此復原方法越好,計算過程為:

(10)

式中,a、a′代表圖像2個不同的像元。根據式(10)得出四種方法下復原圖像光譜相關系數,結果如圖5所示。

圖5 各光譜相關系數對比分析

從圖5可看出,所提方法的光譜相關系數曲線極其接近理想狀態值,其值保持在0.75以上,而另外三種方法則低于所提方法,表明所提方法的復原效果最好。通過實驗證實所提方法提取圖像光譜特征較多,從而有效保證復原圖像的質量。

3.2.3 復原時間對比

實驗設有200張模糊高光譜圖像需要復原,分別采用二次約束、K-最近鄰與PSO與所提方法對這些圖像復原處理,不同方法的模糊高光譜圖像復原耗時如圖6所示。

圖6 不同方法的模糊高光譜圖像復原耗時情況

從圖6中可知,四種復原方法的耗時曲線都隨著圖像數量增加呈上升趨勢,所提方法耗時曲線上升趨勢最小,而二次約束、K-最近鄰與PSO方法復原耗時曲線上升趨勢大致相同,且大于所提方法的上升趨勢,這是因為所提方法在圖像處理過程選用3D卷積復原算法,計算過程較為簡單,在12.1s內就能完成200張模糊高光譜圖像復原,對比方法至少需要28.7s,證實所提方法模糊高光譜圖像復原性能良好。

4 結論

由于高光譜拍攝過程,拍攝設備運行導致拍攝平臺振動,得到拍攝圖像較為模糊,無法從圖像上獲得有效信息,為此,對深度學習下模糊高光譜圖像復原數學模型仿真研究。通過分析高光譜成像過程,根據傅里葉變換、圖像像元運動偏移情況建立其退化數學模型,利用3D卷積核提取模糊高光譜圖像特征,并對其重組,得到較為清晰的圖像,完成圖像復原。實驗結果表明,所提方法模糊圖像復原效果最佳,復原的峰值信噪比在6dB以上,且復原耗時低于15s。