能量屬性與引導濾波結合的遙感影像融合

宋加文,朱大明,付志濤,陳思靜

昆明理工大學國土資源工程學院,云南 昆明 650093

由于衛星傳感器的物理限制,遙感影像中多光譜(multispectral,MS)影像空間分辨率較低,但光譜信息豐富;全色(panchromatic,PAN)影像空間分辨率高,但缺失光譜信息。通過PAN影像與MS影像融合可以生成具備高空間分辨率的MS影像,即全色銳化[1]。并且,隨著高分辨率MS影像在變化檢測[2]、土壤覆蓋測繪[3]和城市區域分類[4]等領域的需求越來越高,全色銳化技術已成為遙感領域的一個重要而熱門的問題[5]。

現有的全色銳化方法大致可歸為4類:基于變分優化方法、機器學習方法、多分辨率分析方法、分量替代方法[6]?；谧兎謨灮皺C器學習的方法是過去幾年新興的一個研究方向,其目標是實現高質量的融合結果,但這通常會增加算法的復雜性以及計算量,并且方法在不同衛星影像上的泛化能力有限[1,7]?；诙喾直媛史治龇椒梢垣@得較高的光譜質量,但容易產生一些空間退化,例如塊狀和混疊偽影。分量替代法是將MS影像變換到另一顏色空間,用PAN影像部分或全部信息替換變換后MS影像的分量信息,最后通過逆變換得到融合影像。包括主成分分析法(principal component analysis,PCA)、強度-色調-飽和度(intensity-hue-saturation,IHS)方法和Gram-Schmidt方法等[8]。分量替代方法容易產生光譜失真,但方法簡單高效,如果算法設計得當,也可以獲得具有競爭力的結果[7,9]。

近年來,邊緣保持濾波的方法在全色銳化中取得了良好的效果。文獻[10]使用雙邊濾波和雙尺度引導濾波獲取細節圖像,并將細節圖像注入MS影像中實現全色銳化。文獻[11]將MS影像和PAN影像分別分解為高頻分量和低頻分量,然后,利用引導濾波增強細節圖的光譜信息,此外,方法根據MS影像每個波段的自適應系數對細節圖進行細化。在以上兩個全色銳化方法中,邊緣保持濾波在影像分解、細節提取和圖像增強方面起到很好的效果,但由于算法的設計原因,融合影像均存在光譜失真以及空間細節不清晰的問題。

針對以上問題,本文基于分量替代法簡單高效的融合框架,并結合邊緣保持濾波的優異性能,提出一種基于能量屬性(energy attribute,EA)和引導濾波的全色銳化方法:引入均值濾波,通過均值濾波和差分算子將MS影像的強度分量和PAN影像分解為高頻分量和低頻分量。高頻信息通過引導濾波增強,然后使用像素最大值規則獲得決策圖,最后通過像素加權平均規則獲得融合高頻分量。低頻分量通過EA方法融合。本文方法的優勢和貢獻為:①所提出的基于引導濾波和EA方法的融合策略可以有效地生成兩個預融合圖像,使融合后的影像能很好地保存源影像的空間細節和光譜信息;②均值和引導濾波均具備圖像去噪的功能,使得方法具有噪聲穩健性的優點;③由于方法將圖像雙尺度分量分解,使得方法易于實現和理解,并且具有較高的計算效率。

1 總體流程

本文方法首先將多光譜影像上采樣至全色影像像素尺寸。MS影像是彩色圖像,PAN影像是灰度圖像,若直接在RGB顏色空間融合會導致光譜失真,本文將MS影像轉換至IHS顏色空間,生成強度(intensity,I)、色調(hue,H)和飽和度(saturation,S)分量。PAN影像與I分量通過均值濾波和差分算子計算獲得高頻分量和低頻分量。其中高頻信息通過引導濾波增強,使用像素最大值規則獲得決策圖,最后高頻圖像通過像素加權平均規則與決策圖融合。低頻分量通過EA方法融合。結合新的低頻分量與高頻分量替代原I分量并逆IHS變換得到融合影像。

融合方法流程如圖1所示,具體步驟如下。

圖1 融合方法流程Fig.1 Flowchart of fusion method

(1) MS影像上采樣至PAN影像像素尺寸。

(2) MS影像轉換至IHS顏色空間,得到I、H和S分量。

(3) 根據I分量對PAN影像進行直方圖調整。

(4) PAN影像和I分量通過均值濾波,得到高頻分量(IH1,IH2)與低頻分量(IL1,IL2)。

(5) 高頻分量IH1和IH2取絕對值后得IAH1和IAH2,通過引導濾波增強高頻信息得到IEH1和IEH2,然后使用像素最大值規則獲得決策圖IM,最后IH1、IH2與IM通過像素加權平均規則獲得FH。

(6)低頻分量IL1和IL2通過EA融合策略得FL。

(7)FH和FL取和得I′。

(8) 將I′與H、S分量結合轉換到RGB空間,得到最終融合影像F。

1.1 圖像分解

如何分解圖像之間的互補信息是圖像融合的主要挑戰,目前雙尺度分量分解技術在圖像融合中應用廣泛,例如多聚焦圖像融合[12-13]。而圖像雙尺度分量分解常通過均值濾波實現,采用的主要方法為鄰域平均法。在頻率域上均值濾波是一種低通濾波器,可以去除圖像高頻信息,因此可以實現圖像去噪、圖像平滑和模糊等功能。故本文通過均值濾波分解圖像為高頻分量和低頻分量。PAN影像和I分量作為源圖像輸入均值濾波fm以模糊圖像。平均濾波圖像IL1和IL2計算公式為

IL1(x,y)=I1(x,y)*fm

(1)

IL2(x,y)=I2(x,y)*fm

(2)

式中,*表示卷積運算符;I1和I2分別為PAN影像和I分量;IL1和IL2為對應的低頻分量。然后通過計算源圖像和平均濾波圖像之間的差值提取高頻圖像,計算公式為

IH1(x,y)=I1(x,y)-IL1(x,y)

(3)

IH2(x,y)=I2(x,y)-IL2(x,y)

(4)

式中,IH1和IH2是通過差分算子提取的高頻分量。然后,計算高頻分量的絕對值

IAH1(x,y)=|IH1(x,y)|

(5)

IAH2(x,y)=|IH2(x,y)|

(6)

1.2 高頻分量融合

圖像的高頻分量主要包含圖像的邊緣輪廓等細節信息,因此在遙感影像中空間分辨率越高的區域往往具有更多的高頻信息。由于引導濾波(guided filter,GF)[14]可以通過合并引導圖像的信息來過濾輸入圖像,引導圖像可以是輸入圖像本身或不同的圖像。當引導圖像是輸入圖像時,GF充當邊緣保持濾波器,可以保留輸入圖像的強邊緣。當引導圖像是不同的圖像時,GF將從引導圖像中提取結構信息,并將結構信息合并到輸入圖像中。因此,可以通過將I1和I2作為引導圖像的導向濾波來增強IAH1和IAH2,以獲得具有更多高頻信息的IEH1和IEH2

IEH1(x,y)=GFr,ε(I1,IAH1)

(7)

IEH2(x,y)=GFr,ε(I2,IAH2)

(8)

式中GFr,ε(·)表示引導濾波運算;r和ε是GF的局部窗口半徑和正則化參數,分別控制濾波器窗口大小和模糊度。

PAN影像中具有實現全色銳化所需的空間結構信息,即具備豐富的高頻信息,圖像中高頻信息會對融合影像的清晰度及空間分辨率產生很大影響。并且PAN影像的空間結構信息優于I分量。所以,為有效保留高頻信息,通過像素最大值規則獲得決策圖

(9)

最后,高頻圖像與決策圖通過像素加權平均規則獲得融合高頻圖像

FH(x,y)=IM(x,y)IH1(x,y)+(1-
IM(x,y))IH2(x,y)

(10)

1.3 低頻分量融合

圖像的低頻分量是圖像強度變化平緩的區域,描述圖像的主要部分,是對整幅圖像強度的綜合度量。因此,所采用的融合策略會對最終融合影像質量產生很大影響,如造成影像光譜失真等。為充分保留低頻分量中包含的信息,對低頻分量融合采用一種基于EA的融合方法[15]。該融合方法分為3個步驟。

(1) 首先計算低頻分量的固有屬性值

IP1=μ1+Me1

(11)

IP2=μ2+Me2

(12)

式中,μ和Me分別表示低頻分量IL1和IL2的平均值和中值。

(2) EA函數中E1和E2計算公式如下

E1(x,y)=exp(α|IL1(x,y)-IP1|)

(13)

E2(x,y)=exp(α|IL2(x,y)-IP2|)

(14)

式中,exp表示指數運算符;α表示調制參數。

(3) 低頻分量的融合結果通過加權平均獲得

FL(x,y)=

(15)

1.4 影像重構

結合FH和FL得到I′

I′(x,y)=FH(x,y)+FL(x,y)

(16)

I′替換MS影像I分量并進行IHS-RGB變換,得到最終融合影像F。

2 融合試驗

首先介紹試驗的數據集、評價指標和參數設置。然后在數據集上進行大量的試驗,并從視覺效果和定量評價方面將所提方法與加性小波亮度比例方法(additive wavelet luminance proportional,AWLP)[16]、基于引導濾波的CPE方法[11]、參數自適應脈沖耦合神經網絡模型方法(parameter adaptive-pulse coupled neural network,PA-PCNN)[17]和基于局部梯度能量的方法(local gradient energy,LGE)[18]比較,以全面驗證方法的有效性和泛化能力。

2.1 試驗相關介紹

2.1.1 試驗數據集

本文使用SPOT-6、WorldView-2和Pléiades NEO衛星影像制作試驗數據集,并選取36對影像用于測試。測試影像包括建筑、道路、植被和水體等各種經典場景,并且影像已提前進行預處理。有關試驗數據集細節見表1。

表1 試驗數據集細節

2.1.2 評價指標

為客觀評價融合算法的性能,選取6個指標來定量評價融合結果,這些指標包括:光譜角度映射(spectral angle mapper,SAM)[19]、相對無量綱全局誤差(relative dimensionless global error in synthesis,ERGAS)[20]、相對平均光譜誤差(relative average spectral error,RASE)[21]、均方根誤差(root mean squared error,RMSE)[22]、通用圖像質量指數(universal image quality indexes,UIQI)[23]和峰值信噪比(peak signal to noise ratio,PSNR)[24]。其中,SAM是計算融合影像與參考影像之間的光譜角的絕對值,越小的SAM值意味著更少的光譜角度失真,理想值為0;ERGAS是對融合影像光譜及空間信息失真程度的衡量,可以評估融合影像的整體性能,值越小表示圖像質量越好,理想值為0;RASE顯示影像光譜平均性能,光譜質量越高,RASE值越低,理想值為0;RMSE通過計算像素值之差來比較兩幅影像的差異,RMSE值越小表示差異越小,理想值為0;UIQI反映融合影像的相關損失、亮度失真和對比度失真,值越大,表示融合方法效果越好,融合影像質量越高,理想值為1;PSNR用來衡量有效信息與噪聲之間的比率,PSNR值越大影像質量越好。

2.1.3 試驗參數設置

文中對比算法的參數依據相應文章設置。本文方法中有4個自由參數,分別為:均值濾波器的滑動窗口大小ω、GF的局部窗口半徑r、GF的正則化參數ε和EA函數中的調制參數α。

選取數據集中3組圖像對自由參數進行分析(圖2)。由圖2(b)—(d)可知,r,ε和α參數對融合影像的質量影響較小。綜合定量指標和視覺效果,將r固定為3,ε設置為0.1,α設置為5,并討論ω對融合性能的影響,結果如圖2(a)所示,隨著ω的增加各評價指標整體趨勢是在上升后逐漸平緩。在定性分析中,當ω設置為1～4時影像較為模糊,而ω大于10后影像開始逐漸產生偽影。結合影像的視覺效果和定量指標,將滑動窗口大小ω設置為5。

2.2 SPOT6影像融合

第1組試驗數據來源于SPOT-6衛星影像,其中MS影像由RGB波段合成,從制作的SPOT-6衛星影像數據集中選取包含各類場景的影像用作測試,部分試驗影像如圖3所示。

圖3 SPOT-6部分試驗影像Fig.3 SPOT-6 partial test image

圖4是兩組SPOT6影像融合結果,可以看出MS影像的空間分辨率均被有效提升。其中CPE方法融合影像存在光譜失真,紋理細節模糊,影像整體視覺效果不佳。AWLP、PA-PCNN、LGE和本文方法的取得相似效果。但在第1行影像的特寫中可以看出,PA-PCNN和LGE方法在弧形長條部分并未有效融入光譜信息,而AWLP和本文方法色彩信息豐富,具備較高的光譜質量。同時,在第2行影像的局部放大區域也可以觀察到類似的結果。

圖4 SPOT-6影像融合結果Fig.4 SPOT-6 image fusion results

SPOT-6融合影像的定量評價平均值見表2,本文方法的6個定量指標均取得最優值,表明本文方法適用于融合中低分辨率的遙感影像,并且融合影像紋理細節和光譜信息豐富。其中AWLP方法的SAM、RASE和ERGAS指標值為次優值,即AWLP方法的光譜質量僅次于本文方法而優于其他方法,這與上述定性分析保持一致。而CPE方法的SAM和RASE指標值為最差,驗證了圖4中CPE方法存在光譜失真。

表2 SPOT-6融合影像的定量評價(平均值)

2.3 WorldView-2影像融合

第2組試驗數據來源于WorldView-2衛星影像,其中MS影像由RGB波段合成,部分試驗影像如圖5所示。

圖5 WorldView-2部分試驗影像Fig.5 WorldView-2 partial test image

圖6是兩組WorldView-2影像融合結果。在第1行紅色特寫中,除本文方法外,AWLP、CPE、PA-PCNN和LGE方法均未有效融入紅色的色彩信息,光譜信息丟失較為嚴重。在第2行綠色放大影像中船的位置也可以觀察到類似現象,從而本文方法可以更充分地保持源圖像的光譜信息。在隨機選取并放大的第2行黃色船只位置,PA-PCNN、LGE和本文方法融合影像的邊緣輪廓較AWLP和CPE方法融合影像更為清晰,且相較于對比方法,本文方法融合影像的色彩更加豐富自然。WorldView-2融合影像的定量評價平均值見表3,本文方法的6個評價指標值均為最優,證明本文方法可以充分融入源影像的空間和光譜信息。

圖6 WorldView-2影像融合結果Fig.6 WorldView-2 image fusion results

2.4 Pléiades NEO影像融合

本組試驗數據來源于Pléiades NEO衛星影像,MS影像真彩色合成,部分試驗影像如圖7所示。

圖7 Pléiades NEO部分試驗影像Fig.7 Pléiades NEO partial test image

圖8是兩組影像的融合結果。其中CPE方法有明顯的光譜失真,紋理細節較為模糊。AWLP、PA-PCNN、LGE和本文方法取得相似的融合結果,即影像具備良好的視覺效果。而在第1行影像紅色放大區域中黃色屋頂的白色凸起部分,本文方法比其他方法的紋理細節更為清晰,空間信息與PAN影像更為接近。在綠色放大影像中白色長條狀區域,AWLP和CPE方法影像出現不同程度的偽影,而PA-PCNN、LGE和本文方法的影像邊緣輪廓清晰,呈現出較高空間分辨率。Pléiades NEO融合影像的定量評價平均值見表4,本文方法的定量指標均取得最優值。表明本文方法在融合高分辨率遙感影像時具備良好性能。

表4 Pléiades NEO融合影像的定量評價(平均值)

圖8 Pléiades NEO影像融合結果Fig.8 Pléiades NEO image fusion results

綜合上述定量、定性分析及圖9點線圖趨勢可知(其中影像對1—15分別為SPOT-6、WorldView-2和Pléiads NEO在上文中展示的影像),在融合不同分辨率遙感影像時,本文方法在視覺感知和定量指標上都取得最優的效果,驗證了本文融合策略的可行性及方法有效性,同時證明本文方法具備良好的泛化能力。

2.5 時間效率對比

試驗運行環境為:AMD Radeon(TM) Graphics顯卡和AMD Ryzen 7 4700U with Radeon Graphics 2.00 GHz處理器,16 GB內存,操作系統為Windows10,編程軟件及版本為 Matlab R2017b。由圖10可知,本文方法在5種影像融合方法中平均運行時間用時最少,較PA-PCNN方法快34.981 2 s,約為AWLP方法平均運行時間的3/5,具有最高的計算效率。這是由于方法將圖像雙尺度分量分解,并且高頻和低頻分量的融合方法簡單高效。

圖10 平均運行時間對比Fig.10 Average uptime comparison

3 結 論

本文提出了一種基于EA和引導濾波的全色銳化方法,通過均值濾波和差分算子分解圖像為高頻分量與低頻分量,將引導濾波應用于高頻分量增強,低頻分量引入EA方法融合。方法易于實現和理解,計算效率高,并且可以有效結合源影像的空間細節和光譜信息。通過36對包含不同空間分辨率和場景的遙感影像測試,本文方法與AWLP、CPE、PA-PCNN、LGE 4種具有代表性方法相比,定量指標SAM、ERGAS、RASE、RMSE、UIQI和PSNR較次優值分別平均提高了77.13%、10.78%、9.57%、12.20%、1.35%及0.39%,定性評價也取得最優的效果,從而驗證了本文方法的有效性。由于異源遙感影像融合具有較高的技術難度,但是很有研究價值。在未來的研究中,異源遙感影像融合將是筆者工作的重點,例如SAR與光學影像融合。