基于SWT和邊緣檢測的紅外與可見光圖像融合算法

陳 鈺,郭立強,2

(1.淮陰師范學院 計算機科學與技術學院,江蘇 淮安 223300; 2.淮陰師范學院 淮安市大數據智能計算與分析重點實驗室,江蘇 淮安 223300)

0 引言

圖像融合技術是多傳感器信息融合的一個重要的分支,是采用適當的方法將多個同構或異構傳感器所獲得圖像進行合并的過程,目的是為了去除原始圖像中的冗余信息,綜合紅外圖像和可見光圖像的特征信息,從而形成一幅信息更加豐富的融合圖像.近年來,隨著傳感器技術和計算機算力的提高,多傳感器圖像融合技術的應用越來越廣泛.目前,圖像融合技術在軍事、遙感、醫學等領域以及計算機視覺、目標識別和情報獲取等應用中發揮了重要作用.因此,對圖像融合技術展開深入的研究,對于國民經濟的發展和國防事業的建設均有深遠的意義.

邊緣處理是圖像處理的過程中的一種重要方式,是利用尋找圖像中灰度顯著變化區域來提取圖像邊緣.在小波變換基礎上提出了二維平穩小波變換(SWT)[1-3],克服了小波變換所不具有的平移不變性,同時有效地保留圖像的紋理等細節信息.該算法的基本思想是“填充”在標準小波變換中抽取步驟造成的間隙.這樣會導致原始數據的過度確定或冗余表示,但是其具有相當大的統計潛力.在基于SWT的融合算法都存在著共同的特征,皆采用最簡單的融合方法,如取絕對值最大[4],平均能量取大[5].針對這個問題,提出了本文的融合算法.

1 相關背景

1.1 SWT算法

SWT[6]是在小波變換的改進的版本,具有平移不變特性,與傳統小波變換最大的區別是在每一層濾波之后不進行下采樣,使得每一層的系數和原始圖像的尺寸相同,便于后續的邊緣檢測.此外,SWT的平移不變性可以有效克服傳統小波變換在融合過程中的馬賽克效應和光譜失真的問題.但是,SWT只能夠表達三個方向的細節圖像——水平、垂直和對角線,使得圖像的邊緣會存在缺失的問題,特別是對具有復雜的連續曲線或豐富的細節信息的圖像,SWT的融合效果相對較差.

1.2 Canny算子(紅外圖像)

紅外成像技術通過目標和場景之間的輻射能量,表征目標和場景的溫度信息,從而形成紅外圖像.其中紅外圖像相較于可見光圖像,有分辨率差、對比度低、信噪比低、視覺效果模糊等缺點.但是Canny算子[7]能夠較好地表示出圖像的實際邊緣,也是最接近于高斯函數的一階導數,具有低錯誤率、高定位性等特點.其特點使得Canny算子可以有效提取出紅外圖像低頻圖像中比較清晰的邊緣.在經典邊緣檢測算子中,文[8]表明Canny算子處理紅外圖像的效果較理想.但是,Canny算子對噪聲敏感,需要采用一些降噪方法進行預處理.

1.3 Perwitt算子、Roberts算子(可見光圖像)

可見光圖像是通過捕獲反射光形成的,可以獲得較清晰的紋理細節.但是易受光照的影響,且弱光下的圖像會有較多的噪聲.Prewitt算子[9]是一種一階差分算子[10],利用以該像素點為中心的3*3區域內的像素灰度值的差分,實現邊緣檢測,去除偽差.對噪聲較多或者邊緣不明確的可見光圖像由去銳化和補償的作用.

其計算公式如式為

Px=[f(x-1,y-1)+f(x-1,y)+f(x-1,y+1)]-

[f(x+1,y-1)+f(x+1,y)+f(x+1,y+1)]

(1)

Py=[f(x-1,y+1)+f(x,y+1)+f(x+1,y+1)]-

[f(x-1,y-1)+f(x,y-1)+f(x+1,y-1)]

(2)

其中,Px是Prewitt算子從水平方向計算出的該像素點的灰度值;Py是Prewitt算子從垂直方向計算出的該像素點的灰度值.兩個方向的Prewitt算子的模板如下:

(3)

(4)

其中,dx是Prewitt算子水平方向的模板,dy是Prewitt算子垂直方向的模板.

Roberts算子[11]是一種一階線性算子,利用斜率梯度的局部差分來查找邊緣.梯度的方向與邊緣的方向垂直.

其差分的計算方法,如式(5)和式(6)所示:

(5)

(6)

Roberts算子的優點是可以準確地定位到邊緣.但易受到噪聲的干擾.而Prewitt算子對噪聲較多的圖像有抑制噪聲的作用.所以,本論文采用Prewitt算子和Roberts算子相結合處理可見光圖像的方法.

1.4 交叉雙邊濾波器

交叉雙邊濾波器[12]是一種局部與非線性的濾波器.非線性的濾波器克服了線性濾波器邊緣模糊的缺點.交叉雙邊濾波器同時考慮了圖像中相鄰像素間的灰度相似度和幾何貼進度.濾波的權重取決于Euclidean距離和灰色空間距離.該濾波器的優點是平滑圖像和使用相鄰像素保留圖像邊緣,但計算復雜度較高.其公式如式(7)所示:

(7)

2 基于SWT和邊緣檢測的圖像融合方法

本文應用二維SWT對紅外圖像和可見光圖像進行分解,得到一個低頻系數和三個高頻子系數.高頻系數采用交叉雙邊濾波器進行處理,平滑圖像的同時還可以保留邊緣細節信息.低頻系數根據紅外圖像和可見光圖像不同的成像特點,選取不同的邊緣檢測算子進行處理.

由于紅外圖像具有視覺效果差、分辨率低等缺點,Canny算子的高定位性可以在分辨率較低的紅外圖像中更好地尋找有用的信息.因可見光圖像的細節信息具有豐富和清晰的特點,故對圖像邊緣的提取有較高的要求.Roberts算子對45度和135度方向進行邊緣提取,兩個方向的邊緣提取結果取平均.Prewitt算子對垂直方向和水平方向進行邊緣提取,兩個方向的邊緣提取結果取平均,然后作差,獲取到遺漏的信息.同時,Roberts算子定位精度高,對噪聲比較敏感;Prewitt算子有抑制噪聲的作用,但是邊緣提取能力相較于Roberts較弱,定位出的邊緣較粗.所以,使用Prewitt算子和Roberts算子共同處理可見光圖像綜合了二者的優點,從而能夠更好地提取出圖像細節信息.另外,為了降低噪聲對Roberts算子的影響,在使用Roberts算子之前需要對源圖像進行中值濾波[13].

然后,采用點火次數較大的高頻系數[14]作為融合圖像的高頻系數;低頻系數的融合則采用“取平均”融合規則并進行對比度拉伸.由于“取平均”后圖像的灰度值集中在170以上,使得圖像整體偏亮.因此,采用對比度拉伸[15]方法對圖像的灰度分布進行調整.最后應用SWT逆變換得到融合后的圖像.具體的算法流程如圖1所示.

圖1 基于SWT和邊緣檢測的紅外與可見光圖像融合算法流程圖

3 實驗結果與分析

3.1 評價方法

對圖像融合的評價標準分為兩個部分:主觀評價標準、客觀評價標準.其中,客觀評價標準更加科學,可靠和具有說服力.本論文所使用的客觀評價指標如下:

3.1.1 信息熵(IE)

信息熵[16]計算去除冗余信息后的平均信息量,用于度量信息源出現的概率.IE越大,圖像所涵蓋的信息量和信息價值越大,該指標的計算公式為

(8)

其中,pi是事件為i的概率.

3.1.2 標準差(SD)

SD反映了圖像像素點間相對平均灰度值的離散情況[17],用于衡量圖像信息的豐富程度.SD越大,圖像信息越豐富.該指標的計算公式為

(9)

3.1.3 差異相關性(SCD)

SCD通過比較原圖像和融合圖像的差圖間的相關性[18].SCD越大,融合圖像越好.其計算公式為

D1=F-S2

(10)

D2=F-S1

(11)

SCD=r(D1,S1)+r(D2,S2)

(12)

(13)

3.1.4 視覺信息保真度(VIFF)

VIFF是一種基于視覺信息保真度的客觀評價指標[19],VIFF的值越大,融合圖像的質量越高,其計算公式為

(14)

式(14)利用扭曲的視覺信息(VIND)和非扭曲的視覺信息(VID),計算出每個自帶的視覺信息保真度,最后,根據權重計算出VIFF(A,B,F).

3.2 融合結果分析

為了有效地驗證本論文的算法,在TNO數據集[20]中選取了四組紅外圖像與可見光圖像,從客觀和主觀兩個方面與其他五個傳統算法進行比較.具體的對比算法為:離散小波變換(DWT)[21],交叉雙邊濾波變換(CBF)[22]、各向異性擴散融合算法(ADF)[23]、四階偏微分方程(FPDE)[24]和加權最小二乘濾波算法(WLS)[25].其中,CBF同時考慮了相鄰像素的灰度相似度和幾何接近度,優點在于平滑圖像的同時保留了邊緣.ADF利用各向異性擴散方法對源圖像進行變換,細節層和基礎層分別采用Karhunen-Loeve變換和加權線性疊加方法,可以將源圖像的信息盡可能保留下來.FPDE將四階偏微分方程加入圖像融合中,再對細節圖像進行主成分分析.在平滑圖像的同時,保留了源圖像的信息.WLS使用一種基于加權最小二乘的邊緣保持平滑算子進行多尺度細節提取,對平滑區域的信息進行平滑.具體的實驗對比結果見圖2-5.

圖2 第一組圖像的融合結果

圖3 第二組圖像的融合結果

圖4 第三組圖像的融合結果

圖5 第四組圖像的融合結果

第一組圖是戶外營地圖.紅外圖像人像很亮并且清晰,樹木和山丘模糊,欄桿缺失.可見光圖像樹木、亭子、山丘都較清楚,人影缺失.CBF算法細節清晰.WLS算法人影清晰.本論文算法融合后的圖像房子、山區有和人像的紋理信息更清晰,并沒有明顯噪聲,視覺效果優越.

第二組圖是樓外圖像.紅外圖像有清晰的人像,室內用于照明的燈光,但是樹木和房屋模糊.可見光圖像有樹木、房屋的紋理信息和清晰可見的地磚拼接紋理,但是缺失人影.WLS算法的樹木細節清晰.本論文算法融合后的圖像看到紅外圖像中正在跑步的人影,也可以看到明顯的地磚紋理.相較于其他算法,沒有明顯的噪聲,也沒有ADF算法中突出的邊緣和DWT中的偽影.

第三組是亭前打傘圖.紅外圖像有清晰的行走男士,可以看到男士清晰的衣服紋理,但樹木、亭子模糊.可見光圖像有明顯的樹木,亭子紋理信息.ADF算法上方樹木視覺效果較好.WLS算法的男士衣服紋理清晰.本論文算法融合后的圖像有可見光圖像清晰的樹木紋理和紅外圖像的男士的衣服紋理.相較于其他算法,本論文算法的噪聲明顯減少.

第四組是公園設施圖.紅外圖像圍墻和綠化清晰.可見光圖像由于夜晚,細節信息缺失,但相較于紅外圖像,可見光圖像圍墻外的目標信息較清晰.WLS算法樹木紋理較清晰.本論文算法融合后的圖像圍墻清晰同時圍墻外的目標信息.

如表1-4的客觀指標可見,本論文算法客觀指標均優于其他算法.通過如上客觀評價指標可知,本論文的算法的融合圖像相較于其他5個傳統算法,更好地保留了圖像的信息量、邊緣信息也更為豐富、視覺效果更好.綜合主觀評價和客觀指標可知,本論文算法融合后的圖像效果良好.

表1 第一組圖客觀指標

表2 第二組圖客觀指標

表3 第三組圖客觀指標

表4 第四組圖客觀指標

4 結語

本論文提出了一種基于SWT和邊緣檢測的紅外與可見光圖像融合算法.使用SWT算法分解得到高低頻系數.分別對高低頻系數采用交叉雙邊濾波器和Canny、Prewitt、Roberts算子融合處理,有平滑圖像、保留有效信息、提取細節信息的作用.采用點火頻率、取平均后以及對比度拉伸對高低頻系數進行融合.對融合后的高低頻系數進行SWT逆變換得到融合后的圖像.實驗結果表明,本文算法的客觀指標均優于其他算法,在保留信息量、邊緣提取和主觀感受上有較大的提升.