基于LP和LBP的紅外與可見光圖像融合算法

陳芯蕊,郭立強,2

(1.淮陰師范學院 計算機科學與技術學院,江蘇 淮安 223300;2.淮陰師范學院 淮安市大數據智能計算與分析重點實驗室,江蘇 淮安 223300)

0 引言

圖像融合技術是多傳感器信息數據融合的重要分支,隨著計算機技術和傳感器技術的高速發展,此項技術的使用范圍也越來越廣泛.當前,圖像融合技術在遙感、醫學、軍事等領域以及計算機視覺、目標識別和情報獲取等方面發揮著十分重要的作用.圖像融合是指對多個傳感器獲得的同一個目標背景的圖像進行合并,獲得一副更易觀察與理解的圖像[1].紅外傳感器獲得的紅外圖像可以不受到光線的影響,但具有對比度低、視覺效果模糊、信息量少的缺點.而可見光圖像蘊含相當多的細節、較高的空間分辨率和明暗對比,其很符合人的視覺感知.但可見光圖像也容易受到光線的影響,導致目標信息很難分辨和提取.紅外與可見光的圖像具有互補的特性,從而融合出了信息豐富、目標準確的融合圖像[2].

紅外與可見光圖像的經典融合方法主要可以分為:基于多尺度的變換域融合方法、基于像素的空間域融合方法、基于模型的融合方法等[3].其中,基于像素的空間域融合方法一般是直接對圖像的像素值進行處理,以獲得融合圖像.Zhang等人[4]根據在源圖像中找到的散焦區域和聚焦區域之間的邊界,將圖像分為不同的聚焦區域,然后選擇每組區域中較大聚焦度量的像素點組合成最終的融合圖像.基于模型的融合方法是使用數學模型來自適應提取源圖像中的特征信息,再根據特征信息來融合圖像.張洲宇等人[5]提出了一種前饋式的基于多層卷積稀疏表示的圖像融合網絡.該方法有效解決了稀疏表示應用于圖像融合時出現的信息缺失和對錯誤匹配容忍度低等問題.多尺度融合方法因融合效果更符合視覺感知[6]而被廣泛使用,而金字塔變換是最早應用于圖像融合中的多尺度變換方法.金字塔變換可以分析圖像中的不同尺度的特征,其頂層是低分辨率的圖像,其余各層是每個尺度的高分辨率圖像.根據金字塔變換的構造原理,其方法有:拉普拉斯金字塔[7]、梯度金字塔[8]、對比度金字塔[9]、比率低通金字塔[10]和形態學金字塔[11]等.金字塔變換可以突出圖像的特征信息,但是融合后圖像的細節信息會受到噪聲的影響而丟失.

為了得到更優的融合效果,本文提出了一種基于拉普拉斯金字塔和局部二值模式的紅外與可見光圖像融合算法.首先,對兩幅待融合圖像進行拉普拉斯金字塔分解,然后利用LBP對每層高斯濾波后的圖像提取細節特征,將提取到的信息加到對應層的金字塔上,加強圖像的細節信息.然后,使用取最大值和基于區域特性量測的融合規則分別對兩幅圖像的高頻系數和低頻系數進行融合.最后,對融合好的拉普拉斯金字塔進行重構,得到融合圖像.經過實驗的驗證,本文的算法豐富融合了圖像的信息,提升了融合效果.

1 背景知識

1.1 拉普拉斯金字塔

拉普拉斯金字塔的基礎是高斯金字塔.高斯金字塔在運算的時候,圖像做卷積操作會導致一些高頻信息的丟失.為了描述這些丟失的高頻細節信息,便產生了拉普拉斯金字塔.拉普拉斯金字塔變換的主要步驟如下.將原始圖像G0進行高斯低通濾波并隔行隔列的下采樣得到中間結果圖像G1,再將G1插入一個合適的值并進行上采樣得到E1,E1與原始圖像的大小相同.然后用原始圖像減去E1得到第一層的拉普拉斯金字塔圖像.接下來,針對G1重復上述步驟,多次迭代后就得到了整個拉普拉斯金字塔[12].

1.2 多分辨率的LBP特征提取

LBP(Local Binary Pattern)算子是由Ojala提出的一種紋理描述方法,在計算機視覺中有著廣泛的應用[13],可以對圖像中的任意一點及其周圍的灰度值來表示圖像的局部特征.基本LBP算子是用一個3*3的矩陣為模板,以中間點為閾值,與周圍八個值進行比較,獲得鄰域的二進制編碼.將此編碼轉為十進制數便為中間點的LBP值.為了解決此原始方法無法滿足不同頻率和尺寸紋理的需求,提出了多分辨率的LBP算子[14].其將方形鄰域變為圓形鄰域,從3*3領域拓展到任意鄰域,可以在半徑為R(R>0)的圓形鄰域中包含P個采樣點.用相同的方法求出中心點的LBP值,得出LBP圖像.此方法對光照的變化具有魯棒性,能較好地提取圖像細節紋理特征.

YIN 等人[15]提出了基于LBP度量的多聚焦圖像融合算法.該算法是應用LBP來構建聚焦測度,從而評估原始圖像中對應像素點的清晰度并構造初始權重圖,對初始權重圖采用連通區域分析法來減少圖像中的噪聲,然后通過權重圖加權融合得到最終圖像.而本文的紅外與可見光圖像融合算法則直接應用LBP提取拉普拉斯金字塔中每層高斯低通濾波子圖像的細節信息并疊加到當前層,這樣一來能夠有效解決傳統圖像融合算法存在的細節信息丟失,對比度低等問題.本文算法和Yin等人算法雖然都使用了LBP,但在應用的角度以及融合機理方面則是完全不同.

1.3 基于LP和LBP的圖像融合算法

1) 圖像融合算法流程

本文的圖像融合具體步驟如下:

① 對紅外和可見光圖像分別進行四層拉普拉斯金字塔變換,并使用LBP對每一層的高斯低通濾波圖提取細節特征信息,將提取到的細節信息加到對應層的拉普拉斯金字塔上.

② 將源圖像分解出的金字塔的各層分別進行融合.金字塔的高頻信息中包含大量的細節信息,因此對高頻信息采用基于區域特性量測的方法進行融合,而低頻信息融合采用絕對值取大的方法.

③ 將融合后的拉普拉斯金字塔進行反變換,得到融合后的圖像.

2) 圖像融合規則

假設紅外和可見光圖像分別為A、B,融合的結果為LFk(0≤k≤4)使用拉普拉斯金字塔進行分解并疊加LBP細節特征信息后得到的圖像為LAk、LBk(0≤k≤4).最高層圖像LA4、LB4和高斯金字塔的一致,是圖像低頻信息.此層圖像使用絕對值取大的方法進行融合,其公式如下:

(1)

當0≤k<4時,LAk、LBk為圖像的高頻信息,采用區域特性量測的融合規則[16].其融合步驟如下:

① 計算LAk、LBk(0≤k<4)的局部區域能量,其表達式如下:

(2)

(3)

(4)

上式中,p和q定義了區域的大小,這里選取p=1,q=1,LAk、LBk表示金字塔的第k層,ω(m,n)低通濾波器.

② 計算LAk、LBk(0≤k<4)的局部區域匹配度,其表達式如下:

(5)

③ 定義匹配閾值T=0.8.當局部區域匹配度大于閾值時,表明兩幅圖像的局部能量比較相近,因此采用加權的方式融合.否則,選用區域能量較大的中心像素當作此區域融合后的中心像素,其公式如下:

當Mk(i,j)≥T時,

(6)

當Mk(i,j)

(7)

其中加權算子的公式為

(8)

經過以上步驟得到融合后的四層金字塔后,再應用拉普拉斯金字塔逆變換獲得最終的融合圖像.

2 實驗與結果分析

為了驗證本文算法的有效性,從TNO圖像數據集[17]中選用了三組不同的紅外與可見光圖像進行測試.同時選取傳統拉普拉斯金字塔融合算法(LP)[18]、比率低通金字塔算法(RLP)、基于輪廓波變換算法(Curvelet)[19]、基于非下采樣輪廓波變換算法(NSCT)[20]和基于潛在低秩表示的算法(LatLRR)[21]與本文算法進行對比.具體的實驗對比結果如圖1-3所示.

圖1 第一組圖像

圖2 第二組圖像

圖3 第三組圖像

第一組圖像為夜晚街景圖像.由于光線不足,可見光圖像只有燈周圍的圖像清晰.本文算法的融合圖像與其他5種融合圖像相比,圖像亮度較為均衡,車輛、人、廣告牌的細節信息清晰,更利于辨別目標對象.第二組圖像為房子外的一角,紅外圖像灌木細節模糊,可見光圖像人的位置不清晰.本文算法的融合圖像人像及灌木細節清晰,房子上方的天空的亮度更符合人類的視覺認知.第三組圖像為戶外圖像.紅外圖像云、車的細節信息比較豐富,但樹木不夠清晰,可見光圖像樹木和房屋的細節信息較多.本文算法合成的圖像在亮度和細節信息的清晰度都有良好的視覺效果.

綜合以上所述的三組圖像融合結果來看,本文的算法在亮度、細節信息和目標識別度都要優于其他的融合算法,視覺效果有了較大提升.為了進一步驗證本算法的有效性,本文采用了一些客觀評價指標來與其他4種算法的融合圖像進行比較.選取的客觀評價指標為:信息熵(IE)[22]、視覺信息保真度(VIFF)[23]、基于結構相似性(Qy)[24]、互信息(MI)[24]、灰度標準差(SD)[25].信息熵用于計算圖像中信息的豐富程度,指標值越大,表明融合圖像中的信息越豐富.視覺信息保真度主要計算融合圖像中提取了源圖像中多少的有效視覺信息,值越大表明提取的有效信息越多.基于結構的相似性測量了融合圖像與源圖像的結構相似性,值越大表明其與源圖像的結構越相似.互信息計算了源圖像提取了多少信息到融合圖像中,互信息越大表明轉移的信息越多.灰度標準差表明了圖像灰度相對于平均灰度的離散情況,標準差的值越大表明灰度級越分散,圖像的反差越大,其中可利用的信息越多,圖像融合的效果越好.

由表1-3可知,本文算法的信息熵(IE)、視覺信息保真度(VIFF)、互信息(MI)、基于結構相似性(Qy)和灰度標準差(SD)這五個指標均優于其他五個算法,說明融合后的圖像保留了源圖像更多的細節信息、辨識度高.綜合以上主客觀的評價結果,本文提出的算法是有效的,在圖像細節信息保留及人類視覺感知上均有提升.

表1 第一組圖客觀指標

表2 第二組圖客觀指標

表3 第三組圖客觀指標

3 結語

提出了一種基于LP和LBP的圖像融合算法.在圖像分解時(四層分解),對每一層高斯濾波后的子圖像進行LBP特征提取,將提取到的細節特征信息加到對應層的拉普拉斯金字塔上.此外,本文采用區域特性量測的方法融合高頻信息,而低頻信息融合采用絕對值取大方法進行融合.最后對融合后的金字塔進行逆變換得到融合圖像.實驗結果表明,本文提出的算法與其他5種經典的算法相比,在主觀視覺感知和客觀指標上均有明顯的提升.