基于Gabor 濾波和顯著性檢測的紅外與可見光圖像融合

鐘榮軍，付蕓

（長春理工大學 光電工程學院，長春 130022）

圖像融合作為信息融合的一個重要分支［1］，它以圖像為處理對象，涵蓋了信號處理、計算機視覺、人工智能以及圖像處理等各個方面［2］?？梢姽鈭D像的優勢在于它具有豐富的細節紋理信息和較高的分辨率，因此視覺效果好，方便觀測。 然而，在環境條件較差的情況下，比如：弱光條件或有遮擋物，以及煙霧等條件下，就會造成一些重要的目標信息、細節信息等丟失的情況［3-4］。紅外圖像主要是通過熱輻射的原理進行成像，因此，紅外成像的環境適應性好，即使是弱光條件或煙霧等惡劣條件也能夠很好地呈現出目標特征，但是，紅外圖像往往空間分辨率較低，細節紋理等信息較少［5］。因此，人們希望將紅外圖像和可見光圖像進行融合，得到一幅同時含有兩幅圖像中有用信息的圖像。

Liu 等人［6］提出了基于稀疏表示（Sparse Representation，SR）的圖像融合方法，得到的圖像具有更好的魯棒性，并且含有更豐富的亮度信息，但是圖像的邊緣紋理信息會被平滑，丟失一些邊緣特征。 Zhang 等人［7］在NSST 融合框架的基礎上，利用顯著性分析提取紅外圖像的目標信息，但是細節信息不完整。

針對這些問題，提出了一種基于Gabor 濾波［8-9］和顯著性的紅外與可見光圖像融合方法。首先，通過顯著性檢測得到紅外和可見光圖像的顯著層。其次，采用Frankle-McCann Retinex 增強算法對可見光圖像進行增強。之后，引入Gabor 濾波器將紅外圖像和增強后的可見光圖像分解為細節層和基礎層，使用傳統的融合方法對各個圖層進行融合。 最后，采用多尺度的逆變換進行圖像重組。

1 算法原理

提出了一種基于Gabor 濾波和顯著性的紅外與可見光圖像融合方法，具體融合框架由圖1 所示。

圖1 融合框架

1.1 顯著性檢測

使用FT（Frequency-tuned）算法對已經配準好的紅外圖像和可見光圖像進行顯著性檢測。圖像包括高頻信息和低頻信息，在進行顯著性檢測時，一般用到的更多是圖像的低頻信息，因此，選擇使用高斯平滑濾波來對高頻信息進行過濾，消除圖像的細節紋理特征、高頻噪聲等，定義如下：

其中，IR 表示紅外圖像；VISE表示增強后的可見光圖像；Ii(x,y) 表示配準后的原始圖像；Ii(G)表示經過高斯平滑濾波后的圖像；( )x,y表示原始圖像的像素點；*表示卷積；Gr,σ表示高斯平滑濾波器，其大小尺寸為(2r+ 1) × (2r+ 1)；σ為標準差。 同時，為了保留原有圖像的像素強度分布特征，同時使圖像邊緣平滑，將尺寸和標準差σ都設置為5。 由于使用頻率調諧的方法對顯著性進行計算，因此還需要計算圖像的平均像素，公式如下：

其中，Ii(A)表示原始圖像的平均像素；N表示圖像Ii的像素點的個數；X、Y分別表示圖像Ii的行數與列數；Ii(x,y) 表示圖像Ii第x行第y列的像素點的值。在得到公式（1）、公式（2）的結果之后，就可以根據FT 算法的定義直接得到圖像的顯著層，定義如下：

其中，IR 表示紅外圖像；VISE表示增強后的可見光圖像；Si(x,y) 表示經過FT 算法得到的顯著性圖像即顯著層；Ii(G)和Ii(A)分別是經過高斯平滑濾波后的圖像和圖像的平均像素。

1.2 圖像增強

由于可見光圖像受天氣或環境的影響導致成像效果不好，因此先對可見光圖像進行增強，之后再對配準好的紅外圖像和增強后的可見光圖像進行分解。

采用Frankle-McCann Retinex 方法進行增強。算法采用了一種新的基于螺旋結構的迭代分段線性比較路徑，螺旋結構路徑像素點間的比較是一個由遠到近的比較過程，在進行完一次比較之后，下一次做比較的兩個像素點間的間距縮短為上一次比較間距的一半，并且比較路徑的方向同時也按順時針方向發生轉變，就這樣逐次比較直至像素點間距為1 為止，其比較路徑如圖2 所示。

圖2 Frankle-McCann Retinex 方法比較路徑

該算法的步驟如下：

（1）對原圖像進行對數變換。將原圖像的像素值從整數域轉換到對數域，以便于減少數據的運算量，降低運算時間。 如果直接進行對數轉換可能會導致負數、無窮數的出現，因此，可以將原圖像的像素整體加1，公式如下：

其中，p(x,y) 代表輸入圖像p在坐標(x,y) 處的值；I(x,y) 代表經過對數轉換得到的輸出圖像I在坐標(x,y) 處的值。

（2）進行像素比較和校正。 對于一幅x×y的圖像I，離目標點距離最遠的兩個比較點之間的距離L為：

其中，fix 表示取整運算；I代表經過對數轉換得到的輸出圖像；L代表兩個比較點之間的距離。

（3）計算路徑上的像素點。rn(x,y) 是上一次迭代的結果，將此次迭代差值累加保存到其中，最終得到此次的迭代結果rn′(x,y)，在完成一次迭代之后，再對二者求平均，作為最后的輸出結果rn+1(x,y)。則：

其中，rn+1(x,y) 是n次迭代后的圖像；n是迭代次數；max 是原圖像的最大像素值；ΔI是目標點在此路徑下的亮度差；rn′(x,y) 是此次迭代結果。

（5）對增強后的圖像進行輸出。n次迭代對圖像起到了被壓縮的效果，因此，需要對待輸出圖像進行拉伸處理以提高圖像對比度。則：

其中，max 和min 分別是迭代結果rn+1(x,y) 的最大值和最小值；VISE是最后輸出的增強圖像，如圖3（b）所示。在對圖像進行增強之后，接下來就是對圖像進行分解。

圖3 可見光圖像與可見光增強圖像對比

1.3 Gabor 濾波

Gabor 濾波的具體過程為：將高斯函數與正弦信號的傅里葉變換進行卷積，得到Gabor 濾波器的復數形式，將其分成虛部、實部兩個部分，分別對圖像進行處理：

上述公式拆分為實部和虛部，公式如下：

其中：

其中，gim代表虛部；θ代表旋轉方向的角度；像素坐標點(x′,y′) 為像素坐標點(x,y) 進行方向角θ變換之后的新坐標點；σ代表高斯標準差；γ代表Gabor 核函數的空間方向比例；λ代表正弦函數的波長；ψ代表正弦函數的相位偏移量。經過大量的實驗，確定核函數的窗口尺寸為3×3，高斯標準差σ為0.56λ，Gabor 核函數的空間方向比例γ為1.2，正弦函數的波長λ為5，正弦函數的相位偏移量ψ為0。

通過上述公式，可以得到一個二維Gabor 濾波器，再使用核函數的窗口對圖像進行濾波操作，公式如下：

其中，IR 表示紅外圖像；VISE增強后的可見光圖像；Ii,im(x,y) 代表過濾后圖像Ii,im坐標點(x,y) 的值；gim代表Gabor 濾波器虛部；Ii代表待過濾圖像；wk代表尺寸為k的局部窗口。對于濾波后出現個別像素點的值大于255 或者小于0 的情況，使用下述公式將這些像素點的值轉化為0 到255之間：

其中，di表示過濾后圖像；Diθm表示將像素約束到［0，255］后的圖像。 以上僅在一個方向上對圖像進行濾波，接著使用下述公式將所有設定方向上的濾波后圖像進行累加，有：

其中，IR 表示紅外圖像；VISE增強后的可見光圖像；Diθm表示圖像沿θm方向上濾波后的圖像；θ為設定好的Gabor 濾波器旋轉角度，其值為［0°，30°，60°，90°，120°，150°］；Diθ表示經過濾波累加后得到的圖像。

按照下述公式對累加后的圖像進行歸一化，則：

其中，Di表示細節層圖像；max 和min 分別表示取最大值和最小值。

將累加后的圖像進行標準化，得到原圖像的細節圖層（如圖4（c）、圖4（g）），再用原圖像減去細節層就是基礎層（如圖4（d）、圖4（h）），公式如下：

圖4 紅外與可見光增強圖像分解結果

其中，Bi表示基礎層圖像。

1.4 圖像融合重組

首先，對圖像的顯著層進行融合（如圖5（a）），圖像的顯著層包含了紅外圖像和可見光圖像的亮度特征，為了盡量保留紅外圖像和可見光圖像顯著層的信息，采用“ 最大絕對”的融合方法進行融合，公式如下：

圖5 融合的結果

其中，SIR為紅外圖像顯著層；SVISE為增強后的可見光圖像顯著層；SF為顯著融合層。

圖像的細節層選擇使用“最大絕對”的融合方法進行融合（如圖5（b）），這樣能夠盡量保留紅外圖像和可見光圖像的細節紋理信息，公式如下：

其中，DIR為紅外圖像細節層；DVISE為增強后的可見光圖像細節層；DF為細節融合層。

圖像的基礎層選擇使用“平均”的方法（如圖5（c）），這樣能夠將兩幅圖像的整體信息都盡量保留在融合后的圖像中，公式如下：

其中，BIR為紅外圖像基礎層；BVISE為增強后的可見光圖像基礎層；BF為基礎融合層。

最后，圖像進行重建（如圖5（d）），公式如下：

其中，BF為基礎融合層；DF為細節融合層；SF為顯著融合層；w為顯著層融合加權系數。經過實驗驗證，w取值為0.2。

2 實驗及結果分析

2.1 數據集選取及硬件設置

提出的方法在公開數據集TNO_Image_Fusion_Dataset 上進行了測試，包括各種豐富的場景，都是已經配準好的弱光下或者夜間圖像。并且為了與現有的一些優秀的融合方法（即TIF（Two-Scale Image Fusion）［10］、CBF（Cross Bilateral Filter）［11］、VSMWLS（Visual Saliency Mapweighted Least Square）［12］、GFF（Guided Filtering Fusion）［13］、MSVD（Multi-resolution Singular Value Decomposition）［14］、ADF（Anisotropic Diffusion Fussion）［15］、DLF（Deep Learning Framework）、GTF（Gradient Transfer Fusion））進行對比，從公開數據集TNO_Image_Fusion_Dataset 中選取了兩組配準完成的紅外與可見光圖像，并且使用Matlab 編程，在一臺處理器為Intel（R）Core（TM）i5-6200U CPU@2.30 GHz 2.40 GHz，內存為8 GB 的電腦上進行仿真實驗。

2.2 結果分析

分別用了八種現有的方法（即TIF、CBF、VSMWLS、GFF、MSVD、ADF、DLF、GTF）對于選定的兩組圖像進行融合，將融合后的結果進行統一展示，八種方法是基于公開代碼，并且根據其原文對相關參數進行設置。

第一組實驗圖像采用“Kaptein_1123”紅外與可見光圖像進行測試，融合結果如圖6 所示，圖6（a）、圖6（b）分別為可見光與紅外原圖像。從圖6 來看，除了所提出算法的結果之外，其他的算法都不能同時保留左邊的草叢和地上的細節紋理，MSVD 和GTF 算法的地面紋理不清晰，TIF 算法的人物目標周圍還有陰影。CBF 的融合圖像中，樹、房子和目標人物邊緣過大且目標變形，同時噪聲較大，草叢和地面的紋理幾乎沒有。相對于提出的算法，其他幾種方法的融合圖像也較暗。

圖6 “Kaptein_1123”紅外與可見光圖像以及融合結果

第二組實驗圖像采用“Sandpath”紅外與可見光圖像進行融合，圖像以及融合結果如圖7 所示，圖7（1）、圖7（2）分別為可見光與紅外原圖像。從圖7 來看，GFF、GTF 算法的融合圖像中那條林中小路比其他算法更暗，幾乎不可見，并且圖中的目標相較于其他幾種算法來說不是特別明顯，對以上算法的融合結果進行整體比較，所提出方法融合的圖像整體亮度以及對比度比其他八種方法更高，更加便于觀察、檢測。

圖7 “Sandpath”紅外與可見光圖像以及融合圖像

為了更加客觀有效地評價圖像的融合質量，選用了六種評價指標，即平均梯度（AG）、像素交叉熵（CE）、邊緣強度（EI）、信息熵（IE）、峰值信噪比（PSNR）、空間頻率（SF），對兩組融合圖像進行了評價，并且和其他八種方法進行了對比，結果如表1、表2 所示，其中最優值進行加粗標注。

表1 “Kaptein_1123”紅外與可見光圖像融合效果評價

表2 “Sandpath”紅外與可見光圖像融合效果評價

表1 為“Kaptein_1123”紅外與可見光圖像融合結果的評價指標，表2 為“Sandpath”紅外與可見光圖像融合結果的評價指標。通過表1 中的數據可以看出，對于“Kaptein_1123”紅外與可見光圖像融合效果，本次提出的算法整體優于其他幾種對比算法。圖像質量評價中的平均梯度（AG）、邊緣強度（EI）、信息熵（IE）、空間頻率（SF）都有著顯著的提高；通過表2 中的數據可以看出，對于“Sandpath”紅外與可見光圖像融合效果，本文提出的算法整體優于其他幾種對比算法。圖像質量評價中的平均梯度（AG）、邊緣強度（EI）、信息熵（IE）、空間頻率（SF）都是這幾種方法中的最優值。由表1、表2 中的數據可知，本文提出的算法在評價結果中的最優值最多，客觀驗證了提出算法的優越性。

3 結論

提出了一種基于Gabor 濾波和顯著性的紅外與可見光圖像融合的方法。該方法在傳統的多尺度分解融合的基礎上，解決了圖像目標與圖像背景不清晰的問題，并且還保留了原始圖像中更多的細節。該方法能夠使熱源目標更加突出，有利于對融合后圖像中目標進行檢測、識別以及跟蹤，并且由于使用了更符合人眼視覺效果的Gabor 濾波，使融合后的圖像具有更加豐富的細節以及更好的視覺效果。 相比于其他方法，提出的算法融合的圖像在主觀上有著較好的清晰度和對比度，在客觀評價指標上大部分指標也優于其他方法，并且由于使用了Frankle-McCann Retinex 增強算法，使弱光圖像經融合后更加清晰，同時融合后的圖像中呈現出清晰的梯度信息，在時間上比深度學習的方法更快。