紅外與可見光圖像多特征自適應融合方法

王君堯，王志社，武圓圓，陳彥林，邵文禹

（太原科技大學 應用科學學院，山西 太原 030024）

0 引言

紅外傳感器具備全天時全天候工作能力，能夠獲取捕捉目標的熱輻射信息，但所獲取的紅外圖像存在分辨率低、對比度差、邊緣模糊等缺點?？梢姽鈧鞲衅魍ㄟ^光反射成像，能夠獲取場景、紋理和細節等信息，但容易受惡劣天氣、光照等環境因素影響。紅外與可見光傳感器成像機理不同，成像頻段不同，表征前景目標和后景細節的特征信息差異大，成像條件和成像特性都具有很強的互補性。因此，圖像融合技術可以整合紅外與可見光圖像的互補特征信息，從而合成一幅有利于人眼觀察或其他視覺任務的單一圖像，能夠廣泛應用于實時監控[1]、目標跟蹤[2]、目標檢測[3]、行人識別[4]等領域。

傳統圖像融合方法通常依據目標特性或成像機制等先驗知識，構建相應特征提取模型，再設計相應的融合規則，通過反變換得到最終的融合圖像。常見的融合方法有多尺度變換[5]、稀疏表示[6]、顯著性融合[7]和混合方法[8-9]等。傳統的融合方法依賴固定的數學模型，僅能對某一類特征敏感，且無差別提取紅外與可見光圖像特征，特征提取能力不足。此外，需要人工設計相應的融合規則，計算復雜度高，且規則單一，缺乏對圖像特征自適應的提取能力。因此，傳統方法的融合圖像容易導致細節丟失、圖像扭曲和人造紋理等問題，無法達到理想效果。

近年來，由于卷積運算具有較強特征提取能力，基于深度學習融合方法[10-13]利用大量圖像數據，不斷訓練網絡模型，獲取最優模型參數，有效地提高了圖像融合性能。文獻[14]提出了DenseFuse，在編碼器中引入密集連接模塊，利用中間層特征增強特征表征能力，但其網絡結構簡單，且不能提取圖像的多尺度特征。文獻[15]提出了IFCNN，選擇不同的特征融合策略以適應不同的融合要求，實現多任務圖像融合。文獻[16]提出了UNFusion，構建了多尺度編碼器與解碼器，且采用密集連接結構，可以有效地提取和重建多尺度深度特征。盡管這些方法取得了較好的融合效果，但仍需人工設計相應的融合規則，是非端到端方法。為解決上述問題，文獻[17]提出FusionGAN，首次將生成對抗網絡引入圖像融合領域中，將圖像融合問題視為特征對抗問題。接著，又提出了GANMcC[18]，進一步將圖像融合問題轉化為多分類限定問題。文獻[19]設計了RFN-Nest，采用兩階段訓練，先訓練編碼器和解碼器，再訓練融合規則。這些雖然規避了融合規則的人為限制，但無法依據源圖像特征自適應變化，造成圖像特征提取不充分，導致融合結果不能同時保留紅外目標特征與可見光紋理細節。

針對上述問題，本文提出了紅外與可見光圖像多特征自適應融合方法。首先，構建了多尺度密集連接網絡，在解碼和編碼器中建立密集連接，可以聚合所有不同尺度不同層的中間特征，有效地提高了網絡模型的特征提取和重構能力。其次，構造了多特征自適應損失函數，依據VGG-16 網絡提取源圖像各自的特征信息，自適應監督融合網絡訓練，從而獲得更加平衡的融合結果。

1 融合方法

1.1 網絡結構

多特征自適應融合方法的原理框架如圖1所示，其中，左半部分為編碼器（encoder），普通卷積層Conv1-4 采用3×3 卷積核，用于提取4 個不同尺度的淺層特征。ECB 表示編碼卷積模塊，由卷積核為1×1、3×3 的兩個卷積層組成，用于提取圖像深層特征。網絡的右半部分為解碼器（decoder），DCB 表示解碼卷積模塊，包含了兩個3×3 卷積層，用于重構圖像特征。卷積層Conv5 用于輸出最終結果，采用Sigmoid 作為激活函數，而其他卷積層都采用PReLU 作為激活函數。此外，向下箭頭表示下采樣操作，采用步長卷積運算，而向上箭頭表征上采樣操作，采用最近鄰插值法?？梢钥闯?，垂直方向表明了網絡的尺度變化，水平方向表征了網絡的深度變化，利用密集跳轉連接，可以聚合所有不同尺度不同層級的中間特征，進一步提高網絡的特征提取與重構能力。

圖1 多特征自適應融合方法原理Fig.1 The principle of multi-feature adaptive fusion method

在訓練時，將紅外與可見光圖像分別輸入至VGG-16 網絡的3 個通道中，并于最大池化前獲取5個不同尺度的特征圖，最后通過計算，得到多特征自適應權重ωir、ωvis，以控制損失函數中的比例參數，自適應調整不同源圖像與融合圖像之間的特征誤差，獲得信息更加均衡的結果。在測試時，網絡無需加載VGG-16 網絡與多特征自適應損失函數，僅將紅外與可見光圖像進行通道合并（concatenate），輸入至編碼器，最后，將獲取的不同尺度的特征圖通過解碼器，重構得到融合結果。

1.2 多特征自適應損失函數

紅外與可見光圖像融合應同時保留紅外圖像與可見光圖像的特征信息，即紅外目標與可見光紋理細節。若某一源圖像包含豐富的信息，那么其特征保留的比例應該增加，使融合結果與該源圖像具有較高的相似性。而現有的融合方法等同看待源圖像的固有特征，無法針對源圖像的固有特征的差異性，自適應調節融合圖像與源圖像之間的特征保留比例，造成信息損失。為此，本文方法綜合考慮不同類型源圖像的特征差異，設計了統一的信息度量。通過計算源圖像與融合結果之間的相似關系，自適應調整損失函數的參數，以監督網絡訓練過程，有效解決了此類問題。本文結合紅外與可見光源圖像的各自的固有特征，以像素結構與像素強度為度量準則，構造了多特征自適應損失函數。依據VGG-16網絡提取源圖像各自的特征信息，自適應監督融合網絡訓練，均衡地提取可見光圖像的紋理細節與紅外圖像的目標亮度，從而獲得更加平衡的融合結果。

在訓練時，采用VGG-16 網絡提取源圖像I的多尺度特征，其中j表示尺度，j＝1,2,…,5，k表示通道索引，取值區間為[1,Cj]。通過計算特征圖的梯度特征來獲取源圖像的結構信息保留度δS，權重越高代表結構信息保留程度越高，如公式(1)所示：

計算結構信息保留度可以評估邊緣和細節等高頻信息，但容易引起圖像像素強度以及目標特征信息損失，因此需要獲取源圖像的像素強度信息保留度δI，以均衡測量源圖像與融合圖像之間的特征相似性，如公式(2)所示：

綜合上述的結構特征保留度和像素強度保留度，總的特征信息保留度如公式(3)所示：

式中：α為超參數，用于權衡δS 與δI的比例關系。

每組源圖像Iir、Ivis可由信息保留度δir、δvis 計算得到ωir、ωvis，如公式(4)所示：

式中：超參數c用于縮放數值，以獲得更好的權重分配。softmax 函數將多特征自適應權重ωir、ωvis 映射到區間[0,1]，且ωir＋ωvis＝1。

將多特征自適應權重應用于損失函數，以監督網絡訓練。多特征自適應損失函數從結構相似性和強度分布兩個方面實現相似約束。結構相似性指數測度（SSIM）通過在亮度、對比度和結構3 個方面衡量兩幅圖像相似度，以該指標來測量融合結果與源圖像之間的信息損失，如公式(5)所示：

由于結構相似性指數測度容易引起亮度變化和顏色偏差。因此，本文采用L1 損失函數以保留圖像目標亮度信息，彌補SSIM 損失函數的不足，如公式(6)所示：

總損失函數如公式(7)所示，其中β為超參數，以均衡兩類損失函數差異。

2 實驗

2.1 實驗參數設定

在訓練階段，選取TNO 數據集中的紅外與可見光圖像為訓練集。為了擴大訓練數據集，以滑動步長為12，將其裁剪為大小為256×256 的紅外與可見光圖像對，共10563 對，灰度值取值范圍為[0,255]。此外，設置迭代數（epoch）為1，優化器為Adam，學習率（learning rate）為0.001，每批訓練量（batch size）為8。超參數設置為α＝1，c＝2，β＝0.87。測試及訓練配置為Intel i9-9900、GeForce RTX 2080Ti和32 GB 內存。選定的編譯環境為pytorch。

在測試階段，選取 TNO[20]、Roadscene[21]與OTCBVS[22]為驗證數據集，以驗證方法的有效性。將本文方法與MDLatLRR（multi-level decomposition of LatLRR）[6]、DenseFuse[14]、IFCNN[15]、UNFusion[16]、GANMcC[18]、U2Fusion[23]、RFN-Nest[19]這7 種典型方法進行比較。在定性比較中，為了便于觀察，將融合圖像中的紅外目標與可見光細節分別標注，并將局部細節放大。定量評價指標選擇信息熵（entropy,EN）[24]、非線性相關信息熵（nonlinear correlation information entropy,NCIE）[25]、標準差（standard deviation,SD）[26]、相關差異和（the sum of the correlation differences,SCD）[27]、視覺信息融合保真度（the visual information fidelity for fusion,VIFF）[28]、多尺度結構相似性（multi-scale structural similarity index measure,MS_ SSIM）[29]，可從圖像特征信息、結構相似性、視覺感知等方面評估融合性能。

2.2 消融實驗

2.2.1 密集連接有效性驗證

為驗證密集連接的有效性，采用3 個對比驗證模型，分別是編碼器和解碼器都無密集連接，記作No_Dense，僅編碼器有密集連接，記作Only_En，僅解碼器有密集連接，記作Only_De。實驗選擇TNO數據集中的Kaptein_1654、House、Helicopter 三組典型的紅外與可見光圖像進行定性比較，如圖2所示?？梢钥闯?，No_Dense、Only_En 模型融合結果丟失了可見光圖像的紋理細節，降低了目標與背景的對比度，且圖像的背景出現噪點，部分邊緣細節處產生偽光暈；Only_De 模型結果在一定程度上提高了圖像對比度，但仍缺乏紋理結構信息。例如，在Helicopter 結果中，天空云彩的結構與灰度分布有所缺失。相比之下，本文方法在提高目標亮度的同時突出了圖像細節與對比度，圖像較為清晰，視覺效果優于對比模型。

圖2 密集連接的定性比較結果Fig.2 Qualitative comparison results of dense skip connections

此外，為了避免視覺感知偏差，本文采用TNO數據集的25 組圖像以及6 個指標，在客觀方面量化比較模型有效性，表1 給出了密集連接的定量比較結果。觀察表中數據，本文模型獲得的融合結果在EN、SCD、VIFF 與MS_SSIM 指標上獲得最優值，且NCIE，SD 指標僅次于Only_De。從結果可以看出，密集連接可以實現特征復用，有效增強圖像特征表示能力。且在解碼和編碼器中建立密集連接在主客觀評價上均優于其他模型，即 No_Dense、Only_En 以及Only_De，表明本文模型可以有效聚合所有不同尺度不同層的中間特征，提高網絡模型的特征提取和重構能力。

表1 密集連接的定量比較結果Table 1 Quantitative comparison results of dense skip connection

2.2.2 多特征自適應損失函數有效性驗證

為驗證多特征自適應損失函數的有效性，采用3個對比驗證模型，分別是僅保留像素亮度測量準則的融合模型，記作Finten，僅保留梯度測量準則的融合模型，記作Fgrad，直接采用固定權重系數，即ωir、ωvis 取值為0.5，記作Fmean。圖3 給出了多特征自適應損失函數的定性比較結果，由圖觀察得知，Finten融合結果邊緣細節不清晰，出現偽光暈，且圖像對比度不高。Fgrad、Fmean突出了可見光細節，但目標亮度與對比度依舊不高。相比于對比驗證模型，本文設計的多特征自適應模塊既保留了紅外圖像的目標亮度，又突出了可見光細節，取得更好的主觀融合效果。通過定性比較，證明了多特征自適應損失函數的優越性。

圖3 多特征自適應模塊的定性比較結果Fig.3 Qualitative comparison results of multi-feature adaptive modules

此外，表2 給出了多特征自適應損失函數的定量比較結果，進一步驗證本文模型設計的合理性與有效性。觀察表中數據，本文方法在所有指標上均獲得最大值，與主觀評價結果一致，表明多特征自適應損失函數可以有效獲取源圖像紋理結構以及像素強度的信息保留度，實現源圖像與融合圖像的特征相似性約束，包括邊緣細節、亮度變化以及灰度分布等，并平衡了兩類圖像的差異信息，獲得良好的融合結果。

表2 多特征自適應損失函數的定量比較結果Table 2 Quantitative comparison results of multi-feature adaptive loss function

2.3 TNO 數據集

為了驗證本文方法的優越性，從TNO 數據集中選取25 組圖像進行實驗驗證，其中選取7 組典型的紅外與可見光圖像進行主觀評價， 包括Kaptein_1654、Sandpath、Nato_camp、Movie_18、Helicopter、Movie_01 和Marne_04。TNO 數據集的定性比較結果如圖 4所示。觀察結果得知，MDLatLRR、DenseFuse 以及IFCNN 融合結果保留了可見光圖像紋理細節，但是目標亮度嚴重缺乏，且圖像背景較暗，導致其對比度偏低，部分細節不明顯。GANMcC 獲得的融合結果傾向于保留紅外典型目標，而損失了大量的可見光結構信息，例如Sandpath 結果中，路邊圍欄模糊不清。U2Fusion 和RFN-Nest 獲得較為良好的結果。圖像清晰，同時保留了豐富的細節，提高了目標與背景的對比度，但是其結果中典型目標亮度依舊不高。相比之下，UNFusion 和本文方法可以同時具有兩類圖像的差異信息，在不損失目標亮度的同時，突出細節，保留豐富的場景信息。主觀評價結果表明，本文方法能夠獲得較好的融合效果。

圖4 TNO 數據集的定性比較結果Fig.4 Qualitative comparison results of TNO datasets

表3 給出了TNO 數據集的定量比較結果，從客觀角度驗證融合方法的有效性，由表可知，本文方法在指標EN、SD、SCD 以及MS_SSIM 上獲得最優值，并在指標NCIE 和VIFF 上僅次于UNFusion 以及U2Fusion。表明本文方法融合結果良好，具有較高的對比度以及圖像質量。

表3 TNO 數據集的定量比較結果Table 3 Quantitative comparison results of TNO datasets

2.4 Roadscene 數據集

為進一步驗證該融合方法的有效性，選取Roadscene 數據集中的221 組圖像進行實驗驗證，圖5 為Roadscene 數據集的定性比較結果，觀察可知，MDLatLRR、DenseFuse、IFCNN 的融合圖像傾向于可見光圖像，提取紅外圖像的亮度信息不足，且圖像對比度低。GANMcC、RFN-Nest 結果傾向于紅外圖像，保留了目標亮度，但損失大量紋理細節，且目標邊緣模糊，RFN-Nest 存在較為嚴重的偽影。UNFusion 雖可均衡獲得紅外目標與可見光細節，但丟失了天空云彩的邊緣紋理。U2Fusion 及本文方法獲得優于其他方法的融合結果，根據定性分析，兩者結果差異不明顯，故從定量分析進一步比較融合性能。

圖5 Roadscene 數據集的定性比較結果Fig.5 Qualitative comparison results of Roadscene datasets

Roadscene 數據集的定量比較如表4所示，本文方法取得了EN、SD、SCD 與VIFF 指標的最大值。EN、SD 值最高，證明多特征自適應融合方法整合不同尺度不同層級的中間層特征后，提取到更多的特征信息。SCD、VIFF 取得最優值，則說明在圖像質量與視覺效果比較中，本文方法優于其他典型方法。雖然NCIE 指標略次于UNFusion 和U2Fusion，MS_SSIM 指標僅次于U2Fusion，但綜合分析，多特征自適應融合方法的融合效果綜合性能更優。

表4 Roadscene 數據集的定量比較結果Table 4 Quantitative comparison results of Roadscene datasets

2.5 OTCBVS 數據集

為更進一步驗證該融合方法的魯棒性，選取了OTCBVS 基準數據集的40 組紅外與可見光圖像對進行實驗。圖6 給出了OTCBVS 數據集的定性比較結果，其中，MDLatLRR、DenseFuse、IFCNN 結果保留了可見光紋理信息，但對比度低，導致部分細節不清晰。GANMcC 目標亮度較高，但缺乏大量結構信息，例如，圖像中幾乎沒有地縫，且目標邊緣模糊。RFN-Nest 目標亮度不高，可見光邊緣細節模糊，且存在偽影。在定性比較中，U2Fusion、UNFusion以及本文方法的融合結果優于其他方法。而從主觀上來看，三者結果差異不明顯，因此從客觀上比較他們的融合性能。

圖6 OTCBVS 數據集的定性比較結果Fig.6 Qualitative comparison results of OTCBVS datasets

表5 為OTCBVS 數據集的定量比較結果，對比可得，本文方法在EN、SD、MS_SSIM、VIFF、SCD指標均優于其他方法，僅 NCIE 指標略次于UNFusion。進一步驗證了本文的融合性能。

表5 OTCBVS 數據集的定量比較結果Table 5 Quantitative comparison results of OTCBVS datasets

本文采用TNO、Roadscene 與OTCBVS 三個公開數據集進行實驗驗證，綜合視覺感知以及多個指標進行評價。相比于其他典型方法，主觀上更均衡地保留了兩類圖像的典型特征，包括紅外圖像目標特征以及可見光圖像的紋理特征，客觀上隨著數據集的變化，評價指標趨勢基本一致，表明本文方法具有較強的魯棒性與優越性。

3 結論

本文提出了多特征自適應紅外與可見光圖像融合方法。首先，采用了多尺度密集連接的網絡結構，充分利用不同尺度的淺層及深層特征；其次，設計多特征自適應損失函數，引入VGG-16 網絡提取特征并用于計算特征的信息保留度，進而約束損失函數。特征自適應損失函數針對性地提取了紅外圖像的目標信息和可見光圖像的紋理細節信息，監督網絡模型獲得更平衡的融合結果。消融實驗驗證了密集連接與多特征自適應損失函數的有效性。此外，在TNO、Roadscene 和OTCBVS 三種不同的數據集上，與7 種典型方法進行了主客觀實驗，結果表明本文方法的優越性和魯棒性。