面向雙模態紅外圖像差異的擬態融合方法

王學霜，王肖霞，吉琳娜，郭小銘

（中北大學 信息與通信工程學院，山西 太原 030051）

0 引言

雙模態紅外圖像是指紅外光強圖像和紅外偏振圖像，其中紅外光強圖像是紅外熱成像技術通過探測景物紅外輻射強度形成的[1]，而紅外偏振圖像是利用紅外偏振成像技術在紅外熱成像基礎上獲得多方向偏振量得到的[2]，兩者在醫學、農業、消防、軍事等領域都發揮巨大的作用[3-4]。紅外光強圖像有明顯的亮度和外表輪廓，紅外偏振圖像有清晰的邊緣和紋理細節，兩者構成互補信息，使雙模態紅外圖像的融合成為近年來研究的重點內容[5]。目前雙模態紅外圖像融合算法的融合方式較為單一，存在圖像融合效果不明顯甚至差的問題，因此如何有效利用雙模態紅外圖像互補信息，實現圖像信息的高質量融合成為亟待解決的問題。

圖像融合方法主要包括多尺度變換和非多尺度變換的融合方法，其中也存在對經典方法的改進及混合融合[6]。Li[7]提出了一種基于引導濾波的加權平均技術，以利用空間一致性融合基礎層和細節層；Liu[8]結合多尺度變換和稀疏表示提出了一種通用的圖像融合框架；Liu[9]利用連體卷積網絡集成紅外和可見光圖像的像素活動信息。這些融合方法雖然可以獲得較好的融合性能，但由于融合方式的單一性，不能實現圖像融合的自適應性。針對此類問題，為便于對圖像差異信息的有效融合，Hu[10]構建差異特征來定向描述雙模態紅外圖像的互補信息，并驗證能夠用差異特征引導融合，為研究差異特征融合，實現雙模態紅外圖像互補信息的有效融合奠定基礎。

針對上述問題，本文結合差異特征驅動融合機制，提出了一種擬態融合方法。差異特征的有效融合使雙模態紅外圖像互補信息得到有效利用，能夠從中獲得更全面的融合信息。

1 研究方法

面向雙模態紅外圖像差異的擬態融合方法主要包括兩部分，主差異特征的選擇，各層變元和擬態結構的確定。其中主差異特征選擇模塊用于確定圖像組的主差異特征類型，各層變元和擬態結構的確定模塊用來對應主差異特征類型的高層變元、低層變元、基層變元和擬態結構。具體方法流程如圖1所示。

圖1 面向雙模態紅外圖像差異的擬態融合方法流程Fig.1 Flow chart of mimic fusion method for dual-mode infrared image difference

1.1 主差異特征的選擇

從成像影響因素、物體輻射特性、目標探測效果角度分析雙模態紅外圖像特點[11]，雙模態紅外圖像特征中亮度、邊緣與紋理特征差異明顯，因此從中進行差異特征的選擇。亮度特征有平均能量（average energy,AE）、熵（entropy,EN）、對比度（contrast,CD）；邊緣特征有標準差（standard deviation,STD）、邊緣強度（edge strength,ES）、邊緣豐度（edge abundance,EA）、平均梯度（average gradient,AG）；紋理差異特征有Tamura 對比度（Tamura contrast,TCD）、均勻度（homogeneity degree,HD）、清晰度（definition,DF）。

特征差異度是用來描述雙模態紅外圖像差異特征的差異程度，范圍[0～1]，如公式(1)所示：

式中：Dif 代表特征差異度；Df 代表差異特征值；I 和P 分別代表紅外光強與偏振圖像；w1、w2分別為紅外光強、偏振圖像的權重；σ是一個極小的常數用于防止分母為0。

將多樣本圖像劃分為32×32 尺寸的局部圖像，從中隨機選擇64 組計算亮度、邊緣和紋理特征的差異度如圖2所示，通過觀測64 組樣本圖像特征差異度的分布情況對圖像特征進行粗篩，確定雙模態紅外圖像的差異特征。亮度特征中，AE 與CD 的差異度值較高且存在較大的幅值范圍，但是EN 差異特征差異度較低，對兩類圖像的差異表示不明顯，因此選擇AE 和CD 作為亮度差異特征；邊緣特征中，由于EA與AG 相比于STD 與ES 來說，它們存在高差異度值的數量較多，STD 與ES 的特征差異在圖像中不明顯，因此選擇EA 和AG作為邊緣差異特征；紋理特征中，TCD 和DF 差異特征存在高的差異度和較大的幅值，而HD 差異度值的變化趨勢與TCD 相近且大多數值較低于TCD 差異度值，因此選擇TCD 和DF 作為紋理差異特征。

圖2 亮度、邊緣和紋理特征下的特征差異度Fig.2 Feature difference under brightness,edge and texture features

利用主差異特征類型選取規則，獲取圖像的3 種主差異特征類型。將亮度特征和邊緣紋理特征設為兩組，先分別得到兩組中包含主差異特征的個數MTea如式(3)所示，兩組的差異特征按差異度排序后，分別選擇對應個數的差異特征，得到主差異特征類型。

1.2 各層變元和擬態結構的確定

1）特征融合度

在確定差異特征與各層變元、擬態結構的關系時，需要選擇出圖像融合效果較好的組合，除了對視覺效果的判斷以外，還要進行客觀描述。在圖像不失真的情況下，差異特征值越高代表圖像質量越好，由于對差異特征值直接比較并不直觀，為了更方便地觀測出雙模態紅外圖像差異特征的融合效果，采用特征融合度來描述在不同變元組合下差異特征的融合情況，選擇變元分層結構中融合主差異特征效果較好的變元，如公式(4)所示：

式中：xi為不同變元融合得到差異特征值；n為各層變元的總數；yi為計算所得差異特征的特征融合度數值。yi＞0 認為變元所對應圖像差異特征擁有較好的融合效果，且數值越大融合效果越好，yi＝1 時融合效果最好；反之認為融合效果不好，并且數值越小融合效果越差。

2）各層變元的確定

擬態融合的組成結構包括擬態變元和擬態結構，將擬態變元分為高層變元、低層變元和基層變元，構造擬態融合方法的擬態變元集合，具體如表1所示。其中高層變元代表各類多尺度分解算法；低層變元代表高低頻融合規則；基層變元則代表融合參數。

表1 擬態變元集Table 1 Set of mimic variables

在各層變元中，由于高層變元包含低層和基層變元，因此依次確定差異特征與高層變元、低層變元和基層變元的關系。

建立單一差異特征與高層變元類間的關系，確定高層變元類。固定低層與基層變元，在不同高層變元類內各選一種高層變元分別進行6 類差異特征的融合，比較融合后對應差異特征的特征融合度值，由于同類型的高層變元分解方式相似，因此至少選擇前2個特征融合度最大的高層變元類，來確定單一差異特征的高層變元類，如式(5)所示：

式中：DF(n)代表第n個差異特征，HVkn表示與差異特征n對應的第k個高層變元類，其中n＝1,2,…,6，k＝1,2,…,K。

建立單一差異特征與高層變元類內的關系，確定類內高層變元。確定高層變元類后，將類內所有高層變元進行差異特征的融合，分別計算6 類差異特征不同高層變元的特征融合度，保留特征融合度大于0 的高層變元，確定單一差異特征的類內高層變元，如式(6)所示：

式中：j＝1,2,…,J為差異特征對應的類內高層變元個數的變量。

建立單一差異特征與低層變元的關系。固定基層變元，將差異特征對應高層變元的所有低層變元組合情況進行差異特征的融合，先進行主觀判斷，剔除融合失真、視覺效果差的變元組合情況后，再計算特征融合度，選擇特征融合度值大于0 的低層變元，確定低層變元，如式(7)所示：

式中：LV 代表低層變元，h＝1,2,…,H為高層變元下低層變元個數的變量。

建立單一差異特征與基層變元的關系。將不同基層變元代入式(7)下得到的高層和低層變元組合中，選擇在高層和低層變元相同的情況下，不同基層變元中差異特征的特征融合度最大值，確定差異特征對應的基層變元，變元分層結構也由此確定，如式(8)所示：

式中：BV 代表基層變元；l＝1,2,…,L為低層變元下基層變元個數的變量。

3）擬態結構的確定

擬態結構代表高層變元的組合方式，常見的擬態結構為串聯式、并聯式和內嵌式結構。串聯式結構（tandem structure,TS）將前一級高層變元的輸出作為后一級高層變元的輸入，同時要保證第二級后各高層變元輸入的合理設計；并聯式結構（parallel structure,PS）不同高層變元具有相同的輸入，對圖像同時進行融合，最后將不同融合結果合成獲得并聯式結構的融合結果；內嵌式結構（embedded structure,ES）是由不同高層變元層層嵌套獲得最終融合結果，其內部輸出能作為其他高層變元的輸入，其他高層變元能夠嵌入其中，當內部融合結束后，外部高層變元將內部不同融合結果組合得到內嵌式結構的融合結果。

確定變元分層結構后，建立主差異特征類型與擬態結構的關系，即確定對高層變元的組合結構，從而形成變體。由式(3)的主差異特征類型選取規則得到圖像的主差異特征，對應出各層變元后，按照不同擬態結構對高層變元進行組合，計算各擬態結構不同主差異特征類型融合結果的特征融合度，確定特征融合度最大值占比最高的擬態結構，形成變體，如式(9)所示：

式中：MDF代表主差異特征類型；MS表示擬態結構；E表示變體；y表示高層變元的個數，s＝1,2,…,S，代表擬態結構個數的變量。

2 實驗及結果分析

2.1 實驗結果

通過對圖3 中6 組雙模態紅外圖像進行實驗來驗證本文擬態融合方法的融合效果，圖像組中第一行為紅外光強圖像，第二行為紅外偏振圖像。本文在擬態變元集中高層變元類內選擇具有代表性的多尺度融合方法，例如金字塔變換類內有拉普拉斯金字塔（Laplacian pyramid,LP）[12]、低通比率金字塔（low-pass ratio pyramid,RP）[13]等；小波變換類內包括離散小波變換（discrete wavelet transform,DWT）[14]、雙樹復小波變換（dual-tree complex wavelet transform,DTCWT）[15]等；方向濾波類包括非下采樣剪切波變換（non-subsampled Shearlet transform,NSST）[16]等；邊緣保持類內包括導向濾波（directed filtering,GF）[7]、L0邊緣保持濾波（L0 edge-preserving filtering,LEP）[17]等。低層變元中的融合規則組合表示為（高頻規則_低頻規則）?；鶎幼冊械娜诤蠀蛋谌诤纤惴▋?，如LP、RP、DWT 等存在分層參數n，NSST 算法中剪切波的方向參數（dcomp)、尺度參數（dsize)，GF 的濾波參數（filter）等。

圖3 實驗圖像Fig.3 Experimental images

首先由式(1)計算得到6 組圖像差異特征的特征差異度，再利用式(3)結合特征差異度確定各組圖像的主差異特征類型，結果如表2所示。

表2 主差異特征類型Table 2 Main difference feature types

根據確定的變元分層結構，對應出6 組圖像主差異特征類型的各層變元。由于圖像組的主差異特征類型不同，對應的變元也不相同，最后確定的各層變元如表3所示。

表3 圖像組的各層變元Table 3 Variables of each layer of image group

選擇擬態結構，確定高層變元合適的組合方式，從而形成變體。分別對6 組雙模態紅外圖像的不同高層變元按不同擬態結構組合，計算在3 種擬態結構組合下融合結果的特征融合度，如圖4所示。

圖4 6 組圖像的特征融合度Fig.4 Feature fusion degree of six groups of images

由于串聯式結構在融合過程中，每次串聯時融合圖像的選擇對融合結果起關鍵作用，因此在串聯時需要選擇合適的圖像輸入進行融合；并行式結構在最后融合時權重的不同影響著融合的質量，本文權重取均值，從圖中結果可以看出差異特征融合效果不理想；內嵌式結構中圖像的融合質量與高層變元的嵌套位置有關，當圖像分解后需要選擇合適的高層變元對高頻或低頻分量進行融合。觀測圖4 不同圖像組差異特征的特征融合度結果，得出a、b、c、d、f 圖像組的特征融合度最大值串聯式結構占比最高，因此確定擬態結構為串聯式結構；e 圖像組中特征融合度最大值占比最高的是內嵌式結構，因此其作為e 組圖像的擬態結構。

最后的實驗結果如圖5所示，其中(1)組為擬態融合方法形成變體后最終得到的融合結果，對比實驗使用LP_SR[8]與CNN[9]算法，實驗結果分別為(2)組與(3)組。

圖5 紅外光強與偏振圖像融合結果Fig.5 Fusion results of infrared light intensity and polarized images

2.2 結果分析

1）主觀分析

從視覺效果來看，a(1)右上角建筑的邊緣和紋理部分比a(2)和a(3)更明顯，b(1)中汽車刮雨器附近的細節比b(2)和b(3)更多，c(1)欄桿處的視覺效果比c(2)和c(3)好，d 和e 組圖像在方法1 下的結果亮度比在方法2 和方法3 下結果的亮度高，其中e(1)圖中坦克炮筒部分的邊緣比e(2)和e(3)圖像清晰，f(1)結果的紋理比f(2)和f(3)的紋理更明顯。

2）客觀分析

利用9 種常用評價指標對6 組圖像的3 種不同融合結果進行比較，如表4所示。雖然評價指標結果的最大值沒有都在(1)組圖像中，但整體來說，利用(1)組方法所得融合圖像的常用評價指標結果最優值總體所占比重比其他兩種方法得到融合圖像的評價指標結果大得多，高達77.8%，其中(2)組中算法評價指標最優值占 5.6%，(3)組中算法評價指標最優值占16.6%。因此從常用指標評價結果可知，針對圖像差異的擬態融合方法能夠實現較好的融合效果。

表4 評價指標結果Table 4 Evaluation index results

用擬態指標進行評價，分析擬態融合方法的優勢。融合有效度是比較雙模態紅外圖像各類差異特征融合效果的評價指標，其作用是評價融合方法對源圖像差異信息的融合情況，如式(10)所示：

式中：I 和P 分別為紅外光強與偏振圖像；T 代表差異特征的編號；Df 為差異特征值；FD 代表差異特征的融合度。wI,T和wp,T代表權重因子，為了說明源圖像中差異特征較大者其重要性也越大，反之越小。

用3 種融合方法得到的6 組雙模態紅外圖像融合結果的融合有效度如表5所示。通過觀察差異特征融合有效度的最大值分布可知，(1)中方法對差異特征的融合效果總體比其他兩種方法對差異特征的融合效果好。另外觀察表中數據可知(1)中方法的融合有效度都為正值，而(2)組所用方法的融合有效度在b、c、e圖像組中存在負值，(3)組所用方法的融合有效度在a、b、c、e 圖像組中存在負值，代表本文方法可以通過對融合策略進行自適應選擇，實現對源圖像差異特征的有效融合，而其他方法存在對源圖像差異特征的無效融合

表5 融合有效度結果Table 5 Fusion effectiveness results

3 結論

本文提出一種面向圖像差異的擬態融合方法，該方法通過確定變元分層結構，根據圖像主差異特征類型確定各層變元和擬態結構，實現對變體的獲取，達到融合雙模態紅外圖像互補信息的目的，實現了對融合算法的針對性選擇和圖像的自適應性融合，從主客觀進行評價，特別是擬態評價指標的結果得出本文方法實現了對圖像差異信息的有效融合和圖像融合的自適應性，提高了圖像的融合質量。本文研究為下一步面向圖像區域劃分，提高局部區域融合質量的擬態融合研究提供參考。