基于卷積網絡實現圖像配準與圖像融合算法的研究

臧景峰 徐寧雪

摘要：圖像的配準與融合是計算機視覺和模式識別的研究熱點，在航拍視頻序列處理、醫學圖像分析、運動分析等領域有著廣泛的應用。視頻增強技術只在去霧、圖像配準、圖像融合等某一個特定任務中表現很好，具有一定的局限性。而卷積神經網絡的堆疊和利用可以同時實現視頻圖像增強所需的多種功能。本文采用孿生結構的深度卷積神經網絡實現圖像配準和圖像融合，具有重大應用價值。

關鍵詞：孿生結構;圖像配準;圖像融合

引言

為獲得場景信息更豐富的圖像，通常用到圖像配準與圖像融合方法，圖像融合是將多幅不同圖像集成為一幅圖像，集成后的圖像蘊涵著所有圖像的優勢信息，融合算法的基礎是圖像的配準技術，深度學習具有提升圖像融合和配準質量的潛力。

1 孿生卷積神經網絡的設計

本文所設計的孿生卷積網絡（Siamese Network）由兩個權重相同的卷積神經網絡（Convolutional Neural Network，CNN）組成。每個CNN由兩個卷積層，兩個池化層，一個殘差塊以及一個全連接層組成的，將原本Siamese網絡中的一個卷積層換成了殘差塊。輸入的patch為16×16，即卷積層和池化層的通道數都是16（即卷積模板為16種），其卷積核的大小為3×3，池化窗口尺寸為2×2，卷積方式為零填充（zero padding），卷積層的激活函數為Relu，且子CNN輸出的是256維特征向量，每個池化層包括跨信道歸一單元。

2 基于Siamese網絡的圖像配準算法

本文提出一種孿生結構的深度卷積神經網絡來提取圖像卷積特征，算法先逐像素地提取固定圖像和浮動圖像的圖像塊對，并利用Siamese網絡提取圖像塊的特征。然后將提取到的特征構建能量損失函數，通過最小化能量損失函數，在得到參考圖像與待配準圖像特征點的對應關系后，以仿射變換模型來求解參數，仿射變換計算公式為：

在得到配準變換參數后，即可將待配準圖像轉換到參考圖像的坐標系下。本文采用三次樣條插值對待配準圖像進行插值，得到與固定圖像極為接近的配準后圖像。

3 基于Siamese網絡的圖像融合算法

3.1 基于Siamese網絡的圖像融合框架

整個圖像融合過程可以分為兩個部分，第一個部分用Siamese網絡進行圖像信息的提取得到一個權重圖，第二部分是利用小波變換分解后再融合對小波分解后的不同的子帶分別采用不同融合方法進行處理?；赟iamese網絡的圖像融合框架如圖1所示 。

先將第一部分得到的權重圖W經過小波變換得到G{W}，再將兩張待融合圖片A和B進行小波變換分別得到W（A）和W（B），再將得到的G{W}和W（A）、W（A）分別進行基于邊緣檢測的小波變換圖像融合，最終進行小波逆變換得到最終的融合圖像。

3.2 融合規則

在小波分解這一過程中，選用Db4小波作為小波基對圖像與權值圖進行小波變換。

1）使用Canny邊緣檢測算法提取低頻分量中包含的邊緣輪廓細節后，對低頻分量以平均數法進行處理，再將提取出的邊緣輪廓細節與高頻分量內相應分辨率的點通過絕大值系數法進行處理，最后通過小波逆變換得到融合圖像。低頻分量平均數法表示為：

其中f1、f2表示原圖像分解后在對應的（m，n）上的小波系數，f3表示結果圖像在（m，n）上的小波系數。

2）高頻系數絕大值法表示為：

式中表示小波分解系數。對子系數以小波逆變換處理，得到融合圖像。

4 實驗結果

本文方法與現存兩種融合方法基于導向濾波 （Guided Filtering，GF）的融合方法、基于小波變換（Wavelet Transform，WT）的融合方法進行比較，且比較了原始Siamese網絡結構的結果和改進后Siamese網絡的結果。為了更加客觀的表示融合效果，選取了幾個客觀的圖像融合評價標準?；バ畔?（MI），平均梯度 （AG），邊緣強度 （ES），最后給出了所有的方法在 CPU 上的運行時間作參考。對比結果如表1所示。

從表 1中可見，本文所用方法融合后圖像的MI和AG的數值都要大于用GF和WT的數值，說明本文所提方法融合后圖像包含原圖像的信息度上和清晰度上都要優于GF和WT的融合圖像。與原始Siamese網絡結構對比，運行時間明顯減少。綜上所述，本文所提出的方法是具有一定的實用性的。

5 結論

本文提出了一種基于改進的Siamese網絡的圖像配準與融合方法，將原本Siamese網絡中的一個卷積層換成了殘差塊，比原本的算法更為簡略，并且實驗所用的時間更短，實現了像素級的圖像融合。

參考文獻

[1]王金寶.基于圖像融合的實時全景融合模型的設計與實現[D].中國科學院大學（中國科學院沈陽計算技術研究所），2019.

[2]李增祥，漆志亮，賈楠，等.基于小波圖像金字塔的工件目標檢測與定位研究.現代電子技術，2019，42（15）：33–37.

[3]孔韋韋，雷陽，任聰，趙文陽.基于改進型CNN的多聚焦圖像融合方法[J].鄭州大學學報（理學版），2019，51（02）：29-33.

[4]Zhang Y，Liu Y，Sun P，etal.IFCNN：A general image fusion framework based on convolutional neural network.Information Fusion，2020，54：99-118.

[5]Eppenhof K A J，Lafarge M W，Moeskops P，etal.Deformable image registration using convolutional neural networks[C].Medical Imaging 2018：Image Processing.

基金項目：吉林省教育廳科學研究項目（JJKH20210839KJ），雨霧場景中基于卷積神經網絡的視頻圖像增強方法研究