多源遙感影像學習型特征雙向一致性配準

張永顯,馬國銳,訾栓緊,門 行

1.武漢大學測繪遙感信息工程國家重點實驗室,湖北 武漢 430079; 2.中國消防救援學院,北京 102202; 3.65547部隊,遼寧 鞍山 114200

影像配準是將多時相、多平臺、多傳感器等多種手段獲取的兩幅或多幅影像進行空間幾何一致性對齊的過程[1],目的是去除或抑制待配準圖像和參考圖像之間的幾何不一致性,有效降低復雜環境對目標區域多源協同觀測產生的云霧遮擋、晝夜交替等不利因素的影響,獲取目標區域更為全局可靠的信息,得到更為全面準確的分析結果,為多源遙感信息的深度挖掘、大數據分析提供了重要支撐,在圖像檢索[2]、三維重建[3]、災害評估[4]等多種應用中發揮著重要作用。然而,在攝影成像時由于多源遙感影像的物理輻射信息、成像幾何機理、攝影成像時間等不同,在輻射特征和幾何特征上產生了顯著差異,使得建立多源遙感影像亞像元對應關系仍面臨較大挑戰。

為解決多源遙感影像像素級配準問題,學者們進行了大量研究,從發展歷程來看,基于影像特征的配準方法經歷了由模型驅動的手工設計型特征到由數據驅動的學習型特征的演化。常見的特征有3種類型:角點、邊緣和區域。不論是手工設計型還是學習型特征,理想的特征檢測器應具備3個特點[5]:能夠有效探測圖像中具有可區分性的關鍵信息;當場景發生不同的變換時能夠重復檢測到一致性特征;提取的特征要具有盡可能低的計算復雜度。

基于手工設計型特征的影像配準方法,是依靠研究者經驗或知識進行設計特征檢測器、特征描述子及相似性度量模型來實現圖像配準。文獻[6—9]通過改進SIFT算法或者結合其他約束信息開展了多源影像高精度配準研究,在影像灰度和結構較為接近的異源影像中取得了較好的結果。但當影像輻射差異和灰度差異較大時,會面臨特征梯度信息較小的挑戰,使得同名特征點匹配準確性大大降低,嚴重影響了配準算法性能。已有的研究中,梯度互信息方法能夠適應影像間輻射差異,被成功應用于多源遙感影像配準[10],但其龐大的計算代價限制了應用范圍[11]。為解決多源遙感影像灰度和紋理差異顯著導致高精度配準困難的問題,文獻[12—13]以影像輪廓和局部形狀具有高度相似性特征為出發點,利用多源影像之間的幾何結構特征捕獲共有屬性,顯著提升了多源遙感影像配準精度,然而這種方式需要較為完備的預處理以消除影像旋轉、尺度、視差等因素帶來的影響,不利于全自動化的影像配準。

基于學習型特征的影像配準方法,是利用深度學習特別是卷積神經網絡(convolutional neural network,CNN)作為一種圖像高層特征提取器對影像信息從低層到高層進行局部自適應學習,經過多層級非線性映射從訓練數據中學習較為穩健的特征和描述符[14]。由于是數據驅動的,具有較強的靈活性,能夠利用圖像高層語義化信息進行匹配,理論上具有更強的泛化性,從而提升影像配準算法性能[15]。在遙感圖像匹配領域,文獻[16—17]基于Siamese網絡架構提取學習型特征。文獻[18]進一步利用Triplet網絡架構提取學習型特征,均取得了較好的配準結果。此外,在計算機視覺圖像匹配領域,還有同時提取特征點和描述符的D2-Net[19]、SuperGlue[20]、SGM-Net[21]等網絡模型也都應用到多源遙感影像配準的研究,從不同方面提升了多源遙感影像配準精度和效率。文獻[22]基于對影像配準整體效率的思考,提出一種基于端到端方式的影像配準框架,有效提升了整體配準精度。文獻[23]提出了一種針對光學圖像和SAR圖像稀疏匹配的深度學習框架,實現了適用于大尺度場景多源遙感影像配準。這些基于學習型特征的多源遙感影像配準方法重點解決影像非線性幾何和輻射差異造成的影響,以提升配準精度和效率。然而,對于具有旋轉角度較大的多源影像配準,仍鮮有研究。

綜上分析,無論是基于手工設計型特征還是學習型特征的影像配準方法均取得了長足發展。但隨著應用領域深度和廣度的不斷拓展,對多源遙感影像配準提出了更高要求,依然存在較多提升空間,主要表現為:對于具有顯著仿射變化的圖像,現有的多源遙感影像特征匹配算法性能表現不佳;對于旋轉、尺度、視角等非線性幾何差異,進行自動配準前需要較完備的預處理來提升配準精度,增加了工作量;大規模訓練數據是提升學習型特征表征性能的重要途徑,目前公開的多源遙感影像訓練數據并不多見,使得影像自動配準應用受到限制。

針對以上多源遙感影像配準存在的特征提取算法適應性差、同名特征點利用率不高、訓練數據規模不足等問題,本文提出一種具有雙向一致性變換的多源遙感影像學習型特征自動配準方法。首先,利用適應性改造的ResNet101深層網絡模型提取輸入影像的學習型特征,以提升應對多源遙感影像間非線性輻射畸變和幾何畸變的能力,增強影像特征匹配算法對具有顯著仿射變化的配準性能;然后,采用雙向一致性特征匹配策略,得到穩健匹配的同名點對;最后,利用回歸網絡學習變換矩陣參數,完成多源遙感影像的像素級配準。

1 雙向一致性配準方法

1.1 算法整體框架

本文提出的多源遙感影像學習型特征雙向一致性配準方法主要由特征提取、特征匹配、參數估計3部分組成,如圖1所示。特征提取模塊主要用于提取輸入圖像對{IA,IB}的特征信息{fA,fB},其網絡結構借鑒了ResNet101模型,并對其進行適應性改造來提取多源遙感圖像特征。特征匹配模塊是根據特征圖{fA,fB},采用雙向計算特征關聯圖的非負皮爾遜相關系數的方式獲取特征點對相關度。變換矩陣參數回歸模塊是根據置信度較高的N對匹配點,利用加權方法回歸仿射變換參數完成圖像配準。

圖1 本文算法整體流程框架

1.2 學習型特征提取模型設計

1.3 雙向一致性特征匹配模型

經典的暴力匹配、快速最近鄰匹配等方法首先是計算兩幅圖像中描述符之間的相似性,然后設置閾值約束相似性得分來提高匹配可靠性,進而實現同名特征匹配。這種匹配方式主要考慮了特征描述符之間的相似性和特征空間位置分布,缺乏對特征描述大小、方向、強度等特性的考慮使得影像配準精度完全取決于特征匹配精度和空間位置分布,不利于環境差異顯著的多源遙感影像配準。為充分利用原始描述符提供的有效信息,本文借鑒特征圖關聯思想[25],利用雙向非負皮爾遜相關系數在特征圖的關聯網絡中計算特征描述符的相似性,再對描述符的相似性得分進行排序和歸一化處理,以降低模糊匹配的權重,增強匹配的可靠性。對于L2正則化后的特征圖fA,fB∈Rh×w×d,經過關聯層輸出的由fA到fB的關聯圖cAB∈Rh×w×(h×w),由fB到fA的關聯圖cBA∈Rh×w×(h×w),雙向關聯圖cAB和cBA在每一位置都包含一對描述符的標量積,如圖2所示。雙向非負皮爾遜相關系數計算特征關聯圖的相似性表達式如下

圖2 雙向一致性特征匹配模型結構

(1)

式中,(i,j)和(ik,jk)表示特征在特征圖fA、fB的位置;uA和uB表示特征圖fA、fB的平均值。

1.4 變換矩陣參數加權回歸

參數回歸目的是從關聯特征圖中學習出兩個輸入圖像之間幾何變換模型參數,本文采用具有6自由度的仿射變換矩陣作為幾何變換模型。參數回歸網絡模型[25]是由兩個Padding值為0,Stride為1的卷積層(Conv)組成,每個卷積層之后添加了批正則化(BatchNorm)和ReLU激活函數,最后通過全連接層(FC)得到變換矩陣的參數,如圖3所示。

圖3 參數回歸網絡結構

由于待配準圖像和參考圖像的匹配關系是相互的,因此,二者之間仿射變換矩陣具有可逆性,且其逆矩陣仍是仿射變換矩陣,利用這一特性構建了雙向回歸網絡,并對網絡回歸結果賦予不同權值,形成變換矩陣參數加權回歸模型,以提高多源遙感影像配準性能。變換矩陣參數加權回歸模型可表達為

θ=αθs→t+βθt→s+γ

(2)

式中,α、β為系數調節因子,試驗中取值均為0.5;γ為變換參數擾動項;θs→t、θt→s分別是待配準圖像與參考圖像之間變換矩陣。

變換矩陣參數回歸整體過程如圖4所示。

圖4 變換矩陣參數回歸模型

2 網絡模型訓練

2.1 損失函數

網絡損失函數設計以變換格網損失函數為基礎,思想是將參數回歸網絡估計的變換參數應用到待配準圖像像素格網上,再度量與真值變換的像素網格中對應點之間的距離。整個損失函數模型設計如圖5所示。

圖5 損失函數模型

對于給定的估計值θest和真值θgt,變換格網損失函數可表示為

(3)

式中,Tθest(Gi)和Tθgt(Gi)分別表示參數回歸網絡估計的θest和真值θgt變換得到的格網點Gi,影像格網點Gi={(xi,yi)}i=1,2,…,N。

為能夠在網絡訓練中使回歸網絡反向傳播參數更新后輸出的仿射變換模型參數值與真值差異不斷縮小,在式(3)中增加了θs→t和θt→s兩個分支項,把雙向一致性學習嵌入損失函數,提升多源遙感影像配準精度,最終損失函數如下

(4)

2.2 模型訓練

微調的模型訓練和驗證數據采用Google Earth數據集,它包含10 000個圖像對,每個圖像對都是在相同的地方不同時間拍攝的,由于圖像配準模型進行大規模訓練需要獲取圖像對的嚴格幾何變換參數是一項巨大的工作量,因此,部分圖像對是通過隨機仿射變換作為真值對原始數據集進行了擴充,訓練時首先將其分為9000、500和500個圖像對,分別進行訓練、驗證和測試[26]。

模型訓練平臺為Dell 7920工作站,CPU Xeon 6126@2.60 GHz,顯卡GeForce RTX2080Ti(12 GB顯存),內存64 GB,操作系統Ubuntu18.04。模型的實現采用Pytorch框架,訓練優化器選用Adam,學習率為0.000 5,BatchSize設置為10,圖像輸入尺寸為240×240。

3 試驗結果與分析

3.1 試驗數據

測試數據類型包含4種:Google Earth影像數據、多源衛星影像數據、多源無人機影像、混合Google Earth-衛星-無人機多源遙感數據。數據差異性除了具有顯著的旋轉、光照、紋理、尺度變化,也包含不同成像模式和時相的多源遙感影像。影像分辨率涵蓋從0.05～10 m的多分辨率圖像。數據覆蓋山地、丘陵、平原等多種地貌類型,以充分驗證算法的可靠性。數據介紹見表1。

表1 數據基本情況

圖6展示了測試數據縮略圖,其中Google Earth影像數據主要測試算法在時相、旋轉角度差異較大時對不同地物類型的適應性;多源衛星遙感數據存在不同模態、不同分辨率、不同地形地貌等多種綜合性的差異,測試算法對多源衛星遙感影像的適應性;無人機數據在地物輻射方面差異顯著,測試算法對非線性輻射差異的多源無人機影像配準性能;Google Earth-衛星-無人機的多源遙感數據具有地物特征變化明顯、成像模式不同等特點,能夠較好測試算法對多源多模態遙感圖像不變性特征的提取能力。

圖6 測試影像數據

3.2 評價指標

3.2.1 歸一化相關系數

歸一化相關系數(normalized correlation coefficient,NCC)可用來度量圖像之間關聯程度,試驗中采用減去均值的歸一化相關系數,以降低相機曝光參數不一致帶來的灰度差異影響,具體表示為

NCC(I1,I2)=

(5)

式中,μ1和μ2分別為圖像I1和I2的均值;x為圖像所有的像素點。

3.2.2 結構相似度

結構相似性(strucutral similiairty,SSIM)可用于衡量兩張圖像相似性,給定兩張圖像I1和I2,結構相似性SSIM可描述為

SSIM(I1,I2)=[l(I1,I2)]φ[c(I1,I2)]ψ×

[s(I1,I2)]κ

(6)

(7)

(8)

(9)

式中,l(I1,I2)用于比較亮度;c(I1,I2)用于比較對比度;s(I1,I2)用于比較圖像的結構;φ、ψ、κ均為調整因子;μ1、μ2、σ1、σ2分別為圖像I1和I2的均值和方差;σ12為協方差;C1、C2、C3為常數,用以維護穩定性。

3.2.3 均方根誤差

配準精度可通過同名點的均方根誤差(root mean square error,RMSE)進行刻畫,描述為

(10)

3.3 試驗設置

試驗的對比分析選取了適應于多源遙感影像配準的5種方法,包括基于手工設計特征的RIFT(radiation-variation insensitive feature transform)[27]算法、基于ENVI 5.3.1商業軟件的手工選點配準方式和基于深度學習特征的D2-Net[19]、SGM-Net[21]、文獻[26]算法。實際操作中圖7顯示了RIFT算法對旋轉、尺度等差異較大的多源圖像出現較多無法正確匹配或者有豐富的匹配點對但配準效果不理想的狀況,未能較好地適應于試驗數據,因此,本文僅對比了適應性較好的深度學習方法和手工選點方式。

3.4 試驗結果

3.4.1 定性評價與分析

對于本文方法的試驗結果采用定性和定量相結合的方式進行分析評價。定性評價主要通過人工觀察配準結果,具體做法是首先把配準后的多源影像進行疊置,然后利用棋盤格交錯分塊顯示并放大局部區域的方式呈現配準效果,結果如圖8所示。

圖8 本文方法在測試數據中的配準結果

由圖8可知,本文方法對于所有測試數據均取得了較好的配準效果,能夠有效抵抗不同時相、尺度、季節、紋理、視角、成像模式等非線性輻射和幾何差異的影響,適用于多種數據源的影像配準。從Google Earth影像配準驗證結果可知,本文方法對大旋轉角度的多源影像具有較好的效果,由于該組數據存在顯著的旋轉和季節差異,為此在多季節變換的訓練數據集中采用隨機旋轉矩陣擴充多旋轉角度影像參與訓練,增強了模型對旋轉圖像匹配的適應性;多源衛星影像配準結果表明本文方法能夠適用于成像模式有差異或存在多種綜合差異的影像;多源無人機影像配準試驗證明了本文方法能夠抵抗較大非線性輻射差異的影響;Google Earth-衛星-無人機影像配準試驗進一步驗證本文方法對地物類型和尺度差異顯著的數據同樣具有較好的適應性。

3.4.2 定量評價與分析

定量評價指標采用歸一化相關系數NCC、結構相似性SSIM和均方根誤差RMSE進行配準效果評價。其中,NCC和SSIM值越大配準精度越高,取值范圍分別為NCC∈[-1,1],SSIM∈[0,1]。配準之前和配準之后的NCC、SSIM對比結果如圖9所示。

由圖9可知,歸一化相關系數NCC配準之后有著明顯的提高,表明了本文方法對多源遙感影像配準的有效性,其中第4組光學-光學測試數據配準之后NCC增幅最為顯著,從0.088提升至0.613,增長0.525,顯著提升了具有綜合差異的多源遙感影像關聯度,實現了可靠的配準結果;最小增加值呈現負方向的增長,即第8組無人機光學-SAR圖像,由配準前的-0.04到配準后的-0.09,這是由于成像模式不同,非線性輻射差異顯著,使得配準之后其歸一化相關系數仍不顯著;其余測試數據配準后NCC均有顯著提升。對于SSIM值,雖然配準之后均有所增加,但增幅較低,多在0.1以內,表明配準前后對圖像結構調整變動不大。

均方根誤差RMSE是衡量配準精度的重要指標,配準耗時T是衡量配準效率的重要指標,二者均為值越小配準效果越好,為驗證本文方法的穩健性與高效性,表2重點對比了在所有測試數據上本文方法和其他幾種方法的配準精度和效率,可以發現相比于其他幾種方法出現精度不穩定、效率低下、失配等問題,本文方法配準誤差能夠基本控制在2像素以內,配準耗時控制在5 s以內,驗證了本文算法對多源遙感影像配準的可靠性。

表2 不同方法配準精度和效率比較

4 結論與展望

多源遙感影像之間由于存在顯著的非線性輻射和幾何等差異,使得相同區域的同名特征匹配存在多解和誤匹配等現象,利用匹配關系解算的變換矩陣精確性不高,導致了配準性能低下、精度較差等問題。本文提出了一種具有雙向一致性變換的多源遙感影像學習型特征自動配準方法。該方法基于微調的ResNet101網絡模型實現多源遙感影像學習型特征提取,利用雙向一致性特征匹配模型提升同名特征匹配的可靠性,并通過小型輕量級網絡加權回歸變換矩陣參數,最終實現多源遙感影像穩健可靠的一致性配準。選取Google Earth影像、衛星影像、無人機影像、混合Google Earth-衛星-無人機影像4種不同數據源測試本文方法的性能,并與具有代表性的多種方法進行比較,表明本文方法對于多源遙感影像在配準精度和穩健性方面的優勢。

本文方法僅使用局部學習型特征和變換參數自學習的方式來探索多源遙感影像自動配準。然而,多源遙感影像表現形式差異顯著,同一區域可能會由于尺度、遮擋、視角、紋理等因素,在多源影像上無法獲取同名特征,嚴重影響配準的可靠性和穩健性。此外,深度學習模型是數據驅動的,其性能高度依賴于訓練數據的質量、數量和多樣性,而獲取高質量的大規模多源遙感影像配準的訓練數據集仍面臨巨大挑戰。因此,在進一步的研究中,需要更加深入探索學習型特征匹配機理,借鑒遷移學習、自監督學習等思想,提升多源遙感影像配準的精度、效率和適用范圍,以更好地服務于實際工程應用。