基于面積比不變量的遙感圖像配準算法

顏 普，唐慶偉

（1.智能建筑與建筑節能安徽省重點實驗室，安徽 合肥 230022；2.安徽建筑大學 電子與信息工程學院，安徽 合肥 230601）

遙感圖像配準常用于遙感圖像的變化檢測、圖像融合、全景圖合成、環境監測、目標識別等任務[1]。一般而言，遙感圖像配準的結果會極大地影響后續算法的性能[2]，因此，遙感圖像配準要求獲得高效且精確的結果。

特征匹配是遙感圖像配準中較為基礎且重要的一步[1-4]，其中尺度不變特征變換（SIFT）是最成功的獲取初始特征匹配的算法[5]，這是由于SIFT算法對圖像縮放和旋轉具有不變性，對圖像光照變化和視角變換具有部分不變性。由于遙感圖像成像的復雜性，在初始匹配中不可避免地存在大量錯誤匹配，而這些錯誤匹配會對配準結果產生負面影響，因此，消除錯誤匹配是提高遙感圖像配準性能的有效途徑。大多數研究者利用特征點的幾何約束和空間信息來消除錯誤匹配，文獻[6]提出著名的隨機一致性采樣（RANSAC）算法以剔除錯誤匹配。該算法通過反復迭代，隨機選取初始匹配集中的一個最大一致性子集，該子集是在初始匹配集中剔除錯誤匹配后的正確匹配集，但當錯誤匹配數較多時，使用RANSAC 算法將耗費大量時間。文獻[7]提出一種圖形變換匹配（GTM）算法來剔除錯誤匹配，該算法分別在兩幅待配準圖像上構建K 最近鄰圖（KNN），每次迭代去除K 近鄰圖中結構差異最大的匹配，直到K 近鄰圖的結構一致。文獻[8]提出了一種基于向量域一致性（VFC）的錯誤匹配去除算法，該算法在貝葉斯框架下將每個樣本與一個潛在變量聯系起來，將求取正確匹配問題表示成最大后驗估計問題，并利用期望最大化（EM）算法求得最優解。文獻[9]提出了一種基于一致空間映射（CSM）的錯誤匹配去除算法，該算法將一致空間變換的求解表示為一個最大似然問題，并利用EM 算法求得最優的空間變換，最后利用求得的最優空間變換濾除錯誤匹配。文獻[2]在RANSAC 算法的基礎上，提出一種快速一致性采樣（FSC）算法，該算法通過迭代選擇正確匹配和迭代去除不精確匹配兩個策略來提高圖像配準的性能，從高正確率的SIFT 匹配集中迭代隨機選擇三個匹配對，計算待配準圖像間的變換模型參數，使用此模型參數剔除低正確率的SIFT 匹配集中的錯誤匹配。

以上方法均需要進行大量的迭代次數來獲取精確的特征匹配，限制了配準效率。為了進一步提高遙感圖像配準的運算速度和配準性能，本文提出一種基于面積比不變量的遙感圖像配準算法，該算法在不需要進行迭代的情況下便可獲取正確率較高的特征匹配，并通過后期實驗驗證了本文算法的優越性。

1 面積比不變量

當物體本身尺寸遠小于物體與傳感器的距離時，物體在傳感器上所成圖像間的變換可近似為仿射變換[10]。因此，遙感衛星所拍攝的遙感圖像間可選擇仿射變換模型來估計其變換模型參數。仿射變換模型可以表示為：

2 基于面積比不變量的錯誤匹配快速去除算法

圖1 衡量錯誤匹配的例子

圖2 以一組遙感圖像為例，展示本文提取精確匹配的過程。圖2（a）是由SIFT 算法（距離比參數設置為0.9）獲取的初始特征匹配集S，圖2（b）為利用一次面積比約束后提取的特征匹配集S0?？梢钥闯?，S0中已剔除了絕大部分錯誤匹配，存在極少數的錯誤匹配，因此，圖2（c）再次利用面積比進行約束，得到精確的特征匹配集S1。此時S1中都是精確的特征匹配，不存在錯誤匹配，同時可以觀察到S1中匹配較少。這是由于鄰域內的誤匹配可誤刪除一些正確匹配，利用S1中精確的匹配可獲取圖像間的仿射變換模型參數，把經變換后誤差小于2 個像素的匹配作為正確匹配，如圖2（d）所示。

圖2 提取正確匹配的過程示例

3 基于面積比不變量的遙感圖像配準算法

為了去除錯誤匹配，提高遙感圖像配準的性能和效率，本文提出了一種基于面積比不變量的遙感圖像配準算法，具體步驟如下：

①輸入參考圖像和待配準圖像；

②分別從參考圖像和待配準圖像提取SIFT 特征點；

③利用最近鄰距離比策略獲得初始特征匹配；

④剔除重復的特征匹配以避免三角形面積為零的情況；

⑤利用公式（2）和（3）分別構建每對匹配的中值KNN 圖；

⑥利用中值KNN 圖計算每對匹配的面積比不變量；

⑦利用公式（5）計算每對匹配的鄰域結構誤差。如果該誤差小于所設閾值，則該匹配正確，否則為錯誤；

⑧為避免得到的匹配集中存在少量錯誤匹配，重復一次⑤-⑦步驟，得到更加精確的特征匹配，并利用公式（6）在初始匹配中獲取所有正確匹配；

⑨利用最小二乘法和⑧中的正確匹配結果求解兩幅圖像間的仿射變換模型參數；

⑩利用⑨中的仿射變換模型參數對待配準圖像進行重采樣和雙線性插值，獲得精確的遙感圖像配準結果。

本文算法流程圖如圖3 所示。

圖3 算法流程圖

4 實驗結果與分析

本文使用五組遙感圖像進行實驗，如圖4 所示，左邊為參考圖像，右邊為待配準圖像。圖4（a）是不同視角下拍攝的兩幅遙感圖像，圖4（b）是存在較大角度差異的兩幅遙感圖像。圖4（c）來自CIAP 數據庫[14]，兩幅圖像間具有較小的重疊區域，圖4（d）和圖4（e）來自PAN 數據庫[14]，圖像間存在較大的視角變化和地形起伏變化（如建筑物和山脈）。

圖4 實驗圖像

本文將最近鄰距離比為0.9時的SIFT算法匹配結果作為初始匹配，使用均方根誤差（RMSE）[2]、準 確 率（Precision）[15]、召 回 率（Recall）[15]、BPP（1.0）[2]和運行時間（TIME）作為評價標準。本文算法包含兩個參數K 和ε，K 是特征點鄰域個數，約束特征點的局部鄰域結構，ε的大小可判斷初始特征匹配的正確性。顯然，K 值越大，ε越小，所得匹配集的準確率越高，而召回率越低，反之亦然。為了同時兼顧準確率和召回率，根據文獻[14]的建議，本文設置K=4，ε=6。

為驗證本文算法的有效性，將本文算法、RANSAC 算 法、GTM 算 法、VFC 算 法、CSM 算 法和FSC 算法進行比較。由于VFC 算法、CSM 算法和FSC 算法使用隨機策略，實驗中取10 次運行數據的平均值作為對比結果。運行時間是指從提取SIFT 特征到完成遙感圖像配準所需的時間。實驗均在相同實驗環境下（Intel Core CPU 2.80GHz，8GB 內存，MATLAB2019b）重復50 次取平均值作為對比結果。上述6 種配準算法在5 類評價標準上的對比結果如表1 所示。

由表1 可知，本文算法取得最低或非常接近最低的均方根誤差。在兼顧較高的準確率和召回率方面，本文算法表現得最好。雖然其他算法可能得到較高的召回率或準確率，但對應的準確率或召回率卻降低了。除在第三組圖像中，GTM 算法取得最低的BPP（1.0）值，其他組均由本文算法取得最低的BPP（1.0）值。這是由于GTM 算法僅僅獲取極少的17 對正確匹配（初始匹配為546 對），17對正確匹配誤差均小于1，BPP（1.0）值為0，但也導致其召回率極低，限制了GTM 算法的性能。在運行時間方面，除第四組圖像外，本文算法均達到最低，這是因為本文算法無需大量迭代即可得到精確的特征匹配，而其他算法均需要不同次數的迭代以獲取相對高正確率的特征匹配。如在第一組圖像中，RANSAC 算法需迭代203 次，GTM 算法需迭代186 次，VFC 算法需迭代10 次，CSM 算法需迭代15 次，FSC 算法需迭代500 次。雖然FSC 算法迭代次數較多，但作為一種快速的一致性采樣算法，運行速度較快，特別在特征匹配數較多的圖像組表現較好，如第四組和第五組圖像，詳見文獻[2]?？梢钥闯?，本文算法的運行時間并未表現出較強的優勢，這是因為這兩組圖像獲取大量的初始匹配（分別為1836 和2097 對匹配），導致本文算法在構造中值KNN 圖上耗費了一定時間。同時，RANSAC算法也取得了不錯的結果，這是因為錯誤匹配數沒有達到50%以上，并且RANSAC 算法運行到最大迭代次數，導致其運行時間一般較長。圖5 為本文算法在五組遙感圖像上的匹配和配準結果。為更好地顯示配準效果，將配準后圖像與參考圖像簡單拼接，可以看出本文算法取得了較好的結果。

圖5 本文算法在實驗圖像上的匹配和配準結果

表1 幾種配準算法性能的對比結果

5 結論

針對遙感圖像配準中如何快速有效去除錯誤匹配的問題，提出一種基于面積比不變量的遙感圖像配準算法，該算法不需要迭代即可得到較為精確的特征匹配，大大提升了遙感圖像配準的效率。實驗結果證明，本文算法在均方根誤差、準確率、召回率、BPP（1.0）和運行時間等方面均表現出良好的性能，是一種快速、有效的遙感圖像配準算法。