傾斜影像與垂直影像的逐層自動密集匹配

張 麗，龔 輝，紀 松，張振超

1.西安測繪研究所，陜西 西安，710054;

2.地理信息工程國家重點實驗室，陜西 西安，710054;

3.信息工程大學地理空間信息學院，河南 鄭州，450052

1 引 言

多視角數字航空攝影測量技術是國際攝影測量領域近幾年來發展起來的一項高新技術，它突破了傳統的、單一的、近似垂直視角觀察世界的局限，同時從一個垂直、多個傾斜等不同的角度進行嚴密的幾何成像，經過高精度三維重建處理，形成具有準確地理空間信息和真實紋理信息的三維景觀，為用戶提供了一個符合人眼視覺習慣、真實直觀的高精度三維地理場景。密集匹配是多視角影像實景三維重建處理的關鍵環節，可靠性和速度直接影響著三維重建的整體精度和效率。多視角影像密集匹配包含單一鏡頭影像的密集匹配以及垂直影像和傾斜影像之間的密集匹配。由于垂直影像獲取的是空間物體的頂面信息，傾斜影像獲取的是側面、立面信息，將垂直影像與傾斜影像進行匹配，會帶來以下四個方面的困難和挑戰：①數據量大。對于五鏡頭多視角相機來說，一組垂直影像需要與四組傾斜影像匹配，而且多視角相機在獲取數據時，一般要求達到75%以上的重疊度，數據量大幅增加。② 特征的幾何變形劇烈。傾斜攝影角度通常在30°以上，導致同一地物在垂直影像和傾斜影像上的形狀具有較大的差異。③成像比例尺差異較大。垂直攝影影像和傾斜攝影影像之間的成像比例尺具有較大的差異，分辨率變化較大。④影像光照差異較大、輻射差異明顯。由于各鏡頭的攝影角度不同，獲取影像時的光照條件差異較大，導致各鏡頭影像輻射差異明顯。綜上所述，由于多視角相機獲取的影像存在地物幾何特征變形劇烈、成像比例尺差異大、旋轉和輻射信息差異明顯等問題，傳統的基于灰度和多數基于特征的影像匹配模型與算法應用于垂直影像和傾斜影像密集匹配時，成功率和可靠性大大降低，甚至失敗。為此，在傾斜航空影像與垂直航空影像的密集匹配過程中，需要對現有算法進行優化和改進。文獻[1]利用多視角影像對多種基于特征的影像匹配方法進行了分析，發現ASIFT(affine scale invariant feature transform)算法匹配出來的正確點數最多，但匹配成功率仍然很低，只有34.1%。文獻[2]提出傾斜立體影像的Shi-Tomasi特征匹配方法。首先利用SIFT(scale invariant feature transform)算法進行初始匹配并估計單應矩陣，然后使用單應矩陣對傾斜影像進行射影變換，在下視影像和糾正后的傾斜影像上提取特征點，并使用NCC測度進行匹配。正確匹配點對數和匹配正確率較SIFT算法和ASIFT算法均有大幅提升，誤差在1個像素之內的匹配點數可以達到45%左右，但是該方法匹配出來的點數仍不能達到逐像素匹配程度。為了實現垂直影像和傾斜影像的自動密集匹配，本文采用了特征匹配引導下的基于灰度的密集匹配方法，同時引入金字塔匹配策略，提出了一種逐層自適應密集匹配方法，實現了傾斜影像和垂直影像的逐像素密集匹配，實驗結果表明，精度在1個像素以內的匹配點數達到了75%以上。

2 匹配流程與關鍵算法實現過程

算法整體采用三層影像金字塔分層匹配策略，流程如圖1所示。上層同名點對、影像幾何變形關系沿著金字塔傳遞到原始層，最后在原始層上實現逐像素匹配。由于傾斜影像幾何變形嚴重，且同一張影像不同位置變形程度不一致，采用傳統的灰度匹配方法計算出的同名點相關系數值很小，因此，采用特征匹配引導下的整體幾何糾正附加局部幾何糾正的策略，金字塔上面兩層采用特征匹配，原始層采用逐像素灰度匹配。算法主要包括以下7個步驟：①對垂直影像(左像)和傾斜影像(右像)分別降采樣兩次得到三層影像金字塔，自下而上為第0層(原始層)、第1層(中間層)、第2層(最高層)。②在第2層上，影像經過兩次低通濾波，細節信息已被大量過濾，主要表現出整體結構信息，而且影像尺寸小，匹配速度加快;由于左、右影像間尺度差異和幾何變形差異較大，采用抗尺度和旋轉變換的ASIFT算法對影像進行特征匹配。③ 對于ASIFT算法匹配出來的同名特征點，利用RANSAC(random sample con-sensus)準則進行過濾，剔除粗差，保證匹配結果可靠。④利用第2層傳遞到第1層的ASIFT特征點，在第1層計算兩張影像間的幾何變形關系，利用幾何關系把右像往左像糾正，即等效下視糾正，消除影像之間的整體變形，再把糾正后右像上的像點按照投影逆變換關系反算到該層原始右影像上，為保證糾正和反算精度，插值方法采用雙線性內插。⑤對于第1層上的左像和等效下視糾正后的右像采用高效的SURF(speeded up robust features)特征匹配得到大量子像素級精度的同名點，同樣利用RANSAC準則對SURF匹配結果進行過濾。⑥在第0層，利用上面兩層傳遞下來的特征點，構建狄洛尼(Delaunay)三角網，然后逐三角形進行糾正，補償影像之間的局部變形。⑦采用基于灰度的匹配方法，對影像進行逐三角形密集匹配，生成密集點云數據。

圖1 垂直影像與傾斜影像逐層自適應匹配總體流程

2.1 特征點匹配

目前常用的特征匹配方法為SIFT算法[3]，它較好地克服了場景平移旋轉、尺度縮放引起的圖像變形等問題，但SIFT算法適用于特征變形比較小的區域。由于垂直影像和傾斜影像之間地物幾何特征變形比較大，解決方法是使用具有仿射不變特征的匹配方法，實驗研究表明，ASIFT算法匹配出來的正確點對相對較多[1]，因此，對于最上層金字塔影像采用ASIFT特征匹配方法。ASIFT仿射變換算法是在匹配前先對相機視軸方向進行模擬以補償幾何變形，再利用SIFT算法進行匹配。

對于第1層金字塔影像，經過等效下視糾正后，已經消除了影像的整體變形，采用SURF算子進行特征匹配。SURF算子由Herbert Bay[4]等在2006年提出，本質上是對 SIFT算子的改進，與SIFT算法一樣，對光照、旋轉、縮放等因素具有不變性，但其速度較SIFT算法有較大提升，主要包括建立積分圖像、利用箱式濾波器建立尺度空間、進行快速Hessian極值點檢測、生成Haar小波建立描述子、通過距離進行匹配等5個步驟[5，6]。

2.2 等效下視糾正

根據特征點匹配結果，解算傾斜影像的旋轉矩陣R，對傾斜影像按照R進行糾正，形成“近似水平”的等效影像，即等效下視影像。設等效下視影像上某點的像空間坐標為(u，v，ω)，該點在傾斜影像上的坐標為(x，y，-f)，則有：

糾正后所有像點在同一平面上，ω=-f，可得到下視影像與傾斜影像平面坐標間的對應關系：

2.3 原始層匹配

原始層匹配的主要思想是利用上面兩層傳遞來的可靠的特征匹配點作為約束構建不規則三角網，在每個三角形內進行局部糾正，補償多視角傾斜影像嚴重的幾何變形，然后再采用基于灰度的匹配算法獲取密集點云。原始層匹配過程及策略如下。

步驟一：特征點篩選

特征點對(三角網約束的結點)的分布至關重要。分布太稀疏，約束補償作用不明顯，灰度匹配成功率低;分布太密集，約束三角形多，局部糾正次數多，計算復雜。因此，ASIFT和SURF匹配結果在原始層疊加以后需要進行進一步篩選。特征點篩選的核心思想是對所有特征點對進行兩兩判定，當左、右影像上兩對特征點距離小于閾值，則剔除一對。對于第i對與第j對同名點，ΔDLij為左像上兩個特征點的距離，ΔDRij為右像上兩個特征點的距離，剔除原則如下：

① 如果ΔDLij＜T1或ΔDRij＜T1，則同名特征分布過密，剔除任意一對。T1是重復冗余閾值，根據匹配測度進行設定，文中取5個像素。

② 如果ΔDLij＜T2或ΔDRij＜T2，則特征距離太近，對三角網約束影響不顯著，剔除任意一對。T2是特征點最小距離閾值，常根據地形狀況和匹配精度要求來選取，主要根據搜索范圍確定，一般取傳遞范圍的3倍方差，且T2＞T1。

③ 如果ΔDLij＞T2且ΔDRij＞T2，則兩對特征同時保留。

步驟二：不規則三角網構建

不規則三角網(triangulated irregular network)約束的理論基礎是視差的連續性，即在同一場景中，由于地形的自然過渡，使左、右影像的整體視差變化也必然是連續的。對于某個待匹配點，其所在的三角形約束了其在右像上的同名點的大致位置，如果對左、右影像分別構網，由于幾何形變大，經常會出現主、輔三角形鏈碼不一致的情形。本文采用狄洛尼三角網進行地形擬合，為保證左、右影像上特征點構網方式完全對應，首先對左像特征點構網，再按照左像構網的鏈碼序列對右像構網。

每對三角形實際在左、右兩張影像上對應的大體上是同一地區。幾何糾正補償是以每個小三角形面片為單元進行的。利用特征點對左像構建狄洛尼三角網后，再利用左像上三角形與特征點的對應關系，對右像的同名特征點構建狄洛尼三角形。

步驟三：基于灰度的密集匹配

根據視差連續性原則，左影像三角形內任一像點在右影像上的同名點一定位于右像相應三角形內部或周邊。對于左、右影像上的一對相應三角形，分別求出外接矩形長和寬，分別以長、寬的最大值作為局部糾正單元，即矩形面片糾正。為了保證有足夠周邊像素參與計算相關系數，須把糾正單元再向外拓展一定數量的像素(相關系數計算窗口大小的一半)。對左面片上狄洛尼三角形確定的范圍內的每一點，以右面片的同一坐標點為中心，開取n×n大小的搜索窗口，計算左面片點與右面片參考點之間的相似性測度，相似性測度局部極大且大于閾值的點，即為同名點。本文采用歸一化互相關測度NCC作為相似性測度，它對匹配窗口尺度變化、像素微小偏移具有較好的適應性，取n=13。

3 實驗與分析

實驗采用AMC580多視角數字相機在嵩山航空攝影測量與遙感檢校場的兩組影像進行實驗，實驗采用的影像均截取自10328×7760的原始影像，數據信息見表1。

表1 實驗數據信息

按照影像金字塔匹配策略，每層經過篩選后最終得到的可靠匹配點對數及第0層構建的狄洛尼三角形數見表2。其中，實驗1是下視與后視匹配，第2層用ASIFT匹配篩選后剩余64對同名特征點，第1層過濾后剩余100對同名點，傳遞到第0層后，可以構建出含186個三角形的狄洛尼三角網，最終在第0層上進行逐像素的密集匹配，共得到214028對同名點。實驗2是下視和前視影像匹配，第2層得到68對同名點，第1層過濾后剩余178對同名點，第0層上構建出340個三角形，匹配得到317551對同名點。兩組實驗匹配成功率均超過了75%。

表2 匹配點數及Delaunay三角形數

實驗1、2各層的最終匹配結果如圖2、3所示。兩組結果圖中，(a)與(b)分別為第2層、第1層的同名點對;(c)為在第0層上構建的狄洛尼三角網;(d)為間隔20個像素的格網匹配效果;(e)為第0層同名點生成的點云。

圖2 實驗1匹配結果

圖3 實驗2匹配結果

從圖2和圖3可以看出，匹配結果很好地反映了地形特征，通過人工檢查，匹配精度均在一個像素以內，說明了本文方法的有效性。兩組實驗中圖(a)的ASIFT特征匹配結果分布與圖(b)的SURF特征匹配結果的分布情況類似，說明在紋理缺乏的區域都很難成功實現特征匹配。在圖3(a)與(b)中，兩層影像在右上角的植被區域都沒有成功匹配出同名點，構建狄洛尼三角網時，這樣的低紋理區域往往被少量大面積的三角形所約束，在后續密集匹配中難以實現成功匹配，所以圖3(e)中右上角區域匹配點云較為稀疏。

4 結 論

針對傾斜影像和垂直影像之間存在分辨率差異大、幾何特征變形嚴重和尺度不統一等問題，提出了一種逐層自適應密集匹配算法，算法整體上采用金字塔分層策略，對于匹配結果層層篩選、層層優化、漸進加密，實現了基于像方的全自動密集匹配，取得了較高的匹配成功率，匹配結果可靠。多視角航空攝影測量密集匹配的目標是獲取全區域完整稠密的點云數據，本文算法獲取的匹配點云一方面可作為側面與頂面這種過渡區域的“過渡點云”，同時可為“下視與下視”、“傾斜與傾斜”這兩種點云數據的融合提供控制。

[1]袁修孝，陳時雨.傾斜航攝影像匹配方法探究[J].測繪地理信息，2015，40(6)：1-5.

[2]趙琛琛，龔志輝，龍怡燦等.傾斜立體影像的 Shi-Tomasi特征匹配[J].測繪科學技術學報，2015，32(1)：66-71.

[3]Lowe D G.Distinctive Image Features from Scale-invariant Keypoints[J].International Journal of Computer Vision，2004，60(2)：91-110.

[4]Herbert Bay，Tinne Tuvtellars，Luc Van Gool.SURF：Speeded up Robust Feature[C].Proceedings of European Conference on Computer Vision.Australia：Springer Berlin Heidelberg，2006.

[5]石善球.基于Harris和SURF的遙感圖像匹配方法研究[J].測繪與空間地理信息，2013，36(8)：52-57.

[6]胡同喜，牛雪峰，譚洋等.基于SURF算法的無人機遙感影像拼接技術[J].測繪通報，2015(1)：55-58.