面向機載分布式光電的圖像拼接算法

劉 彤,宋嘉樂,張子林,舒瀚達

(華北光電技術研究所,北京 100015)

1 引 言

隨著航空無人系統技術的快速發展,機載圖像拼接技術已經成為一個備受矚目的研究領域。其核心目標是將多幅圖像有效地合并成一個高分辨率、全景視野的圖像,為軍事、航空、環境監測等領域的高精度圖像獲取和分析提供了強有力的技術支撐。在這一背景下,機載分布式圖像拼接技術受到越來越廣泛的重視和研究。

Cui等人[1]針對無人機熱紅外遙感圖像拼接中存在的累積誤差問題提出了一種簡單、魯棒的拼接方法。該方法通過探索飛行過程中的先驗信息,提高了全局相似性先驗模型的本地對準能力,并在大量實驗數據上證明了該方法的優越性,該方法簡單易用,在不同條件下具有較好的表現。Cai等人[2]提出一種適用于紅外圖像的實時拼接方法,通過引入改進的標準化互相關的尺度不變特征變換方法來提高拼接效果和速度。該方法的計算時間大大減少,但與現有方法的拼接質量相當。Huang等人[3]介紹了一種自動的紅外圖像拼接方法,能夠選擇主導幀并在子集上進行特征提取和圖像配準,最后使用多種圖像融合方法得到無縫的全景圖像。該方法能夠有效地減少時間成本,但對于某些情況可能需要手動選擇子集幀。Gao等人[4]針對航拍場景將圖像對齊分為序列圖像對齊和多列圖像對齊,結合局部相似變換和區域性單應性變換實現了高精度拼接。該方法解決了多列圖像拼接中重疊率不一致的問題,但算法復雜度過高。Wang等人[5]提出一種針對小型無人機熱紅外相機拼接視頻幀的實用技術,采用SIFT算法檢測匹配特征點,并使用k-d樹和RANSAC算法找到最佳匹配并消除異常值。提出一種稱為隨機M最小二乘的新方法來尋找幀間的最優投影變換參數,最后,采用多分辨率融合方法拼接注冊幀。該方法具有較強的魯棒性,但在處理大量圖片時難以保證計算效率。

上述傳統的圖像拼接算法都是基于純旋轉差異或平面成像,研究的無人機圖像拼接算法中存在拼接質量不佳、算法復雜度高以及處理大規模圖片拼接效果差等問題,無法適用分布式機載場景拼接精度和實時性的要求。而APAP算法采用移動直接線性變換的新估計技術,調整圖像投影偏差,生成盡可能投影的圖像對齊方式。此外,在進行多幅圖像拼接時采用捆綁調整技術,從而提高分布式機載場景圖像拼接的精度和穩定性。因此,本文針對機載分布式平臺的紅外圖像,在APAP圖像拼接算法的基礎上提出一種改進的分布式機載圖像拼接算法,具有較高的實際應用價值。

2 APAP算法

在實際飛行中,由于多個無人機搭載的光電傳感器存在差異以及無人機存在多種飛行狀態,采集到的紅外圖像中目標尺寸伸縮,拍攝角度相差較大,存在幾何畸變等視差,使得圖像的空間變換關系復雜多變。傳統的圖像拼接算法通?；诩冃D差異或平面成像,而對于分布式機載圖像的拼接卻存在適用性不足的問題,容易導致重影、偽像甚至拼接失敗等現象。針對上述問題,基于移動直接線性變換(Moving DLT)的APAP算法[6]具有較好的適用性,該算法對圖像的投影偏差進行相應調整,生成盡可能投影的圖像對齊方式,同時采用捆綁調整對數個投影翹曲進行細化,以提高圖像拼接的精度和穩定性。

APAP主要算法流程為:首先,采用SIFT特征點檢測算法獲取待拼接圖像之間的匹配特征點對。隨后,使用隨機抽樣一致性算法對外點進行剔除,得到內點集合。接著,利用移動直接線性變換和加權SVD求解全局單應性矩陣。為了實現網格單元級別的拼接,對源圖像進行網格式劃分,然后選取每個最小網格單元的中心點,并計算所有網格中心點與源圖像中內點之間的歐式距離及其相應的權重值。將這些權重值添加到移動直接線性變換法的矩陣中,構建出新的矩陣,并再次進行SVD分解,以獲得當前網格單元的局部單應性矩陣。遍歷所有網格單元,利用局部單應性矩陣將其映射變換到全景圖像畫布中,進而獲得經過APAP變換操作后的源圖像。最后,采用加權平均融合算法對接縫進行融合處理,以實現更佳的拼接視覺效果。

使用APAP算法對采集到的分布式光電圖像數據進行拼接實驗,觀察發現該算法對背景較為簡單的分布式圖像能夠實現無拼接錯位的精準對齊,但對于背景復雜多變、分布式圖像間視差大、幾何畸變嚴重的圖像,拼接結果中存在嚴重的模糊重影以及邊緣處非重疊區域的投影失真現象。為解決上述問題,本文在APAP拼接算法的基礎上,針對機載分布式光電圖像特點進行改進,提出一種改進的APAP拼接算法。該改進算法能夠實現機載分布式光電圖像的高精度、廣域大規模拼接,獲得具有豐富態勢感知信息的廣域大規模紅外全景圖像。

3 改進APAP拼接算法

根據分布式光電紅外圖像特點,本文對APAP拼接算法進行了如下改進:

(1)針對分布式機載圖像拼接中不同飛行姿態視角差異較大,圖像空間幾何變換關系復雜導致拼接模糊重影的問題,在該算法投影變換前使用基于徑向基函數的TPS模型對重疊區域中圖像做形變處理;

(2)針對APAP算法中的單應性模型對拼接圖像邊緣處的非重疊區域投影失真問題,使用線性化單應平滑外推至全局性相似性變換,以減少圖像邊緣處的投影失真;

(3)針對現有APAP算法計算復雜度高,難以滿足機載圖像拼接實時性要求的問題,使用網格劃分法僅對網格節點處形變進行計算,其余圖像中像素點形變利用線性內插法獲得,從而減少算法復雜度,提高改進后算法的運行效率。

3.1 重疊區域視差消除

為了消除由于視差過大而導致的重疊區域圖像之間的模糊重影現象,可以在進行投影操作之前對重疊區域中的目標圖像進行形變處理[7]。假設存在兩幅重疊圖像Io和IT,且對應的匹配點記為Oi(xi,yi)T,Ti(ui,vi)T。由于薄板樣條法(TPS)能夠有效的將圖像進行扭曲變形,使圖像具有良好的對齊質量。因此,將薄板樣條法應用于單應性變換中,對目標圖像IT做形變處理,形變處理函數表達式如式(1)所示:

(1)

下面是最佳翹曲變換的總能量函數的定義:

Jλ=JD+λJS

(2)

其中,對準項JD以及平滑項JS表達式分別如式(3)和式(4)所示:

(3)

JS=?(x,y)∈Ω|?2g|2dxdy

(4)

根據TPS模型理論[8],最小能量函數Jλ的最優解為:

(5)

(6)

3.2 消除邊緣投影失真

為了消除APAP拼接算法在非重疊邊界區域引起的透視失真,本文對整幅圖像的移動直線變換估計進行了改進。在非重疊區域,采用線性化單應性變換,并逐漸平滑外推至全局相似性變換,以消除非重疊邊界處的透視失真現象[9]。在一維透視變換中,使用非重疊邊界的單應性變換會嚴重影響尺度變化,在二維透視變換,該扭曲失真現象表現得更為嚴重。

線性化單應性變換將圖像中錨點p周圍任意像素點q展開為單應的泰勒級數,表示如下:

h(q)=h(p)+Jh(p)(q-p)+ο(‖q-p‖)

(7)

(8)

對于全局相似性變換問題,直接對所有特征點進行全局相似性變換的匹配搜索并不能保證獲得最優解。特別是當存在重疊區域視差較大的不同平面時,這種現象表現得尤為明顯。因此,本文采用分割處理的方法來計算獲取最優的相似性變換。具體而言,首先對匹配的特征點對進行閾值為εk的隨機抽樣一致性處理,以剔除異常的特征點對。接著,利用閾值大小為εl的隨機抽樣一致性操作,在平面內搜索具有最大內點數量的單應性變換。若搜索結果出現內點數量εl<εk的情況,則將該內點從集合中刪除,并不斷迭代搜索,直至內點個數小于給定閾值。使用匹配好的內點對計算單個相似性變換,選取最小旋轉角度作為變換的旋轉角。最后,針對拼接結果中的非自然區域,采用公式(9)的變換方式,對全局相似性變換進行更新處理:

(9)

此外,需要對目標圖像傳遞到參考圖像的變化進行補償處理,以消除由于全局相似性更新導致目標圖像發生翹曲的情況,從而解決對齊目標圖像與參考圖像重疊區域無法對齊的問題。因此,參考圖像的局部變換可以表示如下:

(10)

3.3 拼接速率提升

為了提高圖像拼接的計算速度,可以將源圖像和目標圖像進行網格劃分。該方法將圖像分割成大小均勻的網格單元,如圖1所示,其中圓點表示網格節點位置。這種劃分方法可以有效地減少計算量并提高拼接效率。

圖1 網格劃分方式示意圖

在圖像形變計算中,本文提出一種新的方法,將原先基于像素點的形變計算改為基于劃分好的網格節點的形變計算。具體實現步驟如下:首先,利用第3.1節中的方法,求解變形函數,并將其應用于劃分好的網格節點,計算出相應的形變值;其次,對于未被劃分的像素點,采用線性內插法,計算出對應的形變值。

(11)

通過使用具備雙線性內插功能的逆映射變換,能夠對圖像中除網格節點處其余像素點進行翹曲處理。采用網格分割技術獲取目標圖像的形變信息,可極大地減少圖像翹曲變換所需的計算時間,從而提升拼接算法的速率。

結合3.1節和3.2節,本文提出了一種高速率重疊區域視差消除的總體方案,具體表現如圖2所示。

圖2 高速率視差消除總體方案

該方案包括圖像的投影變換及其反變換表示為H和H-1、基于徑向基函數的TPS形變記為MTPS,通過APAP算法計算所得的變換表示為W。通過使用圖2中的變換方法,可以有效地消除視差帶來的對齊偏差和重影問題,提高圖像拼接的精度。

4 實驗結果與分析

4.1 評價指標

本文使用基于人眼視覺的主觀評價以及均方根誤差(RMSE)、峰值信噪比(PSNR)、結構相似度(SSIM)、信息熵[10]、拼接耗時等評價指標綜合評估所拼接的全景圖像質量。

圖像均方根誤差通過計算匹配特征點對在參考平面偏差的平方和的平均值,并對其進行開平方運算得出。均方根誤差越大,表明拼接后圖像的對齊誤差和細節模糊越嚴重,反之則表明圖像質量較好。該度量方法可以通過以下公式進行計算:

(12)

峰值信噪比在圖像處理中常用于評估參考圖像與評價圖像之間的噪聲,圖像中峰值信噪比表示為峰值信號能量與均方根誤差之比,如式(13)所示:

(13)

結構相似度可用于測量不同圖像之間的對比度、亮度和結構信息,并對圖像細節、輪廓等信息的相似度進行有效評估,其數學計算模型如下:

(14)

信息熵常被用于對圖像中信息的豐富度進行評估,其值越大表示圖像中包含的信息量越豐富,圖像質量越佳,計算公式如下所示:

(15)

拼接耗時是指對圖像進行拼接操作時所使用算法的運行時間,該指標能反映出圖像拼接算法的實時性,并對其運行效率進行有效評估。

4.2 實驗數據

為驗證拼接算法在分布式機載光電圖像中的適用性,分別對飛行高度為100 m的純水田、純建筑物以及水田與建筑物相結合的三組不同場景進行拼接實驗,從而測試算法的適用性,三組待拼接的場景圖像見圖3。

圖3 三組待拼接場景圖像

此外,為進一步驗證算法對大規模圖像拼接能力,分別使用三架無人機采集154張三維特性建筑物與水田相結合的復雜場景進行拼接實驗。

4.3 實驗結果分析

在原有的APAP算法基礎上,針對分布式平臺圖像數據視差差異引起的重疊區域模糊重影、單應性模型所導致的邊緣投影失真以及拼接速率低等問題,提出的分布式拼接算法對三組不同場景以及大規模圖像進行拼接實驗,實驗結果如圖4、圖5所示。

圖4 三種不同場景下改進算法拼接結果

圖5 大規模三維建筑與水田結合復雜場景拼接結果

改進算法在三種不同場景下的拼接結果如圖4所示,其中圖4(a)、(b)、(c)是三種場景下為了獲得最優相似性變換將特征點對做分割處理后不同閾值提取特征點對結果。圖4(d)為純水田場景下改進后算法的拼接結果,相比于使用APAP算法,該算法具有更高的對齊精度和更加平滑的接縫處理;圖4(e)的純建筑物場景拼接結果中改進算法框內圖像無明暗差異,觀察不到明顯的接縫;圖4(f)的水田與建筑物相結合的混合場景拼接結果,相比于使用原始APAP拼接算法,圖4(f)位于中下部框內的重影模糊現象得以解決,同時下方邊緣處兩個框內圖像的投影失真得到有效消除。

根據圖5可得,本文提出的改進的APAP分布式拼接算法能夠有效地將三架無人機采集的大規模紅外圖像拼接成一幅具有高分辨率的廣域大規模全景圖像。從四部分局部放大結果表明,該算法能夠實現高精度的圖像對齊,避免模糊重影現象,并且在圖像與圖像之間沒有明顯的亮度差異,接縫處過渡平滑,即使在圖像特征更為復雜多變的三維建筑物與水田結合場景中,該算法仍然具有較好的大規模拼接效果。

為了更加客觀地評估圖像拼接質量,本文采用了均方根誤差、峰值信噪比、結構相似度、信息熵以及拼接耗時等客觀評價指標進行評估。這些指標能夠全面反映圖像拼接的質量,包括圖像對齊精度、過渡平滑度、投影失真等方面,從而更加客觀地評價算法的優劣。本文使用上述指標分別對原始APAP算法以及改進的APAP分布式拼接算法在三種不同場景以及三維特性建筑物與水田相結合的復雜場景拼接后圖像質量進行評估,APAP與改進算法的評估結果分別如表1、2所示。

表1 APAP算法拼接圖像質量評價指標

根據表1和表2,可以看出改進算法相比于APAP算法,在三個場景以及大規模圖像中都有著更好的拼接圖像質量。其中,改進算法的RMSE在所有場景中都比APAP算法低,說明改進算法對圖像拼接誤差控制更加精細;改進算法在不同場景中的PSNR、SSIM、圖像熵值也都高于APAP算法,說明改進算法能夠更好地抑制噪聲,保持圖像結構一致性以及具有更為豐富的圖像信息;并且無論在少幅圖像和大規模圖像拼接中都具有更短的拼接耗時。

表2 改進算法拼接圖像質量評價指標

綜上所述,改進算法相比于APAP算法在拼接圖像質量方面有著明顯的提升,在保證圖像拼接質量的同時,盡可能減少拼接耗時。此外,也能較好的適用于大規模分布式場景下的圖像拼接,獲取具有豐富態勢感知信息的廣域大規模全景圖像。

5 結 論

本文針對分布式機載光電圖像拼接存在的不同角度視差較大、圖像空間幾何變換關系復雜導致的模糊重影、偽像甚至拼接失敗等問題,通過選取拼接效果最好的APAP算法,并在其基礎上提出了改進方案。該改進算法利用變形處理消除模糊重影,采用線性化單應平滑外推至全局性變換,有效減少邊緣處投影失真,并利用網格劃分法計算圖像網格節點處的形變,以提高算法運行效率。本文對該算法進行了多個場景下的測試,實驗結果表明改進算法具有更小的對齊誤差和更高的圖像細節信息、峰值信噪比、結構相似度和圖像熵等指標,得到的圖像輪廓更清晰,包含的信息量更為豐富,有效解決APAP算法存在的模糊重影和邊緣處非重疊區域的投影失真問題。在進行大規模圖像拼接時,該改進算法能夠有效實現154張圖像的大規模拼接,得到分辨率為10 K×10 K的高分辨率全景圖像,拼接耗時為138 s,驗證了改進的分布式拼接算法的優越性。因此,該改進算法可以投入到分布式機載圖像拼接的實際應用中,具有重要的實際應用價值。