基于全局和局部特征的圖像快速拼接算法①

徐 奇, 張佑春

(安徽工商職業學院,安徽 合肥 230001)

0 引 言

智能交通與醫學等領域均會使用相機或傳感器等設備采集圖像,各類設備采集圖像的視野均會受到限制,導致無法采集全面的圖像信息[1],為獲取全面的圖像信息,便需應用圖像拼接算法,拼接同一目標不同情況的圖像,為智能交通與醫學等領域提供全面的圖像信息。全局特征包含圖像的整體內容,無法細化圖像內容,影響圖像拼接效果,局部特征僅注重圖像局部內容,容易忽略其余圖像內容,影響圖像拼接效果。綜合考慮全局與局部特征,可全面掌握圖像的整體內容與局部細化內容,提升圖像拼接效果。此研究基于全局和局部特征的圖像快速拼接算法,提升圖像快速拼接效果。

1 基于全局和局部特征的圖像快速拼接算法

1.1 全局特征提取與粗匹配

利用改進的形狀上下文算法在原始圖像內提取全局形狀特征。令原始圖像的第i個參考點是vi,vi屬于包含N個點的圖像輪廓空間,按照輪廓的順序連接圖像內全部上下文信息,獲取一個圖像全局輪廓特征序列。極坐標系內,以vi為原點,獲取其余N-1個點的相對極坐標f(vi,vj),公式如下:

f(vi,vj)=fi,j=(vi,vj);i,j=1,2,…,N;i≠j

(1)

按照圖像輪廓點在形狀內的自然順序,變更式(1)的全部相對坐標數據fi,j,獲取序列Fi,即:

Fi=(fi,i+1,fi,i+2,…,fi,N,fi,1,…,fi,i-2,fi,i-1)

(2)

通過局部歸一化處理改進的形狀上下文描述子Fi,確保Fi具備尺度不變性[2],按順序排序Fi,獲取(N-1)*N矩陣A=[F1F2…FN-1FN],歸一化處理A的各行,公式如下:

(3)

通過平滑處理Fi,解決Fi在精度與敏感性間的矛盾,提升其魯棒性,Fi內包含N-1個序列,分割該序列,獲取數個彼此無關的子序列[1,t],[t+1,2t],[2t+1,3t],…,其中正整數是t,求解各子序列分量均值,公式如下:

(4)

在原始圖像內提取完全局形狀特征后,先求解圖像形狀特征間的匹配代價即相應輪廓點間的歐式距離[3],再尋找兩個輪廓點序列間最優相應關系即歐式距離最小,并進行粗匹配。

1.2 關鍵點提取算法提取局部特征

利用高速局部特征FAST(Features from Accelerated Segment Test)的關鍵點提取算法,在原始圖像與粗匹配圖像內提取關鍵點,通過直方圖統計其梯度角度信息,塑造局部特征描述子,完成局部特征提取,提升局部特征提取效率。原始圖像與粗匹配圖像為I,FAST局部特征點附近的圖像灰度信息公式如下:

M=∑|I(x)-I(p)|>ε

(5)

其中,圖像中隨機一點的灰度是I(x);圖像中心點灰度是I(p);灰度值差的閾值是ε;中心點p便是圖像局部特征點。

(6)

Y0內的元素依據相應的區間實施編號,獲取梯度角度bin值矩陣B0={bi′,j′},公式如下:

(7)

其中,等分圖像360°角度,便于角度直方圖統計,等分數量是nb。

(8)

(9)

(10)

其余情況下,修正公式如下:

(11)

1.3 應用隨機抽樣一致性的圖像局部特征精匹配

Step1:在兩幅圖像內隨機選擇o對彼此相應的局部特征點,分析o對匹配點內是否包含o-1點共線情況,若包含o-1點共線情況,那么剔除該組匹配點,再次任意選擇局部特征點,以o對匹配點內無o-1點共線情況為止;

Step2:歸一化處理o對匹配點,防止坐標變換對圖像精匹配的影響,歸一化處理流程如下:

(12)

其中,特征點平移與縮放相似變換規模是scale。

Step3:通過對稱轉移誤差法處理U得到對稱轉移誤差估計值:如果該值低于設置閾值,那么認為該局部特征點為匹配點,反之,剔除該局部特征點。

Step4:令對稱轉移誤差估計次數是L,持續采樣和驗證圖像局部特征點,存儲匹配點數量,選擇匹配點數量最多的圖像局部特征點數據集,進行Step5;

Step5:對于匹配點數量最大的圖像局部特征點數據集內的全部匹配點,再次估計U′,通過U′完成原始圖像與粗匹配圖像的精匹配。

1.4 圖像快速拼接的實現

(13)

通過上式完成圖像融合過程中重疊區域的均勻過渡,實現圖像的快速無縫拼接。

2 實驗結果與分析

以無人機電力巡檢采集的某區域電網紅外圖像為實驗對象,該區域電網紅外圖像內共包含4種類型的數據集,分別是不同視角時的紅外圖像數據集,記作視角變化數據集;不同模糊程度的紅外圖像數據集,記作模糊數據集;不同尺度紅外圖像數據集,記作尺度變化數據集;不同JPEG壓縮比率的紅外圖像,記作JPEG壓縮數據集。利用文中算法對4種類型數據集內的圖像進行快速拼接處理,為后續紅外圖像分析提供精準的數據支持。

在模糊數據集內隨機選擇兩幅同一目標的紅外圖像,利用本文算法提取全局特征與局部特征,并進行粗匹配與精匹配,在精匹配紅外圖像的基礎上,展開圖像融合,完成圖像快速拼接,圖像快速拼接結果如圖1所示。根據圖1可知,文中算法可有效在原始紅外圖像內提取全局特征,完成紅外圖像粗匹配,同時還可有效提取局部特征,完成紅外圖像精匹配,提升紅外圖像清晰度,精匹配后的紅外圖像重疊區域存在明顯的拼接痕跡,經過本文算法融合后,可有效平滑處理重疊區域,實現圖像快速拼接。實驗證明:對于模糊紅外圖像,文中算法可有效提取全局與局部特征,完成圖像粗匹配與精匹配,提升圖像清晰度,并有效融合處理圖像拼接過程中的重疊區域,完成圖像快速拼接。

在視角變化數據集內隨機選擇同一目標不同角度的紅外圖像,利用文中算法快速拼接兩個不同角度的紅外圖像,快速拼接結果如圖2所示。根據圖2可知,本文算法可有效精匹配不同視角的紅外圖像,并快速拼接不同視角紅外圖像,獲取更為完整的紅外圖像,為后續電網監測與故障診斷等操作提供更為全面的信息。

利用剩余分均勻性(NU)、平均梯度(AG)與熵衡量文中算法圖像快速拼接質量,NU越小,圖像灰度分布越均勻,AG越大,圖像越清晰,熵越大,圖像具有的細節信息越多,設值NU的閾值為15%,AG的閾值為5%,熵的閾值為6%,分析文中算法在快速拼接4種類型數據集時的圖像拼接質量與速度,圖像拼接時間低于4 s時,說明圖像拼接速度較快,分析結果如表1所示。根據表1可知,文中算法可有效快速拼接不同情況下的紅外圖像,拼接后的紅外圖像NU值均低于NU閾值,AG值均高于AG閾值,熵值均高于熵閾值,說明文中算法拼接后的紅外圖像內灰度分布均勻、清晰度較佳、細節信息含量較多;文中算法在拼接各類型紅外圖像時的平均時間是1.99 s,明顯高于最低時間要求,說明文中算法圖像拼接速度較快。

表1 圖像拼接質量與速度

3 結 語

遠程監測與遙感等領域均會用到圖像拼接算法,通過拼接圖像,獲取更為全面的圖像信息,為遠程監測與遙感等領域提供更好地服務。為此研究基于全局與局部特征的圖像快速拼接算法,有效快速拼接圖像,提升圖像清晰度,獲取更為全面的圖像信息;文中算法的全局特征僅針對全局形狀特征,并未考慮全局顏色特征,日后還需考慮全局顏色特征,令拼接后的圖像更加符合人眼需求。