一種改進的圖像拼接技術及其在無人機病蟲害檢測中的應用*

藺瑤， 曾晏林， 賀壹婷， 費加杰， 黎強， 楊毅

(云南農業大學 大數據學院，云南 昆明 650201)

1 引言

隨著計算機視覺技術的不斷發展，圖像拼接技術的應用范圍也越來越廣泛[1-4].基于特征點提取的圖像拼接是目前比較流行的拼接方法，并且在常用的特征點提取方法中，ORB算法是Rublee等[5]提出的一種二進制特征提取算法，ORB相較于Harris、SIFT、SURF，它的計算速度快，計算量小，內存消耗低.為此眾多相關學者紛紛開始對ORB算法展開研究.李小紅等[6]提出了采用ORB特征算子的特征點匹配算法，解決了運動中物體的目標檢測的問題.曾海長等[7]將SURF算法中的海森檢測算子引入ORB算法中，將改進的ORB算法應用到圖像拼接中，解決了尺度和旋轉不變性問題.劉婷婷等[8]提出的ORB的改進算法，計算速度提高了很多，減少了重影錯位現象.上述學者提出的改進的ORB算法，雖然提高了算法的性能，但沒有解決ORB算法匹配精度低的問題，本文將四叉樹數據結構引入ORB算法來均勻特征點，通過KNN算法對提取的特征點進行粗略匹配，再根據RANSAC算法過濾掉錯誤匹配點，計算變換矩陣H.

2 算法原理及實現

ORB算法整合了FAST(Features from Accelerated Segment Test)[9]算法和BRIEF(Bianry Robust Independent Elementary Features)[10]算法，能有效地構造圖像特征點的特征向量，并通過特征向量檢測圖像中的目標.本文在ORB算法的基礎上引入四叉樹結構，新算法可以使特征點分布均勻，圖像更好地融合(記為QT-ORB算法)，引入四叉樹前后流程對比如圖1所示.

2.1 采用四叉樹結構使ORB算法提取的特征點分布更均勻

首先將圖像分為N個等分的區域(N為初始圖像的寬高比的四舍五入值)，N=round(width/height).將每個區域劃分為4個相等的子區域.在子區域內檢測特征點并計算特征點描述子.如果子區域的特征點數大于設定的閾值，繼續劃分，否則停止劃分.直到提取的特征點達到期望值，劃分結束，在子區域內提取特征點.圖2是采用四叉樹結構前后特征點的對比圖，可以清晰的看出用四叉樹結構來進行FAST特征點的提取，比原來的提取方式更均勻，將圖像進行劃分，把特征點分配到子區域中，在進行圖像匹配時，只需選出相應子區域的特征點和描述子.

圖1 引入四叉樹前后的算法流程對比圖

圖2 采用四叉樹結構特征點分布前后對比圖

2.2 RANSAC算法特征點匹配

通過四叉樹結構提取特征點后，計算提取出的特征點的描述子和方向,根據特征值的漢明距離[11]進行KNN粗匹配.再通過RANSAC算法篩除錯誤匹配.先隨機選取兩個點，計算模型方程，選擇滿足誤差閾值最多點的模型作為問題的解.選取n個質量高的特征點對.然后從中隨機選出4對，計算出對應矩陣的8個參數.根據矩陣計算出其余特征點的誤差，然后根據誤差閾值判斷是內點還是外點.如果多于設定的閾值點數量的內點，就判定這個是最佳矩陣.如果沒有，重新隨機選擇1對進行下一次迭代.如果已經到了最大的迭代次數，就返回到內點數最多的模型，得到最佳的單應性變換矩陣.

單應矩陣是兩幅圖像之間的轉換矩陣.RANSAC算法用于估計單應矩陣，單應矩陣有8個未知數，可以選取4對特征點來計算出矩陣.假設兩張圖像中對應的一組匹配點P1(x,y)、P2(x′,y′)，它們之間的轉換關系H表示為：

(1)

2.3 圖像拼接算法流程

(1)首先導入圖像，將導入的圖像轉為灰度圖.

(2)根據圖像金字塔[12]計算特征點進行非極大值抑制，根據最佳閾值提取特征點.

(3)用四叉樹結構提取響應值佳的FAST特征點.

(4)對提取的特征點進行二進制編碼，得到brief描述并計算方向.

(5)通過KNN實現特征點粗匹配，選出高質量的特征點對.

(6)設置RANSAC算法[13]輸入數據的優先級，選出精匹配點對并計算單應性矩陣，進行圖像融合.

3 QT-ORB算法在無人機病蟲害檢測中的應用

實驗在Windows11操作系統下進行，硬件配置為R7 5800H處理器，NVIDIA GTX3060 顯卡，開發軟件為PyCharm2021.實驗圖像數據來源于自組F250四旋翼無人機搭載IntelRealsense D435i相機拍攝所得的公開圖像數據集.圖3中(a)、(b)分別為無人機攝像頭采集到的玉米蟲害蝸牛和粘蟲的原始圖像.

圖3 無人機攝像頭采集到的原始數據

圖4 三種算法的特征點檢測

圖4顯示了ORB、SIFT和QT-ORB算法的特征點檢測的對比結果.從圖中可看出，ORB算法提取的特征點過度聚集.與SIFT算法提取的特征點相比，本文算法提取的特征點分布更為均勻.這表明QT-ORB減少了特征點的聚集，提高了特征點提取的均勻性，保證了后續圖像的無縫融合.

圖5 三種算法的尺度不變性實驗結果對比

圖5顯示了ORB算法、SIFT算法和QT-ORB尺度不變性實驗的對比結果.從圖中可看出，ORB算法存在錯誤匹配的現象.SIFT算法相對于ORB算法，效果較好，匹配的特征點對有部分重疊.QT-ORB匹配的特征點對不存在明顯的錯誤匹配現象，有良好的魯棒性，克服了ORB算法沒有尺度不變性的不足.

圖6 三種算法的匹配結果對比

圖7 圖像匹配結果

圖6顯示了三種不同算法的特征點匹配結果，可以看出ORB算法存在錯誤匹配的現象，SIFT算法匹配的特征點有重疊現象，QT-ORB匹配點大幅減少，降低了錯誤匹配率.如圖7所示，粗匹配后，仍然存在特征點錯誤匹配的現象，而QT-ORB設置RANSAC輸入數據的優先級，可以很好地消除這一現象.

三種不同算法在數據集(a)、(b)上的特征提取時間、特征匹配時間、匹配精度如表1所示，QT-ORB在特征提取時間和特征匹配時間上都有所提升，相比ORB算法和SIFT算法，特征提取時間分別減少了28.64%、27.56%和45.91%、43.82%，特征點提取的速度明顯加快.通過過濾失配對，得到較少的有效匹配對，使QT-ORB特征匹配時間分別比ORB算法以及SIFT算法減少了15.68%、15.02%和32.93%、31.50%.QT-ORB算法最高匹配精度達到94.16%.綜上所述，本文算法提高了特征點分布的均勻性、特征點的匹配精度以及速度.

表1 三種不同算法的對比結果

圖8 QT-ORB算法的圖像拼接結果

QT-ORB算法的拼接效果如圖8所示，沒有明顯的拼接縫隙，圖像過渡自然，并且重影和錯位較少，拼接效果良好，因此將圖像拼接技術用于農作物病蟲害的檢測是可行的.

4 結語

在ORB算法的基礎上采用四叉樹結構實現特征點均勻分配.通過實驗將其與ORB算法和SIFT算法進行對比分析可知，QT-ORB提取的特征點更具代表性，航拍圖像的拼接效果更佳.因此，QT-ORB算法能夠提高圖像拼接的效率與準確性.

在農作物的病蟲害檢測方面，利用無人機獲取農田高清圖像[14]，并利用圖像拼接技術對獲取的圖像加以處理、分析，使農民能在植株生長的不同階段了解到農田的受害情況，具有一定的現實意義.