攝像機視場約束下無人機視覺著艦導引方法

祝子程, 王 彪, 唐超穎, 徐貴力

(南京航空航天大學,南京 211000)

0 引言

近年來,無人機的安全著艦已成為一個熱門的研究方向。在諸多的機載傳感器中,視覺傳感器因其獲取信息量大、適用范圍廣、非接觸性等特點[1]而成為最重要的傳感器之一。將計算機視覺與控制技術結合,視覺伺服(Visual Servoing)技術應運而生,并可按其誤差來源分為兩類[2],分別是基于位置的視覺伺服(Position-Based Visual Servoing,PBVS)與基于圖像的視覺伺服(Image-Based Visual Servoing,IBVS)。

若采用PBVS理論,則可使無人機在飛行空間中較為平穩地跟蹤參考軌跡。王忠華等[3]采用圖像特征點匹配技術估計出無人機與目標間的相對位姿,利用同步定位與建圖(SLAM)技術感知周遭環境、規劃路徑,最后基于Backstepping理論設計了控制律,實現了無人機的平穩著艦;而為了進一步改善無人機的飛行姿態,韓飛等[4]在采用PBVS理論的同時,引入了基于雙滑模面的相對姿軌耦合控制閉環加以輔助,從而實現無人機的安全著艦。但是PBVS理論僅關注飛行空間中的無人機運動,而不關注圖像空間中所對應的視覺特征點的運動,導致其容易超出攝像機視場(Field of View,FOV)范圍,進而導致著艦失敗。

IBVS理論關注圖像空間中視覺特征點的運動,能夠將圖像誤差校正為零,具備很高的精確性,非常契合無人機著艦的需要,因而得到學者們的廣泛關注。WYNN等[5-6]利用汽車來模擬艦船的運動,并成功應用IBVS理論實現了無人機的安全著艦,針對艦船運動的情況,他們提出了結合前饋速度的IBVS方法,并且實驗成功,這些研究成果驗證了IBVS理論在無人機著艦任務中的應用潛力。但是,CHAUMETTE等[7]研究發現IBVS理論存在控制效率較低的缺陷,即在圖像誤差較大時調節能力過強,而在其較小時調節能力較弱。前者可能導致圖像空間中視覺特征點的運動軌跡是合理的,但是映射在飛行空間中的無人機運動軌跡是扭曲不合理的;后者可能導致無人機運動過于緩慢。SPONG等[8]在研究中發現當攝像機大幅度旋轉時,IBVS理論可能導致視覺特征點超出攝像機視場。因此,引入軌跡規劃對其加以改進是有必要的。

LEE[9]從仿生學角度提出了tau理論,指出動物對視覺信息的處理在其接近目標的過程中起導向作用,這與基于IBVS的無人機著艦過程相似;文獻[10-11]深入研究了基于tau理論的軌跡規劃方法,能夠合理規劃出無人機在飛行空間中各個時刻的位姿和速度等信息;文獻[12-13]則基于此成功實現了無人機降落至期望目標。這些研究成果對本文的研究有著重要的借鑒意義。

李佳歡[14]在研究中發現艦船容易受到海洋風浪等外界擾動作用,同時連帶影響到甲板上用以表示無人機降落區域的合作目標及其上的視覺特征點的運動,再加上待整定的系統參數數目也會隨著視覺特征點數目增多而增多,所以參數整定工作較為繁冗且復雜。此外,由于IBVS理論通過圖像誤差收斂的過程來映射無人機飛行軌跡跟蹤的過程[15],所以圖像誤差收斂的動態過程合理即意味著無人機的飛行軌跡較為合理。但是IBVS理論無法直接描述圖像誤差收斂的動態過程,所以有必要引入與瞬態性能約束相關的控制理論對其進行改進。目前,瞬態性能約束控制理論主要可分為3類,分別為“漏斗”控制(Funnel Control,FC)、障礙李雅普諾夫函數(Barrier Lyapunov Function,BLF)控制和預設性能控制(Prescribed Performance Control,PPC)[16]。其中:FC理論對系統的類型有嚴格限制,適用場景較為局限;BLF理論需要定義形式特殊的李雅普諾夫函數來輔助設計,且當場景變化時就需要定義新的函數,并且重新設計整個系統,較為不便;PPC理論能夠直接描述誤差收斂的動態過程,并且能賦予參數整定工作以明確直觀的物理意義,從而降低了參數整定的難度。相較FC和BLF理論,PPC理論對系統的類型沒有嚴格限制,適用場景較廣,并且無需構造形式復雜的輔助函數,設計過程較為靈活簡便[17],非常契合無人機在視覺著艦中的需要。

本文在存在機載攝像機視場范圍等約束和海洋風浪擾動的情況下,引入性能約束控制理論,設計了一種軌跡規劃與IBVS相容的無人機著艦視覺導引方法。

1 無人機著艦視覺導引方案設計

本文所研究的無人機著艦視覺導引系統主要由視覺處理、tau軌跡規劃、導引指令生成與無人機平臺4個模塊組成,如圖1所示。為降低視覺處理算法設計難度,采用高可靠性的ArUco合作目標作為著落標志,并參考文獻[18]的相關算法來完成目標檢測與識別;位姿解算采用精度較高的PnP算法[19]來實現,并利用Kalman濾波算法進行去噪?？傮w上,視覺處理工作直接采用成熟可靠的OpenCV庫及其拓展包中的solvePnP與濾波等相關函數來實現。在無人機著艦過程中,假設目標艦船的推進系統不工作,艦船運動受到海洋風浪的影響,但較為有限,所以可將由無人機自身IMU所測速度近似作為與艦船間的相對速度使用。因為本文不研究飛行控制器,所以假設控制回路性能理想,將無人機平臺視作質心運動學模型來處理。

圖1 無人機著艦視覺導引系統框圖

無人機與合作目標相對位姿如圖2所示,本文在目標艦船的甲板上放置了合作目標以表示無人機的降落區域。無人機在飛行過程中通過機載單目攝像機感知周遭環境。當無人機接近艦船后,即可觀測到甲板上的合作目標,提取出視覺特征點,并以此計算出自身與艦船間的相對位姿。參照圖3,建立機載攝像機的小孔成像模型,則可通過計算來描述飛行空間中的任意一點與歸一化像素平面上一點間的映射關系。無人機與艦船間的相對速度信息可根據無人機自身所裝配的IMU近似測得。具體為

(1)

圖2 無人機與合作目標相對位姿示意圖

圖3 小孔成像模型示意圖

(2)

其中:(xw,yw,zw),(xc,yc,zc),分別是點p在世界坐標系和攝像機坐標系中的坐標;ppi=(u,v,1)T,(u,v,1)是其在歸一化像素平面的坐標;R、T分別是正交旋轉和平移向量;(x0,y0)是主點坐標,fx、fy分別是像平面在x、y兩個方向的尺度因子。

至此可結合機載攝像機的視場約束,并基于tau耦合策略規劃出一條滿足軟著艦要求的參考飛行軌跡,并轉換至圖像空間。之后,對含約束的圖像誤差進行同胚映射,從而將受限系統轉化為等價的不受限系統,并針對該系統設計相應的IBVS控制器以生成導引指令,驅使無人機跟蹤參考軌跡直至平穩降落至甲板上的期望位置。整個過程中,通過結合軌跡規劃方法與IBVS理論,既改善了無人機的飛行軌跡,使其較為平滑,又能使視覺特征點不會超出攝像機的視場,精準消除圖像誤差。此外,本文還通過引入PPC理論直接描述圖像誤差收斂的動態過程,并通過賦予參數整定工作以直觀且明確的物理意義以降低其復雜性。

2 視場約束下的tau耦合策略軌跡規劃

若僅僅參照IBVS理論,而不規劃視覺特征點的軌跡是無法滿足無人機平穩著艦需要的。構建如圖4所示的軌跡規劃模塊,引入機載攝像機的視場約束,基于tau耦合策略的軌跡規劃方法生成一條滿足無人機軟著艦要求的參考軌跡。

圖4 結合tau耦合策略與視場約束的軌跡規劃示意圖

關于時間的視覺變量tau是設計的關鍵,其定義為

(3)

τx(t)=kτy(t)

(4)

則其中一個變量收斂為零的同時,與之對應的其余變量也收斂為零。

確定x(t)對應的tau值后,參照文獻[20]計算最優著艦時間td,并取其0.6～0.8倍作為飛行過程中的調頭轉彎時間tturn。之后,可參照

(5)

規劃無人機在著艦過程中與目標間的相對距離。接著,參照

(6)

計算軌跡的末端速度,當其接近零時即可避免無人機猛烈碰撞甲板,使無人機平滑著艦。根據ZHANG等[11]的研究,在區間(0,0.5)內選擇k值可使所規劃的末端速度接近零,使得參考軌跡滿足軟著艦要求。最后,可參照

λ(t) =λ0/(x01/kx,λ)*x(t)kx,λ

(7)

χ(t)=χ1(t)+χ2(t)*ε(t-tturn)

(8)

χ1(t)=(χ0-χend,turn)/(x01/kx,χ1)*x(t)1/kx,χ1+χend,turn

(9)

χ2(t)=(χend,turn-χend)/(x01/kx,χ2)*x(t-tturn)1/kx,χ2+χend

(10)

建立所有變量間的耦合關系后,即可根據

p(t)=A*p(td)+B*p(t0)+h

(11)

計算出無人機在飛行過程中的期望位置p(t)。其中,t0為初始時刻;

(12)

(13)

(14)

得到無人機的參考軌跡即得到了攝像機的參考軌跡,參照

pc=T2*R2*(R1*T1*pw+T)

(15)

和圖1所示的坐標系將視覺特征點的參考位置轉換到攝像機坐標系中。

(16)

(17)

式(16)、式(17)分別表示坐標系的旋轉次序和各軸的調換次序,平移向量T由式(1)計算得到。

(18)

根據

(19)

(20)

3 結合PPC與IBVS的導引指令生成

PPC理論通過施加額外約束來直接描述被控變量收斂的動態過程和穩態值,即預設合適的性能約束包絡邊界作為變量的演變區域,從而使其滿足要求,該理論能夠在保證穩態精度的前提下,兼顧超調量、上升時間和調節時間等動態指標。與此同時,性能約束包絡邊界也賦予了參數整定工作以直觀明確的物理意義,降低其復雜性。本文將PPC與IBVS理論相結合,構建如圖5所示的導引系統,生成無人機導引指令,驅使圖像誤差較平穩地收斂至穩態值,即無人機較平穩地跟蹤參考著艦軌跡。

圖5 基于PPC與IBVS的導引指令生成框圖

定義視覺特征點在歸一化像素坐標系中u和v方向上的圖像誤差為eu,i和ev,i,構造eu,i和ev,i的約束關系,即

(21)

(22)

其中:eu,i(0)和ev,i(0)分別為eu,i和ev,i的初始值;δu,i和δv,i分別為對應eu,i和ev,i的超調量抑制參數;ρu,i(t)和ρv,i(t)分別為對應eu,i和ev,i的性能函數;i=1,…,6。

根據初始圖像誤差eu,i(0)和ev,i(0)建立約束關系后,選擇合理的性能函數ρu,i(t)和ρv,i(t),即

ρu,i(t)=(ρu,i(0)-ρu,i(∞))*e-lu,it+ρu,i(∞)

(23)

ρv,i(t)=(ρv,i(0)-ρv,i(∞))*e-lv,it+ρv,i(∞)

(24)

其中:ρu,i(0)>ρu,i(∞)>0且ρv,i(0)>ρv,i(∞)>0;lu,i>0,lv,i>0,且均為常數。性能函數ρu,i(t)和ρv,i(t)能夠使得圖像誤差按照預設規律收斂,收斂過程的速度受參數lu,i和lv,i影響,而ρu,i(∞)和ρv,i(∞)則定量描述了穩態圖像誤差的邊界。

在確定ρu,i(t)和ρv,i(t)后,構造歸一化圖像誤差zu,i(t)和zv,i(t),即

zu,i(t)=eu,i(t)/ρu,i(t)

(25)

zv,i(t)=ev,i(t)/ρv,i(t)。

(26)

由于引入了額外約束,所以需要尋找到一個合適的同胚映射函數來將受限系統轉換成等價的不受限系統,從而降低復雜性。選取同胚映射函數

(27)

(28)

將歸一化圖像誤差zu,i(t)和zv,i(t)對等映射成新的誤差變量εu,i(t)和εv,i(t)。

至此,原受限系統經過同胚映射變換后,即可轉換成不受限系統。此時只需設計控制器使得不受限系統中的誤差變量有界,就可以將該作用施加在原受限系統中,使其按照預設動態過程工作。

(29)

(30)

(31)

4 仿真驗證

本文依托文獻[21]的視景仿真平臺對所提出方法的可行性和有效性展開討論。

由于圖像誤差收斂的動態過程對應著飛行空間中無人機跟蹤參考軌跡的飛行過程,所以當圖像誤差收斂的動態過程較為平穩時,無人機能夠平穩地跟蹤上參考軌跡,不會出現劇烈的“抖動”,而圖像誤差收斂的動態過程是可以直接描述的。

設置u和v方向圖像誤差的性能約束包絡上下邊界的初始值分別為±20像素和±15像素,穩態值均為±2像素,收斂速度參數lu,i和lv,i均為0.2,則圖像誤差在所預設的區域內逐漸收斂為零,如圖6(a)所示,調節時間分別為18.1 s和14.7 s,最大偏差分別為14像素和-12像素,作為后續對比基準。

圖6 性能約束包絡與圖像誤差變化曲線

通過調節參數lu,i和lv,i可以改變系統的調節時間等,同時也對最大偏差和超調量等有所影響。將參數lu,i和lv,i從0.2增大至0.4,性能包絡的收斂速度加快,如圖6(b)所示,圖像誤差收斂的調節時間也隨之縮短為12.2 s和11.8 s,最大偏差減小為7像素和-6像素。通過調節性能包絡的上下界,可以調整系統的超調量和最大偏差等。保持u和v方向的性能包絡的穩態值不變,將初始值分別改為±12像素和±10像素,則性能約束包絡邊界變窄,而圖像誤差的峰值也隨之減小為5像素和-5像素,如圖6(c)所示。

圖7(a)表示的是飛行空間中無人機的實際飛行軌跡及其參考著艦軌跡,其中黑色箭頭表明無人機的飛行方向,與圖6(a)中圖像誤差的動態收斂過程相對應。綜合分析可知,由于圖像誤差的收斂過程較為平穩,所以無人機在飛行過程中較平穩地跟蹤上了參考著艦軌跡,并逐漸接近艦船甲板上的目標位置。圖7(b)表示的是無人機在接近目標位置過程中的飛行速度變化情況,可看出,隨著無人機逐漸接近待著落的目標位置,其飛行速度逐漸降低,直至在抵達目標位置時速度接近零,即不會與甲板發生劇烈的碰撞。因此,通過本文所提方法,無人機可以安全順利地著艦。

圖7 無人機運動軌跡與飛行速度示意圖

圖8表示的是與圖7所對應的圖像空間中視覺特征點的運動軌跡,以虛線框表示機載攝像機的視場約束,以多種顏色的圓形和矩形分別表示所選取的6個視覺特征點運動的起點和終點。由于海洋風浪等外界擾動的作用,艦船的運動會受到一定影響,連帶影響到艦船甲板上的合作目標及其視覺特征點的運動。由圖8可見,視覺特征點的運動雖然受到海洋風浪等外界擾動的影響,但是沒有超出虛線框邊界,始終處于機載攝像機的視場中。

圖8 視覺特征點實際運動軌跡

5 結論

本文針對無人機自主視覺著艦研究了一種視覺導引方法,能夠使無人機平穩安全地降落至艦船甲板上的期望位置,仿真驗證表明本文方法具有以下優勢。

1) 引入機載攝像機視場約束對視覺特征點運動做出規劃,能有效降低因視覺特征點在運動過程中超視場導致著艦失敗的風險,同時可改善無人機的實際飛行軌跡。

2) 引入PPC理論以直接描述圖像誤差收斂的動態過程,對視覺特征點在圖像空間中的運動做出了一定約束,映射至飛行空間,即無人機能夠較平穩地跟蹤參考著艦軌跡。此外,還賦予了參數整定工作以直觀明確的物理意義,降低其復雜性。