?

無人機基于視覺引導的移動平臺追蹤與降落

2023-02-23 09:07王梓屹張志安
導航定位學報 2023年6期
關鍵詞:圓心投影二維碼

萬 鏵,王梓屹,李 勝,張志安

無人機基于視覺引導的移動平臺追蹤與降落

萬 鏵1,王梓屹1,李 勝1,張志安2

(1.南京理工大學 自動化學院,南京 210094;2.南京理工大學 機械工程學院,南京 210094)

針對當前可遠距離實現純視覺引導無人機降落的方案中合作目標尺寸過大的問題,提出一種三維與二維標志組合的合作目標設計思路:通過深度學習加手工特征檢測三維標志以進行遠距離定位與追蹤,接近后切換檢測二維標志以進行降落;引入三維合作目標后,在不降低定位精度的前提下,1.5 m高度的可檢測距離增加了2.54倍,且可大角度傾斜檢測,合作目標尺寸也大幅減小。實驗結果表明,遠距離階段平均定位誤差為0.05 m,近距離階段在移動平臺上的降落點平均誤差為0.03 m,說明該小尺寸合作目標的視覺定位精度與降落精度很高,可以追蹤并降落在移動中的超小尺寸降落平臺上。

無人機(UAV);合作目標;視覺;追蹤;降落

0 引言

電動多旋翼無人機在工業、農業、商業等領域有著廣泛的應用,但續航限制了發展,作業中須頻繁降落補充能源。文獻[1]指出無人機人工降落階段事故多發,操作人員工作負擔和風險大,須尋找一種魯棒性較高的無人機自主降落方案,降低無人機作業中操作人員的在環程度。

文獻[1]介紹了現有無人機自主降落方案,總結為有源和無源2類,有源指須與外部定位源(衛星、基站等)進行通信,獲取自身位置,無源指僅依靠自身硬件實現自主降落,有捷聯慣導與視覺定位等方式。文獻[2]指出,基于視覺檢測合作目標的定位與導航完全由機載設備完成決策與控制,無須與外部定位源通信,實時性強,定位精度高且不受時間、空間影響,適用場景廣。當前一些商品級無人機機場(例如大疆機場),也用視覺識別的方式在末端進行輔助定位。這些機場常用小尺寸二維合作目標以減小機場尺寸,但這使得無人機只能在停機坪上方獲得完整合作目標后開啟視覺引導,稍遠之外則依賴載波相位差分(real time kinematic,RTK)技術提供高精度的定位信息,在室內或復雜電磁環境等條件下無法使用;RTK也使得機場只能在靜止狀態下回收無人機,使用場景受限。對此更多研究傾向于純視覺定位合作目標,減少對RTK的依賴,且更傾向于動態回收,以提高實用性,拓展應用場景。

文獻[3]設計了一種富含光流特征的平板,面積達10829 cm2,精度易受誤差累積影響,定位結果的均方根誤差(root mean squared error,RMSE)為0.25 m。文獻[4]為此加入回字形定位圖案,通過細分層級實現了由遠至近不斷精細化的定位,RMSE降低至0.06 m,但合作目標仍然很大,且同樣只能俯視檢測。視覺定位領域的文獻[5]設計了四月標簽(AprilTag),已發展為視覺基準庫,用于獲取相機的高精度位姿。文獻[6]提出了類似的方案,取名科爾多瓦大學增強現實(augmented reality university of Cordoba,ArUco),也可獲得相機的位姿,已集成至開源計算機視覺庫(open computer vision,OpenCV)。AprilTag與ArUco都是二維碼類標識,檢測角點后解點透視(perspectivepoints,PP)問題獲得二維碼位姿,檢測速度快,定位精度高,一經提出就有很多研究者將其作為合作目標應用于視覺降落。文獻[7]在A3紙上用AprilTag實現平均絕對誤差(mean absolute error,MAE)0.08 m的定位,兼顧了合作目標尺寸與定位精度,但只進行了俯視檢測。文獻[8]設計了一種有6組不同半徑比同心圓的合作目標,2.5 m高度俯視定位MAE<0.035 m,但尺寸過大。文獻[9]提出一種基于編碼圓的分布式編碼,遠距離更易于解讀,可用于降低面積。

上述研究均在全畫幅上用手工特征方式提取合作目標特征,易受背景、光照等因素干擾。隨著深度學習技術的發展,一些研究使用深度學習檢測合作目標[10]。文獻[11]用更快的區域卷積神經網絡(faster region convolutional neural networks,Faster R-CNN),其在圖像變形時也有極高的成功率,但檢測速率慢,平均幀率(frame per second,FPS)僅12.5。文獻[12]使用第五代目標檢測算法(you only look once,YOLO)檢測目標特征區域,在英偉達顯卡電腦上FPS可達140。文獻[13]用生成對抗網絡去模糊技術[14]來改善無人機飛行抖動造成的運動模糊問題,經過特定的輕量化操作后可在機載平臺上達到實時的推理速度,為后續目標檢測提供去模糊的圖像輸入,提高特定目標的檢測成功率與定位精度。相較手工特征,深度學習可以從更高維度上提取合作目標特征,在增加一些推理時間的代價下可更好地減少環境干擾,提高檢測成功率。

可以發現,當前純視覺降落研究均使用二維平面合作目標,尚無法兼顧減小合作目標尺寸、提高定位精度與增加檢測距離。對此,本文基于文獻[4]分階段思想,在純視覺自動降落領域引入三維合作目標,設計一種分布式三維標志(球體)與二維標志(AprilTag)組合的合作目標。

1 合作目標設計

當前部分代表性研究中的平面合作目標如圖1所示,相關指標如表1所示。

圖1 部分研究中的合作目標

表1 部分研究中的合作目標及相關指標

以在合作目標尺寸與定位誤差方面取得較好平衡的AprilTag為例,測試其水平檢測距離極限,如圖2所示。當74°垂直視場角的相機在150 cm高度、45°斜向下時,邊長20 cm的AprilTag(選用36 h 11族系降低誤檢率,該族系的二維碼均含6×6個像素塊,最小漢明距離值為11)在250 cm外檢測成功率開始降低,至275 cm外已無法檢測得到。

圖2 二維碼水平檢測距離極限測試

無法檢測的原因在于水平距離增加,相機與合作目標平面夾角減小,相對傾斜程度增加,二維碼投影的寬度維度逐漸丟失,編碼信息難以被解讀,且變形后短邊像素點減少,擬合精度降低,特征點精度降低,定位精度也將降低[15-16]。此外,位姿解算只需4個角點,編碼圖案占用大量面積,且上述小夾角情況下無法發揮作用。

為兼顧尺寸、精度與范圍指標,本文提出的合作目標中的三維標志參考文獻[9]的思路,使用球體(投影為圓形,等周長時面積最大),無論相機與合作目標平面夾角如何變化,投影始終為圓形,不會向一維退化,并用顏色排列設置編碼信息(因解PP問題需至少4對點,以顏色排列順序作為編碼約束進一步降低環境中可能的干擾),用盡量少且鮮明的特征替代二維碼,如圖3所示,在保證遠距離、大傾斜情況下特征點提取精度的同時減少面積占用。

圖3 降落平臺

如圖4所示,檢測到同數量邊緣像素點時(4= 8π),標志球投影總面積4π2=4π(4/8π)2=2π,二維碼面積2,故檢測到相同理論精度特征點時,標志球投影總面積小于二維碼。

球的投影特性也無須如文獻[8]中為解決變形問題而遞歸求解圓心,可減少計算時間,但標志球投影圓由視錐與該球的切線包圍形成,圓心′對應的空間點不是球心,如圖5所示。

圖5 像素平面圓心與實際球心位置誤差

認為圓心′對應的空間點即是球心的最小無差檢測距離,計算公式為

式中:為球半徑,取7.5 cm;Δ為′與的空間位置誤差率,取小于0.1%。

以該最小無差檢測距離為界,距離外進行一階段遠距離三維球體檢測與定位,越過分界后進入近距離的二階段,二階段選取已有研究中在尺寸與定位誤差方面取得較好平衡的AprilTag,為近距離的無人機提供超實時的精確定位信息。為避免誤檢導致的錯誤定位,選用編碼信息豐富的36h11族系;為保證相機在至接近落地時始終捕獲到完整標簽,使用同心嵌套的方式,如圖6所示。外層標簽優先級高于內層小面積的二維碼,外層標簽邊長20 cm,內層為3 cm,一張A4紙即可容納。如圖2所示的實驗已證明這個距離內可成功檢測這個尺寸的二維碼合作目標。

圖6 二維碼示意

2 合作目標檢測算法及位姿解算

本文坐標系定義如表2所示,三維坐標系均是右手系,三軸姿態角滿足右手定則。

表2 坐標系定義

2.1 目標檢測算法

2.1.1 一階段目標檢測算法

由于在全畫幅上采用手工特征方式提取合作目標特征,容易受背景、光照等環境因素干擾,本文使用深度學習目標檢測算法在一階段檢測用于遠距離追蹤的三維合作目標。

依據文獻[12,17],YOLO家族的YOLOv5在檢測速度與精度上做到了很好的平衡,適用于工程項目。本文選用YOLOv5-6.0,其網絡由主干網絡、頸部和檢測頭3部分組成,結構如圖7所示,圖中CBS是卷積層(convolutional layer,Conv)、批量歸一化層(batch normalization,BN)、S形加權線性激活函數(sigmoid linear unit,SiLU)的首字母縮寫組合。主干網絡進行了一系列卷積操作以提取各個層次的特征,并在主干網絡和頸部間使用快速空間金字塔池化(spatial pyramid pooling-fast,SPPF)以降低運算量、提高速度;頸部使用特征金字塔網絡(feature pyramid network,FPN)加像素聚合網絡(pixel aggregation network,PAN)的特征融合結構,其中FPN自頂向下傳遞強語義信息,PAN自底向上傳遞強定位信息,并用跨階段局部結構(cross stage partial,CSP)加強特征融合能力;最后檢測頭在頸部3個不同尺度的輸出上利用自適應錨框進行目標檢測,并通過邊界框損失與非極大值抑制找到最佳邊界框。

以路況數據集[18](road traversing knowledge dataset,RTKD)為基礎,將不同距離與角度下的降落平臺沿輪廓手工分割出來,疊加到RTKD不同路況圖片的隨機位置上,生成新的數據集,如圖8所示。

為了在機載硬件上取得較快的檢測速度,選小尺度s架構模型,對上述新數據集進行訓練,結果如圖9所示,300輪訓練后各損失函數均趨向穩定,精確率(真正例與真正例加假正例的和的比值)均趨于1,召回率(真正例與真正例加假負例的和的比值)也趨于1,訓練結果好。

圖7 YOLOv5-6.0網絡結構

圖9 訓練結果

訓練結果在469張圖的測試集上測試,結果如表3所示,各類別精確率與召回率高,平均精度均值(mean average precision,mAP)高,測試集上表現好。

表3 測試集中模型的表現

目標檢測可得標志球邊界框,如圖10所示。受背景、光照及檢測頭中邊界框損失及非極大值抑制算法影響,邊界框中心常與標志球投影圓圓心存在偏差,如圖11所示。由于PP算法對點和位置敏感,為提高PP算法解得的最優平移向量精度,本文增加精確圓心檢測來提高圓心檢測精度。

圖10 單幀檢測結果

圖11 邊界框中心

先將邊界框作為興趣域截出,其中大部分顏色為標志球顏色,對興趣域進行均值偏移濾波,中和分布相近的顏色,將主體顏色與背景分開,如圖12所示。

圖12 均值偏移濾波結果

再通過閾值法提取相應顏色區域,并利用坎尼(Canny)算法獲得此時邊緣信息,如圖13所示。

圖13 標志球色域及其邊緣信息

最后由霍夫梯度法擬合圓心,如圖14所示。與邊界框中心相比,白點為擬合圓心,×為邊界框中心,此時的圓心更接近實際圓心,可提高PP解算精度。至此得到一階段合作目標各球特征點球心在pix中的對應二維坐標。

圖14 精確圓心與邊界框中心對比

2.1.2 二階段目標檢測算法

本階段檢測的合作目標為AprilTag,由于已發展為視覺基準庫,近距離檢測精度優秀,故不再贅述文獻[5]中的檢測方法,其在檢測出指定編號二維碼的同時,也能獲得4個角點投影在pix的二維坐標。

2.2 位姿解算方法

本節利用2.1節得到的特征點在pix中的二維坐標解算合作目標中心在b-i的三維坐標。

本文使用的一款微畸變鏡頭的單目相機,其成像可用小孔成像模型表示,pix到img的轉換關系為

式中:(pixpix)為空間特征點在pix中的投影坐標;(imgimg)為點在img中的坐標;()為img在pix中的坐標。

由小孔成像的相似關系得img到c轉換關系為

式中:為相機焦距;dd分別為像素點的物理寬與高;(c,c,c)為點在c中的坐標;為內參矩陣,反映相機物理結構。

相應有表征pad到c變換的外參矩陣,為

式中:為pad到c的旋轉矩陣;為平移向量。

點在c中坐標為

式中pad為點在pad的坐標。

將合作目標中心固連至pad,pad在c中的坐標即為,求取即可得。

點在pad中的位置可通過測量得出,若檢測出若干個特征點在pix中的投影點坐標,則的求取可轉換為一個PP問題。文獻[12]用高效PP(efficient perspective ofpoints,EPP)法[19]解算固定翼飛機的相對姿態,該算法復雜度為O(),速度很快,但實際使用中大傾角時重投影誤差大,如圖15所示,只用EPP解算效果不佳,通常須以此結果為初值進行迭代優化。本文使用最小化重投影法。

圖15 EPnP法重投影誤差

將式(3)改寫為

式中:pix為(pixpix,1);pad為齊次向量(padpadpad1);pad取前三維以維持維度相等;上標為個特征點對各自的編號,本文中為4,即2.1節中每個階段的4個特征點。

由于外參存在誤差,定義各特征點的重投影為

式中為重投影誤差。

構建最小二乘為

式中*為外參矩陣的最優解。

根據旋轉矩陣性質,屬于特殊正交群SO(3),進而外參矩陣屬于特殊歐式群SE(3),引入李代數將式(8)轉化為無約束優化問題為

式中為李代數。李群可由的指數映射得到。

式(9)可由列文伯格-馬夸爾特法(Levenberg-Marquardt,L-M)[20]解出最優外參矩陣,步驟如下。

為簡化表述,以下以()代指原非線性優化函數。以EPP[17]的解作為初值0,構造第次迭代時x處的拉格朗日函數為

式中:(x)為()在x處的一階導數;Δx為增量;為拉格朗日乘子;為信賴域半徑;為系數矩陣,可令為單位陣。

對式(10)求導,并令導數為0,有

式中(x)為()在x處的二階導數。

解式(11)的增量方程,定義信賴域指標

當ρ>0.75,μ增大一倍,ρ<0.25,μ縮小一倍;ρ為正則將Δxk加至xk,ρ為負則不疊加增量。然后進行k+1次迭代,直到Δxk小于閾值后結束迭代,認為此時的xk即為最優解。由此得到最優外參矩陣T*,進而有合作目標中心在Cc中最優平移向量t*,即Opad在Cc中的最優坐標。此時重投影誤差如圖16所示,對比圖15,誤差大幅減小。

c到b的旋轉矩陣cb為

式中:(bbb)為c在b中的姿態角(云臺舵機角度);S表示sin,C表示cos。

c到b轉換關系為

式中:(bbb)為點在b中的位置;bc為c在b中的位置,若保證c處于相機云臺的轉動軸軸線上,則bc可通過測量得到。

b到b-i的旋轉矩陣bb-i為

b和b-i為同一空間點,b到b-i的轉換關系為

式中b-i(b-ib-ib-i)為pad(合作目標中心)在b-i中的位置。

w僅作參考坐標系,為b-i提供坐標軸參考方向,以及實驗中記錄全局位置數據,為適應全局定位系統拒止的場景,實際僅解算無人機在pad的位置(是b-i的逆向反映),不涉及w與其他坐標系轉換。

3 無人機追蹤與降落控制律

如圖17所示,引入pad中平面內的位置環比例微分積分(proportion integration differentiation,PID)控制,目標位置為pad,控制無人機軸速度,引導其追蹤接近降落平臺。

圖17 控制律

當平面無人機到合作目標的相對距離小于0.2 m時開始勻速降落,直至pad中無人機相對高度小于0.01 m,即認為完成降落,電機停轉上鎖。

4 實驗與結果分析

本文所用得硬件平臺構成如表4所示,實物如圖18所示。

表4 硬件平臺構成

圖18 硬件平臺

4.1 一階段三維合作目標

4.1.1 目標檢測耗時與成功率

在機載電腦上對圖2的測試視頻(采集于模型訓練完成后)進行實驗,共1000幀,如圖19所示,圖19(a)中縱坐標o表示目標檢測的用時。預處理加后處理平均幀率達39。

圖19 目標檢測實驗

有若干次紅球漏檢,是因為此時降落平臺到達相機視場邊界,前方標志球部分超出視野,故在該模型對視野范圍內每幀的動態目標均能成功檢測。

4.1.2 邊界框中心與精確圓心定位效果對比

沿用圖2(a)的測試條件,令降落平臺在3 m外循橢圓軌跡線運動,采集測試視頻,分別進行邊界框中心法定位與增加精確圓心檢測后的定位,如圖20所示。用邊界框中心進行定位時,端點附近(取|| > 225 cm)定位MAE為3.62 cm;檢測精確圓心后定位誤差降低,MAE為1.41 cm,降低了256%。增加精確圓心檢測后可有效提高遠距離定位精度。

圖20 邊界框中心法與增加精確圓心法的定位效果

4.1.3 一階段三維球定位拉距實驗與精度實驗

沿用圖2的測試條件與視頻,做2.37~7 m的拉距與精度實驗,以0.5 m為分度,在每個分度處錄制視頻進行檢測與定位,結果如圖21所示。對比圖2(c),三維球定位法在二維碼檢測定位失效的距離上仍可檢測合作目標并進行有效定位,1.5 m高度定位距離是二維碼法的2.54倍。

圖21 一階段定位拉距實驗

圖21中,各分度處MAE如表5所示??梢?,本文一階段定位法的定位誤差在適用距離內隨距離增加而增大,但平均誤差為0.05 m,足以滿足精確定位并追蹤的需求。

表5 各距離定位誤差 cm

4.2 二階段二維碼

4.2.1 二階段檢測耗時

沿用圖2對應的測試視頻,取前300幀進行檢測,如圖22所示,圖中縱坐標a表示二維碼檢測及定位的用時。在機載電腦上檢測二維碼并解算位姿得到定位信息的平均幀率達63,可為末端降落提供超實時的位姿,滿足動態降落的需求。

圖22 二維碼定位耗時

4.2.2 二階段落點精度實驗

無人機1 m高度懸停,接到降落指令后按第3節的控制算法進行降落,機載T265視覺定位模塊記錄Cw中無人機位置如圖23所示,圖中s表示過程時間。過程如圖24所示。據圖23中與的位置,17.9 s時從1 m高處降落,18.3 s時降落平臺前進,19.8 s起高度不再降低而增加,即降落至平臺上由平臺搭載前進,故無人機在1.9 s內降落到直線速度0.53 m/s的移動平臺上,記錄此時機體中心在降落平臺的投影點為落點位置。在此基礎上進行10次重復實驗落點誤差如表6所示,平均誤差為2.55 cm,落點精度很高。

圖23 二階段降落實驗數據

圖24 二階段降落實驗過程

表6 降落位置誤差表

4.3 2個階段聯合實驗

最后引入一階段遠距離追蹤進行聯合實驗:將降落平臺超前無人機7 m,引入一階段遠距離追蹤;無人機起飛至1.5 m高度時開始追蹤,然后控制降落平臺前進,最終無人機在動平臺上降落。無人機在Cw中的位置數據如圖25所示,過程如圖26所示。據圖25的數據,17.1 s時無人機開始追蹤降落平臺,以1.4 m/s快速逼近,至22.6 s時到平臺上方,減速并隨平臺前進,同時開始降落,26.1 s時完成降落(受T265遠距離定位精度影響,在較遠距離處高度與真實值有偏差)。

圖26 2個階段聯合實驗過程

4.4 性能比較

在合作目標相關指標上與現有研究進行比較,結果如表7所示。

表7 合作目標指標對比

本文合作目標尺寸最小,精度第二,檢測距離居中,在可傾斜定位的方案中檢測距離最遠,在相應指標上取得了很好的均衡;且本文速度控制律下無人機落點誤差僅0.03 m。該方案可部署至小型化機場,為無人機提供遠/近距離超實時、高精度的定位信息以自主降落,作為伴隨電站提高其自持性。

5 結束語

針對現有研究合作目標尺寸過大的問題,本文設計了一種新型合作目標,在普遍使用二維合作目標的無人機自動降落領域引入三維合作目標,利用三維物體在二維平面的投影可保留更多特征信息的原理,使用小尺寸合作目標即可獲得大尺寸合作目標的定位精度,且引入三維合作目標也解決了水平距離增加、合作目標與相機相對傾斜加劇后無法檢測合作目標的問題,并用深度學習+手工特征的方式提高了復雜環境中的球體目標檢測成功率與特征點精度,用非線性優化提升了位姿解算精度;在保證定位精度的同時降低了投影面積,并極大地提升相同高度下的水平檢測范圍,在合作目標主要指標上取得了較好的均衡。有望與當前商品級無人機機場結合,拓展應用場景。后續可進一步在本文提出的合作目標三維化的思路上優化設計,選用更優的三維結構,提高遠距離大傾斜狀況的定位精度,并進一步降低合作目標的尺寸。

[1] 沈林成, 孔維瑋, 牛軼峰. 無人機自主降落地基/艦基引導方法綜述[J]. 北京航空航天大學學報, 2021, 47(2): 187-196.

[2] YANG Tao, REN Qiang, ZHANG Fangbing, et al. Hybrid camera array-based uav auto-landing on moving ugv in gps-denied environment[J]. Remote Sensing, 2018, 10(11): 1829.

[3] MONDRAGóN I F, CAMPOY P, C MARTíNEZ, et al. 3D pose estimation based on planar object tracking for UAVs control[C]// The Institute of Electrical and Electronic Engineers (IEEE). International Conference on Robotics and Automation (ICRA). Anchorage, Alaska, USA: IEEE, 2010: 35-41[2023-03-30].

[4] YUAN Haiwen, XIAO Changshi, XIU Supu, et al. A hierarchical vision-based UAV localization for an open landing[J]. Electronics, 2018, 7(5): 68.

[5] OLSON E. AprilTag: A robust and flexible visual fiducial system[C]// The Institute of Electrical and Electronic Engineers (IEEE). International Conference on Robotics and Automation (ICRA). Shanghai, China: IEEE, 2011: 3400-3407[2023-03-30].

[6] GARRIDO-JURADO S, MU?OZ-SALINAS R, MADRID-CUEVAS F J, et al. Automatic generation and detection of highly reliable fiducial markers under occlusion[J]. Pattern Recognition, 2014, 47(6): 2280-2292.

[7] ARAAR O, AOUF N, VITANOV I. Vision based autonomous landing of multirotor UAV on moving platform[J]. Journal of Intelligent & Robotic Systems, 2017, 85(2): 369-384.

[8] 陶孟衛, 姚宇威, 元海文, 等. 無人機自主降落視覺標識設計及位姿測量方法[J]. 儀器儀表學報, 2022, 43(5): 155-164.

[9] 汲振, 李建勝, 王安成, 等. 一種無人機輔助降落合作標志與匹配算法[J]. 導航定位學報, 2022, 10(5): 68-73.

[10] 王輝, 賈自凱, 金忍, 等. 無人機視覺引導對接過程中的協同目標檢測[J]. 航空學報, 2022, 43(1): 488-502.

[11] CHEN Junjie, MIAO Xiren, JIANG Hao, et al. Identification of autonomous landing sign for unmanned aerial vehicle based on faster regions with convolutional neural network[C]// Chinese Automation Congress (CAC). Jinan, China: IEEE, 2017: 2109-2114[2023-03-30].

[12] 齊樂, 袁寶璽, 郭鳳娟, 等. 固定翼無人機著陸姿態角測量算法研究[J]. 導航定位學報, 2022, 10(4): 56-64.

[13] TRUONG N Q, LEE Y W, OWAIS M, et al. SlimDeblurGAN-Based motion deblurring and marker detection for autonomous drone landing[J]. Sensors, 2020, 20(14): 3918.

[14] KUPYN O, MARTYNIUK T, WU J, et al. Deblurgan-v2: Deblurring (orders-of-magnitude) faster and better[C]// International Conference on Computer Vision (ICCV). Seoul, Korea: IEEE/CVF, 2019: 8878-8887[2023-03-30].

[15] 劉冠楠, 于洋, 張江濤, 等. 針對無人機降落過程的復合地標設計方法[J]. 信息技術與信息化, 2022(10): 64-67.

[16] 楊智貴, 張彥, 田朋云. 一種基于視覺的無人機自主著陸位姿估計方法研究[J]. 現代計算機, 2019(14): 19-22.

[17] 劉彥清. 基于YOLO系列的目標檢測改進算法[D]. 吉林: 吉林大學, 2021.

[18] RATEKE T, JUSTEN K A, VON WANGENHEIM A. Road surface classification with images captured from low-cost camera-road traversing knowledge (rtk) dataset[J]. Revista de Informática Teórica e Aplicada, 2019, 26(3): 50-64.

[19] LEPETIT V, MORENO-NOGUER F, FUA P. EPnP: An accurate O(n) solution to the PnP problem[J]. International Journal of Computer Vision, 2009, 81(2): 155-166.

[20] LOURAKIS M I A. A brief description of the Levenberg-Marquardt algorithm implemented by levmar[J]. Foundation of Research and Technology, 2005, 4(1): 1-6.

Tracking and landing of vision-based unmanned aerial vehicles on moving vehicle

WAN Hua1, WANG Ziyi1, LI Sheng1, ZHANG Zhi’an2

(1. School of Automation, Nanjing University of Science and Technology, Nanjing 210094, China;2. School of Mechanical Engineering, Nanjing University of Science and Technology, Nanjing 210094, China)

Aiming at the problem that the size of the cooperative target is often too large in the current schemes of the long-range purely visual-guided drone landing of unmanned aerial vehicles (UAV), the paper proposed a design thought of cooperative targets composed of three-dimensional (3D) and two-dimensional (2D) logos: 3D signs were detected through deep learning and manual features for long-distance positioning and tracking, and it was switched to detect 2D signs for landing on the target autonomously after approaching; by introducing the 3D cooperative targets, the detection distance at 1.5 m height was increased by 2.54 times, detecting tilt targets at a large angle was carried out, and the target size was significantly reduced, without decreasing the positioning accuracy. Experimental result showed that the average long-range positioning error would be 0.05 m, and the average landing error on a moving platform in the short range would be 0.03 m, indicating that the small-size cooperative target could have high visual positioning accuracy and landing accuracy, thus making it possible to track and land on the moving ultra small-sized platforms accurately.

unmanned aerial vehicle (UAV); cooperative target; visual; tracking; landing

萬鏵, 王梓屹, 李勝, 等. 無人機基于視覺引導的移動平臺追蹤與降落[J]. 導航定位學報, 2023, 11(6): 129-141.(WAN Hua, WANG Ziyi, LI Sheng, et al. Tracking and landing of vision-based unmanned aerial vehicles on moving vehicle[J]. Journal of Navigation and Positioning, 2023, 11(6): 129-141.)DOI:10.16547/j.cnki.10-1096.20230616.

P228

A

2095-4999(2023)06-0129-13

2023-03-14

萬鏵(1997—),男,江蘇常州人,碩士研究生,研究方向為視覺導航、無人機控制。

李勝(1976—),男,江蘇徐州人,碩士生導師,副教授,研究方向為非線性系統控制、機器人控制等。

猜你喜歡
圓心投影二維碼
二次曲線的一個類似圓心的性質
可以吃的二維碼
解變分不等式的一種二次投影算法
二維碼
基于最大相關熵的簇稀疏仿射投影算法
找投影
找投影
以圓周上一點為圓心作圓的圖的性質及應用
讓嚴肅的二維碼呆萌起來
二維碼,別想一掃了之
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合