基于單目視覺的水面浮標位置檢測

馮居　王建華　鄭翔　王昱博　姜洪巖　王柱亞

摘要：為提高無人水面艇（unmanned surface vessel， USV）在航行過程中對水面浮標位置檢測的準確度，提出一種應用于USV的基于單目視覺的水面浮標位置檢測方法。該方法通過建立浮標與USV之間的三維場景模型，依據相機成像原理得到浮標投影圖像并計算投影面積；利用獲取的面積和距離數據，建立面積與距離的關系模型進行距離估計；根據浮標與USV的位置關系估計浮標相對于USV的方位角；根據所估計的距離和方位角計算浮標的位置。通過仿真實驗分析浮標旋轉角度和觀測方位對測距精度的影響，通過實船實驗驗證方法的可行性。由實驗結果可知，在50 m距離內位置檢測的平均相對誤差小于3.0%，表明本研究所提出的基于單目視覺的水面浮標位置檢測方法具有一定的實用性。

關鍵詞：無人水面艇（USV）； 浮標； 單目視覺； 距離檢測； 方位檢測

中圖分類號：? U666.11; TP18; TP391.9文獻標志碼：? A

Surface buoy position detection based on monocular vision

FENG Ju， WANG Jianhua， ZHENG Xiang， WANG Yubo，

JIANG Hongyan， WANG Zhuya

（Institute of Logistics Science & Engineering， Shanghai Maritime University， Shanghai 201306， China）

Abstract： In order to improve the accuracy of surface buoy position detection for unmanned surface vessels （USVs） during navigation， a method of surface buoy position detection based on monocular vision is proposed for USVs. The 3D scene model between a buoy and a USV is built， and based on the principles of camera imaging， the projected image of the buoy is obtained and the projected area is calculated. Using the obtained area and distance data， the relationship model between the area and the distance is established for distance estimation. The azimuth angle of the buoy relative to the USV is estimated according to the position relationship of the buoy to the USV. The position of the buoy is calculated according to the estimated distance and azimuth. The influence of the buoy rotation angle and the observation azimuth on the ranging accuracy is analyzed by simulation experiments. The feasibility of the method is verified by real ship experiments. As is shown from experimental results， the average relative error of position detection is less than 3.0% within 50 m distance， indicating that the monocular vision-based surface buoy position detection method proposed in the paper is practical.

Key words： unmanned surface vessel （USV）; buoy; monocular vision; distance detection; azimuth detection

0 引 言

為深入貫徹落實黨中央、國務院關于建設制造強國、海洋強國、交通強國的戰略部署，提升船舶工業核心競爭力，實現我國船舶工業高質量發展，工業和信息化部聯合交通運輸部、國防科工局編制印發了《智能船舶發展行動計劃（2019—2021年）》，提出突破航行態勢智能感知、自動靠離泊等核心技術等重要任務。為了完成這類任務，以無人水面艇（unmanned surface vessel， USV）為研究對象，致力于提高USV智能化水平，實現智能船舶關鍵技術的突破是十分有必要的［1-2］。

近年來，隨著計算機視覺技術的不斷發展，利用視覺技術和圖像處理技術進行USV相關智能化應用的研究越來越受到人們的關注。在2020年“海上爭鋒”中國智能船艇挑戰賽D組項目中，要求USV發現相應顏色的浮標并抵達，并上報浮標定位信息。浮標作為水上標志物，對船舶航行具有引導作用，但在一定程度上也是一種障礙，因此對水面浮標的檢測與定位是保障USV正常航行的一項重要任務。浮標本身并無全球定位系統（global position system，GPS），雖然可以利用定位精度高的激光雷達等智能傳感器獲取浮標的定位信息，但難以獲得浮標的特征信息，而利用視覺技術獲取浮標的位置信息不僅成本低而且有效。因此，本研究將視覺技術進行實際應用，對浮標進行距離和方位檢測，獲得浮標的位置信息。

目前，基于視覺的距離檢測方法主要分為單目測距和雙目立體測距。雙目立體測距可以直接獲取深度信息，定位精度高，但是這種方法要對雙目視覺傳感器進行復雜的立體標定，易產生誤差，并且兩個相機同步采集的圖像匹配率低（圖像之間存在微小誤差）以及雙目相機外部參數變化都會導致測距精度降低。而單目測距可以有效避免這兩個問題，且這種方法只采用一個相機，能在一定程度上獲得圖像中目標的深度信息等，具有結構簡單、運算速度快等優點［3］。因此，本文選擇單目測距方法。

針對單目測距問題，目前已有的一些研究工作主要分為3類。第一類是根據相機模型建立的幾何關系推導出距離檢測模型。利用相機模型中觀測點與目標之間的幾何位置關系，推導圖像坐標系中的點與世界坐標系中的點的對應關系，建立測距幾何模型，實現距離檢測。文獻［3-8］均是利用相機內部參數和透視投影幾何原理，通過建立目標關鍵點與坐標系之間的幾何關系，測量與目標的距離的。ZHE等［9］和HUANG等［10］通過目標在相機坐標系內的幾何關系推出距離與目標面積的數學模型來獲得距離，這種方法需要精確測量相機的高度和俯仰角，否則會影響測距精度。第二類是基于對照物長度，利用圖像中已知物體的實際長度與圖像中物體的長度建立比例關系，再通過相似三角形原理估計實際距離。蘇萍等［11］提出一種基于物體寬度的距離估計算法，利用已知的物體寬度，根據相似三角形原理計算距離。然而，這種方法需要找到對照物，獲得對照物的實際寬度，并且對檢測環境要求較高。第三類是利用數學回歸方法建立測距模型。WONGSAREE等［12］利用不同標準距離與它們在圖像中的位置對應關系建立回歸模型并測量距離。BAO等［13］通過觀察目標像素點在不同距離下的變化關系建立數學回歸模型獲得距離。然而，這種方法需要大量的訓練數據，并對數據進行分析，建立回歸模型，增加了距離估計的復雜度，降低了測量效率。

上述3類研究中，大部分方法都是將目標點化，以關鍵點替代目標，通過相機成像原理建立測距模型的。實際上，目標會隨距離、方位等的變化在圖像中發生一些變化，其中目標的面積變化是最明顯的。因此，本文結合上述第一類和第三類研究中的測距方法，對水面浮標的位置檢測進行場景重建，建立面積與距離的關系模型以及浮標與USV之間的位置關系模型，獲得浮標的位置信息。

1 三維場景建模

在單目測距方法中，通常建立二維模型進行場景重建，往往忽略了目標本身的三維立體幾何屬性和姿態。而常見的水面浮標有顯著的外在幾何屬性，比如球體、四面體、六面體等，因此可利用浮標本身的幾何屬性對其進行檢測。

本文基于三維模型的優勢，利用浮標本身的幾何屬性，建立對水面四面體浮標測距的三維場景，見圖1。圖1中：

O為USV的重心G，也為相機所在位置，即USV觀測點；點Q為浮標P-ABC的底面中心點；浮標

為棱長為1 m的三棱錐體；USV航向始終沿著世界坐標系YW軸的方向，即相機光軸與YW軸保持平行，為圖中箭頭所指方向。模擬USV駛向浮標的過程，記錄這個過程中浮標的成像面積，建立面積與距離的關系模型，估計浮標與USV之間的縱向距離，即浮標與USV在世界坐標系中的縱坐標差值。仿真時保證航行過程中相機獲取的浮標圖像均在視距范圍內。

根據構建的三維場景，利用相機成像原理，建立浮標的投影幾何模型（見圖2），求取浮標在像素平面上的投影面積。通過仿真實驗得到面積和距離數據，建立面積與距離的關系模型，從而根據模型估計浮標相對于USV觀測點的距離和方位。

利用小孔成像模型將三維坐標轉換為二維坐標。為得到所采集的圖像的像素信息，需要

經過3次坐標轉換。首先將世界坐標系中的點（XW，YW，ZW）轉換為相機坐標系中的點（XC，YC，ZC），然后通過透視投影轉換為二維圖像平面上的點（x，y），最后將點（x，y）轉換為像素坐標系中的點（u，v）［9］。根據上述轉換關系，完成浮標的透視投影模型的建立。圖2a為小孔成像模型示意圖，其中在成像平面I上進行如圖2b所示的圖像平面到像素平面的轉換。

由圖4a可知，在同一觀測方位、不同浮標旋轉角度下獲得的面積與距離的關系曲線存在一定的差異，因此浮標旋轉角度對測距有一定的影響。同樣，在圖4b中，在同一浮標旋轉角度、不同觀測方位下獲得的面積與距離的關系曲線也不能完全重合，因此觀測方位對測距也具有一定的影響，但是影響較?。ㄟ@是因為本文所研究的浮標結構接近三維對稱結構）。為進一步驗證這一點，下文對浮標旋轉角度和觀測方位對測量精度的影響進行具體分析。由視覺成像原理可知，浮標旋轉角度和觀測方位改變對視覺成像效果的影響本質上是一樣的。例如，USV的方位角從0°增加到+60°等同于浮標順時針旋轉60°的視覺成像效果（方位角為負值（正值）表示浮標位于相機光軸的左側（右側）），因此可以推斷出同時改變浮標旋轉角度和觀測方位對測量誤差的影響也是有限的。

3 方位檢測

在浮標位置檢測中，不僅要檢測浮標與USV觀測點之間的距離，而且要檢測浮標相對于USV觀測點的方位角，即浮標底面中心點與USV觀測點的連線與相機坐標平

面YCOCZC的夾角θ。建立浮標與USV的位置關系，如圖5所示：XOY為船體坐標系；坐標系原點O為USV的重心G，也是USV的觀測點；X軸指向船首方向，Y軸指向右舷方向；三棱錐體P-ABC的底面中心點為Q。

假設船體坐標系與相機坐標系重合，根據小孔成像模型可知，圖5中OD為相機光軸，在圖像坐標中，方位角θ根據浮標圖像的底邊中點橫坐標x與相機主點橫坐標x0的差值與相機焦距的比值計算得出：

θ=arctan（（x－x0）/f）（11）

根據式（3）中圖像坐標與像素坐標的關系，θ在像素坐標系中可以表示為

θ=arctan（（u－u0）/fx）（12）

式中：u和u0分別表示浮標圖像的底邊中點和相機主點在像素坐標系中的橫坐標。

4 仿真實驗驗證

為驗證本文距離檢測模型的正確性，將本文的距離檢測線性模型和文獻［5］中的距離檢測幾何模型的距離檢測結果與實際值進行對比。文獻［5］中提出一種基于相機幾何投影關系的距離檢測方法，選取任意點代替浮標，建立相機與目標關鍵點之間的幾何關系模型計算距離。本研究使用焦距為8 mm的相機進行仿真實驗，在USV駛向浮標過程中生成不同距離下的面積數據，選擇距離分別為10 m、30 m、50 m對應的浮標面積，將其代入式（10）計算距離。為驗證本文距離檢測方法的抗干擾性能，在浮標圖像中隨機加入（0， 1）的誤差。計算上述模型檢測值的相對誤差，結果見表1。

從表1可以看出：利用本文的距離檢測線性模型計算出的距離值平均相對誤差為2.26%，利用文獻［5］中距離檢測幾何模型計算出的距離值的平均相對誤差為2.97%，驗證了本文方法的正確性；相較于文獻［5］的基于目標關鍵點建立的距離檢測幾何模型，本文提出的面積與距離的關系模型具有一定的優勢。

4.1 浮標旋轉角度對測距的影響

設置USV從同一方位出發，分別停在距離浮標底面中心點10 m、30 m、50 m的位置，把浮標從0°旋轉到180°，采集不同浮標旋轉角度下的圖像（等同于USV從不同角度采集圖像），計算面積相對誤差，結果見圖6。從圖6可以看出，由于浮標結構接近于三維對稱結構，在旋轉過程中面積和面積相對誤差均呈周期性變化，且3種距離下面積相對誤差都保持在0～10%范圍內，對測距結果影響較小，因此USV從各個角度采集圖像計算距離時均可參考同一角度的關系曲線。

4.2 觀測方位對測距的影響

設置浮標旋轉角度相同，浮標與USV之間的距離分別為10 m、30 m、50 m，USV航向保持不變， USV從圖1中位置1橫向航行至位置3，比較在不同觀測方位下浮標面積的變化，結果見圖7。從圖7可以看出，在觀測方位變化過程中，面積的變化范圍較小，相對誤差保持在0～10%范圍內，并且浮標與USV之間的距離越遠，觀測方位變化對面積變化的影響越小，因此在實際測量中可參考同一觀測方位的關系曲線。

5 實船實驗驗證

實驗數據通過搭載在“海翔”號USV上的工業相機采集，見圖8a。工業相機焦距為8 mm，分辨率為1 920×1 080，分別采集與USV不同距離的浮標圖像，實驗場景見圖8b。通過對采集的浮標圖像進行處理，并利用上述位置檢測方法獲取浮標位置信息，驗證方法的可行性。

實船實驗時，USV分別采集了晴天下午2：00和下午5：00同一位置的浮標圖像，見圖9a和9c。處理兩組數據的主要挑戰在于，水面環境復雜、光照不斷變化、USV和浮標受風浪流影響較大，這些都會增加對水面浮標的檢測難度。為更好地提取出浮標圖像，本文將顏色作為重要特征對浮標進行檢測與提?。?5］，并且將浮標圖像轉換到顏色特征更加明顯的HSV顏色空間中，再對其進行后續處理，具體流程如下：

首先，將采集到的浮標圖像轉換到HSV顏色空間中，對HSV空間圖像的3個分量進行閾值分割；然后，將分割后的圖像作二值化處理，并采用以3×3 為內核的中值濾波器進行濾波，去除背景噪聲，使用形態學運算消除干擾；最后，提取圖像中的浮標輪廓信息，并過濾掉小區域和大區域，剩下浮標區域，提取效果見圖9b和9d。浮標投影實際面積為3 080像素，從下午2：00和下午5：00的圖像中提取出的浮標投影面積分別為3 398像素和3 140像素。由結果可知，光照越強，曝光越厲害，提取效果受到的影響也越大，因此當光照較強時，需要改進提取算法，降低曝光對檢測的影響。

5.1 距離檢測

為驗證本文距離檢測模型的有效性，采用圖8所示的實驗平臺進行實船實驗。實驗描述如下：固定浮標位置并獲取其GPS信息，根據USV實時GPS信息判斷其與浮標的距離；USV以1 m/s的速度勻速從距離浮標50 m的位置航行至距離浮標10 m的位置，此過程中USV航向不變，始終正對浮標，即浮標始終在USV光軸上，浮標相對于USV

的方位角保持為0°。將本文方法、文獻［5］方法獲得的距離數據與基于GPS獲得的距離數據進行對比，結果見圖10。從圖10可以看出，由本文方法得到的實時距離曲線比文獻［5］方法得到的實時距離曲線更加貼合基于GPS獲得的距離曲線，并且從圖中關鍵點的標注可以看到，本文距離檢測方法略有延遲，但平均每幀圖像處理時間約為26 ms，滿足實時性需求，驗證了本文距離檢測模型的可行性。

5.2 方位檢測

為驗證本文方位檢測方法的有效性，通過圖8所示的實驗平臺進行實船實驗。實驗描述如下：固定浮標位置并獲取其GPS信息；設定浮標與USV之間的縱向距離為30 m，根據USV的GPS信息計算其與浮標之間的方位角；USV從其與浮標之間的方位角為 －15°橫向移動至+15°的位置。通過上述方位檢測方法獲得此過程中方位角的實時變化曲線，并與GPS檢測到的方位角曲線進行對比，結果見圖11。

從圖11可以看出，2條曲線貼合度高，本文方位檢測方法每幀圖像處理時間約為6 ms，滿足方位角檢測的實時性要求，驗證了方位檢測方法的可行性。

6 結 論

本文提出一種應用于USV的基于單目視覺的水面浮標位置檢測方法。該方法考慮到水面浮標本身無定位系統因而無法直接獲取其位置信息，吸取2020年“海上爭鋒”中國智能船艇挑戰賽D組浮標位置檢測項目的實戰經驗，選用視覺檢測的方式，建立浮標與USV之間的三維場景模型。根據相機成像原理，結合線性關系和幾何關系，建立浮標投影面積與距離的關系模型，得到浮標相對于USV觀測點的方位角和距離，從而推斷浮標的位置。仿真和實船實驗結果表明，本文所提方法能夠較準確地獲取浮標的位置信息，基本滿足其精度和實時性要求。由于本研究中對水面浮標進行位置檢測時受到外界干擾，如水面倒影、波浪等的干擾，檢測精度受到一定的限制，在后續研究中將繼續改進浮標的位置檢測算法，提高檢測精度。

參考文獻：

［1］LIU Z X， ZHANG Y M， YU X， et al. Unmanned surface vehicles： an overview of developments and challenges［J］. Annual Reviews in Control， 2016， 41： 71-93. DOI： 10.1016/j.arcontrol.2016.04.018.

［2］蒲進菁， 劉涵， 江云華， 等. 無人船現狀及發展趨勢綜述［J］. 海洋信息， 2020， 35（1）： 6-11.

［3］趙明繪， 王建華， 鄭翔， 等. 基于單目視覺的無人水面艇水面目標測距方法［J］. 傳感器與微系統， 2021， 40（2）： 47-50. DOI： 10.13873/J.1000-9787（2021）02-0047-04.

［4］ALI A A， HUSSEIN H A. Distance estimation and vehicle position detection based on monocular camera［C］∥2016 Al-Sadeq International Conference on Multidisciplinary in IT and Communication Science and Applications （AIC-MITCSA）. IEEE， 2016： 1-4. DOI： 10.1109/AIC-MITCSA.2016.7759904.

［5］宋東諭， 韓軍. 基于單目視覺的前方車輛檢測與測距方法［J］. 自動化與儀表， 2019， 34（10）： 57-61. DOI： 10.19557/j.cnki.1001-9944.2019.10.013.

［6］王永森， 劉宏哲. 基于單目視覺的車輛下邊沿估計和逆透視變換的車距測量［J］. 計算機工程與科學， 2020， 42（7）： 1234-1243.

［7］屈姍姍， 陳瀟， 吳曉紅， 等. 基于單目視覺測距的測高測面積方法［J］. 科學技術與工程， 2016， 16（2）： 224-228.

［8］LIU L C， FANG C Y， CHEN S W. A novel distance estimation method leading a forward collision avoidance assist system for vehicles on highways［J］. IEEE Transactions on Intelligent Transportation Systems， 2017， 18（4）： 937-949. DOI： 10.1109/TITS.2016.2597299.

［9］ZHE T， HUANG L Q， WU Q， et al. Inter-vehicle distance estimation method based on monocular vision using 3D detection［J］. IEEE Transactions on Vehicular Technology， 2020， 69（5）： 4907-4919. DOI： 10.1109/TVT.2020.2977623.

［10］HUANG L Q， ZHE T， WU J Y， et al. Robust inter-vehicle distance estimation method based on monocular vision［J］. IEEE Access， 2019， 7： 46059-46070. DOI： 10.1109/ACCESS.2019.2907984.

［11］蘇萍， 朱曉輝. 基于單目視覺的水面目標識別與測距方法研究［J］. 計算機技術與發展， 2021， 31（2）： 80-84.

［12］WONGSAREE P， SINCHAI S， WARDKEIN P， et al. Distance detection technique using enhancing inverse perspective mapping［C］∥2018 3rd International Conference on Computer and Communication Systems （ICCCS）. IEEE， 2018： 217-221. DOI： 10.1109/CCOMS.2018.8463318.

［13］BAO D S， WANG P K. Vehicle distance detection based on monocular vision［C］∥IEEE International Conference on Progress in Informatics and Computing （PIC）. IEEE， 2016： 187-191. DOI： 10.1109/PIC.2016.7949492.

［14］WANG J H， LI Z Y， REN F X， et al. Calibration of vision system used on unmanned surface vehicle［C］∥OCEANS 2016 - Shanghai. IEEE， 2016： 1-4. DOI： 10.1109/OCEANSAP.2016.7485537.

［15］LIU G H， ZHANG C L， GUO Q， et al. Automatic color recognition technology of UAV based on machine vision［C］∥2019 International Conference on Sensing， Diagnostics， Prognostics， and Control （SDPC）. IEEE， 2019： 220-225. DOI： 10.1109/SDPC.2019.00047.

（編輯 趙勉）

收稿日期： 2021-08-06

修回日期： 2021-11-08

基金項目： 國家自然科學基金（61703272）

作者簡介： 馮居（1997—），女，江蘇南通人，碩士研究生，研究方向為無人水面艇視覺感知、導航與決策，（E-mail）julie_feng6863@163.com；

王建華（1965—），男，云南鶴慶人，副教授，博士，研究方向為水面機器人、機器視覺，（E-mail）jian-hua.wang@163.com