基于消失點的果樹行中心線獲取方法研究

雷 琦，周建軍 ，邵 陽

(北京石油化工學院信息工程學院，北京 102617)

我國是水果生產大國，對水果的需求量也在不斷增長，近幾年來保持每年5%以上的增長速度，因此提高果園的農業智能化水平是現階段的研究重點[1]。在果園環境中主要由果園機器人來實現采摘、噴藥等日常工作。其中，大部分果園機器人的導航路線是果樹行中心線，因此提取到的果園機器人導航中心線的優劣直接影響到果園機器人主要作業功能。

目前，一些學者基于色彩、激光、雷達、霍夫變換等[2-3]提出較為成熟的導航中心線提取的算法，然而這些算法更適合用于邊界清晰的結構化道路，在路面與環境顏色差異較小的果園跟蹤環境下不容易準確得到道路邊界。在處理環境復雜的果園道路時，基于紋理特征的算法具有優良的光照魯棒性、實時性和準確性，因此該方法可以很好的應用于果園道路的識別。Rasmussen C等[4-5]率先提出通過2D Gabor濾波器計算紋理方向后采用全局硬投票算法獲取道路消失點位置，但是通過這種方法找到的消失點的準確率不高。Kong等[6-7]根據Rasmussen C等的算法也提出一種新的投票方法，雖然提高了檢測結果的精度，但是該算法計算量較大且存在計算時間較長，從而導致實時性不高的問題。為了降低計算量，Bui等[8]提出了一種局部自適應軟投票方法來獲取消失點，該方法雖然比現有的算法計算速度更快，但正確率也相應的有所下降。

為了從采集的果園道路圖像中計算出在樹行線中果園機器人行走路徑，筆者提出了一種基于紋理方向估計和消失點檢測的新道路區域檢測方法，在得到果樹樹行線之間的道路區域后通過算法計算得到果園道路的樹行中心線[9]。

1 總體設計

針對果園的環境特點，設計了一種新的基于紋理的果樹行消失點檢測算法。該算法是在通過紋理分析獲取像素點的紋理主方向后，設置置信區間和置信度篩選消失點，最后通過投票算法選出最終的果樹行消失點，并以檢測到的消失點為基礎獲取果園機器人導航中心線。果樹行中心線獲取流程如圖1所示。

圖1 果樹行中心線獲取流程Fig.1 Fruit tree row centerline acquisition process

2 樹行消失點檢測

基于紋理方向估計的消失點檢測的方法，使用Gabor濾波器得到果園圖片像素的紋理方向，然后根據消失點的置信度與置信區間篩選消失點，將置信區間和置信度在一定范圍內的像素保留為剩余消失點，最后投票得出最終消失點。果園道路消失點檢測流程如圖2所示。

圖2 果園道路消失點檢測流程Fig.2 Orchard Road vanishing point detection process

2.1 采集圖像

圖像采集是獲取果園導航中心線的第1步，也是獲取果園路徑中心線的依據。通過搭載在小車上的工業相機Intel RealSense Depth Camera D435i進行圖像采集，采集圖像之前，首先將D435i相機放置在智能小車的頂部位置。小車在果園環境中采集圖片的方式及采集到的圖片如圖3所示。

圖3 圖片采集Fig.3 Image capture

2.2 紋理分析

紋理是自然界中廣泛存在的一種物體表面特征，是圖像的固有屬性之一。紋理方向是通過計算的方法獲取物體固有的紋理特性，與其他顏色特征算法相比，基于紋理特征的算法能夠更有效地提取果園這種道路環境圖像像素的特征和方向，便于后續消失點的投票選擇和果園路徑提取[10]。

基于Gabor濾波器的紋理分析法可以很好地提取目標的局部空間和頻域信息，是一種信號變換的空域-頻域分析方法。Gabor小波可以敏感地識別圖片的邊緣，適應光照變化，而且可以進行方向選擇和尺度選擇，上述特點使Gabor小波被廣泛應用于圖形處理[11]。Gabor函數表達式為：

(1)

其中：x′=xcosθ+ysinθ;y′=-xsinθ+ycosθ，(x，y)為像素坐標位置；φ為方向角；ω為徑向頻率；c為倍頻常數。

利用Gabor濾波器具有方向選擇和尺度選擇的特點分析圖像，從而提取圖像的紋理方向。紋理主方向提取主要步驟如下：

(1)建立Gabor濾波器：在估計紋理主方向時，使用36個方向、5個尺度和c=2.2的Gabor濾波器，即選擇φ從0～175°，角度間隔為5°，而選擇ω從1～5，尺度間隔為1。選擇濾波器方向和尺度是根據實驗證明的，方向和尺度在一定數量上的增多會增加檢測效果的精確度，但會增加計算量和檢測時間。

(2)定義果園道路圖像像素點z=(x，y)的灰度值為I(z)，計算得到I(z)與Gabor濾波器的卷積結果Gω，φ(Z):

Gω，φ(Z)=I(Z)?Ψω，φ(Z)

(2)

(3)計算像素點z=(x，y)在不同方向下的平均紋理響應值Rφ(z)，其中Gω，φ(Z)的虛部與實部的平方和為方向φ為像素z=(x，y)的局部紋理特征；

(3)

(4)計算像素點z=(x，y)在紋理方向角θ(z)下的最大平均響應值，并將其設定為像素z=(x，y)在的紋理主方向：

θ(z)=argmaxφRφ(z)

(4)

2.3 篩選消失點

2.3.1 置信度選擇

確定消失點的最終位置對果園樹行中心線的提取有很大影響，因此精確地找到最終消失點位置非常重要。但是并不是計算得到的果園圖像中每個像素的紋理方向都是有效的。置信度概念由此被H.Kong提出，通過定義置信度函數篩選投票點，并考慮投票點與其余消失點之間的距離，這種方法大大提高了消失點檢測的準確率。

首先將36個方向的紋理響應值排序r1(z)>…>r36(z)，其中r1(z)=Rθ(z)，響應值通常在r5(z)～r15(z)之間，局部最大紋理響應值為r5(z)～r15(z)的均值，因此定義像素z=(x，y)的置信水平函數為：

(5)

計算果園圖像像素的置信度后，歸一化處理所有置信度至[0，1]，然后設1個閾值δ×(maxConf(z)-minConf(z))，當該像素的置信度高于閾值，才能作為投票點參與之后的投票算法。換言之，置信水平大于閾值的像素點才有機會成為消失點，通過實驗選擇閾值為0.5。

2.3.2 置信區間選擇

通過設置置信度篩選消失點的方法可以篩選一部分紋理特征較弱的像素點，但這種方法對特征較強干擾點的篩選能力較弱。實際上，如果干擾點具有較強紋理特征，那么他們對檢測結果的干擾能力更強。

通過對消失點檢測誤差較大的圖像統計研究發現，干擾點的紋理方向一般是混亂的，這些干擾點通常出現在果園圖像的果樹的上半部分以及天空與道路的交界處。而果園道路區域大多數像素點的紋理方向在某個區間內是有序的，這個范圍就是果園路徑的大致方向。

為了解決這些問題，提出置信區間概念，即比較每個像素的紋理方向與設定的置信區間，從而濾掉紋理特征強的干擾點。在實驗過程中，選擇紋理方向上區間為[20°，160°]的像素作為投票消失點，篩選后的像素可以對選中的投票點進行投票。設置置信區間可以濾掉果園道路圖像中大多數干擾點，有效降低了運算量，同時也提高了消失點投票的準確率。

2.3.3 篩選消失點的步驟

(1)首先采用Gabor濾波器提取出果園道路圖像像素點的紋理方向；

(2)降序排列36個方向的紋理響應值；

(3)設置投票點的紋理方向為[20°，160°]，在紋理方向上篩除像素點，只有滿足道路主方向定義的像素保留為投票點；

(4)對篩選出來的像素計算置信度，最后得到有效投票點。

2.4 消失點投票算法

篩選掉無效消失點后，可以通過投票算法得到最終消失點。Kong等[6]提出的局部軟投票算法(LASV投票算法)如圖4所示。

圖4 局部軟投票的投票區域Fig.4 Voting area for local softballot

Vote(P，V)=

(6)

3 路徑擬合

道路區域被定義為2個檢測到的道路邊界之間和估計的消失點以下的區域。提出以消失點為約束條件得到果園路徑邊界。

3.1 道路邊界檢測算法

定義斜率分別為k1、k2且通過消失點V的2條直線，將他們作為果園路徑的邊界線，邊界方程式為：

(7)

設消失點p0的坐標為(x0，y0)，則方程的截距b1、b2表達式為:

(8)

將式(8)代入式(7)中，得到有1個末知變量的方程式:

(9)

問題最終轉化為求解式(9)中的斜率k1、k2，只要得到k1、k2的值，就可以得到一個形狀為三角形的果園路徑邊界。

從紋理分析中可以看出，大多數的像素紋理方向與路徑方向一致，即道路區域內的路徑邊界、車轍等直線信息與果樹行邊界位置大致相同，由此可以推斷，像素紋理方向最多的方向即為道路邊界。因此，提出了一種基于紋理方向的果園路徑檢測算法，即果園路徑方向為紋理分析中像素點紋理方向最多的方向。

為了減少運算量，以檢測到的消失點位置進行區域選擇，去除與果園道路區域無關的區域干擾。通過采集到的圖片分析可知，圖片上半部分基本上是與果園路徑無關的樹冠或天空等背景信息。因此將道路消失點所在位置以下部分作為有效道路區域。

得到果園有效道路區域后，路徑邊界分為左右邊界兩個方向，根據實際情況分析定義果園路徑左邊界的有效區間為20～90°，果園路徑右邊界的有效區間為90～160°。由于設計的算法中進行紋理分析的濾波器有36個方向，因此定義36個累加器用于路徑方向的統計。對每個紋理方向上的有效投票點數量進行統計后，在左右邊界線的取值區間內，定義果園路徑方向為有效投票點數量最多即累加器值最大的方向作為果園路徑方向。

對定義的有效區域和范圍內的每個紋理方向上的有效投票點數量進行統計后，得到果園路徑的最大可能方向。在此基礎上，直線方程的斜率k1、k2可以由公式(10)確定：

k=tanθ

(10)

將式(10)代入到式(9)中，就可以得到果園路徑的左右2條邊界線。

3.2 求取中線

在得到果園路徑左右兩邊的直線路徑之后，通過以下步驟求取中線：①定義其中1條果園路徑直線上的任意2個坐標(x1，y1)和(x2，y2)；②將y1和y2分別帶入另一條路徑直線方程中以求出對應的2個橫坐標x3和x4，得到左右兩邊果園路徑上的4個坐標點:(x1，y1)，(x2，y2)，(x3，y1)，(x4，y2)；③果園路徑的中心線2個新的坐標為(x5，y1)，(x6，y2)，其中，

x5=(x1+x3)/2

(11)

x6=(x2+x4)/2

(12)

④利用(x5，y1)，(x6，y2)可求出果園路徑的中心線，果園道路中心線的表達式為:

y=ax+b

(13)

4 實驗結果與分析

在實驗過程中，第1部分實驗對H kong消失點檢測方法和筆者提出的消失點檢測方法進行性能比較。第2部分實驗檢驗了獲取果園路徑邊界線以及導航中心線的準確性。實驗果園圖片數據集是通過采集北京市大興區龐各莊多個果園在各種光照及環境下的圖片形成，共有500幅。使用matlab2017a進行程序編寫工作。實驗的部分結果如圖5所示。

圖5 部分實驗結果Fig.5 Partial experimental results

從圖5(a)與圖5(d)中可以看出，人工標注的道路消失點位置與消失點檢測方法檢測到的消失點位置幾乎相同。從圖5(d)與圖5(e)中可以看出，所提出的消失點檢測方法相較于沒有設置置信區間的H kong檢測方法準確率有所提高，所以以消失點為約束獲取的道路區域也更加精確。從圖5(f)中可以看出，提出的果樹行中線的提取方法在果園環境中應用良好。

測試500幅采集的果園道路圖像后得出的算法性能參數如表1所示。從表1中可以看出，H Kong算法的運算時間遠超筆者所提出算法的運算時間，且所提算法相較于H Kong算法準確率也提高了6.6%，說明所提的置信區間的設置大大降低了算法的運算量，同時提高了算法準確率。

表1 算法性能比較

5 結論

為了更加準確地獲取果園機器人導航路徑以提高果園作業效率，筆者對果樹行導航中心線的提取方法進行研究；提出了基于紋理分析的果樹行消失點檢測算法，然后以檢測到的消失點為約束獲取較準確的果園道路邊界線，最后通過計算提取果樹行導航中心線。實驗以500幅果園道路圖像為數據集，測試H Kong算法和提出的算法提取果樹行消失點的準確率，結果表明：相較于H Kong算法，提出的算法準確率提高了6.6%，且能夠準確快速地獲取果樹行導航中心線。下一步筆者將會著重研究果園機器人在果樹行轉彎處的導航路徑提取方法。