基于方向紋理的非結構化道路消失點檢測研究

黃 俊，侯北平，董 霏，吳穎東，劉 宇，王建銘

?

基于方向紋理的非結構化道路消失點檢測研究

黃 俊，侯北平，董 霏，吳穎東，劉 宇，王建銘

(浙江科技學院自動化與電氣工程學院，浙江 杭州 310023)

隨著車輛智能化的快速推進，道路的自動檢測起著越來越重要的作用；但非結構化道路由于道路標識和邊界線不明顯，導致檢測存在困難。將非結構化道路的消失點作為約束進行檢測，可以大幅度提高檢測性能，針對現有的非結構化道路消失點檢測方法普遍存在計算時間長、實時性差等缺點，為提高運算效率，提出了基于局部方向模式(LDP)紋理特征的消失點檢測方法。在計算LDP特征基礎上，利用Kirsch掩模得到像素點的4方向響應幅值，并通過幅值校正減少檢測誤差；對校正后的響應幅值進行計算得到紋理主方向；使用局部自適應軟投票方法進行投票，選取道路消失點，實現消失點檢測。實驗結果表明，該方法的速度更快，且能夠準確檢測出非結構化道路的消失點。

局部方向模式；消失點檢測；非結構化道路；局部自適應軟投票

隨著智能車輛的快速發展，道路檢測也起著越來越重要的作用。由于特征不同，各類型道路的檢測方法也不盡相同。高速公路、城市干道一類的結構化道路，可以利用Hough變換[1]及高斯濾波器[2]等方法檢測明顯的道路標識線和邊緣特征并確定道路區域。目前，針對結構化道路的檢測已經比較成熟，而非結構化道路沒有明顯的車道標識線和邊緣特征，無法利用該特征進行檢測，并且非結構化道路檢測容易受到外部條件影響，想要準確檢測出道路區域仍存在著一定困難[3]。

雖然非結構化道路沒有明顯的道路邊緣特征，但由于路面比較松軟，車輛行駛后容易留下車轍等行車痕跡。這些痕跡在透視投影變換下一般都會趨向于收斂至道路遠端的消失點。近幾年研究表明，使用消失點作為約束進行非結構化道路檢測，可以大幅度提高檢測效果[4]。因此可以先通過車轍等行車痕跡檢測出道路消失點，然后將其作為條件約束來求取道路區域。

目前，針對非結構化道路消失點進行檢測的方法主要包括利用直線交點和紋理方向2種方法。利用直線交點的方法主要是通過獲取圖像中的道路邊緣，并估計邊緣的交點得到道路的消失點[5-7]。

RASMUSSEN[8]首先提出利用紋理方向的方法求取道路消失點，隨后許多學者均對此進行了研究與改進。為解決單一尺度下紋理提取容易遺漏信息的問題，文獻[9]提出了采用36個方向，5個尺度的Gabor濾波器組來提取圖像紋理特征的方法；為解決多尺度多方向的Gabor濾波器組計算量大，計算時間長的問題，文獻[10]提出了像素紋理的最優局部主方向估計方法，文獻[4]提出了利用Haar特征和正交校正來檢測消失點的方法；為解決全局硬投票方法[8]所造成的消失點上移問題，文獻[9]、[10]分別提出了根據距離和紋理方向進行加權的局部自適應軟投票方法和基于三角函數和距離加權的投票方法；為解決背景區域對于消失點檢測所造成的干擾問題，文獻[4]提出了一種基于投票者紋理方向分布統計信息的多樣性投票方法；為解決彎曲道路消失點檢測困難的問題，潘奎剛[11-12]提出了一種主方向加權投票方法。

綜上，目前利用紋理方向進行消失點檢測，主要采用的是Gabor特征。而為了盡可能準確地計算出圖像中每個像素點的紋理主方向，往往需要采用多方向、多尺度的Gabor濾波器組，造成很大計算量，增加計算時間，降低系統實時性。

通過減少計算紋理主方向的時間可以提高消失點檢測速度。而局部二值模式(local binary pattern，LBP)特征[13]是一種簡單有效的圖像紋理特征的表示方法，擁有計算時間短的優點。該特征的變種局部方向模式(local directional pattern，LDP)特征[14]可以計算出像素點在各方向上的邊緣響應幅值，更有利于紋理主方向的求取。受到以上啟發，本文提出了一種新的消失點檢測方法，并對其理論和檢測流程進行了討論，且在實驗過程中驗證了該方法的可行性。

1 系統總體結構

本文方法的總體結構如圖1所示。

圖1 總體結構圖

本系統首先需要采集非結構化道路圖像，并將該圖像載入到系統之中；然后進行濾波、灰度化等預處理，得到其灰度圖；針對該灰度圖使用Kirsch掩模進行掩模運算得到圖像中每個像素點的4方向響應幅值；并對響應幅值進行計算得到圖像中各像素點的方向顯著性，將其值與閾值比較，得到投票點；接著對響應幅值進行校正，減少檢測誤差，并對校正后的響應幅值進行計算，得到各投票點的紋理主方向；之后對圖像中的所有像素點進行投票，得到每一個點的投票值，且將投票值最大的點作為道路的消失點；最終將該點標示在原圖像之中的相應位置，并保存。

2 非結構化道路方向性分析

在非結構化道路之中，一般都保留有車輛駛過留下的車轍等行車痕跡。在采集的圖像中，這些痕跡最終都收斂于道路遠端的消失點，且這些痕跡都有著較為明顯的紋理特征。紋理的方向性是紋理特征之一，是圖像中像素的整體排列方向[15]。在灰度圖像中，可以將某個像素點及其周圍像素點的灰度值通過差異函數進行計算得到該點的紋理方向。

非結構化道路的灰度圖和道路方向性如圖2所示。圖中每個道路區域中均存在著明顯的行車痕跡，該痕跡沿著道路方向向前延伸，因此可以將痕跡方向視為道路方向。且該痕跡在灰度圖中沿著由灰度值相似的點所組成的直線收斂于道路遠端的消失點，可見在灰度圖像中道路方向性與灰度值有關。

圖2 非結構化道路灰度圖(紅色箭頭表示通過肉眼觀察到的行車痕跡方向)

3 消失點估計

3.1 LDP特征

LBP紋理特征[13]是一種用來描述圖像局部特征的算子，具有計算簡單、表達效果好等優點，在計算機視覺的許多領域都得到了廣泛應用。在原始的LBP特征被提出后，研究人員提出了許多改進版本，如LDP[14]就是其一個變種。該方法參照LBP編碼模式，通過編碼每點各方向上邊緣響應強度的變化來表示圖像的紋理特征。通常選取Kirsch掩模來計算像素點8個方向邊緣響應強度，8方向Kirsch掩模集合{0~7}如圖3所示，其中為用于計算邊緣響應強度的算子，通常為3×3大小。

圖3 8方向Kirsch掩模

為了獲取某像素點的LDP特征值，首先要獲取以目標點為中心的8個鄰近點的像素值，并分別與8方向Kirsch掩模進行掩模運算得到邊緣響應幅值{0~7}，結果如圖4所示。在得到8方向邊緣響應幅值之后，將前大的位設置為1，其余的8–位設置為0，0作為最低位進行編碼。

m3m2m1 m4Xm0 m5m6m7

LDP編碼為

從上式可以看出，為了獲得灰度圖像中某像素點的LDP特征值，需要將該點周圍8個點的灰度值與Kirsch掩模進行掩模運算。

本文使用掩模運算得到邊緣響應幅值估計紋理主方向。圖5是部分待檢測的圖像最終得到的紋理方向圖。圖中紅箭頭表示的是非結構化道路中行車痕跡的方向，以及其最終的收斂點。接下來的實驗表明，使用該方法進行紋理主方向估計可以大大減少所需時間，且最終得到的結果誤差較小，滿足下一步運算的要求。

圖5 紋理方向圖

3.2 紋理主方向估計

本文首先利用Kirsch掩模得到圖像中各像素點的邊緣響應幅值，然后利用該幅值估計紋理主方向。根據實際情況考慮，在進行計算時只使用像素點在0?，45?，90?，135?這4個方向上的響應幅值。

在剔除了紋理方向不明顯的點后，需要對剩余點進行紋理主方向的估計。根據經驗，若像素點的紋理主方向與某個紋理響應方向的差距越小，那么該方向上的響應幅值就越大，由此認為該點的紋理主方向位于2個最強的響應方向之間[4]。因此，在得到圖像中各點的4方向邊緣響應幅值之后，可以使用響應幅值最大的2個紋理響應來估計各點的紋理主方向。

為了減少誤差，需要使用最小的2個紋理響應對其進行修正[5]。若像素點的紋理主方向離某個紋理響應的方向越近，則理論上該方向的響應幅值越大，在該方向垂直方向上的響應幅值越小，因此可以將2個幅值最大方向的垂直方向視為幅值最小方向。而本方法采用的方向數量為4，且在0~180°方向內均勻分布，因此4個方向一定為2組兩兩垂直的方向，在進行幅值校正時不需要重新計算，減少了計算時間。響應幅值校正為

其中，()和()分別為像素點校正后的紋理響應向量在軸和軸方向上分量；θ為像素點經過計算后得到的紋理主方向，如圖6所示。

圖6 向量合成圖

3.3 消失點估計

在得到圖像中各像素點的紋理主方向后，利用投票方法來估計非結構化道路的消失點。本文使用局部自適應軟投票方法[9]估計消失點，是為了解決因圖像上部點得到的投票值多于下部點而產生的消失點上移問題。

4 實驗及分析

實驗使用上述方法對圖像進行消失點檢測，驗證本文方法的可行性。最終得到的實驗結果如圖7所示，并通過定性、定量比較將本文方法與文獻[9]及文獻[10]提出的紋理主方向估計方法進行比較，確定該方法的特點。測試的圖像均來源于網上。圖像尺寸均取360×250，共200幅。圖像中真實消失點通過人工標定獲得。

圖7 消失點檢測效果

4.1 定性分析

圖7為3種方法得到的紋理主方向使用同一投票方法檢測消失點的部分結果。其中黑色的點為人工標定的道路消失點，紅色矩形框是基于本文方法得到的結果，藍色矩形框是基于文獻[9]的方法，綠色矩形框是基于文獻[10]的方法。

從結果可以看出，在背景較為簡單且紋理較清晰的圖像中，3種方法均可較為準確地找到道路消失點，如第1行和第2行中6幅圖所示。當背景較為復雜時，3種方法的準確率均受到了影響，且影響程度不同，在第3行第1和第2幅圖中，由于背景的干擾，3種方法均未得到正確的結果；在第3行第3幅圖和第4行第1幅圖中，其余2種方法均檢測出了正確的消失點，而文獻[10]進行投票所得消失點分別位于圖像遠方的山丘與地面的交線和垂直的樹木之上；而在第4行第2和第3兩幅圖中，只有本文方法未得到正確的結果，所得消失點分別位于湖面和天空之上，其余2種方法均檢測到了正確的消失點。

為了進一步確定3種紋理主方向估計方法的效果，本文計算了不同方法所得消失點的平均距離誤差(D)并進行了比較。該值表示所有被檢測圖像中所得消失點與人工標定的消失點之間的距離歸一化后的平均值。該值越小說明該消失點越接近人工標定的消失點，檢測效果越好，反之則說明兩者之間的距離越遠，檢測效果越差。該值可通過式(10)得到

因此，在投票方法相同的情況下，根據文獻[9]方法得到的消失點的平均距離誤差最小，本文方法次之，文獻[10]誤差最大。

4.2 定量分析

在定量分析中，將本文的紋理主方向估計方法與文獻[9]、[10]的方法從速度和平均角度誤差2個方面進行比較，其樣本是背景環境不同的多幅非結構化道路圖像(如鄉村泥土路、雪地道路和沙漠道路等)。像素點紋理主方向的理想角度值使用180個方向的Gabor濾波器組得到的結果代替。不同方法得到的紋理主方向通過角度誤差公式與理想值進行比較，得到誤差值。角度誤差為

其中，()為像素點紋理主方向的理想角度值；()為像素點通過紋理主方向估計方法得到的角度值。由式(11)可知，估計的方向角度值越接近理想值，兩者的差值就越小，誤差就越接近0。比較結果見表1。

表1 不同校正方法的檢測結果

表1中的時間是使用不同方法對多張相同圖片進行紋理主方向估計所花費的平均時間。其中，文獻[9]提出的方法使得時間減少為使用180個方向的Gabor濾波器組的七分之一，并且平均角度誤差小于0.1，準確率極高，但該方法所用時間較長，需約11 s，而在智能車輛行駛過程中，為了確保安全行駛，要求系統必須盡快檢測出所處環境的道路區域，所用時越少越好，因此該方法無法滿足實時性要求，需要進一步改進；文獻[10]方法需約5 s的計算時間，依然無法滿足系統的實時性，而且還降低了結果的準確率，也需對該方法進行改進。而將本文方法與文獻[9]方法進行比較可以看出，雖然本文方法降低了結果的準確率，但用時僅為文獻[9]的28%，大大提高了系統的實時性；而與文獻[10]比較，本文方法用時只是文獻[10]的60%，且準確率也要高于該方法。

綜上可以看出，本文方法在減少了檢測時間的同時還可以滿足一般情況下的消失點檢測要求。

5 結束語

本文的非結構化道路消失點檢測方法是根據LDP特征的計算方法提出。LDP特征是一種由LBP特征轉變而來的圖像特征表示方法，通過使用8方向Kirsch掩模進行計算得到，可以簡單、有效地表示圖像的紋理特征。本文使用4方向Kirsch掩模得到像素點4方向響應幅值；利用得到的響應幅值計算置信度剔除紋理方向不明顯的點，確定投票點，提高準確率；通過對響應幅值進行校正并進行紋理主方向估計得到各投票點的紋理主方向；對于圖像中的每一個點，使用局部自適應軟投票方法確定其投票值，并選擇投票值最大的點為道路的消失點。

實驗結果顯示，與現有的兩種方法比較，本文方法用時更少，而且在一般情況下可以準確檢測出道路的消失點。但該方法容易受到道路背景區域影響，當圖像中環境比較復雜時，檢測結果容易受到干擾，尤其是樹木、欄桿、遠方山丘的輪廓等具有明顯紋理方向特征的干擾物；同時道路背景類型的不同，也會影響檢測的準確性，因此下一階段的研究要針對這些問題而展開，進一步提高該方法的檢測效果。

[1] 楊喜寧, 段建民, 高德芝, 等. 基于改進Hough變換的車道線檢測技術[J]. 計算機測量與控制, 2010, 18(2): 292-294.

[2] ALY M. Real time detection of lane markers in urban streets [C]//IEEE Intelligent Vehicles Symposium. New York: IEEE Press, 2008: 7-12.

[3] CHENG H Y, YU C C, TSENG C C, et al. Environment classification and hierarchical lane detection for structured and unstructured roads [J]. IET Computer Vision, 2010, 4(1): 37-49.

[4] 王永忠, 文成林. 基于Haar紋理的非結構化道路消失點檢測[J]. 中國圖象圖形學報, 2013, 18(4): 27-36.

[5] WANG Y, TEOH E K, SHEN D. Lane detection and tracking using B-snake [J]. Image and Vision Computing, 2004, 22(4): 269-280.

[6] NIETO M, SALGADO L. Real-time vanishing point estimation in road sequences using adaptive steerable filter banks [C]//International Conference on Advanced Concepts for Intelligent Vision Systems. Berlin: Springer, 2007: 840-848.

[7] LIU H J, GUO Z B, LU J F, et al. A fast method for vanishing point estimation and tracking and its application in road images [C]//2006 6th International Conference on Its Telecommunications. New York: IEEE Press, 2007: 106-109.

[8] RASMUSSEN C. Grouping dominant orientations for Ill-Structured road following [C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2004: 470-477.

[9] KONG H, AUDIBERT J Y, PONCE J. General road detection from a single image [J]. IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society, 2010, 19(8): 2211-2220.

[10] MOGHADAM P, STARZYK J A, WIJESOMA W S. Fast vanishing-point detection in unstructured environments [J].IEEE Transactions on Image Processing, 2011, 21(1): 425-430.

[11] 潘奎剛. 智能車輛基于視覺的可通行區域檢測方法[D].南京: 南京理工大學, 2017.

[12] 潘奎剛, 石朝俠. 基于主方向加權投票的非結構化道路消失點檢測[J]. 計算機工程, 2017, 43(12): 237-241.

[13] OJALA T, PIETIKAINEN M, HARWOOD D. Performance evaluation of texture measures with classification based on Kullback discrimination of distributions [C]//IAPR International Conference on Pattern Recognition, 1994. New York: IEEE Press, 2002: 582-585.

[14] JABID T, KABIR M H, CHAE O. Robust facial expression recognition based on local directional pattern [J]. ETRI Journal, 2010, 32(5): 784-794.

[15] 王震, 王執銓, 茅耀斌. 基于紋理方向的描述和對具有方向性紋理圖像的分類與分割[J]. 中國圖象圖形學報, 2002, 7(12): 1279-1284.

Research on Vanishing Point Detection of Unstructured Road Based on Directional Texture

HUANG Jun, HOU Bei-ping, DONG Fei, WU Ying-dong, LIU Yu, WANG Jian-ming

(School of Automation and Electrical Engineering, Zhejiang University of Science and Technology, Hangzhou Zhejiang 310023, China)

With the rapid development of vehicle intelligence in these years, the automatic detection of road areas has been playing a more and more important role in the field. However, the detection of unstructured roads faces significant difficulties due to the fact that many unstructured roads do not have prominent lane marks or boundaries. Conducting the detection while setting the vanishing point as the constraint can substantially improve the performance of unstructured road detection. But in practical application, the existing methods for vanishing point detection of unstructured road generally have significant shortcomings of high computation cost and poor real-time performance. In order to improve the efficiency of calculation, a new method based on local directional pattern (LDP) texture feature for vanishing point detection of unstructured roads is proposed. Through the calculation of LDP texture features, the Kirsch mask is used to obtain the four-direction response amplitude of the pixel in picture, and the error of detection is reduced by the amplitude correction; and then the main direction of texture is obtained by calculating the corrected response amplitude; the vanishing points are selected by using the local adaptive soft voting method. Finally, the detection for vanishing points is achieved. According to the experimental results, the method is faster than existing methods and it can detect the vanishing points of unstructured roads accurately and effectively in the natural environment.

local directional pattern (LDP); vanishing point detection; unstructured road; local adaptive soft voting

TP 391

10.11996/JG.j.2095-302X.2019010131

A

2095-302X(2019)01-0131-06

2018-07-06；

2018-07-18

浙江省公益性技術應用研究計劃項目(2017c33119)

黃 俊(1994-)，男，浙江衢州人，碩士研究生。主要研究方向為圖像處理。E-mail：221601852006@zust.edu.cn

侯北平(1976-)，男，山東日照人，博士，教授，碩士生導師。主要研究方向為機器視覺、圖像處理。E-mail：bphou@zust.edu.cn