基于點云特征的城市道路標識線提取與分類

鄭帥鋒,王山東,張陳意,王倫煒

(河海大學 地球科學與工程學院,南京 211100,中國)

0 引 言

在自動駕駛所使用的3維高精度地圖中,道路標識線是極其重要的核心要素。在城市道路環境中,通常根據指導車輛交通的不同功能,在道路路面上采用高反射率的涂料繪制相應的文字、符號、圖形、線條等[1]。而3維坐標和強度信息是車載激光雷達(light detection and ranging,LiDAR)點云數據的主要屬性信息,地物的表面附帶不同的材質,而這些材質的回波反射強度信息也表現得不同,因此可以參考這一特性提取點云標識線[2]。

近些年來,國內外學者以反射強度差異這一特性從車載LiDAR點云中提取標識線的方法有兩類:一類是將3維信息壓縮成2維信息,即將3維點云信息轉換為2維影像,再分割提取道路標識線信息[3-7];另一類是直接利用點云反射強度進行提取[8-14]。

基于點云圖像維度轉換的方式,對3維點云掃描數據進行降維處理,保留其某一特性生成2維特征圖像,并結合圖像處理算法提取點云道路標識線。YAO等人[3]根據道路邊界處的幾何突變從掃描線中提取路面,并將路面點云反距離加權插值生成柵格圖像進行道路標識線的精確提取,但此方法未考慮城市道路環境的影響。GUAN[5]與KUMAR[6]等人結合道路走向對特征圖像進行分塊、自適應閾值處理,實現標識線的提取,但此方法存在標識線圖像3維信息缺失的問題。

基于點云反射強度提取道路標識線,ZEYBEK[8]利用Alpha shape算法提取3維和2維道路特征,結合點云反射強度獲得標識線結果,并與手動數字化參考標記進行比較,但未考慮到標識線的磨損狀態。YAN等人[9]對每一條掃描線點云進行基于移動窗口的強度中值濾波,利用標識線點云與路面點的反射強度差異,進行標識線點的提取。YU[10]與MA[13]等人同樣對道路點云進行分塊處理,對每一塊點云進行強度閾值判斷,但該類方法的場景受限于彎曲道路中。

綜上所述,點云道路標識線的提取精度問題,與車道標識線磨損或斷裂等狀況相關,與復雜環境中其它要素的影響程度相關。針對上述問題,本文作者提出了一種改進的基于點云多元特征的城市道路標識線提取方法,通過結合點云的強度信息、點密度信息以及高程信息進行道路標識線的提取,更好地緩解了由車道標識線磨損斷裂等情況對精度造成的影響;在不同場景條件下,利用標識線的幾何信息和語義信息,結合臨近點迭代(iterative closest point,ICP)模板匹配,提高算法的泛化性。

1 車載激光點云城市道路標識線的自動提取與分類

車載LiDAR數據以3維坐標及反射強度反映道路環境及部件材質。城市道路標識線采用特殊的材料制作,相比于周邊要素,反射強度更強,而且沒有突出的空間立體特征城市道路標準線附著于道路表面[12,15]。本文作者基于點云多元特征的地理參考圖像,實現點云道路標識線自動化提取,技術路線如圖1所示。由于原始點云數據存在著一些不規則分布的離群噪聲點,首先基于半徑濾波去除噪聲點,并用布料模擬濾波算法濾除非地面點;其次將地面點數據進行格網化處理,去除非路面點的高強度點云和稀疏分布的高強度點云[16];然后通過投影生成點云的高程、強度、點密度特征地理參考圖像,并基于多元特征圖像提取道路標識線邊緣范圍;接著利用Ostu算法實現路面點云標識線精提取;最后根據標識線的邊界框信息和ICP模型匹配方案實現標識線的細分類。

圖1 技術路線Fig.1 Technical flow chart

1.1 多元特征圖像

分析道路標識線的強度特征[17]可知,道路表面的標識線通常使用特殊的高反射率的白色或黃色涂料,而路面普遍使用低反射率的混凝土或帶卵石的瀝青鋪就而成,因此兩者強度差異明顯?？紤]到實際城市道路因部分標識線磨損或斷裂導致其反射率下降等情況,采用局部區域的強度閾值作為判斷依據,結合點云的高程特征和點密度特征,生成2維地理參考圖像,并進行圖像增強[18],凸顯道路標識線特征。

道路標識線位于道路表面,在局部鄰域內高程變化很小,但在實際的復雜道路環境中,不可避免地存在一些與標識線強度相似的其它路面噪聲點[19]。通過對地面點云格網化,根據格網高差大小將點云分離為路面點gcloud與非路面點ngcloud,去除非路面點的高強度點云和稀疏分布的高強度點云,并都投影到水平面XOY上進行柵格化處理,生成3個灰度地理參考圖像(高程特征圖像、強度特征圖像和點密度圖像)。

對于點密度特征圖像,其特征值為去噪后的點密度值。對于高程特征圖像,其特征值為ngcloud的平均Z值。在生成點云強度特征圖像時,其格網特征值主要由落入格網內部點云的強度信息、與格網中心點的水平距離、點的個數決定,并根據每一個點的強度信息與離散分布情況來計算該點的內插權重。

位于(i,j)的格網強度特征值Fij的權值Wij,n受兩個影響因素限制:第1個影響因素是Iij,n,即格網中最低強度值與格網內所有點之間的強度差異;第2個影響因素是Dij,n(n代表點號,0≤n≤Nij,Nij為格網(i,j)內的總點數),即格網中心點到格網內每一個點的水平距離。因此落入第(i,j)個格網中的點的權值定義為[19]:

(1)

式中:Wij,n,XY、Wij,n,I分別為格網中第n個點與第(i,j)個格網中心點在XOY上的水平距離及其強度的權重;α和β為這兩部分的權重,且α+β=1;Imin(ij)、Imax(ij)分別為第(i,j)個格網中所有點的強度最小、最大值;G為網格的長度大小;Ip,max與Ip,min分別為整個點云集p的強度最大值和最小值。根據式(1)計算格網(i,j)的強度特征值[19]:

(2)

式中:Iij,n′為格網(i,j)中第n個點的強度值。

在0～255的灰度空間更能體現圖像的對比度,然后將所有格網的強度特征值Fij進行歸一化處理,得到點云強度地理參考圖像。

1.2 道路標識線邊緣檢測

在強度特征圖像中,低反射強度的路面像素點較為灰暗,高反射強度的標識線像素點較為明亮,兩者的灰度值差異明顯[20]。Sobel算子可以更好地識別和提取標識線邊緣像素以及非路面點中高程突變的像素,以此生成強度梯度圖像和坡度梯度圖像,并利用最大熵閾值分割法[20]對坡度梯度圖像和點密度特征圖像進行二值化,坡度二值化圖像中像素值為0的像素點以及坡度二值化圖像中像素值為1的像素點將被保留,并綜合到點云強度梯度圖像中去,最后對道路強度梯度圖像進行二值化,得到道路標記邊界像素,處理流程如圖2所示。

圖2 地理參考圖像處理流程圖Fig.2 Georeferenced image processing flow chart

通過計算圖像中每一個灰度級m(0～255)出現的概率Pm以及相應的熵Hm=-PmlgPm,確定圖像的最佳閾值。依次遍歷每一級灰度值T,分別計算目標區域A的熵HA和背景區域B的熵HB以及圖像的總熵H(T)[21]:

(3)

式中:PA和PB分別表示目標區域A和背景區域B中各灰度級出現的概率。最后總熵H(T)取最大值時所對應的灰度值作為最佳閾值,并基于該閾值進行圖像二值化。

1.3 道路標識線連通區域分析

道路標識線擁有規則的形狀和大小,其二值圖像應完整獨立,而現有二值圖像的像素點各自獨立,因此,采用種子填充法對二值圖像進行連通區域分析[22],并濾除面積過小的噪聲區域;同時,對標識線內部的黑色空洞進行填充,得到互相獨立且分割完成的標識線連通區域。

由于道路標識線與路面噪聲點兩者的連通區域面積相差較大,需統計所有連通區域中小于面積閾值的連通區域并剔除。為盡可能保留標識線區域,防止一個標識線區域被當成多個小區域而誤刪,在進行幾何區域分析時采用8鄰接搜索方式。為去除道路標識線內部的黑色孔洞,對上述處理后的標識線二值圖像取反,進行幾何連通區域分析,除去小于面積閾值的連通區域。最后基于道路標識線邊緣范圍及其面積閾值實現小區域的去除和孔洞填充。

1.4 標識線點云提取與優化

從第1.2節中點云特征圖像的生成可知,圖像中的所有像素點均與地面點云所處的相應格網相對應。投影反變換可快速提取點云道路標識線,而點云特征圖像受到像素大小的影響,其分辨率相對較低,且當點云投影坐標系方向與道路標識線指向不一致時,得到的點云道路標識線其邊緣呈鋸齒狀,含有大量的地面噪聲點[23]。對此,利用Otsu算法[24]對每一個標識線點云進行強度濾波,保留強度較高的點,以此來消除道路標識線點云的鋸齒效應,從而實現點云道路標識線的精提取。

首先,將投影得到的點云的強度歸一化為0～255的灰度范圍,然后利用Ostu算法最大化類間方差與類內方差之比,類間方差定義為[24]:

g=ω0ω1(μ0-μ1)2

(4)

式中:ω0和ω1分別為道路標識和路面出現的概率;μ0和μ1是相應的平均水平。

最后,通過遍歷每塊標識線點云計算出使類間方差g最大時的閾值T,此時T為最優閾值。

1.5 道路標識線分類

從道路標識線的幾何特征和語義特征[15]來看,城市道路上單黃線、單白線、虛線、停止線、箭頭方向線、文字等道路標識線在幾何形狀上均有相應的標準與規范,這一約束是道路標識線模板匹配的參考依據之一。

考慮到因標識線點云的磨損導致標識線的錯誤識別,需對標識線點云重新聚類。在不受邊界點輪廓形狀影響的情況下,利用Alpha shape算法[25]提取每一個標識線的邊界點,提升提取邊界點的效率,并依次統計其邊界框的邊長和對邊比等信息,以此作為粗分類的準則,快速提取出道路邊界、車道分界線等規則道路標記,并對剩余不規則標識線與模板中的每一個模型點云通過平移、旋轉后進行ICP配準,估計目標與每一個模型的最佳重疊率,然后獲取整體最佳重疊率。若整體最佳重疊率小于重疊閾值,則標記為未分類道路標記;否則,該道路標記的類別為獲取整體最佳重疊率時的模型點云的類別。

將實驗數據中幾個典型的清晰完整的道路標識線邊界點云保存為模型以進行配準,如圖3所示。通過ICP配準算法對所有標識線邊界點云與模板進行從粗到精的配準,并估計標識線點云與模型的重疊率,如果最高重疊率不超過60%,則目標被視為未識別標識線,反之則為重疊率最高的模型類別。

圖3 模板點云圖Fig.3 Template point cloud diagram

2 實驗與分析

點云道路標識線自動提取及分類實驗是基于Visual Studio 2017 C++集成開發。實驗平臺配置為2.20 GHz的Intel(R) Core(TM) i7-10870H處理器,32 GB的隨機存取存儲器(random access memory,RAM)。

2.1 實驗數據

實驗數據主要采用澳大利亞某城市的復雜街區路段,如圖4所示。該點云數據主要包含點的3維坐標信息與強度信息,全長約379 m,寬度約18 m,點云個數為79942109個。

圖4 實驗點云數據Fig.4 Experimental point cloud data

局部點云按照強度分層顯示的效果如圖5a所示。實驗數據中道路表面起伏不大,整體較為平坦,道路寬度基本一致,中間為彎曲路段,并有十字路口、交叉路口等復雜地形,路面點與道路標識線有著明顯的強度差異,完全滿足實驗提取的需要。如圖5b所示,局部點云按照高程顯示可以看出,道路兩邊的路坎近似垂直于路面,并與路面有一定的高度差異。

圖5 點云局部渲染圖Fig.5 Point cloud local rendering map

2.2 實驗結果與分析

2.2.1 實驗結果 提取的地面點云仍包含有一些欄桿或者車輛等與地面相交的部分非地面點,將地面點云格網化,根據格網內高差大小將點云分離為路面點和非路面點云,并將路面點和非路面點分別投影到格網中。經過多次實驗,當格網間距為0.065 m時,提取效果最佳。

利用點云投影及柵格化處理得到點云多元特征圖像,圖6a和圖6b分別是車載LiDAR點云和強度特征圖像。由圖6a和圖6b可知,強度特征圖像很好地保留了地面的強度信息,但對離散點云進行2維投影時,不可避免地會造成一定的精度損失。利用中值濾波對強度特征圖像進行處理,極大地減少了椒鹽噪聲對于標識線提取的影響,濾波后的效果圖如圖6c所示。

圖6 原始點云與強度特征圖像對比圖Fig.6 Comparison between original point cloud and intensity feature image

利用第1.3節中的算法對圖像上的特征線邊緣進行提取與強化,提取結果如圖7所示。

圖7 強度二值化Fig.7 Strength binarization

由圖8可知,雖然基于強度特征圖像利用邊緣檢測可以初步確定標識線的邊緣位置,但仍有一些高強度稀疏路面噪聲點需要剔除,邊緣二值化可以較好地解決這一問題。

圖8 道路標識線邊緣檢測局部圖Fig.8 Local image of road marking line edge detection

在二值圖像的像素點的離散性問題上,通過連通區域分析濾除面積過小的噪聲區域,同時對標識線內部的黑色空洞進行填充,得到互相獨立且分割完成的標識線連通區域,結果如圖9所示。其中,圖9a為符合要求的標識線連通區域,圖9b為所有標識線連通區域隨機賦色后的效果。

圖9 連通區域分析與標記局部結果圖Fig.9 Connected region analysis and marking local result graph

在強度二值化圖像中進行連通域分析后,道路標識線基本被識別。此時將2維標識線投影反變換,得到標識線點云,并結合Ostu算法實現點云的精細化處理,最終道路標識線分割結果如圖10所示。

圖10 標識線點云提取效果圖Fig.10 Rendering of marking line point cloud extraction

由于提取的標識線存在部分單一標識線被分割為多個標識線的現象,所以對標識線點云進行歐式聚類,經過多次實驗,聚類半徑為0.1 m更符合實際場景,利用Alpha shape對每一個聚類的標識線進行邊界點的提取,并計算包圍盒邊長和對邊比信息,以此作為粗分類的準則,快速提取出道路邊界、車道分界線等規則道路標記,剩下不規則標識線通過模板匹配進一步分類,局部分類效果圖如圖11所示。

圖11 標識線局部效果圖Fig.11 Partial effect picture of marking line

實驗數據中的標識線基本都被正確提取和分類,沒有出現大面積的噪聲點和部分標識線漏提的現象。但從圖11來看,仍有一些標識線類別被誤判,圖11a和圖11c中的標識線由于間隔距離太近,多個標識線被識別為同一個標識線點云,導致標識線類別的誤判;圖11b中的標識線一方面因為標識線局部被磨損,導致部分標識線點云的強度值較低,被視為地面點或者噪聲點進行了剔除,使得被提取的剩余的標識線被識別為其它類別的標識線;另一方面則是由于采樣點的稀疏,使得標識線在進行幾何連通時,同一標識線被識別為多個標識線。

2.2.2 精度分析 為了進一步對道路標識線提取的結果進行評價,本文中采用人工判讀的方式從標識線提取效率中計數每一類標識線的真正數(true positive,TP)、假負數(false negative,FN)、假正數(false positive,FP)。采用準確率指標(precision)、召回率指標(recall)以及綜合評價指標F對道路標識線提取結果進行精度評價,結果如表1所示。

表1 標識線提取精度Table 1 Marking line extraction precision

由表1可知,基于多元點云特征的道路標識線提取算法所提出的每一類標識線的準確率均超過96%,召回率超過91%,綜合評價指標超過94%,表明該算法對于城市道路上絕大部分的道路標識線進行提取時,能夠取得較好的結果和精度。

為進一步分析本文中標識線分類結果,與YU等人[10]提及的道路標識線提取算法進行對比,結果如表2所示。由表2可知,基于多元點云特征的道路標識線提取算法對虛線和斑馬線標識線的分類精度與YU等人[10]所提出的算法相近,但算法對單向轉向箭頭的分類效果相比于參考文獻[10]中的方法取得了較大的提升,這是因為參考文獻[10]中的方法在進行標識線細分類時所構建的空間語義結構較為單一,且只適用于線狀標識線,但基于ICP配準進行模板匹配的方法不僅有一定的容錯度,而且對存在結構差異的目標識別效果也更好。

表2 不同方法標識線分類對比精度Table 2 Classification and comparison accuracy of marking lines of different methods

3 結 論

針對如何從車載LiDAR點云中提取標識線的問題,綜合利用道路標識線的強度、幾何和語義等特征,設計了圖像與點云相結合的處理算法,整體提升了道路各類標識線的提取精度,對城市數字化建設具有一定的參考意義。對于道路標識線的提取,結合點云的多元特征信息,能夠更好地輔助標識線的提取,這對后續無人駕駛的研究有著推動作用;對于道路標識線的分類問題,基于ICP配準進行模板匹配的方法不僅有一定的容錯度,對存在結構差異的目標識別效果也更好。結果表明,提取的短虛線、斑馬線、箭頭以及長虛線的準確率均高于96%,召回率均高于91%,精度準均高于89%,綜合評價指標均高于94%。盡管通過實驗和綜合評估證明了所提出方法的可行性和優越性,但在道路標識線的自動提取方面仍有很大的改進空間。未來,將進一步研究深度學習在道路標識線提取上的應用。