基于深度學習的交通標志識別技術研究進展

楊廣柱,龍澤鏈,李 毅,王天生,黃紹信

(廣西交通職業技術學院,廣西 南寧 530013)

0 引言

隨著城市基礎設施的全面建設和汽車產業的蓬勃發展,汽車已成為人們日常出行中最常用的交通工具。與此同時,交通安全和交通擁堵問題也日益嚴重。尤其在經濟快速發展的背景下,交通安全和擁堵問題成為亟待解決的工程技術難題。智能交通系統(Intelligent Transport System,ITS)被視為提高交通安全性和效率的有效途徑之一[1]。

智能交通系統中的一個重要組成部分是自動交通標志檢測和識別技術,其可以從視覺傳感器掃描的圖像信息中提取人性化信息和路況信息等,為智能交通系統的交通行為決策提供信息支持。因此,交通標志檢測和識別廣泛應用于駕駛員輔助系統、智能無人駕駛車輛、道路標志維護等智能交通領域。這些應用不僅可以有效提高駕駛員的安全性,還能推動無人駕駛技術的發展,提高交通維護效率,極大緩解交通安全和擁堵問題[2]。

目前,基于卷積神經網絡等深度學習算法在交通標志識別應用中表現出高準確度和強抗干擾能力,成為解決自動交通標志識別可靠性低的關鍵突破口。然而,由于國內交通標志算法訓練數據集的不足,特定場景下交通標志檢測和識別精度不高的問題仍然存在[3]?；谶@個背景,本文綜述基于深度學習的交通標志識別技術,厘清傳統交通標志識別與基于深度學習的交通標志識別的關系,著重介紹尤為出色的卷積神經網絡交通標志識別算法,并分析近年來卷積神經網絡識別算法取得的突破性進展,以期能為交通標志識別技術的發展提供新思路,為廣西智慧交通建設積累實踐經驗。

1 交通標志識別技術

1.1 傳統交通標志識別

交通標志的主要用途是指導與警告駕駛員前方道路信息與行人信息,以及調節道路交通流量與交通疏導。世界各國交通標志因其政治文化的獨特性而盡顯不同,我國的交通標志主要分為指示類標志、禁令類標志和警告類標志三大類。這三大類交通標志在顏色上有藍色、黃色和紅色,在形狀上有圓形、三角形,交通標志在圖像上有非常顯著的顏色特征和形狀特征,這是用于檢測識別交通標志的主要依據。

交通標志識別技術中兩個關鍵的內容是:檢測和識別交通標志。檢測標志是指使用形狀信息、顏色信息或形狀顏色信息結合的形式,在具有背景噪聲的圖像幀中提取交通標志信息,為后續的識別分類提供關鍵數據。識別標志是指對檢測到的交通標志進行特征識別分類,為智能交通系統的交通決策提供道路信息。即交通標志檢測與識別對應于人的眼睛觀察與大腦認識判斷,“眼睛”在復雜的交通環境中掃描出交通標志的圖像信息,“大腦”根據“眼睛”觀察到的交通標志圖像進行識別,并對內容進行分類,為下一步的交通行為提供判斷依據。

在交通標志中顏色是其最顯著的特征之一,顏色特征法的交通標志檢測具有較高的反應度。一些學者早先提出直接利用原始RGB圖像空間的像素級閾值分割進行交通標志檢測[4],由于原始RGB圖像存在色彩失真甚至圖像模糊等因素,對于交通環境及天氣的依賴極高,因此存在一定缺陷性。在此基礎上,部分學者提出先對原始圖像進行預處理再對處理后的結果進行分割檢測的交通標志檢測方案,該方法能夠對RGB圖像進行色彩空間增強以及矢量濾波等處理,能夠有效降低交通環境的影響,提高交通標志檢測的準確度[5]。盡管眾多學者在RGB圖像檢測方法上做了大量的改進,然而R、G和B分量之間具有高度相關性且易受溫度、濕度和光照等外界因素影響的特性,基于RGB進行的交通標志檢測很難實現高可靠性檢測?；诖?部分學者提出先將原始RGB圖像非線性變換為HIS顏色空間再對H和S分量進行閾值分割,以實現ROI區域檢測,該方法能夠一定程度地規避RGB容易受環境影響的問題,但仍然存在一定缺陷[6]。

基于此,形狀特征法、顏色與形狀特征混合法先后被提出用于交通標志檢測,旨在解決交通標志檢測過程存在準確度低及容易受環境影響的問題。形狀特征法是采用數學形態學方法檢測交通標志內核形狀的形態特征,能有效克服環境照度等條件的干擾,但卻較易受到外界噪聲的影響且計算耗時較長,該方法對自然環境交通標志檢測的實用性較低[7]。目前,基于顏色特征和形狀特征檢測相結合的交通識別方法,可以綜合兩者的優勢特點而規避其劣勢,能夠達到較好的檢測速度和效果[8]。

總體而言,依賴圖像顏色及形狀特征進行交通標志識別的傳統方法,在簡單方便性及識別速率上均有較大優勢,但該方法容易受到如光照強度、天氣及遮擋物等不可避免的外界因素干擾,導致其識別準確性及可靠性不足以滿足無人駕駛等高智能交通系統的要求[9]。

1.2 基于深度學習的交通標志識別

盡管傳統的交通標志識別技術得到一定發展,但是傳統算法在克服自然環境等因素影響方面仍然不盡人意,難以得出高可靠性、高準確率的識別效果?；诖?諸多學者提出將以卷積神經網絡為代表的深度學習算法應用于交通標志識別,卷積神經網絡深度學習算法與傳統機器識別算法的最大區別是:卷積神經網絡可以一邊訓練一邊提取特征,雙管齊下,能有效提高檢測與訓練效率。這使得卷積神經網絡在檢測性能和準確性方面具有巨大優勢,尤其在光照增強、天氣狀況、物體遮擋和拍攝角度等復雜情況下進行交通標志識別。卷積神經網絡最具代表性的識別算法是Lecun等提出的手寫數字識別網絡LeNet-5網絡,該網絡模型首次利用局部連接與權值共享的方式對輸入灰度圖像進行特征提取,極大地降低了模型的訓練復雜度,極大地提高了模型識別分類的準確率[10]。隨后AlexNet網絡[11]、VGGNet網絡[12]相繼被提出,其主要特點是增加卷積層和連接層,以提高模型的分類識別能力。隨著卷積神經網絡的發展,目前基于卷積神經網絡檢測模型主要分為單階段模型[13]和兩階段模型[14-15]。其中單階段模型是一種只需要通過一個深度卷積網絡就能夠直接識別目標位置并完成分類任務的目標檢測算法;兩階段模型則是需要先后通過兩個檢測器來分別完成提取目標候選區域以及完成候選區的坐標修正及目標分類處理,才能夠實現實現高精度檢測,但由于流程復雜不可避免地導致檢測速度慢的問題。

1.3 卷積神經網絡交通標志識別技術

卷積神經網絡(CNNs)的設計靈感來源于生物學中的視覺系統,通過模擬視覺皮層的處理方式,能夠自動學習和提取圖像中的特征,是一種深度學習算法,被廣泛應用于計算機視覺領域,尤其在圖像和視頻處理任務中取得了顯著的成果。CNNs的核心思想是利用卷積層和池化層來提取輸入圖像的特征,并通過全連接層進行分類或回歸等任務,實現圖像的識別。卷積神經網絡的優點在于其能夠通過多個卷積層和池化層的組合,逐級提取輸入數據的高級特征標識。這使得其在圖像分類、目標檢測、語義分割和人臉識別等任務上表現出色。尤其在交通標志識別上得到成功應用。

近年來,基于CNN的交通標志檢測方法得到了越來越多研究者的認可。相對于傳統方法,這種方法能有效減少主觀單一性并解決語義信息不充分的問題,從而改進目標檢測效果,因此在實踐中被廣泛應用?；诰矸e神經網絡的目標檢測算法可分為兩類:基于候選區域提取和基于端到端[16]。

基于候選區域提取是最早被提出并廣泛使用的方法。Krizhevsky A等[17]最早提出使用卷積神經網絡進行目標識別,推動了卷積神經網絡在目標檢測領域的快速發展。2004年,Girshick R等[18]基于候選區域提取方法提出了R-CNN算法,該算法具備豐富的特征層次結構,并采用選擇搜索方式來選取候選框,實現了精確的對象檢測和語義分割。該算法在VOC 2012數據集上取得了53.3%的成績。Wang F等[19]對Faster R-CNN算法進行了改進,應用于交通標志檢測,提高了計算效率并實現了實時檢測。為解決Fast R-CNN算法中的候選框問題,Ren S等[20]提出了改進的Faster R-CNN算法,改進了候選框生成算法,提高了檢測效率和精度。盡管R-CNN系列算法在目標檢測精度方面表現出色,但由于屬于兩階段檢測網絡,檢測速度相對較慢,難以在實際交通標志檢測中應用。盡管基于候選區域提取的這些網絡經過多次優化和改進,在交通標志檢測與識別上取得了良好應用和理想的檢測精度,但其速度仍然不夠快,難以滿足實時性需求。

鑒于基于候選區域提取的卷積神經網絡存在明顯的檢測實時性差的問題,而實時檢測交通標志在實際應用場景中至關重要,因此引入了端到端的卷積神經網絡以解決這一問題。端到端的卷積神經網絡具備出色的實時檢測能力,其中最為突出的是Redmon J等[21-23]提出的YOLO系列網絡。YOLO算法的應用極大地提高了檢測速度,但相比Fast R-CNN算法,其檢測精度稍遜一籌。為解決這個問題,Redmon等繼續提出了YOLOv2算法,通過優化改進提高了目標檢測精度,2018年,在YOLOv2的基礎上提出了YOLOv3算法,利用殘差模型和FPN結構顯著提高了檢測性能。盡管YOLOv3算法改善了目標檢測效果,但對于小目標的檢測效果仍不理想。為解決這個問題,Bochkovskiy等[24]改進了YOLOv3算法,提出了YOLOv4算法,進一步提升了目標檢測性能。因此,研究人員提出了一些輕量級的目標檢測網絡模型,如SSDLite[25]、YOLO-LITE[26]等。這些輕量級網絡通過壓縮模型參數來實現高效運行,盡管在一定程度上犧牲了一些檢測精度,但對于設計輕量級且高性能的目標檢測網絡具有重要的科研意義。隨后,為了應對無人駕駛場景中交通標志檢測精度低和實時性差等問題,研究人員提出了改進SSD網絡的交通標志檢測方法[27]。此外,Yin等[28]使用YOLOv3的進化版本中的YOLOv5網絡,實現了對復雜背景下交通標志的實時識別。這些研究中的算法具有良好的檢測實時性,彌補了基于候選區域提取的方法的不足,但這些端到端網絡在小目標檢測方面的準確率仍有待提高。由此可見,卷積神經網絡算法在交通標志識別上盡管有出色的表現,且相關算法的優化推動了該算法的性能,但是要全方位提升該算法的識別性能仍然存在諸多問題,需要進一步解決[29]。

2 結語

交通標志識別技術能夠自動識別交通標志信息,為自動駕駛等智能交通系統提供交通決策信息,是智能交通系統實施的關鍵環節。因此,近年來交通標志識別技術得到廣泛研究和應用,尤其基于卷積神經網絡(CNN)的方法在交通標志檢測方面取得了顯著的進展。與傳統方法相比,CNN方法能夠減少主觀單一性和解決語義信息不充分的問題,從而提高了目標檢測效果。在識別性能仍存在系列問題亟須優化,因此卷積神經網絡先后提出了Faster R-CNN算法、YOLO系列算法以及SSDLite、YOLO-LITE等輕量化算法,旨在提高識別精度、計算速度和計算實時性,滿足在交通系統中的有效應用。