基于AI+深度學習算法的車輛辨識系統

田鵬飛

(山西信息產業技術研究院有限公司,山西 太原 030012)

1 背景

近年來,由于全國城鄉道路建設步伐加快,全國城市化水平和鄉村建設也在不斷提高。我國機動車保有量逐年增加,截至2022年,全國機動車保有量達到4.17億輛。機動車輛的迅速增加帶來了諸多交通問題,路網不暢、設施不足、交通擁堵等問題越來越突出;行車難、停車難、交通秩序混亂等問題日益突顯,對城市交通管理造成的沖擊和壓力越來越大。城市道路交通擁擠堵塞問題已成為制約經濟發展、降低人民生活質量、削弱經濟活力的瓶頸之一。比如,節日前后的交通擁堵,交通管理現狀和需求的矛盾進一步加劇,與交通相關的刑事和治安案件數量也逐年上升,特別是像肇事或作案后駕車逃逸、盜搶機動車輛、車輛違章行駛等。另外依據黨中央、國務院對收費公路制度的改革要求和決策部署,提高綜合交通運輸網絡效率,取消全國高速公路省界收費站,實現不停車快捷收費,這就使得快速準確獲取車輛信息變得迫在眉睫。

2 車輛信息識別技術的國內外現狀

機動車車牌自動識別技術研究國外起步較早,從20世紀80年代,國外的研究人員就開始了對機動車車牌識別系統的研究。傳統的機動車車牌自動識別技術是利用計算機視頻圖像識別技術在車輛牌照識別的一種應用。車牌識別在高速公路車輛管理中得到廣泛應用,電子收費(ETC)系統中,也是結合機動車車牌自動識別技術識別車輛身份的主要手段。車牌識別技術能夠將運動中的汽車牌照從復雜背景中提取并識別出來,通過車牌提取、圖像預處理、特征提取、車牌字符識別等技術,識別車輛牌號、顏色等信息,最新的技術水平為字母和數字的識別率可達到99.7%,漢字的識別率可達到99%。

由于我國機動車車牌識別的特殊性,即我國的車牌格式和國外有較大的差異,我國標準汽車牌照是由漢字、英文字母和阿拉伯數字組成,漢字識別與字母和數字的識別有很大的區別,漢字的識別增加了識別的難度;采用任何一種單一識別技術均難以奏效,我們只能進行參考,不能進行直接應用。雖然我國車牌的識別需要識別漢字,但是對于英文字母和數字的識別,我們可以借鑒國外的研究技術,日本、加拿大、德國等發達國家都有適用于本國的車牌識別系統。

國內在20世紀90年代也開始了自己的車牌識別系統的研究。目前比較成熟的產品有中科院自動化研究所漢王公司的漢王眼,香港亞洲視覺科技有限公司的慧光車牌號碼識別系統等。另外西安交通大學的圖像處理和識別實驗室、上海交通大學的計算機科學和工程系、清華大學人工智能國家重點實驗室、浙江大學自動化系等都做過類似的研究,雖然這些車牌識別系統的識別率大多都比較高,如95%,甚至97%、98%,但是這些車牌識別系統的識別檢測結果大多數是在簡單受限制的場景下取得的,在實際的交通場合以及更加復雜的背景環境的情況下,這些車牌識別系統的識別率一般都很低。

3 辨識系統基本原理

基于AI+深度學習算法的車輛融合信息辨識系統硬件架構是基于“高性能AI硬件結構+深度學習算法”的架構,可提高整體硬件性能與圖像處理的速度。攝像機采集到的信息通過深度學習的智能算法處理,替換掉了原模式識別算法,去除了原算法層面的人工目標挑選過程,由前端攝像機來承擔進行目標自主挑選,摒除人工挑選對識別模式的限制。利用計算機精細化的運算、幾何圖形、幾何比例特殊的處理方式,通過大量過車目標的自主學習從而提高車輛特征、號牌的識別準確率,達到精細化識別的目的,從而提高了系統魯棒性、環境適應性。將信息融合理論應用于車輛融合信息辨識系統中,實現車輛多類型參數的動態采集,包含車輛速度檢測、車輛圖像記錄、超速抓拍、車輛牌照自動識別、車身顏色識別、車型判別等,避免了傳統采集系統的單一性,可以為車輛道路管理及上層交通管理系統提供豐富的數據基礎。

我們研發的基于AI+深度學習算法的車輛融合信息辨識系統在攝像機高清成像方面,采用“高性能 AI 硬件平臺+深度學習算法”的架構,精細化控制確保高清圖像的成像質量,使得攝像機在不同環境、不同光照條件下均可達到滿足業務應用的成像效果。

視頻檢測方面,利用深度學習算法實時監測視頻圖像中的目標,在車頭到達停止線以前完成車輛檢測工作,同時鎖定畫面中經過每條車道的車輛,提高車輛檢測工作的時效性。

車牌識別方面相對于單幀畫面車牌識別技術和多幀識別技術,本系統采用“深度學習”技術,通過算法反復訓練和自學習,一方面可提升車牌識別準確率,另一方面有助于對車輛進行持續跟蹤。

車輛跟蹤方面,在檢測到車輛目標以后,利用深度學習車輛跟蹤算法鎖定目標,并對其進行持續跟蹤,最終獲得車輛在路口的行駛軌跡,為闖紅燈、壓線、不按導向車道行駛等交通違法行為的取證提供技術基礎。

交通違法辨識方面,利用深度學習算法,將車輛跟蹤刻畫的行駛軌跡與車道屬性、信號燈狀態(紅、黃、綠)相結合,實現分車道、多相位的交通違法辨識;利用深度學習算法,在車輛檢測、車輛跟蹤的基礎上,結合車道屬性統計出分車道、分斷面、分時段的車流數據,計算出占有率、飽和度等。

卡口監測方面,卡口監測指利用深度學習算法提取通行車輛的號牌特征,利用車牌顏色識別與車輛輪廓分析提取車型特征,用以與黑名單庫進行比對、報警。

車輛融合信息辨識系統由卡口前端子系統、網絡傳輸子系統和后端管理子系統組成。實現對通行車輛信息的采集、傳輸、處理、分析與集中管理。

前端子系統,負責完成車輛綜合信息的采集,包括車輛特征照片、車牌號碼與車牌顏色等。并完成圖片信息識別、數據緩存以及壓縮上傳等功能,主要由卡口抓拍單元、補光燈、終端服務器、外場工業交換機、光纖收發器、開關電源、防雷器等設備組成。

傳輸與后端管理子系統,傳輸部分:負責系統組網,完成數據、圖片的傳輸與交換;后端管理部分:負責實現對轄區內相關數據的匯聚、處理、存儲、應用、管理與共享,由中心管理平臺和存儲系統組成。中心管理平臺由搭載平臺軟件模塊的服務器組成,包括:管理服務器、應用服務器、Web服務器、圖片服務器和數據庫服務器等。

在功能模塊上,主要分為目標檢測、圖像采集處理單元、前端數據處理及上傳單元、網絡傳輸單元、視頻監控單元。

目標檢測、圖像采集處理單元,由卡口抓拍單元加補光燈組成?？谧ヅ膯卧梢曨l檢測功能,采用視頻檢測算法完成機動車、非機動車和行人的目標檢測及抓拍,同時輸出高清照片和車牌識別數據,具備強光(逆、順)抑制功能,減弱白天日光對卡口抓拍單元和夜間機動車大燈對卡口抓拍單元拍照的影響,從所拍照片上能清晰呈現機動車正面全貌和車牌特征。

前端數據處理及上傳單元,前端數據可以在終端服務器內就地備份存儲,并上傳中心管理平臺。當網絡傳輸通道故障情況下,終端服務器可以暫存車輛通行數據,當通信恢復以后,臨時存儲的數據能自動續傳,補錄到中心管理平臺集中存儲。

網絡傳輸單元,主要由路口工業交換機、網線等資源組成,實現卡口前端子系統與中心平臺之間的互聯互通。

視頻監控單元,由高清全景攝像機加上補光設備組成。以實現24小時全天候不間斷的高質量圖像視頻信息采集。

4 辨識系統優越性

本系統測量準確率高,使用靈活方便,易于集成,可以有效提升異常車輛查處與攔截的準確度,能夠有效針對假套牌進行分析比對,對前端路面進行抓拍分析,結合數據中心的處理算法,具備研判交通態勢的能力以及流量統計的功能,還能對車牌進行精確化的識別,輔助提高城市交通的規劃能力,能充分避免交通擁堵等問題,同時彌補多年來靠單幀圖像和多幀圖像識別技術的不足,大幅度地提高車輛車牌辨識的準確度。在系統設計過程中,充分借鑒、利用國內外的先進技術和成功經驗,在系統結構和設備選型上精益求精,將高清成像技術、智能視頻檢測分析技術、攝像機內嵌車牌識別等代表行業發展趨勢的先進、成熟技術有機結合在一起,設計出一套性能優異的道路車輛智能監測記錄系統。避免投入即陷入技術落后,且規避因業務、運行環境的變化而造成系統大范圍調整的可能。

目前,國內外常見的車牌識別系統實現的方式主要分為兩種:一種是靜態圖像圖片的識別,另一種是動態視頻流的實時識別。靜態圖像識別技術的識別有效率較大程度上受限于圖像的抓拍質量,多為單幀圖像識別,而動態視頻流的識別技術適應性較強,識別速度快,它實現了對視頻每一幀圖像進行識別,增加識別比對次數,擇優選取車牌號,關鍵在于較少地受到單幀圖像質量的影響。

5 辨識系統應用場景

本系統具有良好的應用前景,能夠廣泛地應用于交通事件實現自動報警,重點位置流量檢測,易堵點檢測等場景中。

通過本系統可實現不停車快捷收費,減少路面車輛擁堵現象,提高車輛信息檢測效率和精度。公路中日益嚴重的交通擁堵現象嚴重影響了城市形象及經濟社會的可持續發展,本系統能夠對公路上行駛的機動車輛進行高質量的自動抓拍、自動識別、自動比對、軌跡查詢回放、車牌識別、車輛顏色和車型記錄、車速檢測以及對重點部位的全天候24h全面監控覆蓋檢測,全面記錄道路上所有通行車輛,從而能夠避免路面擁堵現象;實現了不停車快捷檢測收費,減少了擁堵過程中廢氣的排放強度和時間,提高了高速公路收費卡口的通行效率,有效地解決了交通擁堵和檢測效率的矛盾。此外,還消除了人工檢測的缺陷,提高了檢測效率和通行速度。對基本公共設施、改善大氣環境污染有著積極的作用。

本系統能夠全面檢測道路上所有通行車輛,實現異常車輛的查處和攔截,優化交通組織結構,輔助提高城市交通規劃能力,使得道路運輸系統有序進行;大幅度地提升交通管理部門的辦案時效,以最少的人力投入,降低案件比;幫助公安部門提升假套牌的分析能力,提升交通態勢研判能力;助力規范交通秩序,提高公民素質,提升緝查布控業務的緝查布控能力。

另外本系統對于公路的設計、建造、運營、管理、養護以及生態環保等方面也具有重要的意義。