基于機器視覺的車載式智能巡查裝備及系統研究

楊有輝, 鄧力珩, 姜 烊, 劉 力, 王吉龍, 張 朋, 陳 卓

(1.招商局重慶公路工程檢測中心有限公司, 重慶 400067; 2.重慶交通大學 機電與車輛工程學院, 重慶 400074)

截至2022年底,我國高速公路建成運營總里程已超過17.7萬km,同比上一年度增長4.73%,在這種超大規模和復雜環境下的高速公路運維管理面臨著嚴峻的技術挑戰。傳統的道路養護數據主要通過人工采集和輸入,數據更新速度慢,且不便于調用[1]。高速公路巡查主要依靠技術人員使用便攜式儀器輔助進行現場測量、記錄、整理,現場工作存在一定的風險[2-4],檢測效率低且主觀性強,對公路養護的指導作用十分有限,很難滿足超大規模道路養護的需求[5-7]。吳勇往[8]曾提出采用地質雷達的無損檢測技術,對運營高速公路各種病害進行檢測,但存在多次波及其它雜波干擾嚴重的問題,且一直沒有好的消除辦法,影響檢測結果;袁洋冰等[9]提出基于GIS和GPS等多系統聯合定位檢測,提高風險源位置信息的精確性,但仍需大量人員進行現場操作;中公高科研發的CiCS道路檢測車[10]采用高分辨率線陣相機采集公路路面圖像,總體檢測精度較低;李清娟、楊明、李永勝等[11-13]提出目前的道路巡檢車具有檢測快速、準確、完整的優點,但周邊環境對檢測結果影響較大。機器視覺作為一種現代化的檢測方法,以其快速、準確、非接觸等優點越來越受到人們的重視[14],因此考慮引入基于機器視覺的人工智能技術,以形成科學先進、高效統一的行車風險源自動識別和智能巡查系統,提升高速公路巡查的安全性與高效性,服務于高速路網的智能化、信息化建設和升級改造。

本文針對高速公路行車風險源自主發現和識別這一難題,利用機器視覺來替代傳統的人眼巡查的方法,使車載式智能巡檢裝備能夠做到路面病害的自動識別,智能分析,實時上傳,并建立一體化的管養系統,實現巡查過程的自動化、直觀化、實時化、數字化,從而減輕道路巡查人員的工作負擔,既提高工作的質量和效率,又便于數據調用。

1 系統總體框架

1.1 系統構成

本文設計的車載式智能巡查裝備及系統主要由車載綜合數據采集裝置、“云”數據庫、智能巡查系統3大板塊組成。其中,數據采集裝置負責風險源圖像采集、處理以及車輛實時定位,包括雙目視覺路況影像采集、行車輔助、信息傳輸模塊、視頻存儲和在線計算單元;“云”數據庫負責整理采集數據以及圖像特征的進一步處理,采用深度學習算法識別出該圖像特征的行車風險源類型,如路面異物(拋灑物等)、重度病害(裂縫、坑槽等)、交通異常(行人等)及路測異常等;“云”數據庫處理的結果流轉進入智能巡查系統,實現前端的人機交互以及后端的數據存儲與處理,風險源數據整理及自動識別算法對該系統形成了有力的支撐?？傮w框架如圖1所示。

圖1 總體框架

1.2 系統功能

利用智能巡查車進行高速公路行車風險源巡查,養護巡查人員通過手持APP開啟巡查任務,車載巡查終端自動采集路面圖像及位置數據,融合自主研發的深度學習算法,自動識別路面病害、異常事件,同時可通過手持APP輔助人工手動上報巡查情況,Web端平臺自動輸出巡查報告,巡查數據與養護平臺進行對接,為養護運營管理提供數據支撐。巡查車現場工作情況、巡查管理系統如圖2、圖3所示。系統主要功能如下:

1) 路產管理模塊

路產管理主要包括路線管理和路產管理,路線管理模塊提供巡查路線的新增、編輯以及刪除操作,能可視化展示各條路線的名稱、編碼、等級、起始樁號、終止樁號、路線長度以及車道數等信息,并可完成對各類信息的編輯和刪除操作;路產管理模塊提供各個路線在地圖上的可視化展示,并提供輸入名稱和樁號進行查詢的功能。

2) 日常巡查模塊

日常巡查主要包括日巡任務、日巡設備、日巡結果模塊。日巡任務模塊提供巡查車巡查任務的具體細節展示,包括巡查時間、巡查狀態、經過路段、上報點數、病害點數、設施數、天氣、巡查人員以及車輛車牌的信息,以及對該巡查任務的增刪改查的操作,同時在地圖上提供實時巡查路線的可視化展示;日巡設備模塊提供巡查車輛的信息,包括車輛類型、車牌號、流量卡號、流量使用情況、品牌型號、所屬單位、所屬部門以及當前狀態等信息;日巡結果模塊提供各個路段的病害顯示,包括每個病害的名稱、參數以及病害標度,同時提供任務查詢、詳情查詢、病害確認以及刪除操作。

3) APP模塊

APP提供巡檢任務管理功能,巡查人員根據工作需求,可進行日巡查、夜巡查、經常檢查、坐標采集等,可操作病害審核,對巡查異常狀態進行展示,同時提供交通基礎設施巡檢知識庫,巡查人員可根據巡查的對象及其病害類型進行點選式上傳巡查情況。

圖2 智能巡檢車

圖3 巡查信息系統

2 高速公路風險源采集裝置硬件方案

高速公路車載綜合監測的硬件方案如圖4所示。

2.1 雙目視覺路況影像采集模塊

1) 車載雙目視覺系統硬件集成

為了實現輕量化檢測并使系統不依賴于特定載車,在系統集成時將雙目攝影測量模塊和定位定姿系統POS(Position and Orientation System)模塊統一安裝在一個剛性平臺內部,即系統主機。所有系統核心傳感器都集成在一個統一的剛性平臺上,因此只需進行一次標定,后續在使用過程中,只需拆裝系統主機而不會影響主機內部傳感器之間的相對位置關系,這使得系統可安裝在多種類型的汽車上,如轎車、皮卡車、越野車和吉普車等。通信供電模塊由系統配套的電池箱實現,電池箱內部集成了鉛蓄電池、電源模塊、空開、逆變器和路由器等,可通過載車電源給電池箱供電。系統主機通過一根帶有直流電源和千兆網信號的航插線纜與電池箱相連。其中,千兆網信號線接入路由器,使系統可通過網線或Wifi使用筆記本電腦或平板電腦操控與拷貝數據。系統的硬件組成及內部接線如圖5所示。

圖4 公路車載綜合監測硬件方案

圖5 系統硬件組成

2) 雙目視覺結合POS模塊標定

雙目相機標定需先通過張氏標定法分別獲取左右相機的內外參數和畸變參數;后提取雙目視覺相機所獲取圖像中的特征點,通過匹配同一時刻左右目圖像的特征點進行立體校準和對齊,以確定2個相機的相對位置關系;再與POS模塊組合標定確定2個相機和POS模塊的相對位置關系。

2.2 行車輔助和信息傳輸模塊

行車輔助系統是車輛上安裝的智能設備和傳感器系統通過不同的傳感器(如攝像頭、雷達、激光等),獲取車輛周圍的信息,并通過信息處理和算法分析來進行決策和控制,巡查車采用高清防抖攝像頭,以實現信息的獲取。信息傳輸模塊則是連接車輛和外部網絡的重要組成部分,可將車輛內的數據傳輸到云端或其他設備上,以實現車輛與互聯網的連接。信息傳輸模塊包括移動通信模塊、GPS模塊等,以實現車輛位置追蹤、車況監測等功能。

2.3 視頻存儲和在線計算單元

視頻存儲和在線計算單元用于存儲和管理視頻數據,采用嵌入式視覺計算單元接收來自攝像頭采集到的圖像,并利用圖像處理單元執行目標檢測算法,通過存儲器接口連接工業計算機,將處理后的圖像數據傳輸到工業計算機中,以實現數據的存儲。

3 高速公路行車風險源的自動識別算法

3.1 基于Faster R-CNN的公路路面風險源檢測與定位

基于Faster R-CNN模型對公路路面的風險源進行檢測與定位,其算法模型如圖6所示。本文將公路路面風險源定位和屬性識別有機結合,實現風險源集合粗分類、精細定位和屬性識別的多任務路面病害精細化檢測,以對路面風險源(包括坑槽、裂縫、行人、拋灑物等)進行實時、準確檢測。

圖6 Faster R-CNN模型

Faster R-CNN由特征提取網絡、區域生成網絡RPN(Region Proposal Network)、感興趣區域池化RoI Pooling以及分類和回歸層(Classification and Regression)4個模塊組成。各模塊作用如下:1) 特征提取層用于提取輸入圖像特征,得到的特征圖用于后續的RPN層生成proposal輸出框;2) 區域候選層用于生成候選框,該操作分為2部分:一是分類,判斷所有預設的anchors是屬于背景還是目標,二是邊界框回歸,用于初步修正anchors,以得到較為準確目標的位置,RPN網絡相當于提前做了一部分檢測,即判斷是否有目標以及修正anchors,使框選得更準一些;3) 感興趣區域池化用于收集RPN生成proposals框的坐標,并根據坐標將其從特征提取網絡模塊中提取相應圖像特征,生成proposals feature maps送入后續全連接層,并繼續做細分類和回歸;4) Classification and Regression是利用proposals feature maps計算出具體類別,同時再做一次邊界框回歸,以獲得檢測框最終的精確位置。

本文在Faster R-CNN基礎上,引入FPN(特征金字塔網絡)模塊,利用CNN網絡天然的特征金字塔特點,使得FPN和Faster R-CNN可在多個尺度級別的特征圖上分別預測不同尺寸的對象,這大大提高了Faster R-CNN的檢測能力,其結構如圖7所示。

3.2 公路路面風險源檢測與定位結果

本文使用Faster R-CNN模型對公路路面風險源中的16類風險源識別進行模型訓練,其中訓練集、驗證集和測試集分別為12 492張、3 569張和1 785張,比例為7∶2∶1。該模型在測試集上對單類型病害檢測的平均精度AP(Average Precision)結果如表1所示,全類平均精度mAP(mean Average Precision)為80.5%。

圖7 Faster R-CNN+FPN結構

Faster R-CNN模型對路面風險源的檢測和定位結果如圖8所示,不同線型方框代表不同類型風險源。圖8(a)展示了檢測到的路面中的橫向裂縫(中間實線框)和縱向拼接縫(右下方實線框);圖8(b)展示了檢測到的路面中的拋灑物(左下方實線框);圖8(c)展示了檢測到的路面中的坑槽(中間實線框)和縱向裂縫(右下方實線框);圖8(d)展示了檢測到的路面中的橫向裂縫(右側4個細長實線框)和修補塊(最右側實線框);圖8(e)展示了檢測到的路面中的行人(左側實線框)和井蓋(右側實線框);圖8(f)展示了檢測到的路面中的修復裂縫(中間橫向和右邊縱向實線框)和縱向裂縫(左測縱向實線框)。

4 高速公路行車風險源智能巡查系統

4.1 基于邊緣計算和云存儲的后端數據處理與存儲

1) 后端數據存儲

后端數據服務通過云-邊架構技術分別實現對風險源報警、風險源處理管理、風險源位置和現場信息查詢、風險源綜合統計以及大數據技術的風險源關聯關系分析。系統通過5G/4G移動通信方式將風險源的感知數據、識別結果、風險源定位等信息傳輸到云平臺,云平臺對這些數據采用關系型和非關系型相結合的方式對其進行統一存儲和管理。

表1 路面風險源檢測與定位各分類的精準率

(a) 橫向裂縫和縱向拼接縫

(b) 拋灑物

(c) 坑槽和縱向裂縫

(d) 橫向裂縫和修補塊

(e) 行人和井蓋

2) 后端計算服務

后端計算服務依托于數據服務接口,在高性能并行計算服務器中集成高速公路場景語義分析、關鍵安全標識等設備設施定位識別、行車風險源視覺辨識等核心技術方法,建立高速公路行車監測的數據管理、試驗方案和測試方法,并逐步迭代完善。在此試驗驗證通過基礎上,使用Caffe2等工業級模型框架代替原有的PyTorch研究型模型框架,應用C++等靜態語言代替腳本語義對行車風險源感知算法進行封裝和部署,建立行車風險狀態智能認知的示范應用方法,支撐高速公路智能檢養技術體系。

4.2 風險源識別的人機交互前端系統

1) 前端系統拓撲

利用PC電腦終端與手持APP實現巡檢過程的記錄以及風險源的記錄、跟蹤和管理,實現人機交互。通過行車安全風險源AI分析模塊對前端記錄的風險源信息進行分類,對各類風險源采用不同的主動監測策略,結合相應支撐環境實現數據控制、數據處理、數據分析。系統功能擴展接口,使開發者可擴展核心功能模塊,以滿足市場的需求。同時,核心功能模塊也可通過系統功能擴展接口來實現一些可插拔的功能,以提高系統的靈活性和可擴展性。系統管理和前端開發需密切協作。系統管理需確保服務器和網絡基礎設施的穩定性和安全性,以便前端開發可在可靠的環境中進行開發和部署。同時,前端開發需了解服務器和數據庫等基礎設施的相關知識,以便能夠設計出更高效和可擴展的前端應用程序。系統管理結合相應運行環境實現數據輸出,系統數據接口需與系統管理密切協作,以確保系統之間的數據交換和通信安全可靠,如圖9所示。

2) 前端系統開發

為貫通風險源采集分析軟硬件子系統,聯合后端數據及計算服務和前端業務邏輯請求,研發風險源管控的人機交互前端軟件系統,并基于Java開發平板端上位機采集、處理和交互功能模塊,以嵌入日常巡查移動終端APP,實現在日常巡查移動終端APP軟件中集成圖像采集與硬件控制、圖像處理和風險源辨識結果交互驗證等關鍵功能,減少人工識別風險源的工作量和降低風險源漏判、錯判的概率。針對多類風險源持續漸變或偶發突變的特點以及它們不同的危害程度,重點突破人機交互、多源協同的行車風險源主動監測策略,使巡檢設備自主關注風險高、變化快的區域。利用線路監測歷史記錄,結合地理位置、里程樁號等信息輔助,再通過人機協同宏觀優化,使監測設備有針對性地定點定向主動檢測重點關注區域,形成重點疑點區域的持續監視記錄。

5 裝備及系統應用

5.1 工程概況

目前,該裝備及系統在重慶、西藏部分高速公路的運用中已具有較好的使用效果。以成渝高速的日常檢測為例,成渝高速設計時速為80 km,雙向4車道。此路段總體車流量較大,重載車輛來往頻繁,路面受車輛載荷的影響較大,且正式通車時間較久,目前表觀可見路面開始出現大量損壞。為了能夠排查道路的安全隱患,對該段道路運用車載式智能巡檢裝備開展路面檢測,采集道路病害信息服務于后續道路養護工作。

圖9 公路巡檢的人機交互前端系統拓撲結構示意

5.2 檢測流程

1) 巡檢開始前對車載裝備進行檢查,確保設備能夠滿足檢測需求;2) 準備完畢后,由巡查人員在手機APP上填寫巡檢信息以開始巡檢任務,當車輛到達目標路段時,開始自動檢測;3) 巡檢過程中,車輛需在同一車道上保持時速80 km行駛,確保圖像采集穩定,也不影響高速公路正常行車;4) 隨著車輛前進,前置的雙目攝像頭采集路面實時影像并自動識別病害,檢測到的數據傳至車中的電子數據處理工作站,經過分項實時和自動處理,生成檢測報告,同時巡查人員也可通過手持APP手動上報巡查情況,后臺工作人員也可通過Web端觀看巡檢實時影像,減少病害遺漏;5) 車輛駛出設定的巡檢路段后,檢測自動停止。

5.3 應用效果

對成渝高速公路重慶段進行日常巡檢,全長114.2 km,檢測生成的報告如圖10所示。

報告中詳細記錄了每次巡查過程所檢測到的病害具體信息,為后續養護工作提供數據信息。結合案例檢測與定位對各類病害的精準率進行分析,該設備能準確獲取各類型病害的參數信息,其中對橫向裂縫和縱向裂縫識別最為靈敏,坑槽和塊狀裂縫次之,后續還需進一步提升。除了路面本身的病害,對一些交通異常情況如行人、動物、拋灑物也能有效識別,并能及時給出相應處理方案。因此,該設備能滿足目前高速公路安全、快捷、直觀的日常巡檢需求。

日巡查記錄表 編號:CYGSYHYZ-JCRW-2311220001A

6 結束語

基于機器視覺的車載式智能巡查裝備作為一種新型的道路檢測方式,與傳統的人工檢測方式相比,具備更大的優勢:在實際的工作中能降低檢測人員壓力,保證人員安全;能在正常路況中進行實時檢測,無需對被檢路段進行封堵,保證交通通暢;對各類風險源準確識別,保證較高的準確率;結合處理、交互系統實現檢測過程、數據采集、數據分析的一體化。此外,該車載式智能巡檢裝備在重慶、西藏部分高速公路得到運用,實現了利用車載式系統的路面病害智能檢測,具有良好的社會經濟效益及運用前景。