基于改進YOLOv5s的橋墩缺陷檢測ROV設計應用

齊曉軒, 陶九明, 陳 鑒, 何至誠, 袁鵬達

(沈陽大學 a. 應用技術學院, b. 信息工程學院, c. 統戰部, 遼寧 沈陽, 110044)

近年來,暴雨、洪水、地震等自然災害頻發,導致部分道路、橋梁等基礎水工設施產生不同程度損壞,敲響了橋梁安全問題的警鐘。因實際環境限制,現有的水下墩樁結構檢測方式受到很大制約,市面上傳統的水下作業主要依靠人工肉眼觀察或探摸,費用高、周期長,且過深水下環境不僅對潛水員的生命健康造成威脅,也會降低檢測任務的實時性。隨著水下機器人科技的發展,具有惡劣水下環境檢測與作業能力的機器人逐漸展現出了很高的性價比優勢。

2018年, 高娟[1]在關于橋梁裂縫智能檢測機器人的研究中提出履帶吸盤爬壁機器人, 通過爬行吸附機構可保證機器人在復雜水流環境下穩定運行; 同年,Sakagami等[2]在負壓效應板大壩檢測機器人的研制中提出水下機器人和大壩表面之間產生拉力的新裝置, 該裝置由常規推進器和盤板組成, 依靠盤板擴大推進器吸附力進行機器人吸附運動; 2019年,Hirai等[3]發表大壩檢測水下機器人的研究, 采用地面站加ROV的人機協同模式進行大壩檢測任務; 2020年,Le等[4]提供了一種創新且實用的解決方案(SPIR), 是世界上第一個用于水下結構清潔和檢查的自主機器人系統。 由上述研究可知,水下機器人完全可代替潛水員進行橋墩水下檢測任務。 橋墩附近水流流速較大, 可達2 m·s-1以上, 易產生亂流現象, 相比于浮游式及渦流吸附式結構, 抱臂式結構明顯更加適合進行水下檢測。 缺陷圖像采集一般通過搭載的聲納、無損檢測儀、水下相機等設備實現, 近年來隨著深度學習模型在水下圖像檢測的應用與發展[5-10], 提高檢測精度的同時只需配合水下相機就可以完成實時檢測, 極大地降低了檢測成本。

本文針對橋梁水下基礎結構檢測與修復的現狀,從實際工作需要出發,設計了一款基于改進YOLOv5s的橋墩缺陷檢測ROV,具有深水作業功能、浮游和抱臂爬行復合運動功能、水中缺陷自主識別與定位功能、抗水流干擾的全方位靈活運動功能。所提及的缺陷檢測系統輸出圖像在21幀率左右情況下準確率可達90%以上。ROV進行真實水域測試結果顯示,完全符合檢測預期,可實現替代人工檢測目的。

1 系統總覽

自主研發設計ROV整體采用開架式結構,主體分為上下2個部分,分別為ROV本體結構和抱臂夾持機構,采用了模塊化安裝方式,設備整體重量輕、強度高,方便快捷回收和釋放,可實現浮游狀態下的全向自由航行以及爬行狀態下的繞橋墩表面運動,通過遙控操作,可對作業區進行定點精細檢測。其整體機械結構如圖1所示。根據橋墩缺陷檢測實際任務需求,考慮到ROV需要從岸基點浮游到橋墩附近,期間受橋墩附近亂流影響嚴重,設計具有8個推進器成矢量分布的本體動力結構,可實現ROV浮游狀態下的全向運動;考慮到橋墩表面青苔等苔蘚植物覆蓋有天然潤滑的作用,使得ROV難以吸附,設計繩傳動的抱臂夾持機構為ROV穩定檢測工作提供了可靠平臺。

圖1 ROV整機機械結構Fig.1 Mechanical structure of ROV machine

ROV本體結構組件包括推進器、水下電子艙、浮力材料、框架、臍帶纜、攝像頭、可選配部件聲吶等,見圖2?？紤]到ROV受力均衡問題,設計ROV左右、前后、上下均對稱的本體框架;考慮到傳感器元件、控制器元件及其元器件水下工作的遇水導電性,設計密封電子艙,為控制系統提供防水空間。

圖2 ROV本體結構Fig.2 Mechanical structure of ROV

抱臂夾持機構組件包括機械臂驅動電機、機械臂、張緊機構等,其具體組成如圖3所示。夾持機構由一臺內置200 W電機的電動推桿通過齒輪組之間相互咬合驅動,其驅動軸由聯軸器將其與電機連接在一起,外置輸出軸直連抱臂,抱臂由鋼絲繩帶動,左右抱臂保持同步移動。設置壓力傳感器檢測機臂壓力,當超過壓力限定,機臂停止收縮并保持當前狀態直至接收到下一次任務指令。

圖3 抱臂夾持機構Fig.3 Arm holding mechanism

考慮到檢測作業需要較高精度與檢測范圍,整體控制系統采用了機箱式上位機加ROV水下執行系統的分布式結構控制方式,如圖4所示。上位機及其遙控裝置負責指令的發布,同時通過上位機對ROV進行檢測圖像及各傳感器參數界面監控,以便應對各種突發情況,水下執行系統設置Arduino單片機作為水下直接控制單元,協同各傳感器進行ROV運動狀態數據采集,另外設計岸基供電箱加機載電源的供電單元、推進器加電動推桿的驅動執行單元、水下相機加補光燈的檢測單元等。繼而通過含有光纖結構的臍帶纜單元實現主副控制器耦合、水上水下系統通訊。

圖4 硬件控制系統結構Fig.4 Hardware control system structure

檢測單元為水下相機加補光燈的視覺檢測模塊, 將橋墩表面實時錄制圖像通過臍帶纜上傳至上位機, 配合相關視覺檢測算法對視頻中圖像進行增強、缺陷識別、語義分割等; 驅動執行機構主要包括支持ROV運動及姿態變換的多推進器和支持ROV抱臂爬行的電動推桿直流電機; 水下輔助控制單元采用Arduino系列單片機, 主要用于ROV搭載傳感器的數據采集, 分擔上位機運行負荷同時以便于上位機更好的監控ROV運行狀態; 通過姿態解算,配合自主設計控制算法, 實現ROV水巡航檢測任務。

2 缺陷檢測

橋墩缺陷檢測ROV的功能是檢測橋墩表面是否存在腐蝕、裂紋等缺陷?？紤]到水下缺陷圖片的搜集比較困難,數據集量小從而導致神經網絡在進行識別時準確率不高,采用CycleGAN網絡[11]的改進版SESS-CycleGAN生成水下裂縫缺陷的圖片用于擴建圖像數據集,送入水下白平衡算法增強,進而用于接下來的神經網絡訓練,考慮到水下作業的高要求與實時性,缺陷檢測采用基于注意力機制改進的YOLOv5s網絡,相比于YOLOv5s原檢測網絡[12],將原Backbone主干網絡中的池化金字塔結構(spatial pyramid pooling, SPP)替換為空洞空間卷積池化金字塔(atrous spatial pyramid pooling, ASPP),并在Neck網絡后添加改進的自適應注意模塊(improved adaptive attention module, IAAM)結構,繼承了原檢測算法更換數據集自動確定初始錨框大小帶來的多數據集適應性等優點,使得檢測速度與精度有一定的提升,最后采用PSP-Net語義分割識別算法對水下目標進行缺陷精確分割與預估。改進的YOLOv5s網絡模型架構如圖5所示。

圖5 改進的YOLOv5s網絡模型Fig.5 Improved YOLOv5s network model

2.1 空洞空間卷積池化金字塔模塊

空洞空間卷積池化金字塔模塊(ASPP),內置4個不同采樣率的空洞卷積層及一個池化層并行[13-14]?？梢詫⒔o定特征分別以其對應采樣率通道單獨處理,提取不同尺度下的特征,最終融合生成所需特征結果。優勢為其空洞卷積的添加相比于SPP在無需減小圖像大小,即不丟失分辨率情況下以指數形式擴大卷積核感受野,空洞池化層的添加使得給定特征可自適應均值池化,具體結構如圖6所示。

圖6 ASPP模塊結構Fig.6 ASPP module structure

2.2 改進的注意力機制

考慮到缺陷的形狀不一,且有些缺陷的形狀細長,存在尺度變化,對于YOLOv5s主干網絡的特征層加入如圖7的AAM結構,并將圖7虛線框內所描述頸部結構替換為輕量型的高效通道注意力模塊(effificient channel attention, ECA),提高了網絡對于缺陷自適應檢測模型效率與計算效果。

ECA模塊作為SE-Net的改進,避免了通道降維,增加了一維卷積核的自適應選擇,用以確定局部跨通道覆蓋率,適當捕獲了局部跨通道信息交互,從而實現了檢測性能的提優[15]。

網絡結構融合后的IAAM模塊通過自適應池化層獲得不同尺度的語義特征,接著對每個上下文特征進行1×1卷積,以獲得相同的通道維數。利用雙線性插值進行尺度歸一化處理;之后進入ECA模塊處理,將給定特征值通過GAP全局平均池化得到聚合特征;繼而通過內核大小為K的一維卷積實現局部跨信道信息交互,快速生成通道權重;然后特征圖經過sigmoid激活層和一維卷積歸一化相對應權值,生成的權值映射和合并通道后的特征映射經過Hadamard乘積操作,將其分離并添加到輸入特征映射中,再次對上下文特征進行聚合得到最終特征圖,從而在降低網絡復雜度的同時完成了所需橋墩缺陷圖像檢測識別。

3 試 驗

3.1 視覺試驗環境

本文設計的裂紋目標檢測模型在深度學習服務器下進行,使用Python 3.7.0和PyTorch 1.2.0進行搭建,編程開發工具使用PyChram2021。模型訓練在Ubuntu 18.04操作系統下進行,GPU為NVIDIA Tesla v100 32GB,CUDA版本為10.0.130。本章試驗訓練、測試均使用相同的參數配置,輸入圖像為 640×640、訓練采用YOLOv5s的預訓練權重,總訓練輪次為100、優化器選擇SGD、學習率初始為0.002、batch size設置為8。

3.2 視覺試驗結果分析

為驗證所改進算法的優越性,對比其他3種常見的目標檢測算法Fast R-CNN[16]、YOLOv4+SE和YOLOv4-tiny+ASPP。試驗證明了改進后的YOLOv5s在各項指標上均優于其他算法,證明了檢測算法的有效性。

3.3 真實水域試驗

為了驗證整套橋梁缺陷檢測系統是否到性能指標的要求,我們進行了室內試驗和實橋試驗,對整套設備的性能指標、使用效率進行驗證和評價,室內試驗是通過制作模擬測量橋墩缺陷(裂縫、剝落掉角)的標定物,來確定整個系統精度是否達到設計要求;實橋試驗是通過橋梁檢測人員現場使用,來對整個缺陷檢測系統的操作流程、使用效率及缺陷檢測系統的缺陷識別率進行判斷和評價。

表1 目標檢測對比Table 1 Target detection comparison

室內試驗采用水池固定白桶測試,搭建模擬環境對設備的各個功能進行了驗證。首先對ROV進行特制浮力塊精確配比,浮力塊采用聚胺酯閉孔發泡材料,密度為0.15～0.25 kg·L-1,外涂膠衣,材料無毒,用來調整浮游裝置的整體浮力和重力平衡,其受到的浮力近于用于中和推進器在水中的重力,配比完成后為設備通電,用以對設備的整體電氣狀態及各模塊進行檢測,通電后各模塊電氣狀態良好,各模塊的工作狀態功能也全部正常。驅動ROV測試運動能力,當接觸到白桶,夾持裝置開始收縮,直至壓力傳感器達到設定閾值,并沒有出現過分收緊導致ROV不能轉動的情況,可見ROV抱臂系統工作正常,壓力傳感器設置閾值可以正常使用,實驗中同時驗證了相機使用情況,如圖8可以看出,水下相機所拍攝圖像基本清晰。

(a) 外部觀測圖(b) 上位機監控界面

外場試驗選定的是遼寧省沈陽市新開河聯合路段的一座橋的橋墩,該橋墩直徑約為95 cm,橋下水深約為140 cm。按照橋墩檢測需求進行了ROV水下檢測試驗,包括上下檢測、繞橋墩表面左右旋轉檢測。

從水下相機實時檢測視頻中截取部分圖像如圖9所示。

(a) 作業實況(b) 橋墩表面

檢測到實時水速0.771～1.028 m·s-1,橋墩底部由礫石和鵝卵石組成,以當時水平面為界0.85 m以下,橋墩表面局部覆蓋2.54～5.08 cm厚水生生物生長層,檢查結果顯示,混凝土完好,未發現任何重大缺陷。

經橋墩缺陷檢測ROV水域測試后,通過具體實驗情況分析ROV各項性能指標,如表2所示。

表2 ROV性能指標Table 2 Performance indicators of ROV

為驗證視覺檢測效果,對橋墩附底部基樁表面混凝土結構進行檢測,機箱視覺系統在Windows 10操作系統下,使用PyQt作為系統開發框架,GPU為NVIDIA GTX 1060 Max-Q,內存16G。將水下相機實時錄制的圖像上傳至上位機,同步到深度學習服務器進行水下圖像實時增強與缺陷檢測。

視覺檢測分2步進行,首先,利用相機對水下表觀圖像進行采集,其次,將采集視頻導入缺陷視覺檢測系統進行圖像分析。自主設計的缺陷視覺檢測系統對真實水域相機實時拍攝圖像進行渾水成像、圖像增強、缺陷檢測、語義分割等方面處理,最終檢測結果如圖10所示。

4 結 論

本文所設計的橋墩缺陷檢測ROV已在沈陽市新開河聯合路段完成橋墩檢測任務,檢測指標均達到橋墩檢測標準,通過ROV執行水下檢測任務的完整性與時效性,驗證了本文所設計橋墩缺陷檢測ROV能夠達到預期目標,所搭載硬件系統和驅動軟件能夠給ROV的上層控制軟件提供一個穩定基礎。加入改進YOLOv5s方案的缺陷檢測系統使得檢測精度有較大提升,降低了檢測所需成本,具有實用價值,可為橋梁的后期養護管理工作提供詳實的數據,未來可推廣至水工設施檢測、海工、軍工等市場。