基于YOLOv8模型和LSD算法的列車接觸網腕臂識別

奚笑冬,顧正隆

(上海地鐵維護保障有限公司,上海 200025)

接觸網系統作為軌道交通系統中最重要的子系統之一,其工作環境復雜惡劣,容易發生多種類型的故障[1]。作為接觸網系統中重要部件之一,接觸網腕臂用以支撐接觸網各懸掛部件,承載著絕緣子、接觸線等元器件,其運行狀態直接影響其他接觸網元器件能否正常工作[2]。對接觸網腕臂進行檢測,可以提前識別接觸網系統相關故障及風險,避免列車運行事故的發生,具有重要研究意義和應用價值。

目前,對于接觸網腕臂的檢測仍主要通過人工目視或利用巡檢小車等方式進行巡檢[3]。上述方法雖簡單易行但效率低下,檢測結果會受作業人員的經驗、專業素質等主觀影響。此外,由于地鐵車輛運行空間內環境較為惡劣,上述巡檢方式可能危及作業人員的人身安全[4]。

近年來,基于機器視覺的目標檢測方法由于具有部署簡單、檢測效率高等優勢,逐漸在目標檢測領域得到廣泛應用[5]。目標回歸檢測方法大多是以深度學習網絡模型為基礎展開,大致可以分為兩大類[6]:一種是以Faster R-CNN[7]為代表的兩階段檢測模型,其原理是先獲取侯選框再進行分類,精度很高,但存在著速度慢的缺點[8];另一種則是以YOLO(you only look once)為代表的一階段檢測模型,因其具有較高的檢測速度、良好的檢測精度和兼容多種硬件平臺等優點而被廣泛應用于生產生活中[9]。文獻[10]提出了一種基于圖像銳化和Hough變換對接觸網橫腕臂進行識別檢測的算法,其識別精度和準確度相對較高。

在對接觸網腕臂進行圖像采集的過程中,由于圖像采集設備一般放置在高速行駛的接觸網檢測車頂部,列車和接觸網腕臂存在著快速的相對位移,在采集圖像過程中,相機曝光時會發生腕臂位置的相對變化,造成采集到的圖像容易產生運動模糊[10]。因此,需要對原始采集圖像進行圖像增強處理。

基于上述分析,本文提出了一種基于YOLOv8目標檢測模型[11]和直線段識別(line segment detector,LSD)算法[12]的列車接觸網腕臂視覺檢測系統,可準確識別和提取接觸網腕臂信息,提升對腕臂的識別準確度和識別精度。

1 算法總體框架

為識別復雜圖像背景中列車接觸網腕臂的正反架,首先采用機器視覺中YOLOv8模型對圖像進行粗提取,準確分割出腕臂區域;然后對圖像進行HIS(hue-intensity-saturation)變換、濾波和補償,進一步增強圖像特征,濾除圖像噪聲;最后針對腕臂在空間中的鏤空特征,通過LSD算法,對腕臂直線段進行提取。具體算法流程如圖1所示。

圖1 基于YOLOv8與LSD算法流程圖

YOLOv8的網絡結構[11]如圖2所示,主要包括Backbone骨干網絡、Neck頸部網絡兩部分。Backbone骨干網絡主要用于提取圖片中的信息,并提供給Neck頸部網絡,其由Conv模塊、C2f模塊和SPPF模塊組成;Neck頸部網絡主要進行特征融合,對從骨干網絡提取到的特征進行處理。

圖2 YOLOv8網絡結構

2 接觸網腕臂圖像增強預處理流程

圖像增強預處理是指對腕臂輪廓進行突出強化,這一過程包含對采集到的腕臂圖像中的線條進行分辨識別,即線條的細節表現程度;判斷腕臂線條的邊緣清晰程度,即圖像邊緣過渡區域的寬窄。為將圖像灰度值產生突變的部位凸顯出來,首先,對檢測圖像進行濾波變換處理以提高圖像的對比度,然后利用二值化處理方法進行圖像邊緣增強處理。

本文采取的圖像預處理流程如下:

1) 根據第1節中基于YOLOv8模型得到的腕臂圖像,提取圖像的R(紅色)、G(綠色)、B(藍色)3種分量,并將其轉換到HSI色彩空間,獲得H(色調)、I(亮度)以及S(飽和度)3種分量;

2) 對飽和度分量S,使用中值濾波進行處理;

3) 對亮度分量I,使用雙邊濾波來進行增強;

4) 對整副圖像的亮度進行補償;

5) 將飽和度分量S、亮度分量I以及原色調分量H這3個分量進行組合;

6) 對組合后的圖像進行二值化處理,將具有多個灰度級的圖像轉換為灰度值僅為0或1的圖像。

2.1 HIS顏色空間

HIS是由Munseu提出的一種顏色模型[13],從人的視覺系統出發,直接使用色調、飽和度和亮度來描述顏色,可以用一個圓錐空間模型描述,如圖3所示。

圖3 HIS顏色空間模型

2.2 圖像濾波及補償

列車高速相機在拍攝時采集到的噪聲中主要包含椒鹽噪聲和零均值高斯噪聲,噪聲易使圖像出現模糊、細節丟失及灰度值的失真等情況。為降低噪聲對圖像的影響,本文針對2.1節中處理后的HIS腕臂圖像,對其飽和度分量S使用中值濾波進行處理,對其亮度分量I使用雙邊濾波進行增強。

2.2.1中值濾波

中值濾波是基于排序統計理論的一種能有效抑制噪聲的非線性信號處理技術,其運算簡單、速度快,濾除噪聲的同時還能很好地保留圖像的細節信息[14]。

對于二維圖像信號Xij,定義濾波窗口的長度為L=2N+1,N∈,其中N為在輸入信號邊界填充的信號個數,然后在信號序列Xi+r,j+s中進行窗口滑動,其中r和s為窗口維度。接著對窗口中的Xi+r,j+s進行排序操作,位于(i,j)處的序列樣本值即為中值濾波的輸出Yij,用公式表示為:

Yij=med{Xi+r,j+s}

(1)

式中:med{·}表示取序列的中值。

2.2.2雙邊濾波

雙邊濾波[15]是一種非線性的濾波方法,可對圖像的空間鄰近度和像素值相似度進行折中處理,同時考慮空域信息和灰度相似性,并對圖像進行邊緣保存,具有簡單、非迭代、局部的特點。

假設原始圖像在點(x,y)的像素值為U(x,y),雙邊濾波后像素值對應為V(x,y),則有:

(2)

式中:E(x,y)表示以點(x,y)為中心點、面積為(2N+1)2的正方形范圍,N∈;k(i,j)為加權系數。

3 LSD算法

常用的直線段檢測算法有Hough直線檢測算法和LSD算法等。相較于Hough算法,LSD算法具有識別準確、誤差可控、運行速度快、不需要調節參數等諸多優點。本文使用LSD算法進行接觸網腕臂直線段識別。

LSD算法是一種直線段檢測方法[12],其基本思想是檢測圖像中梯度變化較大的像素點集,以達到在線性時間(linear-time)內獲取亞像素精度的線段檢測結果。LSD算法基本流程如下:

1) 高斯降采樣,將圖像長、寬進行縮放,再進行高斯濾波;

2) 梯度計算,點(x,y)的灰度值為f(x,y),灰度圖像x方向的梯度gx(x,y)和y方向的梯度gy(x,y)可由下式計算:

gx(x,y)=[f(x+1,y)+f(x+1,y+1)-f(x,y)-f(x,y+1)]/2

(3)

gy(x,y)=[f(x,y+1)+f(x+1,y+1)-f(x,y)-f(x+1,y)]/2

(4)

3)區域生長,合并基準線場方向近似一致的像素;

4) 更新區域的傾斜度;

5) 直線段確定。

4 接觸網腕臂檢測實驗

本文采集上海地鐵8號線實際運營某段監控視頻,并對該視頻進行了分幀截取,共500張弓網圖,使用Open CV完成數據采集、數據標注等數據集前期準備工作。以下實驗中,數據集的劃分比例和方式相同,首先將制作的數據集(.xml和.jpg)按照固定的比例進行劃分,其中訓練集占總數據集的80%,測試集占總數據集的20%,兩者比例為4∶1,驗證檢測算法的有效性。本文中所有實驗均是基于python+Open CV2開展的。

4.1 基于YOLOv8的接觸網腕臂識別訓練測試實驗

在訓練集中對前文所述YOLOv8模型進行模型訓練后,在測試集中進行算法檢測,部分檢測結果如圖4所示。從圖4可以看出,YOLOv8模型可以對接觸網腕臂正反架進行精準檢測,達到了預期設計目的。

圖4 訓練后的腕臂正反架檢測圖

4.2 基于圖像濾波與閾值分割

為進一步提取接觸網腕臂信息,針對4.1節基于YOLOv8模型識別出的接觸網正反架圖片進行圖像增強,原始圖像及增強后的HIS各分量圖像如圖5所示。

圖5 經過HIS變換后的各分量圖像

去噪后,對圖像進行二值化灰度處理,然后選擇S+I-H作為算子進行閾值分割,如圖6所示。

圖6 閾值分割后的圖像

4.3 基于LSD算法的接觸網腕臂直線段檢測實驗

為了測試文中所述方法的性能,從訓練樣本中選取部分圖像來評估算法的實際效果。圖7顯示了LSD對接觸網腕臂直線段的識別結果。

圖7 LSD算法處理后的圖像

類似地,采用相同算法流程,對接觸網反架腕臂進行處理,結果如圖8所示。

圖8 列車接觸網腕臂反架識別

由圖7及圖8可知,基于YOLOv8模型先對列車接觸網腕臂位置進行檢測,然后對腕臂的位置圖像進行增強處理,最后基于LSD算法對腕臂直線段信息進行提取的流程可以準確提取接觸網腕臂直線段信息。由于相機安裝在高速行駛的列車上,在拍攝過程中,相機的傾斜和光線的反射以及抖動等問題難以完全消除,依然存在部分圖像模糊等問題,導致圖8以及圖9中識別到的線段輪廓和實際腕臂形狀存在一定誤差,對接觸網腕臂的識別準確度造成了一些影響。

5 結束語

為實現復雜圖像背景中列車腕臂正反架識別,本文首先采用機器視覺中YOLOv8模型進行粗提取,準確分割出腕臂區域;其次對圖像進行HIS變換、濾波和補償,進一步增強了圖像特征;針對腕臂在空間中的鏤空特征,通過LSD算法,對腕臂直線段信息進行了檢測提取。通過實驗可以看出:針對小樣本數據集, YOLOv8模型依舊擁有很高的識別準確度;同時借助濾波變換等圖像增強處理方法以及LSD算法,獲得了更加準確的接觸網腕臂直線段輪廓。實際應用中,相機抖動以及相機成像質量等因素都會對接觸網腕臂的識別準確度造成不利影響,將是本文后續工作重點研究的方向。