一種將深度學習運用于地鐵列車緊固件防松標識檢測的方法

黃海東 顏歡

（東莞市軌道交通有限公司，廣東東莞 523000）

0.前言

如今，城市軌道交通飛速發展，地鐵是大多數人不可或缺的交通工具。為保證列車質量可靠、運行安全，列車檢查由主要人工定期巡檢完成。但人工巡檢安全保障模式存在以下問題：可能出現漏檢或誤檢，檢查效率低，給行車安全帶來隱患。其中，地鐵列車緊固件屬于關鍵部件，而其尺寸小、數量多，給檢測帶來了一定困難。緊固件連接是機械設備中廣泛使用的緊固件之一，因拆卸方便、緊固優異的特點，多用于受力復雜部位或重要的結構接頭處，但受使用環境和力學特性的影響，緊固件又往往是此類連接方式中的薄弱環節。地鐵車輛在裝配過程中會大量使用緊固件連接，當車輛運行時，高速行駛的車輛和鐵軌不斷相互作用，產生不同方向的振動形式，很容易導致緊固件連接結構松動甚者脫落，造成安全問題。

本文中提出了一種新的緊固件異常檢測方法，該方法基于圖像處理與深度學習技術，通過拍攝地鐵列車車底、走行部等部位，分析所得圖像，自動識別緊固件位置，自動檢測緊固件防松標識是否完整，從而檢測緊固件是否發生松動。此前的緊固件松動檢測方法大部分也是基于圖像處理，不過由于地鐵列車在行駛過程中緊固件處經常會被油污、灰塵等覆蓋，導致防松標識不完整或不清晰，使得大部分的檢測方法只能基于對比或緊固件外形來判斷，但其局限性較大，當遇到緊固件表面灰塵變化或特殊形狀緊固件時，往往無法進行判斷?；谶@些情況，我們提出了一種新的檢測緊固件松動的方法，通過深度學習圖像生成模型對緊固件圖像進行恢復，還原其防松標識的狀態，同時消除油污、灰塵等的干擾，大大提高了地鐵緊固件異常檢測的準確率。

1.總體介紹

在本文中我們提出了一種地鐵列車緊固件異常檢測的算法，通過對列車圖像進行分析，檢測地鐵列車緊固件防松標識判斷螺栓是否發生松動，在檢測過程中運用了深度學習目標檢測及圖像生成技術。在以往的方法中，判斷緊固件異常往往只能采用對比的方式，但緊固件表面的紋理或臟污等其他干擾因素會影響判斷結果。我們采用的新的方法針對以往方法遇到的問題，突破了只使用對比進行檢測的弊端，使緊固件防松標識可以更好地被提取出來，一定程度上解決了緊固件防松標識被灰塵、油污等遮擋后難以檢測的問題，和以往的算法相比，提高了緊固件防松標識提取的成功率，降低了漏報率。

我們算法總體可分為3個部分：第一部分為緊固件定位部分，通過一個深度學習目標檢測模型對地鐵列車圖像中需要檢測的緊固件進行定位，并根據緊固件形態進行簡單分類，如螺栓、螺母、方孔鎖等；第二部分使用一個深度學習圖像生成模型對防松標識進行還原，由于列車在行駛過程中緊固件位置很可能會積累油污、灰塵等，會對緊固件防松標識造成一定程度的遮擋，導致檢測出現偏差，而這也是以往算法無法解決的問題，我們通過訓練一個深度學習圖像生成模型，對緊固件固定端與活動端兩部分的防松標識進行還原，去除表面其他因素的干擾；第三部分中使用一個語義分割模型，對第二部分中生成的圖像進行區域分割，提取緊固件防松標識，后續就可以通過判斷防松標識角度、位置等檢測緊固件是否發生松動異常。

2.具體過程

2.1 第一部分：目標檢測部分

在算法中的第一部分是一個目標檢測模型，通過識別地鐵列車圖像，對其中需要檢測的緊固件識別定位，由于緊固件類型有多種，其防松標識的畫法不同，所以，需要在定位的同時識別緊固件的類型。我們共設置了4個類別：螺栓、螺母、方孔鎖以及其他。其中，螺母端緊固部分，我們將其劃分為螺母類別，螺栓端緊固的部分，我們將其劃分為螺栓類別，方孔鎖部分，則統一劃分為方孔鎖類別，其余的緊固件結構全部歸為其他類別。由于相機拍攝角度問題，緊固件防松標識不一定正對相機，所以我們在上述4個類別的基礎上，添加了一個二級類別，分別包括：Ⅰ型緊固件和Ⅱ型緊固件，Ⅰ型緊固件指的是緊固件發生松動時防松標識在相機平面轉動；Ⅱ型緊固件指的是緊固件發生松動時防松標識不在相機平面轉動。

我們使用的是YOLO系列的YOLOv5模型，YOLOv5是一種單階段目標檢測算法，是YOLO系列算法中較為先進的算法模型，其基本框架與YOLOv3一致。在YOLOv4提出后，該算法又在YOLOv4的基礎上添加了一些新的改進思路，使其速度與精度都得到了極大的性能提升。我們主要使用YOLOv5中的圖像增強方法，如Mosaic數據增強、自適應錨框計算、自適應圖片縮放等。同時，利用其特征提取結構，如Focus結構與CSP結構、FPN+PAN結構等，在最后損失函數部分，我們根據自己的實際情況做出了調整。由于我們對類別做出了特殊約束，所以在損失函數部分采用了兩個交叉熵損失函數，總類別數設置為5，其中前4個類別使用一個交叉熵損失函數進行判定，即使用前4個類別表示螺栓、螺母、方孔鎖以及其他，最后一個類別表示Ⅰ型緊固件或Ⅱ型緊固件。由于前4個類別相互之間是互斥的，第五個類別與前4個類別沒有相關性，所以前4個類別使用Softmax函數激活后使用交叉熵損失函數得到損失，第五個類別使用Sigmoid函數激活后使用二值交叉熵損失函數得到損失，最后再將兩個損失相加，具體公式如下：

其中，loss1為前4個類別的損失函數，loss2為第五個類別的損失函數，最后將兩個損失相加作為最終的損失。

2.2 第二部分：圖像生成部分

我們在算法第二部分中使用一個深度學習圖像生成模型，列車緊固件圖像中緊固件表面的防松標識可能會被表面污漬遮擋，所以我們利用深度學學習圖像生成模型的目的是利用部分未被遮擋的防松標識對緊固件防松標識進行完整還原。

圖像生成模型采用擴散模型框架，擴散模型不同于GAN模型，GAN模型同樣在圖像生成領域有著不錯的效果，但其也存在訓練困難，需要對參數進行大量微調才可以達到較好的效果，擴散模型則是一項受熱力學啟發的發明，近年來已顯著普及。擴散模型通過反轉逐漸添加的噪聲過程來學習生成數據，是一種新型的圖像生成模型結構，其中包含一個正向過程和一個逆向過程，正向過程也稱擴散過程，通過逐步向圖像中添加噪聲使原始圖像變為一個高斯分布的噪聲圖像，反向過程則是將噪聲圖像還原為原始圖像，訓練過程則是通過神經網絡擬合反向過程使神經網絡可以將帶有噪聲的圖像還原為真實圖像。在我們這里則是控制添加噪聲的區域，只向緊固件防松標識附近添加噪聲，模擬防松標識被污漬遮擋的特征。在噪聲方面，原始的擴散模型添加的是高斯噪聲，由于我們特有的圖像特征不同，所以我們這里是通過提取被污漬遮擋的緊固件防松標識附近的圖像區域，提取區域灰度值分布，建立特征分布圖，根據特征分布對應添加噪聲。

在噪聲添加部分，我們選擇了高斯噪聲。高斯噪聲是指它的概率密度函數服從高斯分布（即正態分布）的一類噪聲，常見的高斯噪聲包括起伏噪聲、宇宙噪聲、熱噪聲和散粒噪聲等。我們認為，在圖像中緊固件表面的一些污漬或其他影響因素也屬于高斯噪聲的一種。所謂高斯噪聲，是指它的概率密度函數服從高斯分布（即正態分布）的一類噪聲。由于列車緊固件圖像會受水漬、污漬、天氣情況、相機情況等各種各樣的因素影響，各種因素在圖像中灰度值并不固定，但又有一定的規律性，所以，我們認為在各種因素的加持下，可以將其灰度值分布視為高斯分布。

2.3 第三部分：圖像分割部分

在算法的第三部分，我們使用了一個圖像分割模型。圖像分割模型主要是用于提取緊固件防松標識部分，第三部分的輸入是第二部分將原始圖像還原后的圖像，經過第二部分處理后，圖像防松標識部分特征更加突出，更容易提取對應區域。在輸出部分，我們設置了3個類別，分別為：緊固件防松標識、緊固件活動段和緊固件固定端。識別緊固件活動段與固定端主要是為了在后續過程中對防松標識進行進一步區域劃分，由于緊固件活動段與固定端的防松標識特征一致，很難直接進行區分，而我們關注的部分主要為緊固件活動段部分的防松標識，所以，需要將活動段與固定端的區域做一個區分。

圖像分割模型我們采用的是Unet系列模型，Unet是在Fcn基礎上提出的一種應用于醫學影響的分割網絡，由于醫學網絡模型通常只有很小的數據集，而Unet結構可以使模型得到很好的泛化能力，而我們的數據集也同樣存在數據不足的情況，所以使用Unet結構模型可以一定程度上減少因數據不足而帶來的過擬合的情況。由于圖像特征較為明顯，為防止過擬合，不需要使用網絡深度太大的模型，我們對原始的模型結構進行了量化剪枝操作，在加快了模型推理速度的同時能夠擁有更好的性能。在輸出的3個類別中，緊固件活動段與緊固件固定端兩個類別是互斥的，緊固件防松標識與其他兩個類別不互斥，所以我們使用了與第一部分同樣的操作，互斥的類別之間使用Softmax激活函數，防松標識類別使用Sigmoid激活函數，損失函數部分都使用二值交叉熵損失函數。

交叉熵是深度學習中經常用到的一個概念，常用在損失函數的定義中，用來求目標值和預測值之間的差距。二值交叉熵被普遍應用于二分類問題中，作為損失函數出現，其本質是衡量兩個分布的相似度。

3.試驗過程

由于整個算法中涉及多個深度學習模型，所以，我們在試驗過車中將對各個部分分開進行測試。其中，第一部分的結果作為第二部分的輸入，第二部分是一個圖像生成模型，無法對其進行有效的單獨測試，因此，我們將第二部分與第三部分合并測試。

第一部分是通過一個深度學習目標檢測模型對緊固件進行定位及分類，我們將分別評估其緊固件檢出的準確率和分類的準確率。在前面說到，我們共設置了5個類別，其中前4個類別是互斥的，表示緊固件的一種屬性，最后一個類別表示緊固件的另外一種屬性，在測試過程中我們也將對這兩個屬性進行分別統計。我們在測試中共使用了384張圖像，共包含緊固件1865個，其中，檢測出了1865個緊固件，誤檢了1個緊固件，檢測準確率為99.95%，在分類過程中，1865個緊固件分類正確的個數為1835，分類準確率為98.39%，Ⅰ型緊固件和Ⅱ型緊固件之間測試中未發生類別錯誤。

第二部分與第三部分是聯合測試，第二部分為一個圖像生成模型，其輸出作為第三部分的輸入，由于我們關注的并不是生成結果的質量好壞，而是第三部分輸出的結果的準確率，所以，我們只對第三部分的結果作出評估。第三部分是一個圖像語義分割模型，在此部分共設置了3個類別，我們將分別計算每個類別的IOU指數，最后得出總體的mIOU作為評價指標。我們共收集了200張防松標識不明顯的緊固件圖像，作為第二部分的輸入，在第二部分進行還原后，再將還原后的圖像輸入到第三部分中，然后比較第三部分結果與標簽部分各類別的重疊面積比率，即mIOU，最后得出結果防松標識與緊固件部分圖像語義分割準確率達到83%，除個別位置其防松標識角度本身無法滿足檢測的要求，其余緊固件均可通過第三部分的輸出判斷其是否發生松動等異常。

4.結語

本文提出的地鐵列車緊固件檢測方法，主要利用一些先進的深度學習圖像方法，解決了以往對緊固件異常進行判斷時出現的無法檢測的問題，且充分考慮到了列車在行駛過程中緊固件的狀態，使用深度學習生成模型對緊固件各種狀態下的圖像進行還原，使緊固件放松標識在各種情況下都可以被提取出來，從而大大加強了列車緊固件異常檢測的準確率。