面向鐵路道岔情景下的列車軌道區域檢測方法

陳裔鋆，陳 羽，滕 飛

1.西南交通大學計算機與人工智能學院，四川 成都 611756

2.西南交通大學唐山研究院，河北 唐山 063000

中國的軌道交通運輸目前正面臨人員和物資大規模流動的壓力，而障礙物侵入軌道線路給鐵路安全帶來了重大隱患。國際鐵路聯盟聲稱90% 的鐵路事故是由第三方障礙物侵入鐵路車道造成的。鐵路安全事故帶來了社會經濟損失和人員傷亡。因此，需要高度重視并采取有效措施加以解決[1]。為了保證列車的安全行駛，提高列車的主動障礙物檢測能力成為解決問題的有效手段，而列車主動障礙物檢測的基本要求之一是鐵路軌道區域的檢測。

近年來，許多學者致力于鐵路軌道區域檢測并提出了各種方法，如軌道區域分割、軌道道岔檢測等。目前，軌道交通感知技術一般分為兩部分：一是將城市道路感知方法直接運用到軌道交通領域；二是充分利用軌道交通的特點，在原有交通技術上改進?，F有軌道交通感知技術大多直接取自城市交通技術。

汽車車道線檢測技術已經非常成熟，并已廣泛應用于自動駕駛領域。文獻[2] 通過神經網絡直接從圖像中分割出車道線像素；文獻[3] 巧妙地結合傳統圖像特征和神經網絡提取車道線；文獻[4] 將車道線抽象為圖進行檢測。然而，軌道交通有其自身的特點，若不考慮鐵路的具體情況，僅僅遷移車道線檢測技術是遠遠不夠的。因此，一些研究者將車道線檢測技術與軌道交通系統的特點相結合，研究了軌道區域檢測技術。

在軌道區域檢測方面，一些研究者使用傳統分割方法得到軌道區域，利用鐵路的幾何特征來檢測鐵路和鐵路車道。其中，基于反向透視變換的軌道區域檢測方法是先將車載攝像機捕獲的圖像轉換為鳥瞰圖[5]，然后利用不同的軌道特征提取出軌道線。文獻[6] 提出了一種通過滾動窗口檢測軌道邊緣的道岔檢測算法，然后基于定向梯度和模板匹配進行軌道檢測。文獻[7] 在估計軌道位置的基礎上，在圖像中沿軌道邊緣確定一個通暢的空間，擬合軌道邊緣曲線。文獻[8] 根據軌道匹配的邊緣特征對軌道曲線進行擬合，并使用拋物線段對軌道曲線進行擬合，將其延伸到較遠的區域。文獻[9] 首先計算定向梯度特征的直方圖，構建完整的圖像，然后使用區域生長算法提取鐵軌，最后通過識別道岔的開口方向找到列車將通過的路徑。文獻[10] 提出了一種新穎而通用的系統來檢測軌道的位置。

一些研究者使用神經網絡對軌道區域進行分割[11-14]，然而在大量的軌道像素中依然很難區分出特定的運行軌道。于是一些研究人員將注意力轉向道岔檢測，以提高列車安全性[15]。這也帶來了新的問題，簡單的道岔或開合方向檢測只能近似地確定可能對列車有危險的區域，而不能準確地確定對列車的危險程度。

綜上所述，目前的軌道檢測方法多用于簡單設置下的軌道檢測，如單軌或平行軌。然而，在列車運行過程中環境復雜，經常會遇到鐵路道岔?，F有技術和算法大多無法檢測多個道岔設置下的軌道，但對于運行的列車來說，該場景屬于高風險場景[16]。在復雜的環境下，軌道檢測是極其困難的。首先，隨著列車行駛，坡度通常會發生變化，使得攝像機與鐵路區域之間的變換矩陣難以實時獲取。其次，軌道交叉和不同軌道之間的像素難以區分。最后，由于左右車道之間的匹配難以定義，所以很難區分鐵路車道。

本文以鐵路區域和鋼軌作為研究對象，提出了一種面向鐵路道岔情景下的列車軌道區域檢測方法，為列車前方運行區域檢測提供了新的思路。

1 列車軌道區域檢測方法原理

本文提出了一種基于信息融合的方法對鐵路區域和鋼軌進行分割，使用分割結果進行軌道匹配，并利用其分割結果，設計了一種基于反向透視變換的鐵路區域重建方法，充分挖掘鐵路鋼軌的幾何特征，在搜索到道岔區域時進行道岔方向的判別。由于向左和向右的道岔在整體上的紋理特征上相似度較高，而道岔圖像的分類是根據道岔的開合狀態來進行判別的，因此需要區分道岔開合狀態細小的特征差異，使用基于深度學習的分類模型判別道岔方向，之后保存鋼軌的關鍵點，重建出列車的實際運行區域?？傮w框架如圖1 所示，下面對關鍵步驟進行說明。

圖1 本文方法的總體框架Figure 1 Overall framework of the proposed method

1.1 基于信息融合的鐵路軌道區域分割模型

我們提出了一種基于信息融合的鐵路區域分割模型來解決鐵路區域和鋼軌分割問題，如圖2 所示。模型使用空洞空間池化金字塔（atrous spatial pyramid pooling,ASPP）同時處理圖像中不同尺度的特征。然后將這些特征與其他尺度的特征融合起來，以提高模型的準確性和穩定性。另外，模型使用文獻[17] 提到的集合預測機制，可以將現有的像素分類模型轉換為掩碼分類，從而有效提高推理速度。Transformer 解碼器生成N對類別預測和掩碼嵌入向量，其中掩碼嵌入向量與像素嵌入進行點積運算得到二進制掩碼預測。最后通過矩陣乘法將N個二進制掩碼預測與其類別預測相結合來得到最終預測。

圖2 基于信息融合的鐵路區域分割模型Figure 2 Railway area segmentation model based on information fusion

1.1.1 主干網絡設計

以大小為H×W的圖像作為輸入，使用添加了注意力機制的深度可分離卷積結構對鐵路圖像進行特征提取，主干網絡生成一個低分辨率圖像特征圖，表示為

式中：Cf為通道數；S為特征圖的步幅。

采用改進的Xception_ECA 網絡作為主干網絡，如圖3 所示，其中Sep_ECA 是添加了注意力機制的深度可分離卷積特征提取結構。Xception_ECA 可以更好提取圖像的細節特征，例如軌道的細節、曲線、直線等，并能有效區分背景和前景，提高鐵路圖像的分割精度。在主干網絡中引入注意力機制進行特征優化，提升模型的性能表現。

圖3 主干網絡Figure 3 Backbone network

Xception 中的最大池化操作都被結合注意力機制的深度可分離的卷積與跨步替換，這使得能夠使用Sep_ECA 模塊提取特征映射，并且在每次Sep_ECA 操作后添加額外的批量歸一化和ReLU 激活。

Sep_ECA 結構通過整合深度可分離卷積和ECA 模型[18]得到，如圖4 所示。Sep_ECA結構可以有效減少模型參數量，同時保證對鐵路鋼軌特征的高效提取。

圖4 Sep_ECA 結構Figure 4 Structure of Sep_ECA

經過單層Sep_ECA 結構的輸出可表示為

式中：ySep_ECA為Sep_ECA 結構；f(x) 為輸入特征圖x經過Sep_ECA 結構的輸出；σ為激活函數，使用LeakyRelu 函數進行映射。

1.1.2 空洞空間池化金字塔

ASPP 結構主要針對鐵路圖像中目標區域（如鐵路線和鋼軌等）的全局和局部特征進行優化。使用ASPP 同時處理圖像中不同尺度的特征并融合起來，幫助模型更好地理解整個鐵路圖像中的內容和關系。通過學習鐵路圖像中不同區域之間的聯系，可以更準確地檢測鐵路區域和鋼軌，減少其他區域的干擾。ASPP 結構可以分為以下3 個步驟：

步驟1通過在ASPP 結構中引入多尺度的空洞卷積來擴大感受野，從而捕捉更廣闊的上下文信息；

步驟2對輸入特征進行全局平均池化操作，得到每個通道上的特征值；

步驟3將多尺度空洞卷積和特征值進行拼接，通過一個卷積層進行融合，得到最終的ASPP 特征表示。

1.1.3 像素解碼模塊

特征圖的低分辨率會導致下采樣過程中的信息丟失，因此可通過解碼器的上采樣模塊來恢復特征圖的大小。上采樣模塊能夠將特征圖的分辨率逐步提高，并將其與編碼器中提取的低分辨率特征圖進行融合，構成多尺度的信息金字塔。編碼器中包含鐵路圖像紋理細節，而編碼器的深層特征包含鐵路圖像結構信息，通過特征融合模塊來共享和組合結構紋理信息。解碼器對拼接后的鐵路圖像特征進行上采樣，得到的像素嵌入為

式中：Cε為像素嵌入維數。

1.1.4 Transformer 解碼器模塊

解碼器模塊使用標準的Transformer 結構[19]，其中自注意力機制的輸入是CNN 輸出的特征映射，即查詢矩陣Q、鍵矩陣K和值矩陣V。每個自注意力機制的計算公式為

多頭自注意力機制并行使用多個自注意力，學習不同類型數據之間的相互依賴關系，公式為

Transformer 解碼器模型使用集合預測機制[17]，從圖像特征f和N個可學習位置嵌入計算輸出，生成N對類別預測和掩碼嵌入向量。即N個CQ維度的嵌入，表示為Q∈，編碼用于預測的每個可學習位置的全局信息，解碼器并行生成所有預測。

在每個可學習位置嵌入上應用線性分類器，然后進行softmax 激活，得到每個位置上的類別概率預測，可表示為

若嵌入不對應于任何區域，分類器將其預測為一個額外的“無對象”類別(?)。對于掩碼預測，具有2 個隱藏層的多層感知器將嵌入Q轉換成維數為Cε的N個掩碼嵌入向量。然后，將掩碼嵌入向量與像素嵌入εpixel進行點積運算得到二進制掩碼預測，進而得到每個二進制掩碼預測mi∈[0,1]H×W，之后通過sigmoid 激活，公式為

1.1.5 損失函數設計

1）針對鐵路軌道數據的樣本不均衡問題，設計了掩碼的FocalLoss 損失函數，即

2）鐵路區域和鋼軌之間具有強相關性，所以采用DiceLoss 作為類別損失函數，即

式中：yi與yj分別為像素i的標簽值與預測值；N為像素點總數。

整體損失函數為

式中：λfocal，λdice分別為掩碼損失和類別損失的權重。

1.2 基于反向透視變換的鐵路區域重建方法

1.2.1 軌道搜索區域判定

上一節鐵路軌道像素的掩碼分割結果只存在3 種像素值，即0、1、2，分別代表鋼軌、鐵路區域、背景。當兩條鋼軌之間的像素值為1 時，表明兩條鋼軌之間的區域為鐵路區域，此時就能匹配一對正確的鋼軌。

如圖5 所示，從鐵路圖像上分析，列車當前運行的鐵路區域處于圖像底部的30%～70%，由于分割結果的最底部往往有缺陷，因此通常忽略掉圖像底部的數個像素點，即從距離圖像左邊緣30% 且距離圖像底部邊緣數個像素點的位置開始從左至右進行列車運行軌道搜索區域的判定，由于鐵路區域和鋼軌是強相關，通過上述方法，可以確定列車運行軌道的搜索區域。

圖5 列車運行軌道的區域Figure 5 Area where the train operates

1.2.2 鋼軌的骨架提取

在確定鋼軌底部的初始位置后，要對鋼軌進行骨架提取以便于后續的道岔搜索。其中使用的骨架提?。⊿keletonization）算法主要基于文獻[20] 提出的算法，最終得到一個單像素寬度的線條，稱為骨架。

1.2.3 列車運行鐵路區域重建

在確定列車運行當前軌道的初始位置和完成骨架提取后，使用滑動窗口的搜索方式對鋼軌進行保存，具體算法如下：

1.2.4 基于反向透視變換的道岔截取

如圖6 所示，將近距離和遠距離的鐵路道岔分別抽象成長方型ABCD和A1B1C1D1。過A點和A1點，過B點和B1點，過C點和C1點，過D點和D1點分別作射線，找到消失點O。由相似關系，可推出遠距離道岔的兩邊長度分別為

圖6 鐵路道岔透視關系Figure 6 Perspective relationship of railway switches

式中：L表示線段長度。

1.2.5 基于分組卷積的鐵路道岔分類模型

1.貫徹落實十八大精神，加強思想政治理論教育。沒有政治這個靈魂，就不可能成為一個清醒的、合格的、奮發有為的領導干部。提高領導干部的思想政治素質，是建設高素質干部隊伍的前提和基礎。十八大給我們在新時期的發展指明了方向，我們必須充分發揮黨校的“主陣地”作用，用馬克思主義、毛澤東思想、鄧小平理論、“三個代表”重要思想和科學發展觀教育干部，引導他們在工作中認真踐行科學發展觀，提高他們貫徹執行黨的基本路線、基本理論、基本綱領的能力，提高他們的思想品質和道德素質。

為了解決道岔分類問題，提出了基于分組卷積的鐵路道岔分類模型，整體結構如圖7 所示。為了區分道岔開合狀態細小的特征差異，使用ResNeXt50 網絡[21]作為分類識別的主網絡，并在其中加入注意力模塊。此外，還采用了多尺度的注意力，有效提取道岔圖像的開合狀態信息，降低過擬合現象并提高尺度不變性。

圖7 基于分組卷積的道岔分類模型Figure 7 Railway switches classification model based on group convolution

基于分組卷積的鐵路道岔分類模型包括以下幾部分：

1）改進的ResNeXt 殘差塊結構

ResNeXt 殘差結構塊可以幫助網絡學習道岔圖像中更加抽象和復雜的特征。在ResNeXt中，分支合并形式可表示為

式中：Ti為相同的拓撲結構。將輸入特征分為C個分支數目，本文C取32。

鐵路道岔的差異并不明顯，含有非常多的相似信息，如鋼軌、枕軌和各種零部件，這些信息會干擾模型的特征提取，為此引入卷積模塊的注意力機制模塊（convolutional block attention module,CBAM）[22]進行特征優化來提高模型的識別精度。在CBAM 中包含通道注意力模塊和空間注意力模塊。

由于道岔圖像中的不同通道可能包含不同信息，引入CBAM 通道注意力機制后可以使模型更加關注對分類任務有幫助的通道。此外，可以計算道岔圖像在空間上的重要性權重，對特定的區域進行加權。這可以幫助模型更加關注道岔本身的特征，解決道岔圖像中存在的環境混淆、低對比度等問題。

在原始Block 和殘差結構連接前依次通過通道注意力模塊和空間注意力模塊。經過卷積注意力后的輸入表示為

2）多尺度注意力模塊

為了有效地提取道岔圖像中的鋼軌開合特征，采用了空洞卷積層作為構建多尺度注意力的卷積結構，如圖8 所示。同時，不同尺度的卷積核可以適應不同大小和形狀的道岔圖像，從而提高網絡的魯棒性和泛化能力。我們利用不同擴張率的空洞卷積層來捕獲不同比例的道岔像素特征：首先將多個空洞卷積層并行使用；然后對其輸出進行加權求和，形成一個綜合的特征圖；之后使用和上一小節相同的注意力機制來強化特征信息；最后，通過一個1×1 卷積層調整通道數，將其與多尺度注意力級聯特征的通道數保持相同，以便兩部分的特征圖相加。

圖8 多尺度注意力模塊Figure 8 Multiscale attention module

在多尺度注意力模塊中以不同的速率進行卷積后產生的輸出X1,X2,X3可以表示為

式中：i∈{1,2,3}；GIN為輸入的特征圖；?表示卷積；Rate 表示不同膨脹率的空洞卷積核。

輸出GOUT表示為

式中：GOUT為輸出特征圖；{ }表示級聯算法；Mc為通道注意力圖；Ms為空間注意力圖。

3）損失函數設計

實際采集的鐵路道岔數據，向左行駛和向右行駛兩類之間的差異并不總是特別明顯。此外，道岔的圖像都有軌枕等復雜背景，具有很高的相似性，僅從局部圖像很難判斷屬于向左或向右行駛。因此，提高分類精度的關鍵是要定義道岔在向左和向右行駛時兩類之間的差異性。損失函數設計基于度量學習差異性，其公式為

式中：max(·) 為類別特征之間的距離；f(A) 為目標樣本的長度；f(P) 為提取的圖像的長度；f(N) 為與A不一樣的類別的長度；P為提取的圖像特征；A為目標樣本的特征；N代表與A不一樣的類別特征；C為邊界參數，是一個超參數；Lossr是錨點樣本與負樣本之間距離之差加上邊界參數C（如果差值小于0，則損失為0），通過這種方式可以使相似的樣本之間距離盡可能小于C，不相似的樣本之間距離盡可能大于C。

2 實驗

2.1 實驗設置

我們將多個車載攝像頭安裝在列車的司機室內部或外部，所采集的鐵路圖像數據包括多個機務段不同運行時段信息和豐富的環境信息。隨后對數據進行篩選、對視頻進行抽幀和人工標注等處理，確保數據的可用性和有效性。

通過處理，我們建立了鐵路軌道分割數據集“Railway-Railtack dataset”。標定了12 642 幅鐵路軌道圖像。實驗將10 114 幅圖像作為訓練集，將2 528 幅作為測試集。同時建立了鐵路道岔數據集“Railway-Switch dataset”。標定了6 464 幅道岔分類圖像，其中向左行駛有3 564幅，向右行駛有2 900 幅。實驗將5 170 幅圖像作為訓練集，將1 294 幅作為測試集。

2.2 鐵路區域分割實驗分析

2.2.1 客觀指標分析

為了驗證本文提出的鐵路軌道區域與鋼軌分割模型的有效性，將其和當前主流的分割模型（FCN[23],SegNet[24],MaskRCNN[25],DeepLabV3+[26]）在Railway-Railtack 數據集上進行對比試驗。結果如表1 所示，可以看出：本文提出的方法在Railway-Railtack 數據集上像素準確率(pixel accuracy,PA) 可達95.28%、平均交并比(mean intersection over union,MIoU)可達93.76%，優于其他分割模型。

表1 不同模型在Railway-Railtack 數據集上的客觀指標對比Table 1 Comparison of objective indicators of different models on Railway-Railtack dataset %

2.2.2 鐵路區域分割結果

部分實驗結果如圖9 所示，其中每個案例從上到下依次為原始圖像、真實標簽、分割結果。結果表明，本文模型在陰影、反射、隧道環境和軌道切換場景等具有挑戰性的場景下都能很好地發揮作用。

圖9 鐵路區域分割實驗結果Figure 9 Experimental results of railroad area segmentation

圖10 直觀地顯示了不同方法的比較結果，所有測試圖像均來自Railway-Railtack。其中每個案例從上到下依次為原始圖像、真實標簽、FCN 結果、DeeplabV3+結果、本文模型的結

圖10 Railway-Railtack 數據集上的比較結果Figure 10 Comparison results on Railway-Railtack dataset

果。從實驗結果可以看出FCN 模型對鋼軌的檢測效果不好，存在鋼軌之間的連通性被誤判的現象，并且在視野近端的分割有缺失，在遠端的效果也不佳；DeepLabV3+模型在道岔細節的處理效果不佳，也存在連通性被誤判的現象；與之相比，本文模型的分割結果整體清晰，對于復雜的道岔鋼軌環境和視野遠端的區域也有良好的分割效果。

2.3 鐵路區域重建實驗分析

2.3.1 鐵路區域重建方法客觀指標分析

為了驗證本文提出的鐵路區域重建方法的有效性，將其與QI[9]、ZWEMER[10]和YANG[27]方法進行比較。為保證公平性，在實驗中所有算法的鐵路區域和鋼軌分割部分都采用了本文中提出的鐵路區域分割模型的分割結果。

對比結果如表2 所示，本文方法的PA 達到了98.67%，MIoU 達到了98.12%，獲得了最好的性能。

表2 不同方法的性能量化客觀指標對比Table 2 Comparison of objective indicators for performance quantification of different methods %

2.3.2 鐵路區域重建結果

可視化實驗的部分結果如圖11 所示，每個案例從上到下依次為原始圖像、分割結果、重建結果?？梢姳疚奶岢龅蔫F路區域重建方法在陰影、反射、隧道環境和軌道切換等場景下都能正確地對列車前方運行區域進行重建。但此方法受限于分割模型的識別精度，鐵路分割后遠端的部分鋼軌信息丟失，故當前保留的軌道區域沒有到達鐵路圖像視角的最遠端。

圖11 鐵路區域重建結果Figure 11 Results of railroad area reconstruction

2.4 道岔分類模型客觀指標分析

為了驗證本文提出的鐵路道岔圖像分類模型的有效性，將其與當前主流的分類模型VGGNet-16[28]、BN-Inception[29]、ResNet50[30]和ResNeXt50[21]在Railway-Switch 的測試集上進行對比實驗、消融實驗，以客觀評價模型的優劣。對比結果如表3 所示。

表3 不同方法的性能量化客觀指標對比Table 3 Comparison of objective indicators for performance quantification of different methods %

從表3 中可以看出，本文方法可以達到最好的精度，與基準的ResNeXt50 相比，精度也提高了1.47%?？梢?，本文提出的鐵路道岔圖像分類模型在采光較差、極易與背景環境混淆的道岔圖像中取得了良好的效果。

3 結語

本文針對鐵路異物檢測中的軌道區域檢測進行研究，提出了一種面向鐵路道岔情景下的列車軌道區域檢測方法。首先，針對鐵路左右鋼軌之間難以匹配的問題，提出了一種基于編解碼和信息融合的鐵路區域分割模型，能夠實現對鐵路軌道區域和鋼軌的分割，為列車前方運行區域檢測提供了新的思路。接著，針對現有方法難以在軌道存有道岔情況下檢測列車的實際運行區域的問題，提出了一種基于反向透視變換的鐵路區域重建方法，能夠準確保留列車前方的運行區域。實驗結果表明，本文提出的方法在復雜環境下可達到較高的精度，PA 指標可達98.67%，MIoU 指標可達98.12%，具有在列車上應用的潛力。

然而，該研究提出的方法在較遠區域對軌道區域的檢測不完整，并且鐵路軌道區域分割算法的速度還需要進一步提高。