基于視頻的車站客流狀態識別方法研究

高武，刁欣然，張余豪，姬光，王艷輝，6，7，8

（1.北京京城地鐵有限公司，北京 101300；2.北京交通大學 交通運輸學院，北京 100044；3.北京交通大學 先進軌道交通自主運行全國重點實驗室，北京 100044；4.北京市軌道交通建設管理有限公司，北京 100068；5.北京聲迅電子股份有限公司，北京 100094；6.北京交通大學 北京市城市交通信息智能感知與服務工程技術研究中心，北京 100044；7.北京交通大學 城市軌道交通運營安全管理技術及裝備交通運輸行業研發中心，北京 100044；8.運營主動安全保障與風險防控鐵路行業重點實驗室，北京 100044）

0 引言

近年隨著城市軌道交通線路長度的快速增長，線網的織密，城市軌道交通客運量占全國公共交通客運總量的分擔比率逐年提高。截至2021 年底，共有50 個城市開通城市軌道交通運營線路283 條，運營線路總長度9 206.8 km。2021 年全年累計完成客運量236.9 億人次，同比增長34.7%，總進站量146.3 億人次，同比增長33.7%，總客運周轉量1 981.8億人公里［1］。在北京、上海、廣州、深圳這些超大城市中，平均每座車站日均進站量1萬人次，并且由于城市軌道交通系統網絡化運營的特點，車站之間會相互影響，一個車站運營中斷甚至會造成線網大范圍運營受阻。

安全是城市軌道交通完成其根本任務、根本使命的前提和基礎?？土鳡顟B是影響車站安全事件發生的1個主要因素，科學合理地對客流狀態進行評價對城軌運營安全起著重要作用。目前雖然北京、上海等國內城市軌道交通行業頭部運營公司都對城市軌道交通安全保障與風險管控方面有了長足的研究，但其中對客流狀態的辨識大部分仍是車站乘務員、車站管理人員以目視的方法來進行監測，而由于車站乘客數量較多且客流狀態易受外界環境的干擾而復雜多變，這種方式不能及時地發現問題所在，因此有必要采用先進的信息化手段對客流狀態進行監測［2］?？土魉俣?、客流密度是目前城軌客流相關研究中反映客流狀態的重要屬性，對客流狀態信息的獲取方法進行研究，通過對目前相關領域算法的研究，形成基于優化YOLOv5 和Deep-SORT 的客流狀態識別方法，并對此方法進行驗證，有助于實現客流狀態的有效識別，進而提高城軌車站的安全水平。

1 基于優化YOLOv5的客流密度識別

1.1 YOLOv5算法優化模型

對客流狀態進行識別首先要通過監控設備檢測到乘客的存在，這個過程就是目標檢測，現如今基于深度學習的方法在目標檢測領域成為主流，并且YOLO系列算法取得了良好的效果，是當前研究的熱點。在YOLO 系列算法中，YOLOv5 算法的總體性能指標位于前列［3］，但在乘客密集場景的應用還存在改進空間，在密集場景下目標檢測算法經常會發生將多個目標檢測為1個目標的問題，同時檢測到的單個目標也會受到相近其他目標的影響，導致預測效果不佳，從提高預測精度與檢測效果的角度對YOLOv5算法進行優化，主要通過網絡結構、損失函數、檢測框后處理算法3個方面進行優化。

1.1.1 網絡結構優化

對網絡結構的優化主要考慮提高對原網絡結構提取到的特征利用能力，在深度學習領域，注意力機制由于其能夠對重要特征進行更多的權重分配、降低重要性低的特征權重、能夠對各種網絡模型起到優化作用，因此嘗試通過在網絡的骨干部分引入注意力機制來提高特征提取能力。SE（Squeeze-and-Excitation Networks）［4］、CBAM （Convolutional Block Attention Module）［5］、ECA （Efficient Channel Attention）［6］、CA（Coordinate Attention）［7］都是近些年取得較好效果的注意力機制。

在不同應用場景和不同數據集條件下，對網絡結構的修改會取得不同效果，為了選取更有效的改進方法，在相同超參數條件下，使用自制數據集對加入SE、CBAM、ECA 和CA 注意力機制的不同模型分別訓練500epoch，訓練結果對比見表1。

表1 注意力機制訓練結果對比

經過對比，CBAM注意力機制添加后對模型精度的提高在4種注意力機制中取得了最好的效果，因此選取CBAM機制來提高模型的特征提取性能。

1.1.2 損失函數優化

早期的目標檢測工作使用經典損失函數進行預測框回歸，隨著研究的發展，目標檢測領域直接采用定位性能度量損失，即將交并比IoU（Intersection over Union）作為定位損失。He 等［8］為了獲得更準確的邊界框回歸和目標檢測，在2021 年提出了一種統一GIoU、DIoU、CIoU這3種基于IoU的損失函數的新損失函數α-IoU，通過對IoU 損失加上額外的power 正則化項，使得其能夠概括現有基于IoU的損失，計算方法見式（1），以CIoU 為例，α-CIoU 損失函數可以表示為式（2）。

式中：Pα2(B，Bgt)為根據檢測框B和Bgt計算的懲罰因子；b、bgt分別代表了檢測框B和Ground truth G 的中心點，且ρ為2 個中心點間的歐式距離；c為能夠同時覆蓋檢測框B和Ground truth G 的最小矩形的對角線距離；。

實證研究表明，在大多數情況下使用α=3 的α-IoU損失會在目標檢測任務中取得較好的效果。采用α-CIoU 對原模型進行修改，α取3，修改后效果對比見表2。

表2 α-CIoU損失函數效果對比

可以看出應用α-CIoU損失函數后相比原CIoU損失函數模型精度有一定的提高，因此選取α-CIoU 損失函數來提高模型的檢測框精度。

1.1.3 檢測框后處理算法優化

現有的檢測模型在檢測框后處理階段多采用NMS算法來對網絡預測到的多個預測框進行篩選。在使用NMS算法篩選預測框時，先給定閾值來對檢測框的IoU范圍進行評價判斷，然后在給定閾值范圍內，高置信度預測框被保留，較低置信度預測框被刪除。這種篩選預測框的方法依賴設定的閾值好壞，在原模型中閾值為基于IoU 的閾值，根據前文分析，IoU 的效果并不如改進后的α-IoU，考慮將后處理算法中的閾值更改為基于α-IoU 的閾值，形成α-CIoU-NMS，修改后效果見表3。

表3 α-CIoU-NMS效果對比

通過引入注意力機制對網絡結構進行優化，使用α-CIoU損失函數對原模型損失函數優化，將α-CIoU引入NMS 形成α-CIoU-NMS 后處理方法對原模型進行優化，改進后模型精度得到一定提高。

1.2 車站區域客流密度識別流程

城軌車站是一個乘客密集的場所，因此利用優化YOLOv5算法對城軌車站區域的乘客進行檢測，以提高檢測效果。在得到目標檢測模型后可以對監控視頻中乘客數量進行識別，進一步實現車站區域客流密度識別主要利用目標檢測得到的當前監控區域的乘客數量N與設置的當前監控區域實際面積S，根據密度計算公式得到，具體方法如下：

（1）接入監控視頻；

（2）設置待檢測區域，輸入待檢測區域面積S；

（3）監控視頻處理，對原圖像進行裁剪，得到設定的檢測區域圖像作為待檢測圖像；

（4）將待檢測圖像送入目標檢測模型對該區域進行行人檢測，此過程輸入為待檢測區域的圖像，輸出為待檢測區域內的每個行人的檢測框坐標信息及行人總數N；

（5）得到行人總數N之后與待檢測區域的面積S按照客流密度公式進行計算；

（6）輸出該區域的客流密度ρ。

2 基于目標追蹤與相機標定的客流速度識別

2.1 基于Deep-SORT的多目標追蹤

目標追蹤領域目前主流方法是基于深度學習和相關濾波的算法，在各種深度學習目標跟蹤算法中Deep-SORT 作為SORT 算法的改進，其在多目標追蹤任務中速度和精度都位于前列，并且可以較好地處理遮擋帶來的目標丟失問題，因此被廣泛應用于各種多目標追蹤任務中，因此選取Deep-SORT 算法作為客流速度獲取過程中的目標跟蹤算法。

Deep-SORT 是在SORT 算法的基礎上進行深化的，SORT 先在連續圖像序列之間利用卡爾曼濾波方法進行目標位置預測與更新，主要利用目標的位置和運動特征，再采用匈牙利算法對檢測框與預測框的分配通過IoU 進行優化求解實現目標前后信息匹配［9］，Deep-SORT 算法額外考慮了追蹤目標的外觀信息，引入重識別領域的目標外觀特征提取模型，將外觀特征與運動特征級聯匹配，解決了SORT在面對遮擋時目標變化的問題［10］。Deep-SORT 算法流程見圖1，主要有3 個部分內容，目標檢測提取候選框、特征提取、數據關聯匹配。

圖1 Deep-SORT算法流程

2.2 基于單目相機標定的坐標轉換方法

由于通過視頻圖像獲取的行人坐標為圖像的像素坐標，其與真實坐標存在區別，需要獲取二者的換算模型，將圖像的像素坐標與真實世界坐標對應。由于只需要得到像素坐標與真實坐標的轉化關系，不需要對相機各個參數進行求解，所以化簡后得到式（3）：

式中：M即為投影矩陣，由攝像機焦距光心等內部結構和攝像機擺放位置和拍攝角度等外部參數決定，由于是在齊次坐標系中進行變換，對矩陣M乘以任意一個非零常數對坐標對應關系沒有影響，所以設m34為1。獲取6組對應的像素坐標與真實坐標，將其帶入式（3）進行方程組求解，即可得到投影矩陣。在得到投影矩陣后即可將像素坐標與真實坐標轉換，所采集的行人速度只需要得到真實的二維平面坐標，行人是在一個平面上進行移動，zw在平面上恒為0，將式（3）展開后可以得到式（4）：

則與（xw，yw）與（u，v）對應關系可以用式（5）表示：

2.3 車站區域客流速度識別流程

在利用目標檢測加目標追蹤得到城軌車站行人移動的軌跡后，結合像素坐標與真實坐標的轉換關系即可得到行人的真實移動速度，具體流程如下：

（1）YOLOv5 對圖像序列進行目標檢測，得到監控圖像內當前時刻每個行人檢測框的像素坐標；

（2）Deep-SORT 算法對連續圖像序列中的行人進行追蹤，得到下一時刻行人所處位置及檢測框的像素坐標；

（3）利用像素坐標與真實坐標的轉換關系對得到的行人檢測框坐標進行轉換，得到當前時刻與下一時刻行人檢測框的真實坐標；

（4）計算當前時刻與下一時刻檢測框底部中心點真實坐標；

（5）利用速度計算公式得到該行人的真實移動速度；

（6）對當前區域所有行人移動速度進行平均得到當前區域客流速度。

3 實例驗證

3.1 車站乘客數據集構建

基于改進的YOLOv5 算法對車站客流密度和客流持續時間進行識別，首先要對目標數量進行統計?；谏疃葘W習的目標檢測算法應用效果受數據集影響很大，如果數據集內樣本單一，場景單一，則訓練出來的網絡模型各項指標只能夠在該數據集下取得，在其他場景中的應用效果可能達不到在驗證集上的評估效果，要確保在某一場景下的實際應用效果良好，最可靠的方式就是建立該場景下的數據集，構建的數據集來源是某站內各區域的實際監控視頻，分屬于步梯、扶梯、閘機、站臺，基本覆蓋了車站內各個區域。

為了保證行人樣本的充足，在各區域內選取行人較多的視頻樣本，對視頻進行按幀提取圖片的操作，考慮到視頻為25 幀/s，每幀之間行人變化極小，對每幀圖片進行提取會導致數據集的冗余。因此選擇每10 幀提取1 次圖片，最終提取出3 916 張樣本圖片，經過篩選剔除無人圖片以及重復圖片，最終將3 000 張圖片納入車站乘客數據集，樣本見圖2。

圖2 車站乘客數據集樣本

將數據集按照9∶1的比例劃分為訓練集和驗證集，在Windows10系統，11G顯存GeForceRTX2080Ti顯卡的環境中設置Batch_size 為16，epoch 為1 000，經過13 h訓練后損失值趨于平穩，此時繼續訓練優化效果不大，停止訓練，從訓練過程中選取最優的模型文件保存，訓練過程損失變化見圖3，900epoch 后基本損失函數平穩，結束訓練。

圖3 模型訓練過程損失變化

3.2 區域客流密度實驗結果分析

由于所采用的客流密度識別方法中的監控區域面積是根據實際情況給定的，客流密度和客流持續時間識別都是對乘客數量進行檢測，因此對客流密度和客流持續時間識別方法有效性進行評估可以等價于對目標檢測的有效性進行評估。

選取訓練數據之外的閘機、站臺、扶梯、步梯4個區域不同密度等級的100張圖片分別進行測試，檢測效果見圖4。在站臺區域由于監控范圍過大，遠處小目標人體可由另一端相機進行檢測，所以只檢測靠近相機的一半區域的乘客，遮擋不嚴重的大部分人體都可以被檢測到，但在人群極度密集環境如站臺等，會存在漏檢的情況，同時由于監控視頻畫面中還會存在一些不屬于監控范圍的較遠區域的人體，在檢測過程中也會對這些人體進行檢測造成誤檢，導致檢測到的人體比畫面中的實際人體數量還要更多，此部分誤檢可以在實際應用中設定監控范圍進行控制。

圖4 行人檢測效果

將優化后模型與原模型在各區域識別到的人數與真實人數進行對比，結果見表4 與圖5，其中站臺區域檢測到的人體數量為剔除誤檢人體之后的數據?？梢钥闯鲈诶密囌境丝蛿祿瘜灮竽Ｐ瓦M行針對訓練后，優化后模型效果相比原模型更好，平均精度達到86.82%。

圖5 不同區域檢測結果對比

表4 不同區域檢測精度對比

3.3 區域客流速度實驗結果分析

在城軌車站監控視頻中對客流速度識別方法進行驗證，車站監控視頻標定情況見圖6。首先對坐標變換進行驗證，對其中導向標識L1、L2兩點的距離進行換算，選取O、A、B、C、D、E六點作為特征點進行標定，根據標定得到的投影矩陣及式（5）將L1、L2的像素坐標轉為真實坐標（見表5），求得2 個導向標識之間的距離長度為1.02 m，L1、L2的真實距離1 m，在監控視頻中坐標換算的誤差為2%。

圖6 車站監控視頻標定情況

表5 L1、L2坐標換算結果

對速度識別方法進行驗證（見圖7），該場景下乘客P在27 s時坐標為（375，214），33 s時坐標為（317，539），進行坐標轉換后坐標換算結果見表6，計算可得行人P速度為1.02 m/s，行人真實的速度為0.95 m/s，在監控視頻中乘客速度的識別精度為93.2%。

圖7 單人速度計算示例

表6 乘客P前后時刻坐標換算結果

多人場景速度檢測見圖8，對檢測框能完全覆蓋的乘客，識別到的速度較為可靠，由于個別位于樓梯或扶梯的乘客，其坐標點不在標定平面，因此坐標換算存在誤差，從而導致速度準確度較低，在實際應用中可以預設檢測范圍以確保檢測區域在標定的平面來改善此問題。

圖8 多人場景速度檢測示例

4 結束語

對車站客流信息獲取方法進行研究，首先通過對目標檢測算法進行分析，選取目前工程效果較好的YOLOv5 算法作為行人檢測模型，以實現對客流密度信息的獲??；其次從網絡結構修改、損失函數改進、后處理方法改進3 個方面對YOLOv5 算法進行改進，提高了檢測精度，同時自制城軌乘客數據集進行訓練，提高了YOLOv5算法在城軌車站場景中的檢測準確率；最后選取目前時效比最好的Deep-SORT 目標追蹤算法作為行人追蹤模型，并結合單目相機標定實現對客流真實速度信息的獲取，為基于視頻數據的車站客流狀態信息獲取提供了基礎。