基于網絡流跟蹤的信號燈檢測方法

武悅 陳海華 于喬烽

收稿日期：2023-07-11；修回日期：2023-08-24? 基金項目：國家自然科學基金資助項目（61973173）

作者簡介：武悅（2000—），男，吉林白城人，碩士研究生，CCF會員，主要研究方向為圖像處理；陳海華（1978—），女（通信作者），浙江溫州人，副教授，碩導，博士，主要研究方向為圖像處理、通信信號處理、陣列信號處理（hhchen@nankai.edu.cn）；于喬烽（1997—），男，新疆伊犁人，碩士，主要研究方向為圖像處理.

摘? 要：

結合信號燈信息對機動車行進速度進行引導，減少機動車啟停次數，可有效減少廢氣排放，緩解其造成的污染問題。針對信號燈轉換時刻的獲取問題，提出了一種基于網絡流跟蹤的信號燈檢測方法。首先，該方法在數據集中引入輔助信號燈類別進行訓練，將視頻序列中該類目標檢測結果關聯為蹤片，并通過蹤片建模多目標跟蹤任務。其次，該方法將多目標跟蹤任務轉換為最小費用流優化任務，以蹤片作為節點建立最小費用流網絡，提出了適合于信號燈的費用構建方式，通過最短路徑算法求解，得到視頻序列中輔助信號燈的多條軌跡。最后，基于求解的軌跡結果和圖像分類技術，實現信號燈檢測性能的提升。該方法的跟蹤性能相較于對比算法有大幅提升，并將小目標信號燈檢測響應的mAP提升至94.35%。實驗結果表明，基于網絡流的建模方式能極大地提升信號燈的跟蹤準確率，結合跟蹤軌跡還能大幅提高視頻序列中小目標信號燈的檢測準確率，并可有效確定信號燈狀態的轉換時刻。

關鍵詞：信號燈檢測；幀間信息聯合；多目標跟蹤；費用流網絡

中圖分類號：TP751.1??? 文獻標志碼：A??? 文章編號：1001-3695（2024）02-044-0609-07doi： 10.19734/j.issn.1001-3695.2023.07.0301

Detection of traffic lights for off-line videos based on network flow tracking

Wu Yue1， Chen Haihua1， 2， Yu Qiaofeng3

（1.College of Electronic Information & Optical Engineering， Nankai University， Tianjin 300350， China; 2.Tianjin Key Laboratory of Optoelectronic Sensor & Sensing Network Technology， Tianjin 300350， China; 3.Beijing Branch of China Telecom Cybersecurity Tech Co.， Ltd.， Beijing 100000， China）

Abstract：

Combining the traffic light information to guide the speed of vehicles and reducing the number of starts and stops of vehicles can effectively reduce exhaust emissions and alleviate pollution problems caused by them. Aiming at the acquisition of traffic light transition time， this paper proposed a traffic light detection method based on network flow tracking. It introduced auxiliary traffic light class in the dataset for training， and correlated the detection results of this class in the video sequence as a tracklet， then modeled the multi-object tracking task by the tracklet. Specifically， this method converted the multi-target tracking task into the minimum cost flow optimization task. This method established the minimum cost flow network with the tracklet as the node， and proposed a cost construction method suitable for traffic lights， then obtained multiple traces of the auxiliary traffic light in the video sequence by solving the shortest path algorithm. Based on the solved trajectory results and image classification technology， it finally improved the performance of traffic light detection. Compared with the comparison algorithms， the proposed method greatly improves the tracking performance， and increases the mAP of the small target traffic light detection response to 94.35%. Experimental results show that the network flow modeling method can greatly improve the tracking effect of the auxiliary traffic light. Combined with the tracking results， it greatly improves the detection accuracy of the small target traffic light in the video sequence and effectively determines the transition time of traffic light status. Key words：traffic light detection; inter-frame information association; multi-target tracking; cost flow network

0? 引言

目前人們的出行機動化需求日益增多，機動車尾氣排放成為城市空氣污染的主要來源之一。研究表明，在交通路口區域，機動車起步階段的廢氣排放尤為嚴重［1］。因此，對于交通信號燈變換時刻的獲取顯得非常重要。將信號燈時轉換時刻與道路時速限制等條件結合，對機動車的行車速度進行引導，可有效減少機動車的啟停次數，降低廢氣排放。對機動車行進速度的正確引導還可以提高交通路口車輛通行速度，緩解交通擁堵?；谏鲜瞿繕?，本文結合基于深度學習的目標檢測算法［2］、基于檢測的多目標跟蹤算法［3］和感興趣區域的圖像特征，對交通信號燈視頻中的信號燈狀態進行識別。根據行車記錄儀拍攝的交通信號燈視頻，可以檢測到信號燈目標，并通過捕捉其在連續幀之間的運動和變化進行關聯和跟蹤。在獲取全部跟蹤軌跡后，結合圖像分類技術可有效識別各個時刻信號燈的紅綠狀態，并根據上述信息確定信號燈的轉換時刻。

國內外的許多學者從傳統人工設計的圖像特征、基于機器學習的分類方法以及基于深度學習的目標檢測三個方面開展了交通信號燈檢測與識別研究。2019年，Li等人［4］提出了一種夜間信號燈識別算法，該算法首先對采集到的夜間紅綠燈圖像進行預處理，然后將圖像由RGB轉換到HIS空間，通過形態學運算去除噪聲并篩選候選區域，最后實現基于模板匹配和區域像素信息的夜間紅燈識別。2020年，余澤東［5］利用Otsu算法和Hu不變矩，對源圖像進行形態學預處理后應用Otsu算法將源圖像二值化，通過Hu不變矩篩選信號燈區域，并根據HSV空間中的H分量判斷信號燈類型。2022年，劉珂琪等人［6］提出了一種基于圖像增強的交通信號燈識別方法，在HSV 空間中，通過增強V通道來均衡化不均勻的光照，并篩選出信號燈候選區域，有效提高了光照、復雜環境干擾下的識別準確率。

基于機器學習的特征分類方法為交通信號燈檢測開辟了另一條路徑。2020年，Yoneda等人［7］提出了一種基于數字地圖的空間先驗信息的信號燈檢測方法，該方法以坐標轉換的方式由車輛和地圖信息選取信號燈并為每個信號燈確定感興趣區域，在HSV空間上得到高亮圖像并提取候選信號燈，最后計算各候選區域中信號燈存在的概率，應用提前訓練的AdaBoost分類器至感興趣區域，實現對信號燈目標的識別。2022年，Tsai等人［8］提出了基于視覺和學習的夜間交通信號燈檢測方法以及箭頭信號識別方法。首先從高照度編碼和色調映射圖像的融合中檢測交通信號燈，然后使用支持向量機基于綠光圖像的對數極坐標變換對箭頭信號進行分類，由于沒有專門針對夜景的公共交通燈數據集，該文獻收集了夜間信號燈圖像數據用于網絡訓練和測試。

自2016年以來，目標檢測進入深度學習時代，信號燈的識別與檢測也開始采用基于卷積神經網絡的目標檢測器進行研究［9］。2019 年，潘衛國等人［10］基于Faster R-CNN目標檢測算法［11］，利用自建的信號燈數據集進行訓練，并在不同特征提取網絡下對其性能進行了對比，最后在智能駕駛實驗平臺上利用真實交通場景對所提方法進行了有效性驗證。2021年，Abraham等人［12］提出了一種基于改進YOLO算法的交通信號燈和交通標志檢測系統，該系統處理由相機傳感器捕獲的圖像，并檢測圖像中包含的交通信號燈和交通標志，使用的卷積神經網絡架構是經過改進的YOLOv4算法［13］，優化了其網絡結構。2022年， Wangsiripitak等人［14］使用 YOLOv4目標檢測算法訓練自建數據集，在信號燈與人行橫道類別上得到了比COCO數據集訓練更好的效果。同年，Bali等人［15］針對信號燈這種小目標對 YOLOv2［16］進行了改進，將其特征提取網絡由DarkNet19替換為SqueezeNet，并將K-means聚類算法應用于LaRA交通信號燈數據集的子集來優化先驗框的大小，以檢測綠色和紅色交通燈。

離線視頻中信號燈的檢測和跟蹤在科研領域和實際應用中具有重要的意義和價值。與在線場景相比，離線視頻的特點是可以進行反復多次的分析和處理，不受實時性的限制。在交通管理領域，通過離線信號燈檢測和跟蹤，交通管理部門可以進行交通流量統計和分析，獲取信號燈狀態與燈時變換時刻信息，從而優化交通信號燈的調度，減少交通擁堵和事故發生率，并提升城市中車輛通行的效率和安全性。在智慧城市和綠色交通中，通過準確檢測和跟蹤離線視頻中的信號燈目標，可智能化和自適應地調整信號燈的綠燈時間，減少不必要的等待時間和能源消耗，從而提高交通效率和環境友好性。此外，在自動駕駛技術領域，離線信號燈跟蹤和檢測還可以提供大量的數據樣本，提升智能駕駛系統對信號燈的識別和判斷能力，進一步提高安全性和可靠性，推動自動駕駛的發展。

值得注意的是，傳統的圖像特征設計方式和計算方式在信號燈的檢測中缺乏魯棒性；基于機器學習分類的方式依賴于手工特征的設計和分類器的訓練，且需要大量數據；基于深度學習的目標檢測方法準確率較高，然而應用該方法的研究大多針對在線信號燈實時檢測的場景，少有針對離線視頻中信號燈跟蹤與檢測結合的研究。同時，跟蹤領域少有專門針對信號燈跟蹤與檢測結合的研究，并且對信號燈目標本身具有的形狀特征應用不足。因此，為提升信號燈位置及類別檢測的準確率，實現結合時間信息的離線視頻目標檢測，本文研究的重點在于結合交通信號燈自身特殊的形狀與信息，利用基于深度學習的目標檢測結果，改進多目標跟蹤方法，實現信號燈的有效跟蹤與檢測。

1? 基于網絡流跟蹤的信號燈檢測方法

1.1? 信號燈特征

1.1.1? 輔助信號燈

考慮到交通信號燈具有比較固定的特征，本文引入豎直信號燈和水平信號燈兩種中等大小目標類別作為輔助，其形態如圖1所示，在下文中統稱這兩種類別為輔助信號燈?？梢宰⒁獾?，完整的信號燈目標由若干個輔助信號燈目標組成，因此可以將信號燈跟蹤問題作為一個多目標跟蹤問題。本文使用網絡流方法將該問題轉換為最小費用流求解問題，實現對輔助信號燈的多目標跟蹤，最終基于輔助信號燈軌跡結果與圖像分類技術對小目標信號燈檢測響應進行錯檢刪除與漏檢補充，提高其檢測性能。

1.1.2? 小目標信號燈分類

如圖2所示，本文使用YOLOv7目標檢測算法獲取視頻中的輔助信號燈類與其他八類小目標信號燈，其中八類小目標信號燈包括紅色圓燈（R）、綠色圓燈（G）、紅色左轉箭頭（RL）、綠色左轉箭頭（GL）、紅色直行箭頭（RF）、綠色直行箭頭（GF）、紅色右轉箭頭（RR）和綠色右轉箭頭（GR）（參見電子版）。

1.2? 基于網絡流的多目標跟蹤

信號燈距離過遠導致的分辨率低或汽車行進導致的運動模糊，會使目標檢測過程中出現某些幀中某類目標漏檢，或者部分目標位置或類別錯檢的情況。在接近交通路口時，非直行路口的信號燈也可能作為輔助信號燈在目標檢測中被檢測出，成為干擾項。針對上述問題，本文結合輔助信號燈的形態特點，提出一種基于網絡流的信號燈多目標跟蹤方法，實現對真實輔助信號燈檢測響應的跟蹤串聯。

1.2.1? 檢測響應預處理

在使用輔助信號燈檢測響應建立網絡流節點之前，需要對其進行預處理，刪除尺寸錯誤的輔助信號燈檢測結果，使用信號燈之間的位置關系與前后幀之間的關聯信息對其進行漏檢補充。

輔助信號燈的一個重要特征是其橫縱比例在視頻過程中不會發生過大變化，因此根據輔助信號燈的兩種形態特點，可通過輔助信號燈類的全局檢測結果來刪除個別幀尺寸錯誤的目標檢測響應。統計整段視頻輔助信號燈檢測響應的長寬比均值Pm，刪除長寬比小于Pm－0.5和大于Pm+0.5的輔助信號燈檢測響應。

本文還根據視頻連續幀之間信號燈的位置關系，通過逐幀映射的方法，初步對輔助信號燈類檢測響應的漏檢進行補充預測，步驟如下：

a）在連續兩幀中，若第一幀輔助信號燈不存在漏檢，第二幀輔助信號燈存在漏檢但未全部漏檢，則令第一幀中輔助信號燈檢測響應集合Euclid Math OneNAp={Nl|l=1，…，La}，第二幀中輔助信號燈檢測響應集合Euclid Math OneMAp={Ml|l=1，…，Lb}，漏檢輔助信號燈響應集合Euclid Math OneLAp={Ll|l=1，…，Lc}，其中La和Lb分別為第一與二幀輔助信號燈檢測響應的數量，則Lb+Lc=La。

b）分別計算集合Euclid Math OneNAp與Euclid Math OneMAp中檢測響應中心點坐標的歐氏距離，歐氏距離最小的兩個檢測響應確定為兩幀中同一個信號燈。

c）因第一幀中輔助信號燈不存在漏檢，將集合Euclid Math OneNAp中檢測響應根據中心點橫坐標排序，得到從左到右排列的輔助信號燈，結合Euclid Math OneMAp與Euclid Math OneNAp中輔助信號燈對應關系，則可確定集合Euclid Math OneLAp中的漏檢輔助信號燈的對應位置。

d）通過Euclid Math OneNAp中輔助信號燈之間的距離與輔助信號燈的尺寸，等比例映射出Euclid Math OneLAp中漏檢輔助信號燈。

圖3為存在兩個輔助信號燈的視頻中的連續兩幀目標檢測響應的示意圖。第一幀檢測到兩個輔助信號燈，第二幀只檢測到一個輔助信號燈，在這種情況下，計算出第一幀中輔助信號燈中心點之間的橫向距離dw和縱向距離dh。分別計算第二幀中檢測到的輔助信號燈中心點坐標p1與第一幀中所有檢測到的輔助信號燈中心點坐標q1與q2的歐氏距離，可知q1與p1歐氏距離結果最小，故確定p1對應的輔助信號燈與p1對應的輔助信號燈為兩幀中同一個信號燈，q2對應輔助信號燈為在第二幀中漏檢的輔助信號燈。

設第二幀中檢測到的輔助信號燈左上角坐標為a1=（x1，y1），右下角坐標為b2=（x2，y2）。通過映射的方式，使用第一幀中輔助信號燈橫向距離、縱向距離與尺寸信息，可確定第二幀中漏檢輔助信號燈的中心點坐標為p2=（（x1+x2）/2+dw，（y1+y2）/2+dh）、左上角坐標為a2=（（x1+x2）/2+dw－w2/2，（y1+y2）/2+dh－h2/2）、右下角坐標為b2=（（x1+x2）/2+dw+w2/2，（y1+y2）/2+dh+h2/2），其位置在圖3（b）中為虛線所示區域。

1.2.2? 網絡流模型

本文網絡流模型采用基于蹤片（tracklet）［17］關聯的多目標跟蹤。經過目標檢測提取到整個信號燈視頻中輔助信號燈類的檢測信息后，進一步將檢測結果進行關聯生成蹤片。該過程需要犧牲連接片段的長度來生成置信度較高的蹤片，確保已關聯的片段準確。針對視頻中信號燈的特征，本文僅使用位置特征計算蹤片中目標檢測響應關聯的相似性，可表示為

Plink（x（t+1）j|x（t）i）=Ppos（x（t+1）j|x（t）i）=

exp（－‖x（t+1）j－x（t）i‖22σ2）（1）

其中：x（t）i表示第t幀中第i個輔助信號燈目標檢測響應；x（t+1）j表示第t+1幀中第j個輔助信號燈目標檢測響應；Ppos為兩個目標檢測響應之間的位置相似性；x（t+1）j和x（t）i分別表示目標檢測響應x（t）i和x（t+1）j的位置坐標；σ為高斯核函數方差，設置為1。

本文采用雙閾值保守關聯算法［18］，根據上述相似性生成蹤片。若視頻中第t幀有m個目標檢測響應，第t+1幀有n個目標檢測響應，則可通過公式計算得到m×n大小的相似度矩陣P。若Plink（x（t+1）j|x（t）i）大于閾值θ1=0.000 5且與P矩陣第i行和第j列其他值的差均大于閾值θ2=0.000 1，則認為目標檢測響應屬于同一物體，將其關聯為一條蹤片。設定每條蹤片的最大長度為θm= 15。通過上述雙閾值法關聯得到由檢測響應構成的蹤片集合Euclid Math OneXAp′={Xi|i=1，…，N}。

根據文獻［19］，本文將多目標跟蹤問題建模為MAP估計問題，然后將數據關聯表示為隱形馬爾可夫模型（hidden Mar-kov model）并轉換為最小費用流問題，從而求解出最終軌跡。設所有蹤片集合為Euclid Math OneXAp={Xi|i=1，…，N}，需要求解軌跡的集合為Euclid Math OneTAp={Tk|k=1，…，K}，其中Tk為一組蹤片的集合，代表一條軌跡。每一個蹤片建模為一個節點vi，從源節點s到任意一個節點的路徑表示為（s，vi），其路徑費用表示為c（s，vi）=c（s）i，流量表示為f（s，vi）=f（s）i，從任意節點到匯節點r的路徑表示為（vi，r），其路徑費用表示為c（vi，r）=c（r）i，流量表示為f（vi，r）=f（r）i，對于每一對關聯相似度P（Xj|Xi）≠0，i≠j的蹤片節點，它們之間的路徑表示為（vi，vj），其路徑費用表示為c（vi，vj）=cij，流量表示為f（vi，vj）=fij，則最小費用流網絡優化問題可表示為

Euclid Math OneTAp=argminEuclid Math OneTAp（∑ic（s）if（s）i+∑ijcijfij+∑ic（r）if（r）i）（2）

s.t.? fij，f（s）i，f（r）i∈{0，1}

and? f（s）i+∑jfji=f（r）i+∑jfij（3）

式（2）中，費用c建模為

c（s）i=－lg Ps（Xi）

c（r）i=－lg Pr（Xi）

cij=－lg P（Xj|Xi）（4）

1.2.3? 費用構建

對于多目標跟蹤任務，蹤片之間的關聯費用設置十分關鍵，不合理的費用設置可能會導致最小費用流求解的軌跡存在大量的目標ID切換。本文利用信號燈在視頻中的圖像、位置特征的特殊性，構建蹤片之間的相似度，可表示為

P（Xj|Xi）=（Ppos（Xj|Xi）+Papp（Xj|Xi））exp（－μΔt）φ（Δt）（5）

其中：Δt表示蹤片Xj與Xi之間的間隔幀數量；μ=20表示總相似度衰減系數，用來對總相似度懲罰蹤片之間的間隔幀數量，若兩個蹤片之間的間隔幀數量越大，則最終得到的相似度越??；φ（Δt）表示兩條蹤片之間的時間約束，防止幀數距離過大的兩條蹤片或在時間維度重疊的兩條蹤片節點之間建立費用連接，定義為

φ（Δt）=1? 0<Δt<θ（b）t? and? Xi∩Xj≠0? others （6）

其中：θ（b）t=120表示最大幀數閾值，若兩條蹤片之間距離幀數大于此值則不進行關聯；Ppos（Xj|Xi）表示蹤片Xj與Xi之間的位置相似度，其計算方式為

Ppos（Xj|Xi）=exp（－‖xe－xs‖22σ2）exp（－λΔt）（7）

其中：xe與xs分別表示蹤片Xi中的末尾目標檢測響應的位置和蹤片Xj中首個目標檢測響應的位置；λ=2表示位置相似度衰減參數，用來對位置相似度懲罰蹤片之間的間隔幀數量，兩個蹤片之間的間隔幀數量越大，得到的位置相似度越??；Papp（Xj|Xi）表示蹤片Xj與Xi之間的圖像相似度，其計算方式為

Papp（Xj|Xi）=S（ae|as）（1－exp（－λΔt））（8）

其中：ae與as分別表示蹤片Xi中的末尾目標檢測響應的外觀和蹤片Xj中的首個目標檢測響應的外觀；S（ae|as）表示使用圖像分類的方式計算兩個目標檢測響應外觀之間的相似度。

本文使用信號燈類和背景類圖像區域訓練二分類圖像分類網絡fs，之后應用fs計算S（ae|as）。如圖4所示，設圖像中輔助信號燈區域為a，該區域高為h，寬為w，相鄰輔助信號燈中心點之間的距離為d。以輔助信號燈區域中心點為中心截取高為3h，寬為3d的圖像，稱為多輔助信號燈區域A，即圖中綠色虛線所示區域。ae與as的多輔助信號燈區域分別表示為Ae與As。分別將Ae與As豎直均等切割成高為3h、寬為d的三個區域，即圖中藍色虛線所示，表示為Ae={Ael，Aem，Aer}和As={Asl，Asm，Asr}（參見電子版）。每個區域經過圖像分類網絡，可以得到二分類燈與背景的置信度，Ae與As的切割區域經過分類網絡fs后得到的置信度表示為Oe={oel，oem，oer}和Os={osl，osm，osr}，集合中每一項表示每個區域得到的二分類置信度二元組，則S（ae|as）的計算方式為

S（ae|as）=min（1－‖oel－osl‖2，1－‖oem－osm‖2，1－‖oer－osr‖2）

（9）

費用構建方式對于蹤跡節點作為源或匯的位置同樣重要，因為這將會決定最終求解的軌跡是否能夠從正確的節點開始或者結束。本文參考文獻［20］，使用了掩膜圖像構建節點與源匯節點的方式，通過觀察視頻中車輛通過路口時信號燈退出視頻的位置，以及目標檢測在接近路口時首次檢測到輔助信號燈的位置，構建了適合于信號燈跟蹤的掩膜圖像，如圖5所示。

圖5（a）展示了部分測試視頻在接近結尾時的一幀。其中第一幅圖顯示車輛右轉，信號燈由左側離開視頻區域；第二幅圖顯示車輛直行，信號燈由上方離開視頻區域；第三幅圖顯示車輛左轉，信號燈由右側離開視頻區域，這些離開的區域由半透明紅色區域表示。圖5（b）黑色區域為本文構建的掩膜圖像M。利用掩膜圖像，可以計算蹤片節點Xi與源節點s相連的概率Ps（Xi），以及蹤片節點Xi與匯節點r相連的概率Pr（Xi），可表示為

Ps（Xi）=exp（－αts）φen（ts）（10）

Pr（Xi）=exp（－α（t－te））φex（pe）（11）

其中：α=25為縮放系數；t為視頻的總時間長度；ts表示蹤片Xi首個目標檢測響應所在幀在視頻中的時間；te表示蹤片Xi末尾目標檢測響應所在幀在視頻中的時間；pe表示蹤片Xi末尾目標檢測響應的位置；φen（ts）為蹤片節點Xi到源節點s費用的約束，具體為

φen（ts）=1? ts<θ（s）t0? ts≥θ（s）t （12）

其中：θ（s）t=90表示起始連接幀數閾值，當蹤片首個目標檢測響應所在幀在視頻中的幀序號小于此閾值時，其值為1，則建立此節點Xi到源節點s的連接，否則約束為0，不建立連接。φex（pe）為蹤片節點Xi到匯節點r費用的約束，具體為

φex（pe）=1? I（pe）=10? I（pe）=0 （13）

其中：I（x）為示性函數，當蹤片Xi末尾目標檢測響應的位置pe位于掩膜圖像M黑色區域中時，I（pe）=1，建立此節點Xi到匯節點r的連接，否則I（pe）=0，不建立連接。

1.2.4? 求解方式

文獻［21］證明了使用最短路徑算法求解最小費用流問題可得到近似解，并顯著降低計算復雜度；文獻［22］證明了在一個有向網絡中，所有邊容量下界為0，容量上界為1，并令圖中源節點s到匯節點r的流量為1，則此時最小費用流問題就轉換為了最短路徑問題。本文選擇Bellman-Ford 最短路徑算法來求解構建的最小費用流網絡，求解算法的具體形式如下：

算法1? Bellman-Ford 最短路徑求解最小費用流算法

輸入：最小費用流網絡流圖G；軌跡數量K。

輸出：輔助信號燈蹤片的軌跡集合T ′。

k←0

Euclid Math OneTAp′←

while k

Tk←BellmanFord（G）

Euclid Math OneTAp′ ←Euclid Math OneTAp′∪{Euclid Math OneTApk′}

k ← k+1

for X∈T′k do

if X≠s and X≠r then

G←G－X

end

end

end

首先令構造的網絡流圖為G，需要求解的軌跡數量為K，需要求解的軌跡集合為Euclid Math OneTAp′，初始化k=0。運行Bellman-Fold算法求解G中由s到r的最短路徑，路徑中節點對應的蹤片集合為T′k，將該集合加入軌跡集合Euclid Math OneTAp′中，Euclid Math OneTAp′=Euclid Math OneTAp′∪{T′k} ，并將k遞增，k=k+1。在網絡流圖G中刪除T′k中除了源節點s與匯節點r的節點。若k

1.3? 漏檢幀填補

在1.1節中使用了基于網絡流的方法求得了視頻中多條輔助信號燈的軌跡，并分別為其分配了ID。本節則對跟蹤完成并獲得了軌跡ID的輔助信號燈檢測響應進行后處理，對其每一條軌跡中的漏檢進行補充?；谘a充完成并獲得了軌跡ID的輔助信號燈，對其區域內部的小目標信號燈進行錯檢刪除與漏檢補充的后處理。

1.3.1? 相關濾波跟蹤

本文采用具有信道和空間可靠性的判別相關濾波器（CSR-DCF）［23］分別對每一條出現漏檢的輔助信號燈軌跡進行跟蹤，具體跟蹤流程如下：

a）令Euclid Math OneTAp′={ T′k|k=1，…，K}為視頻中輔助信號燈的軌跡集合，K為軌跡數量。

b）對每一條軌跡T′k中的蹤片Xki∈T′k進行循環，令相鄰兩條蹤片Xi與Xj（j=i+1）之間的間隔幀數量為td，若td>1，則使用蹤片Xi末尾目標檢測響應外觀初始化跟蹤濾波器。

c）對屬于軌跡T′k的兩個蹤片Xi與Xj之間的td－1個幀進行目標跟蹤，令K0為跟蹤最大閾值，若td－1K0，則跟蹤K0幀后停止跟蹤。將跟蹤得到的檢測響應作為一條蹤片加入軌跡T′k中。

1.3.2? 線性插值法

對于短暫的檢測響應缺失，使用CSR-DCF進行跟蹤能夠比線性插值方法更加精確地找到目標的位置?？紤]到上述跟蹤方法在面對長時間維度的跟蹤時無法進行尺度自適應，本文設置跟蹤閾值K0=20，超出閾值的部分使用線性插值方法進行填充，流程如下：

a）令Euclid Math OneTAp={T′k|k=1，…，K} 為視頻中輔助信號燈的軌跡集合，K為軌跡數量。

b）對每一條軌跡T′k中的蹤片Xki∈T′k進行循環，設相鄰兩條蹤片Xi與Xj（j=i+1）之間的幀數距離為td，若td>1，則啟動線性插值。

c）設蹤片Xi的最后一個目標檢測響應對應的視頻幀序號為M，其左上角與右下角坐標分別為uM=（xM，yM），rM=（αM，βM）；蹤片Xj的第一個目標檢測響應對應的視頻幀序號為N，其左上角與右下角坐標分別為uN=（xN，yN），rN=（αN，βN）。兩蹤片之間第n幀（n=M+1，M+2，…，N－1）中屬于此軌跡的輔助信號燈左上角與右下角坐標可分別表示為

un=uM+n×（uN－uMN－M+1）

rn=rM+n×（rN－rMN－M+1） ???n=M+1，M+2，…，N－1

（14）

d）將上述線性插值計算得到的td－1個目標數據作為蹤片加入軌跡T′k中。

1.4? 信號燈分類補充檢測

在1.3節中，得到了信號燈視頻中準確且連續的多個輔助信號燈軌跡。下面本文將利用圖像分類技術和輔助信號燈軌跡信息，對小目標信號燈進行補充檢測。

1.4.1? 小目標檢測預處理

僅考慮信號燈形狀，將小目標信號燈檢測響應分為左轉箭頭L（RL 和 GL）、直行箭頭F（RF 和 GF）、右轉箭頭R（RR 和 GR）和圓燈O（R 和 G）四類。

利用信號燈視頻時間越靠后，則信號燈越清晰的特點，分別統計每一條軌跡T′k后半段中，輔助信號燈區域內小目標信號燈置信度高于0.5的檢測響應形狀類別的數量ST′k=（sl，sr，ss，so）。其中，sl、sr、ss、so分別表示軌跡T′k中輔助信號燈區域內左轉箭頭的數量、直行箭頭的數量、右轉箭頭的數量和圓燈的數量。數量最大的值所對應的形狀類別ST′k=arg max（ST′k）確定為軌跡T′k所對應信號燈的形狀類別。根據此形狀類別，可以刪除每一條軌跡區域內不符合此軌跡信號燈形狀類別的小目標信號燈檢測響應。

1.4.2? 圖像分類補充檢測

本文還利用軌跡的形狀類別結合圖像分類，對軌跡中的小目標信號燈進行補充檢測。由于輔助信號燈區域像素較少時，紅燈或綠燈區域的顏色信息嚴重缺失，形態接近于一個白色光點，所以采用輔助信號燈整體區域圖像來訓練分類網絡。為了避免出現黃燈或三個燈都不亮的情況下的錯誤分類結果，本文采用拼接方式制作訓練數據集，顏色檢測分類數據集部分樣本如圖6所示。將紅燈區域與滅燈區域上下拼接作為紅色類，滅燈區域與綠燈區域上下拼接作為綠色類，將兩個滅燈區域上下拼接作為黑色類。使用這種方法可以避免信號燈中部的黃燈所造成的干擾，同時還可以對水平信號燈和豎直信號燈進行統一的類別訓練。

使用上述數據集訓練得到分類網絡fc。對每一條軌跡T′k中的輔助信號燈區域ak，進行與數據集相同的裁剪與拼接，得到待分類圖像akc。使用分類網絡fc對akc進行分類，得到該輔助信號燈區域內小目標信號燈的類別與置信度。結合該軌跡T′k的形狀類別ST′k，可以確定該燈類別。

對于紅色分類類別，將輔助信號燈ak的上或左1/3區域作為小目標信號燈檢測響應；對于綠色分類類別，則將輔助信號燈ak的下或右1/3區域作為小目標信號燈檢測響應。具體選擇上、下區域還是左、右區域，需要根據輔助信號燈為豎直還是水平而定。此外，本文將分類置信度作為此檢測響應的置信度。對于黑色分類類別，將跳過此幀。

2? 實驗與分析

為了驗證本文方法的有效性，采用實地以及網絡采集的多段行車記錄儀拍攝的視頻作為測試數據進行實驗。實驗部分使用的硬件平臺如下：CPU采用Intel i5-9300H，GPU采用NVIDIA GTX 1660 Ti，操作系統為Windows 10。

2.1? 實驗指標

本文基于網絡流跟蹤的信號燈檢測方法分別對輔助信號燈類與小目標信號燈類應用兩種不同的評測指標，輔助信號燈類使用多目標跟蹤領域指標進行評測，小目標信號燈類使用目標檢測領域指標進行評測。

目標檢測常用的度量標準有平均精度均值（mean average precision，mAP）、精確率（precision）、召回率（recall）和準確率（accuracy），可表示為

precision=TPTP+FP（15）

recall=TPTP+FN（16）

accuracy=TPTP+FP+FN（17）

其中： TP（true positive）表示真值被正確檢測到的數量；FP（false positive）表示檢測到的區域不是真值的檢測數量；FN（false negative）表示真值沒有被檢測到的數量。

以召回率為橫坐標，精確率為縱坐標，通過調整置信度閾值，可以得到每一個類別的P-R（precision-recall）曲線，曲線與橫坐標和縱坐標圍成的面積稱為該類的AP（average precision），mAP則表示所有類別AP的平均值。若類別數量為N，則AP與mAP可表示為

AP=∫10P（r）dr（18）

mAP=∑APN（19）

不同于目標檢測主要評估物體的位置準確性，目標跟蹤更加注重物體軌跡的連貫性。IDSW（ID switch）指標表示整個視頻中跟蹤ID發生切換的次數；MOTA指標將FN、FP和IDSW計算為一個數值，表示整體跟蹤性能；MOTP指標表示跟蹤的位置誤差，更注重檢測質量，可以表示為

MOTA=1－FN+FP+IDSWGT（20）

MOTP=∑i，tdi，t∑tct（21）

其中：GT表示整個視頻中所有真值目標框的數量；t表示第t幀；ct表示第t幀中預測軌跡和真值軌跡成功匹配上的數目；di，t表示t幀中第i個匹配對之間的距離。由于存在IDSW，其值可能為無限大，所以MOTA為（－∞，1］。

IDF1指標是指正確識別的檢測與平均真實數和計算檢測數之比，可表示為

IDF1=2IDTP2IDTP+IDFP+IDFN（22）

其中：IDTP表示整個視頻中檢測目標被正確分配軌跡ID的數量；IDFN表示整個視頻中檢測目標被漏分配軌跡ID的數量；IDFP表示整個視頻中檢測目標被錯誤分配軌跡ID的數量。

MT（mostly tracked）指標表示在跟蹤過程中，各個目標至少有80%的視頻幀都能被正確跟蹤的跟蹤軌跡數量；ML（mostly lost）指標表示在跟蹤過程中，各個目標至多有20%的視頻幀能被正確跟蹤的跟蹤軌跡數量；PT（partially tracked）指標則是在跟蹤過程中，各個目標有20%～80%的視頻幀能被正確跟蹤的跟蹤軌跡數量；FM（fragmentations）指標表示跟蹤的軌跡與真值相比，被中斷的次數。

2.2? 目標檢測算法訓練

本文選擇目標檢測算法YOLOv7［24］作為目標檢測數據集訓練的基線算法，YOLOv7-w6為文獻［24］提出的4尺度檢測算法版本。本文使用注意力機制改進其網絡結構，改進后的目標檢測算法稱為YOLOv7-w6-CA。由于信號燈目標尺寸過小，分別對YOLOv7-w6和YOLOv7-w6-CA的網絡深度、網絡寬度與訓練參數進行調整，使其適合信號燈數據集訓練。修改后的算法分別稱為YOLOv7-w6-n和YOLOv7-w6-n-CA。YOLOv7-w6-n和YOLOv7-w6-n-CA的訓練參數設置如表1所示，其中width表示網絡寬度倍率，depth表示網絡深度倍率，image-size表示訓練圖像分辨率，hsv、flip、mosaic、translate和scale分別表示不同數據增強方法應用的比例。

圖7為各目標檢測算法在驗證集上的P-R曲線與mAP。從訓練結果可以看出，YOLOv7-w6-n-CA目標檢測算法相較于YOLOv7-w6-n目標檢測算法，在總類別mAP上提升了0.048，且對標簽量較少的紅色右轉箭頭類別（RR）的mAP提升較大。

2.3? 網絡流算法對比實驗

本文方法將目標檢測結果分為了輔助信號燈和小目標信號燈分別進行處理。為了說明輔助信號燈多目標跟蹤的有效性，設計了如表2所示的實驗。

實驗中使用本文網絡流費用構建方式和文獻［20］中的網絡流費用構建方式，分別對輔助信號燈檢測響應進行多目標跟蹤，對比兩種網絡流費用構建方式最終對于輔助信號燈的跟蹤指標。其中，性能指標后的（↑）表示該指標越高越好，（↓）表示該指標越低越好。從表2可以看出，本文算法在ID性能上相比于對比算法有明顯提升，IDSW由953個減少到15個，IDF1由0.594提升到0.927，軌跡中斷次數FM由264次降低為62次。除此之外，在跟蹤綜合性能上也有所提升，MOTA由0.818提升為0.856，MOTP由0.060提升為0.065。

圖8為一段存在三個輔助信號燈的視頻跟蹤結果。其中，算法求得的輔助信號燈軌跡由不同顏色的曲線表示，x、y軸表示圖像平面的x、y坐標，z軸表示幀序號。圖8（a）為本文方法結果，圖8（b）為文獻［20］提出的網絡流多目標跟蹤算法結果。對比兩幅圖可以看出，本文網絡流算法跟蹤結果中，只在視頻開始階段發生了藍色與綠色軌跡（軌跡3與軌跡2）的ID切換，且軌跡跟蹤連貫（參見電子版）。而對比算法的跟蹤結果中，三條軌跡ID切換頻繁，且軌跡中斷現象較為嚴重。

結果表明，相較于傳統的跟蹤算法，本文結合信號燈形狀和位置特點提出的網絡流跟蹤算法費用構建方式，在信號燈的跟蹤任務上具有更加良好的性能。

2.4? 消融實驗

本文設計了如表3所示的實驗，說明本文方法對于小目標信號燈檢測的有效性的提升。表中：PT（pretreatment）指檢測響應預處理操作；PS（position similarity）指蹤片之間費用構建使用位置相似度；IS（image similarity）指蹤片之間費用構建使用圖像相似度；APP（auxiliary-traffic-light post-processing）指輔助信號燈類檢測響應后處理操作；SPP（small-traffic-light post-processing）指小目標信號燈類檢測響應后處理操作。

由表3可知，使用位置相似度與圖像相似度結合的方式構建輔助信號燈網絡流費用，較單獨使用一種相似度構建費用而言，能夠得到更好的輔助信號燈跟蹤效果，根據其跟蹤結果可大幅提升小目標信號燈檢測響應的mAP。并且，預處理操作、輔助信號燈軌跡后處理和小目標信號燈后處理分別能對小目標信號燈檢測響應的mAP作進一步提升，最終達到94.35%的mAP。

2.5? 轉換時刻獲取

通過本文方法獲取到信號燈的檢測結果后，根據檢測結果的類別與視頻時間信息，聯合足夠多個視頻，可獲取該視頻（路口）各信號燈轉換時刻，進而實現對機動車行進速度的引導。

圖9（a）為一段測試視頻中信號燈的檢測類別結果。其中，x軸表示視頻幀序號，y軸表示信號燈類別，y=0 表示未檢測到信號燈類別，y=1表示信號燈為紅色，y=2表示信號燈為綠色。由圖可知，本文方法獲取的信號燈類別結果仍然存在極少數的錯檢，如x在0～250和1 000～1 250處的突變。

為避免錯檢影響信號燈轉換時刻的判斷，本文采用滑動窗口的方法對結果進行處理。令窗口寬度W=15，使用該窗口依次對檢測結果進行平均處理，得到如圖9（b）所示的結果。選取y值由1過渡到2或由2過渡到1的線性部分作為信號燈的切換時刻幀序號，切換時刻幀序號計算方式為

C=xt2」+W2」（23）

其中： 」表示向下取整；xt表示y值由1過渡到2或由2過渡到1的線性部分在y=1.5時x的值。由該測試視頻可得出，信號燈切換時的幀序號C為1 410。設第0幀為相對時刻0 s，幀間隔為tf s，則信號燈轉換相對時刻為1 410tf s，因此結合視頻時間，可以得到該信號燈的轉換時刻。

獲得信號燈的轉換時刻后，聯合該路口其他視頻，就可以檢測出該路口的所有信號燈轉換時刻，即信號燈相位。利用信號燈相位信息，可以對機動車的速度進行有效引導，從而達到節能減排、降低污染，并提高交通效率和出行安全性、舒適性的目的。

3? 結束語

本文提出了一種基于網絡流多目標跟蹤的信號燈檢測方法。為充分利用交通信號燈的形狀和特征，在目標檢測階段引入了輔助信號燈類別目標，與小目標信號燈類別共同訓練基于CNN的目標檢測器。本文采用YOLOv7作為檢測響應獲取算法，利用輔助信號燈的形狀特征和位置關系進行檢測響應的預處理，通過雙閾值關聯方法，將輔助信號燈檢測響應關聯為蹤片，以蹤片作為節點建立最小費用流網絡流圖，并使用Bellman-Ford算法求解，獲取輔助信號燈軌跡。最終，基于輔助信號燈軌跡結果與圖像分類技術，對小目標信號燈檢測響應進行錯檢刪除與漏檢補充，提高其檢測精確率與召回率。在獲取視頻信號燈檢測結果的類別和視頻時間信息之后，結合其他視頻的信息，可以計算得出該視頻（路口）各信號燈的轉換時刻。

實驗結果表明，與其他文獻網絡流跟蹤方法相比，本文結合交通信號燈自身特征提出的網絡流模型費用構建方式對輔助信號燈的跟蹤性能有明顯的提升。并且，結合跟蹤軌跡結果對檢測響應進行處理后，能夠有效改進小目標識別的效果，大幅提高視頻中小目標信號燈的檢測準確率，并且可以有效確定信號燈狀態的轉換時刻。

但是，本文方法仍存在視頻較長時，求解過于龐大的網絡流圖復雜度過高的問題。下一步的研究方向主要是對網絡流建模方式進行優化，分批進行求解與關聯。

參考文獻：

［1］林可春. 汽車排放性能影響因素及對策研究［J］. 木工機床，2021（2）： 18-20. （Lin Kechun. Influencing factors and countermeasures of vehicle emission performance ［J］. Woodworking Machinery，2021（2）： 18-20.）

［2］Zou Zhengxia，Chen Keyan，Shi Zhenwei，et al. Object detection in 20 years： a survey［J］. Proceedings of the IEEE，2023，111（3）： 257-276.

［3］Sun Zhihong，Chen Jun，Chao Liang，et al. A survey of multiple pedestrian tracking based on tracking-by-detection framework［J］. IEEE Trans on Circuits and Systems for Video Technology，2020，31（5）： 1819-1833.

［4］Li Jia，Dong Yi. A new night traffic light recognition method［J］. Journal of Physics： Conference Series，2019，1176（4）： 62-66.

［5］余澤東. 基于Otsu算法和Hu不變矩的交通信號燈識別 ［J］. 武漢大學學報： 工學版，2020，53（4）： 371-376. （Yu Zedong. Traffic lights recognition with Otsu algorithm and Hu invariant moments［J］. Engineering Journal of Wuhan University，2020，53（4）： 371-376.）

［6］劉珂琪，董綿綿，王鵬，等. 一種基于圖像增強的交通信號燈識別方法［J］. 電子測量技術，2022，45（7）： 137-145. （Liu Keqi，Dong Mianmian，Wang Peng，et al. A traffic light recognition method based on image enhancement［J］. Electronic Measurement Technology，2022，45（7）： 137-145.）

［7］Yoneda K，Kuramoto A，Suganuma N，et al. Robust traffic light and arrow detection using digital map with spatial prior information for automated driving［J］. Sensors，2020，20（4）： 1181.

［8］Tsai M Y，Lin H Y. Nighttime traffic light detection with arrow signal recognition using a vision and learning based approach［C］// Proc of the 31st International Symposium on Industrial Electronics. Piscata-way，NJ： IEEE Press，2022： 594-599.

［9］李旭冬，葉茂，李濤. 基于卷積神經網絡的目標檢測研究綜述［J］. 計算機應用研究，2017，34（10）： 2881-2886，2891. （Li Xu-dong，Ye Mao，Li Tao. Review of object detection based on convolutional neural networks［J］. Application Research of Computers，2017，34（10）： 2881-2886，2891.）

［10］潘衛國，陳英昊，劉博，等. 基于Faster R-CNN的交通信號燈檢測與識別［J］. 傳感器與微系統，2019，38（9）： 147-149，160. （Pan Weiguo，Chen Yinghao，Liu Bo，et al. Traffic light detection and recognition based on Faster R-CNN［J］. Transducer and Microsystem Technologies，2019，38（9）： 147-149，160.）

［11］Ren Shaoqing，He Kaiming，Girshick R，et al. Faster R-CNN： towards real-time object detection with region proposal networks［J］. IEEE Trans on Pattern Analysis and Machine Intelligence，2017，39（6）： 1137-1149.

［12］Abraham A，Purwanto D，Kusuma H. Traffic lights and traffic signs detection system using modified you only look once［C］// Proc of International Seminar on Intelligent Technology and Its Applications. Piscataway，NJ： IEEE Press，2021： 141-146.

［13］Bochkovskiy A，Wang C Y，Liao H Y M. YOLOv4： optimal speed and accuracy of object detection［EB/OL］. （2020-04-23）. https：//ar-xiv. org/abs/2004. 10934.

［14］Wangsiripitak S，Hano K，Kuchii S. Traffic light and crosswalk detection and localization using vehicular camera［C］// Proc of the 14th International Conference on Knowledge and Smart Technology. Pis-cataway，NJ： IEEE Press，2022： 108-113.

［15］Bali S，Kumar T，Tyagi S S. Lightweight deep learning model for traffic light detection［C］// Proc of the 2nd International Conference on Technological Advancements in Computational Sciences. Piscataway，NJ： IEEE Press，2022： 689-694.

［16］Redmon J，Farhadi A. YOLO9000： better，faster，stronger［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2017： 6517-6525.

［17］劉雅婷，王坤峰，王飛躍. 基于蹤片Tracklet關聯的視覺目標跟蹤： 現狀與展望［J］. 自動化學報，2017，43（11）： 1869-1885. （Liu Yating，Wang Kunfeng，Wang Feiyue. Tracklet association-based visual object tracking： the state of the art and beyond［J］. Acta Automatica Sinica，2017，43（11）： 1869-1885.）

［18］Perera A G A，Srinivas C，Hoogs A，et al. Multi-object tracking through simultaneous long occlusions and split-merge conditions［C］// Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2006： 666-673.

［19］Zhang Li，Li Yuan，Nevatia R. Global data association for multi-object tracking using network flows［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2008： 1-8.

［20］He Zhenyu，Cui Yuxin，Wang Hongpeng，et al. One global optimization method in network flow model for multiple object tracking［J］. Knowledge-Based Systems，2015，86： 21-32.

［21］Pirsiavash H，Ramanan D，Fowlkes C C. Globally-optimal greedy algorithms for tracking a variable number of objects［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2011： 1201-1208.

［22］謝金星，邢文訓，王振波. 網絡優化［M］. 2版. 北京： 清華大學出版社，2009. （Xie Jinxing，Xing Wenxun，Wang Zhenbo. Network optimization［M］.2nd ed.Beijing：Tsinghua University Press，2009.）

［23］Lukezic A，Vojir T，Zajc L C，et al. Discriminative correlation filter with channel and spatial reliability［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2017： 4847-4856.

［24］Wang C Y，Bochkovskiy A，Liao H Y M. YOLOv7： trainable bag-of-freebies sets new state-of-the-art for real-time object detectors ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition. Piscataway，NJ： IEEE Press，2023： 7464-7475.