基于車載的運動行人區域估計方法

李志慧，胡永利，趙永華，馬佳磊，李海濤，鐘 濤，楊少輝

(1.吉林大學 交通學院,長春 130022；2.吉林大學 計算機公共教學與研究中心,長春 130022；3.中國城市規劃設計研究院 城市交通研究分院，北京100037)

0 引 言

車載行人檢測技術利用車輛前方的攝像機等設備檢測、定位以及識別行人，為無人駕駛、自動輔助駕駛等技術提供了智能決策支持，從而提高行車安全、減少人車碰撞事故。目前，常用的檢查算法有：Haar小波行人檢測法[1]、人體形態檢測法[2-6]、HOG+SVM行人檢測法[7-9]等，這些算法均采用滑動窗口的行人模板匹配方法來識別行人，但由于模板匹配的全局多尺度窗口搜索策略，造成行人檢測時大量的盲目搜索，降低了行人檢測的實時性。

通過檢測行人感興趣區域(Regions of interest，ROI)可以獲得可能存在行人的區域，減少滑動窗口盲目搜索的時間，提高行人檢測的實時性。目前行人ROI檢測方法可分為兩類：①特征估計法，該方法通過圖像紋理、顏色、亮度等特征，估算行人形態、概率密度分布等，從而獲取行人ROI。如：Itti等[10]利用生物激勵注意特性，判斷顯著性區域，獲取行人ROI；Gualdi等[11]采用蒙特卡洛和高斯核函數密度估計行人ROI；Kamijo等[12]利用時空馬爾科夫隨機場模型估計行人ROI。該類方法雖然能夠獲取行人ROI，但模型較復雜，增加了行人檢測算法的運行時間。②運動檢測法，該方法利用光流計算和運動分割方法，獲取行人區域。如：Zhang等[4]和Elzein等[13]利用光流計算獲取場景的光流場，利用圖分割獲取行人ROI，該方法從運動分割的角度為行人ROI估計提供了新的視覺，但未考慮運動場景與行人的運動差異性，仍無法降低光流場分割計算的復雜度。

為了快速定位運動行人ROI，減少行人檢測滑動窗口的搜索時間，本文根據車載運動場景與行人的運動差異性，提出了一種基于光流聚類的行人ROI快速估計方法。該方法首先計算車載視頻圖像的光流場，通過光流場聚類和運動場景的背景光流估計，剔除背景光流。然后，利用圖分割獲取可能的行人前景區域，根據人體形態特征，去除非行人區域，獲取行人ROI，減少了行人識別盲目搜索的時間。最后，基于自有車載試驗平臺JLU-PDS進行試驗測試，并與德國奔馳Daimler行人檢測基本數據集的測試結果進行對比，結果表明了本文方法的有效性。

1 運動行人ROI估計方法框架

運動行人具有運動突然和隨意性強的特點，往往致使駕駛員難以發現而釀成無法挽回的悲劇。從而，運動行人ROI快速估計對車載行人預警等智能車輛技術顯得尤為重要。為快速估計行人ROI，本文制定了圖1所示的技術框架。該技術框架包括圖像獲取、光流估計、光流聚類、運動場景背景估計、光流分割、區域判別和感興趣區域獲取等部分。

圖1 基于光流聚類的運動行人ROI估計方法框架Fig.1 ROI estimation method of moving pedestrian based on optical flow clustering

圖像獲取利用裝載在車輛前方的攝像機獲取車輛前方道路信息；光流估計利用光流計算獲取圖像的光流場；光流聚類通過統計每個像素點的光流場強度和運動方向，獲取其運動場直方圖，該處理過程實現了不用運動屬性的物體歸類；運動場景背景估計根據車載運動場景具有基本相同的運動屬性，且這些運動屬性明顯不同于行人的運動屬性以及場景背景區域明顯大于行人圖像區域等特點，獲取直方圖的極大值點和分割邊界，實現運動場景背景估計；光流分割利用去除背景光流的光流場圖像和圖分割算法，獲取不同的分割區域；區域判斷根據人體形態特征，剔除非行人區域，獲取行人ROI。

2 感興趣區域判別模型

2.1 光流算法

光流場表征為圖像二維平面內物體表面的運動矢量場，是3D空間物體表面在圖像的運動投影，其廣泛應用于物體運動檢測。經過多年的發展，在估計精度和速度方面取得重要進展，并行環境下運算速度可達到45幀/s[14]，其中基于梯度的光流估計方法應用尤為廣泛?；谔荻鹊墓饬鞴烙嫹椒ㄊ窃诩僭O光強亮度恒定和物體微小運動的基礎上來估計光流矢量場。

令I(x,y,t)為圖像I(x,y)的時間序列，假設圖像光強亮度恒定和物體微小運動，則有：

I(x,y,t)=I(x+dx,y+dy,t+dt)

(1)

I(x+dx,y+dy,t+dt)的泰勒展開式為：

I(x+dx,y+dy,t+dt)=I(x,y,t)+

(2)

忽略高階項δ，則有：

(3)

Ixu+Iyv=-It

(4)

其行列式形式為：

(5)

圖像光流計算矩陣表示為：

(6)

為了計算式(5)，Lucas和Kanade[15]假定局部鄰域為常數，采用局部光流計算方法，利用最小二乘法計算矩陣方程求解圖像光流場；Horn和Schunck[16]采用全局光流計算方法，利用松弛迭代法求解全局能量最小，計算全局光流場。局部光流法對噪聲具有較好的魯棒性，但計算結果為稀疏光流場；全局光流法具有較好的圖像結構邊緣探測精度，可獲取稠密光流，但抗干擾性較差。為滿足行人運動區域估計效率和精度的要求以及降低外界干擾的影響，本文采用文獻[10]中局部與全局相結合的光流求解方法，該方法利用共軛梯度法快速求解光流矩陣。圖2給出連續兩幀的光流的孟塞爾顏色可視化系統效果圖，其中矢量角度大小表示色相和色度，矢量模表示明度。

圖2 車載視頻連續幀光流效果圖Fig.2 Optical flow rendering of vehicle video continuous frame

2.2 光流聚類

圖像光流場反映了物體表面在圖像平面的運動投影，因此具有相同運動屬性的物體將具有近似相同的光流場。車載相機的移動致使交通場景背景具有近似相同的運動場，從而交通場景圖像的背景每個像素點具有近似相同的光流矢量，即背景的光流場具有近似相同的幅值和方向。移動個體作為不同于背景的運動，具有不同于背景的光流場。因此，根據運動差異性，可實現對圖像光流場聚類前景與背景的分離。

令u和v分別為圖像每個像素點光流的x和y方向分量，則圖像每個像素點的運動幅值M和運動方向角θ可表示為：

(7)

為快速獲取圖像背景光流分量，分別統計圖像光流場每個像素點的幅值M和方向角θ的直方圖，獲取圖像運動幅值和方向角的聚類直方圖。圖3為車載視頻連續幀及其可視化光流圖，其幅值和方向角直方圖及聚類對比圖如圖4所示。

圖3 車載視頻連續幀及光流圖Fig.3 Adjacent frames and optical flow chart

圖4 光流幅值和方向角直方圖以及聚類對比圖Fig.4 Amplitude and angle histogram of optical flow,contrast amplitude and angle graph of foreground and background

圖5 雙高斯間的最小誤分類分割閾值Fig.5 Threshold of minimum misclassification between double Gauss

圖6 圖3(a)和(b)相鄰幀閾值分割后的效果圖Fig.6 Rendering of adjacent frame threshold segmentation of figure 3(a) and 3(b)

由圖4可以看出，背景和前景的光流直方圖統計分布為近似高斯分布，因此圖像光流直方圖可視為背景、前景、光流場估計誤差以及過程噪聲等構成的混合高斯分布。

假設圖像光流場直方圖為f(x)，則有：

f(x)=g1(x)+g2(x)+…+gn(x)

(8)

式中：g1(x)、g2(x)、gn(x)分別為背景、前景、噪聲干擾等高斯分量；n為高斯個數。

由于車載視頻場景中運行物體和行人個數的不確定性，圖像光流場直方圖的混合高斯分布難以確定高斯的個數，從而通常的期望最大化(Expectation-maximization,EM)算法和K-means等聚類算法難以確定背景的高斯分布。

2.3 背景估計

通常車載視頻場景中圖像的背景占圖像的絕大部分區域，即圖像光流聚類直方圖的極大值點對應圖像背景區域。因此，分別統計幅值和方向角直方圖的極大值Mmax和θmax，獲取極值點對應的高斯分布作為圖像背景區域。

由圖5可以看出：兩高斯分布的最小誤分類閾值T對應兩高斯分布的交叉點。為獲取背景區域與其它前景高斯分布的最小誤分類閾值，本文仍選取兩高斯分布交叉點作為其分類閾值。根據攝像機成像投影原理，所有的成像點相交于成像的滅點，即車輛前方距離車載攝像機較遠的背景光流強度將趨向于0點，其中圖4的光流幅值直方圖可以看出，背景部分為從0點開始的極值點對應的高斯分量。因此，圖像光流幅值聚類直方圖中幅值為M∈[0，T]且T>Mmax對應的區間為背景部分，其中T為分類閾值，如圖6所示。此外，由于光流方向角范圍為[-π，π]以及前景運動方向的不確定性。為降低背景的誤分類，在方向角聚類直方圖極值點兩側分別選取閾值作為背景部分，即圖像光流方向角位于θ∈[t1,t2]且t1<θmax

Bmask(x,y)=

(9)

式中：(x,y)為對應圖像像素點坐標；Bmask(x,y)=1為背景點。

為了滿足背景估計的自適應性要求，需自適應確定背景光流幅值與方向角的分類閾值，即自適應確定閾值T、t1和t2。由于分類閾值為兩高斯分布的交叉拐點，其中閾值T為幅值直方圖Mmax右側的第1個拐點；閾值t1和t2分別為方向角直方圖θmax左、右兩側第1個拐點。為快速自動獲取直方圖的分類閾值，本文選取過零點檢測方法獲取極值點左、右的拐點。

為了降低噪聲等對直方圖造成的干擾，本文利用平滑窗口函數k(ω)與光流直方圖f(x)進行卷積運算，如下式所示：

ff(x)=f(x)*k(ω)

(10)

由于ff(x)的導數的零點對應函數的拐點，利用差分函數求解ff(x)的導數ff(x)，然后利用式(11)判斷過零點位置，分別獲取直方圖左、右兩側的第1個零點位置，作為分類判決閾值，從而自適應確定閾值T、t1和t2，其中圖6為圖像獲取背景后的前景區域效果圖。

(11)

2.4 光流分割

通常不同運動物體具有不同的運動屬性，同一運動物體同一時刻具有基本相同的運動屬性。對圖像光流圖而言，同一物體光流場具有均一性，不同物體具有不同的光流場。因此，對圖像光流場進行光流分割可實現前景物體的分割。為了有效獲取前景物體，本文對背景剔除后的光流圖采用基于圖論[17]的分割算法。

(12)

式中：α和β分別為矢量模m和矢量夾角θ的權重系數。

根據圖G的最小生成樹，利用判決準則函數D(C1,C2)決定區域C1與C2是否分割。

(13)

式中：

MInt(C1,C2)=

min(Int(C1)+τ(C1),Int(C1)+τ(C1))

τ(C)=k/|C|

式中：k為閾值參數，根據不同的需求進行調節。

根據上述準則進行光流圖分割，得到如圖7所示的分割效果圖。其中，圖7(a)中藍色點表示前景光流矢量；圖7(b)中不同區域顏色不同標識。

圖7 圖分割效果圖Fig.7 Rendering of segmentation

2.5 區域判別

通過圖像的前景光流分割獲取前景運動物體的有效區域，但由于前景有效分割區域除了包括行人外，還可能包含運動車輛、部分背景等，需進一步剔除非行人區域。由于行人人體形態結構異于其他物體形態的天然特性，本文利用人體形態的相關指標特征進行判斷，剔除部分非行人區域。

本文選取人體高度與寬度比Lw、行人區域面積S、分割區域面積與矩形窗口的面積比Sp作為評價標準，來判斷是否為可能行人區域，其表示為：

(14)

式中：Smin、Smax分別為行人區域可能最大、最小面積；Lmax、Lmin分別為行人區域可能最大、最小的身體高度與寬度比；Spmax、Spmin分別為行人區域可能最大、最小的分割區域面積與矩形窗口面積比。

圖8為運動區域判別效果，可見，區域將面積較大和較小的區域剔除。

圖8 運動區域提取示意圖Fig.8 Schematic diagram of motion region extraction

3 試驗結果分析

分別利用本課題組研發的JLU-PDS車載試驗平臺(見圖9)以及國際Daimler[4]車載行人測試視頻集對本文算法進行測試。

JLU-PDS試驗環境選取吉林大學校園內車輛運行環境，實車測試時長為2 h，其部分測試結果如圖10所示。Daimler測試視頻集為野外和城市道路上的視頻集，其部分測試結果如圖11所示。

由圖10和11可以看出，本文算法能夠較好地滿足行人被部分遮擋、野外、街道、人群等復雜環境下的應用，實現不同尺度下行人ROI區域估計，同時能夠保證行人ROI區域的檢測精度，表明了本文算法具有較好的環境應用性和較好的性能。本文算法對光流分割前進行了預處理，極大地降低了行人檢測的搜索空間，為車載環境下的行人識別提供了快速、準確的行人區域估計方法。

圖9 JLU-PDS車載試驗平臺Fig.9 JLU-PDS vehicle test platforme

圖11 Daimler數據庫試驗效果圖Fig.11 Experiment results of Daimler database

4 結束語

根據運動行人與車載移動背景的運動差異性，通過光流聚類獲取了不同物體的運動表達，建立了基于光流聚類的行人ROI估計方法。通過JLU-PDS和Daimler國際行人共享測試庫對本文方法進行實際場景測試，結果表明，本文方法極大地降低行人識別的空間搜索范圍，克服了傳統行人檢測的盲目搜索的問題，能夠實現行人的快速檢測。該方法可為車載主動行人保障技術、無人駕駛、智能車輛等研究和應用提供技術支持。

參考文獻：

[1] Papageorgiou C,Poggio T. A trainable system for object detection[J]. International Journal of Computer Vision,2000,38(1):15-33.

[2] Dollár P, Wojek C,Schiele B,et al. Pedestrian detection:a benchmark[J/OL].[2017-04-09]. http:∥www-cs.ccny.cuny.edu/～zhu/GC-Spring2010/Papers/PedestrianBenchmark.pdf.

[3] Enzweiler M, Gavrila D M. Monocular pedestrian detection:survey and experiments[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(12):2179-2195.

[4] Zhang Shan-shan, Klein D A, Bauckhage C,et al. Fast moving pedestrian detection based on motion segmentation and new motion features[J]. Multimedia Tools and Applications,2016,75(11):6263-6282.

[5] Tkarli F,Aghagolzadeh A,Seyedarabi H. Combination of high-level features with low-level features for detection of pedestrian[J]. Signal Image and Video Processing,2016,10(1):93-101.

[6] Geronimo D,Lopez A M, Sappa A D,et al. Survey of pedestrian detection for advanced driver assistance systems[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(7):1239-1258.

[7] Prioletti A, Mφgelmose A, Grisleri P,et al. Part-based pedestrian detection and feature-based tracking for driver assistance: real-time, robust algorithms, and evaluation[J]. IEEE Transactions on Intelligent Transportation Systems,2013,14(3):1346-1359.

[8] Dalal N. Finding people in images and videos[J/OL]. [2017-04-09].https:∥tel.archives-ouvertes.fr/tel-00390303/document.

[9] Zhu Q,Yeh M C,Cheng K T,et al. Fast human detection using a cascade of histograms of oriented gradients[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition, New York,USA,2006:1491-1498.

[10] Itti L,Koch C,Niebur E. A Model of Saliency—Based Visual Attention for Rapid Scene Analysis[M]. New York:IEEE Computer Society, 1998.

[11] Gualdi G, Prati A, Cucchiara R. Multi-stage sampling with boosting cascades for pedestrian detection in images and videos[C]∥European Conference on Computer Vision,Heraklion,Crete,Greece,2010:196-209.

[12] Kamijo S,Sakauchi M. Simultaneous tracking of pedestrians and vehicles by the spatio—temporal Markov random field model[J]. Ipsj Sig Notes Cvim,2003,4:3732-3737.

[13] Elzein H,Lakshmanan S,Watta P. A motion and shape-based pedestrian detection algorithm[C]∥IEEE Intelligent Vehicles Symposium,Columbus, USA,2003:500-504.

[14] Garcia-Dopico A,Pedraza J L,Nieto M,et al. Locating moving objects in car-driving sequences[J/OL]. [2017-04-11].http:∥paperity.org/p/35073989/locating-moving-objects-in-car-driving-sequences.

[15] Lucas B D,Kanade T. An iterative image registration technique with an application to stereo vision[C]∥Proceedings of the 7th International Joint Conference on Artificial Intelligence, Vancouver BC, Canada,1981:121-130.

[16] Horn B K P, Schunck B G. Determining optical flow[J]. Artificial Intelligence,1981,17(1):185-203.

[17] Felzenszwalb P F,Huttenlocher D P. Efficient graph-based image segmentation[J]. International Journal of Computer Vision,2004,59(2):167-181.