基于提升度和置信度特征融合的視覺感知算法

吳亞蒙 中國礦業大學（北京）機電與信息工程學院

基于提升度和置信度特征融合的視覺感知算法

吳亞蒙 中國礦業大學（北京）機電與信息工程學院

視覺關注是計算機視覺領域的重要研究內容之一，是指利用模式識別、機器學習等分析方法預測實驗對象關注的感興趣目標或者方向?；谔卣魅诤系囊曈X關注算法是指通過特征提取和融合的方式構建頭部特征矩陣，并計算頭部姿態信息或者凝視方向信息，最終確定視覺關注的目標或者方向。近年來視覺關注算法在公共安全、自然會議和輔助駕駛等諸多領域得到廣泛應用。但基本都是基于靜態頭部姿態數據庫方面的研究傳統方法局限于研究頭部姿態與視覺感知方向。對于人正面的臉部識別，很多的識別系統能夠表現出很好的識別性能。但是頭部姿態容易受很多因素的影響，對于臉越來越多的人臉角度，它的識別準確率會嚴重下降。因此就更加需要其他的一些特征來配合頭部特征一起識別。身體其他部位如手勢、手臂和肩膀姿勢同樣與視覺感知的目標息息相關，并且表現出人的潛在行為目的，另一方面更能精確的表示視覺感知方向。

視覺關注 特征融合 頭部姿態 視覺感知

視覺關注圖像中蘊含了豐富的信息，傳統方法局限于研究頭部姿態與視覺感知方向，身體其他部位如手勢、手臂和肩膀姿勢同樣與視覺感知的目標息息相關，并且表現出人的潛在行為目的，另一方面更能精確的表示視覺感知方向，本文提出一種新的視覺感知算法。針對手勢、頭部姿勢、視覺感知方向、目標進行分析，希望通過建立手勢、頭部朝向、視覺注意方向的置信度模型，引進興趣度/提升度，置信度和規則后件項集支持度的比率，達到精確預測感知目標并且預測人體行為的目標。

1 基于眼睛定位的平面角度頭部姿態識別方法

我們要先對圖像的顏色進行校正預處理。因為在人臉的采集過程中，圖像可能存在偏藍或者偏黃，那么將會直接影響最終的結果；然后采用基于膚色模型的人臉檢測方法對人臉進行檢測，對眉毛和眼睛進行定位；最后，就是根據瞳孔圓檢測原理，對瞳孔圓進行檢測。

眼睛定位以后，可以得到左右眼的具體坐標，比如左眼(x1,y1)，右眼 (x2，y2)，令 θ=atctan［(y2－y1)/(x2－x1)］，當|θ|＜70度時可判斷是向哪邊傾斜(若小于70度則認為向右傾斜，若大于－70度可認為向左傾斜)，示意圖見圖2所示。

圖2 頭部模型幾何示意圖

2 基于軌跡分割的HMM_SVM融合模型手勢識別算法

本文采用基于軌跡分割的HMM_SVM融合模型的手勢識別算法。由于測試人本身手勢動作幅度較小并且很多手勢都非常的相似，傳統的基于HMM手勢識別算法的結果又是根據輸出概率最大的HMM模型來決定的，所以就會導致很多的模型輸出結果相當接近，所以單純地靠概率最大來來判斷，結果錯誤的可能性非常大?；谥С窒蛄繖C的手勢識別忽視了手勢軌跡中間的各種變化，直接用手勢軌跡的整體數值特征來進行識別。HMM利用上下文關系進行模式識別，更多地表達了類別內的相似性，而支持向量機擅長分類問題，更大程度上反映了類別間的區別?；谲壽E分割的HMM_SVM融合模型算法的層次結構，如下圖3所示：

圖3基于軌跡分割的HMM_SVM融合模型算法的層次結構圖

3 基于提升度和置信度的特征融合算法

本文基于Dempster-Shafer理論，提取人的頭部朝向特征（Face Orientation）Ff置信空間為mf和手勢特征(Had Gesture)Fh的置信空間mh,根據Dempster置信度理論構建置信度空間mp。將分別測量的頭部姿態值和手部姿態值充分融合。

當頭部朝向、手勢特征交集部位空時的置信空間如下m(□ )＝ 0

當頭部朝向、手勢特征交集為空，置信空間則為0，計算各個信度空間的信度值。

然后建立一種關聯Ff→Fh，計算相應的lift值。lift(AB)=c(AB)/s(B)，那么對于二元項集來說，我們可以做這樣一個變換：lift(X→Y)=c(X→Y)/s(Y)=(p(X,Y)/p(X))/p(Y)=p(X,Y)/p(X)p(Y)那么這里，我們則可以把lift(X→Y)稱為興趣因子，表示為I(A,B)。此處為I(Ff,Fh，)。

若I(Ff,Fh，)＞1，則為正項強關聯，那么上面所提到的頭部朝向、手勢特征方向可用；若I(Ff,Fh，)≤1，則為負項強關聯，那么上面所提到的頭部朝向、手勢特征方向不可用。

4 結語

頭部姿態和凝視方向是視覺關注算法研究的兩個核心內容。視覺關注技術是分析人體行為和潛在意圖的重要步驟，目前在各個領域應用而且發展迅速，主要包括公共安全、人機交互、自然會議、輔助駕駛和智能課堂管理。針對視覺關注算法，當前的研究方法包括基于統計學的方法和非統計學的方法，統計學方法包括基于模板匹配的、基于外觀模型、基于流形的，非統計學方法包括基于幾何模型的和基于探測數組的，此外還有統計學方法和非統計學方法相結合的方法，如基于頭部跟蹤的方法。

本文提出了一種新的融合算法，希望借助頭部和手部共同達到分析人體行為的預測方法。實驗結果和數據表明，該方法可以加強兩種方法的計算精確度，達到更加精確的效果。Eyes in a Portrait,” Philosophical Trans. Royal Soc. of London, vol. 114, pp. 247-256, 1824.

[1] M. V. Sireesha, P. A. Vijaya and K. Chellamma,“A Survey on Gaze Estimation Techniques”, International Conference on VLSI, Communication, Advanced Devices,Signals and Systems and Networking, VCASAN 2013, vol.258, pp. 353-361, 2013

[2] Erik Murphy-Chutorian and Mohan Manubhai Trivedi,“Head Pose Estimation in Computer Vision: A Survey”,IEEE Transactions on Pattern Analysis And Machine Intelligence, Vol. 31, No. 4, pp. 607-626, 2009

[3] W.H. Wollaston, “On the Apparent Direction of

[4] M. Trivedi, K. Huang, and I. Mikic, “Dynamic Context Capture and Distributed Video Arrays for Intelligent Spaces,” IEEE Trans. Systems, Man, and Cybernetics, Part A, vol. 35, no. 1, pp. 145-163,2005.

[5] J. Tu, T. Huang, and H. Tao, “Accurate Head Pose Tracking in Low Resolution Video,” Proc. IEEE Int’l Conf. Automatic Face and Gesture Recognition, pp.573-578, 2006.

[6] Mora, Kenneth Alberto Funes (Idiap Research Institute,Martigny, Switzerland); Odobez, Jean-Marc, “Geometric Generative Gaze Estimation (G3E) for Remote RGB-D Cameras” Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, p 1773-1780, 2014

[7] M. Nixon, “Eye Spacing Measurement for Facial Recognition,” Proc. Conf. Soc. Photo-Optical Instrument Eng., 1985.

[8] Duric, Zoran, Gray, Wayne D. Integrating perceptual and cognitive modeling for adaptive and intelligent human-computer interaction.Proceedings of the IEEE,2002,90(7):1272-1288.

[9]魏朝龍，手勢建模算法研究及其應用，廣東工業大學，2011-5

吳亞蒙（1992-），女，河北邢臺人，中國礦業大學（北京）研究生。