基于多神經網絡融合的運動人體姿態識別

郭鈞++韓新樂++李鶴喜

摘要：本文運用高斯分布方法來建立背景模型，并利用彩色背景差分進行運動人體的檢出。通過對檢出的人體圖像進行形態學處理后，分別進行實體、輪廓和幾何矩三種特征的提取，并為每個特征建立了一個BP神經網絡分類器，經多種人體姿態樣本獨立訓練后，再采用D-S證據理論對三個神經網絡的輸出結果進行融合處理，對運動人體姿態識別的實際測試表明：采用多特征神經網絡融合方法比單特征神經網絡取得更好的識別率，該方法可以用于各種智能視頻監控系統中。

關鍵詞：運動人體 特征提取 神經網絡 D-S證據理論

中圖分類號：TP391 文獻標識碼：A 文章編號：1007-9416（2016）10-0051-03

1 導言

運動人體的跟蹤與姿態識別是近年來計算機視覺領域的研究熱點之一，在智能視頻監控、虛擬現實技術、人機交互、體育運動分析和動畫制作等領域都有著廣泛的應用[1-3]。但目前成熟的應用還主要集中在簡單的人體區域跟蹤上，由于人體的運動變形，特征難以固定不變，采用一種特征來識別人體姿態會產生較高錯誤率，針對這一問題，本文對每幅人體姿態圖像分別采用不同的方法提取特征，使其具有互補性，當一個特征表達缺失或缺少唯一性時，由其它兩個特征來彌補，每個特征都有自己的分類器，最后的分類由D-S證據理論給出判決結果。

2 運動人體的檢出

對運動人體進行識別，首先要將目標人體從背景圖像中提取出來，即運動人體的檢測。這部分工作的好壞將直接影響后續的識別、跟蹤情況。運動人體檢測的原則就是盡可能的保留運動人體部分的重要的特征信息，同時最大限度的去除對運動人體檢測無用的干擾信息。本文采用了背景減除法[4]，并結合高斯建模的方法建立背景模型來處理環境的光線變化[5]，使運動人體目標的檢測更準確，考慮到人體圖像提取的可靠性，本文沒有采用傳統的灰度背景差分，而是采用彩色背景差分，然后運用了數字形態學方法主要是開閉運算處理由于檢測后圖像或多或少存在的干擾和噪聲等，可以使提取出的人體目標區域更為完整，圖1是經過彩色背景差分和形態學處理后的人體圖像，包括直立、行走、下蹲和跑步姿態，可以看出人體姿態完整，干擾被消除。

3 運動人體姿態的特征提取

運動人體是形變體，其特征的選取做到穩定和不變是困難的，采用單一特征提取方法更不穩定，所以本文采用多特征提取方法來表達運動的人體，以“多”代“單”能更合理更準確體現運動人體的各種姿態。通過對目前主流的特征提取方法的分析，選擇人體輪廓、人體區域和人體幾何矩不變量三種特征作為運動人體的姿態表示。

3.1 輪廓特征向量

利用前面的高斯背景模型建立背景，并通過背景減除法得到的運動人體區域基本是完整的，再通過膨脹、腐蝕、開閉運算數學形態學方法和濾波等對其處理使其內部填充完整，然后提取人體圖像的輪廓圖，典型輪廓圖提取如圖2所示。

為了縮小特征向量的維數，將輪廓樣本圖像f（x，y）歸一到，歸一化到這個尺寸是為了在后面進行神經網絡訓練時保證得到訓練網絡的泛化性和識別結果的準確率，如果偏小則識別精度下降，如果偏大則網絡訓練的迭代次數多，訓練時間長。這樣像素點的維數為480，將圖像按行堆疊成輪廓特征向量是：

3.2 區域特征向量

同輪廓特征向量的提取一樣，利用高斯背景模型建立背景，并通過背景減除法得到的運動人體區域基本是完整的，再通過數學形態學方法膨脹、腐蝕、開閉運算和濾波等對其進行處理使其內部填充完整，然后提取人體區域圖，典型區域圖提取如圖3所示。

同提取輪廓特征一樣，為了縮小特征向量的維數，將骨絡樣本圖像f （x，y）歸一到，像素點的維數為480。將圖像按行堆疊成骨絡特征向量是：

3.3 矩不變量特征

矩不變量最早由Hu在1962年提出[6]，用來表征圖像的形狀，并且推出了其它一些基本性質來證明矩的平移、旋轉和比例的不變性。矩特征目前已經廣泛應用于形狀分析、目標識別圖像分析等領域，雖然矩不變量一般用于剛體形狀識別，對于變形人體可能穩定性不如剛體，但對于直立、屈體、行走等典型姿態還是有較強的區分能力，可以作為一種形狀特征使用。

對于一幅圖像f （x，y） 的二維（p+q）階幾何矩定義為

通過歸一化處理可以得到7個關于圖像中心的幾何矩不變量，其中前6個平移、旋轉和比例縮放不變，本文取其作為人體的特征向量Φ={Φ1，Φ2，Φ3，Φ4，Φ5，Φ6}。

4 人體姿態識別多特征神經網絡的建立、訓練與融合

4.1 多神經網絡的建立

特征向量的組織在人體姿態識別中是非常重要的，一般一個神經網絡對應一種類型的特征分類，然而將各種特征組合在一起形成一個特征向量，不僅訓練時間長，而且訓練后網絡的泛化性不夠理想，所以本文建立了3個BP神經網絡，將他們組合成一個更強的分類器。三個網絡的輸入分別是人體姿態的輪廓特征向量、區域特征向量和矩特征向量，對其三者的輸出進行加權后，用D-S證據理論進行融合，得到最終的分類結果[7]。3個神經網絡分類器結構及融合原理如圖4所示。

4.2 神經網絡的訓練

由于人屬于非剛性物體，運動姿態多種多樣，本文選取比較有代表性的8種典型姿態進行研究，編碼方式采用排它的方法，樣本姿態屬于類別用“1”表示，不屬于用“0”表示。那么對于標識為[0，0，0，0，1，0，0，0]的姿態表示是8種姿態類別中的第5種姿態。然后對采集的人體姿態樣本進行神經網絡訓練，訓練的時候只要將輸入樣本與其對應的標識相關聯即可。采用有師指導的監督訓練，訓練樣本是通過采集處理的各種人體運動姿態圖像集，可以手工添加樣本，也可以由計算機批量自動添加，采用帶動量的梯度下降法進行訓練，精度指標取0.001，迭代上限為150萬次。其典型的訓練過程如圖5所示。

4.3 基于D-S證據理論的神經網絡的融合

D-S證據理論能夠有效的融合多種證據源數據[8]，本文將利用這種理論對三種神經網絡的輸出進行融合。在本文中，有8種待識別的典型人體姿態，因此互斥元素個數為8個，假定姿態集合X={直立，行走，跑步，下蹲，…，伸臂 }，每個神經網絡的輸出節點為8個，每個姿態的置信度是是節點輸出值的歸一化結果，將三個網絡的輸出作為基本證據源對三者融合，并進行加權處理，得到最后的運動人體識別結果。

4.4 運動人體姿態識別試驗結果

根據運動人體姿態的多樣性，采用多種典型姿態對運動人體進行分類，考慮到運動人體易于變形的特點，采用單一特征會降低識別的準確性，分別提取運動人體的輪廓、區域和幾何矩三種特征進行人體姿態表達，并建立了對應三個特征的組合神經網絡，利用加權的D-S證據理論對每個神經網絡輸出進行融合處理，試驗結果已表明：基于組合神經網絡的運動人體識別率比采用單一的神經網絡有很大的提高。對多人體的互動姿態進行識別，可以推理打架、斗毆、追逐、自然行走等典型互動行為，對異常進行報警。其典型單人體姿態和雙人體交互姿態識別分別如圖6和圖7所示。

為滿足人體姿態的識別實驗要求，對每種特征選擇100副圖像作為訓練樣本，選擇40副圖像作為測試樣本，并且使用修正的D-S證據理論進行多條證據的融合。表1顯示了單個方向的神經網絡的識別結果與經過D-S融合策略融合之后的識別結果。從表中可知，多特征融合之后的識別準確率高于單特征的BP神經網絡的識別率，因此，可以得出結論：采用多神經網絡融合技術能夠有效提高運動人體識別的準確率。

5 結語

通過基于多神經網絡的運動人體姿態識別的研究和試驗，最后得到以下幾點結論：（1）通過高斯分布方法建立背景模型，并利用彩色背景差分能夠快速從背景圖像中檢出人體運動姿態；（2）采用人體圖像的輪廓特征、實體特征和幾何矩特征來表達運動人體的各種姿態是有效的；（3）建立了對應三種特征的BP神經網絡分類器，通過各種人體姿態樣本的訓練，基于單個神經網絡的人體姿態識別錯率15%，而通過D-S證據理論對三種特征輸入神經網絡的融合，識別的錯誤率降低到5%，表明本文采用多神經網絡方法對運動變形的人體姿態識別是有效的；（4）實際運動人體試驗結果表明本文提出的基于多神經網絡融合的運動人體識別方法可以用于各種智能監控系統中。

參考文獻

[1]林慶，史振杰，詹永照，徐劍暉.基于感興趣區域的運動人體跟蹤[J].江蘇大學學報（自然科學版），2010，31（2）：206-209.

[2]劉菲.運動人體行為分析系統及關鍵技術研究[D].西安市：西安電子科技大學，2007：4-12.

[3]黃國范，程小平，任菲.人體動作姿態的自動識別方法研究[J].西南師范大學學報（自然科學版），2010，35（4）：136-140.

[4]李敏.人體姿態識別技術研究及其在智能監護系統中的應用[D].北京交通大學，2015：20-28.

[5]謝非.智能監控系統中人體及其多種姿態的識別技術研究[D].南京航天航空大學，2009：10-22.

[6]Hu M K. Visual pattern recognition by moment invariants[J]. IEEE Transactions on Information theory，1962，8：179-187.

[7]馮靜.基于證據理論的可靠性信息融合方法研究[J].計算機仿真，2009，26（12）：82-85.

[8]孫濤，張宏建.目標識別中的信息融合技術[J].自動化儀表，2011，22（2）：1-4.

收稿日期：2016-08-15

作者簡介：郭鈞（1992—），男，廣東揭陽人，在校本科學生，五邑大學計算機學院，研究方向：計算機應用技術；韓新樂（1990—），男，內蒙古通遼人，

碩士研究生，五邑大學計算機學院，研究方向：圖像分析與機器視覺；李鶴喜（1961—），男，遼寧昌圖人，博士，教師，五邑大學計算機學

院，研究方向：機器視覺與智能機器人。