具有自主感知行為的虛擬人運動控制技術研究綜述

何長鵬+羅鴻斌+張燕

摘要：由于人體結構及其運動的復雜性，導致在虛擬人形象化建模、運動控制方面存在諸多困難和挑戰。本文通過對相關研究工作進行歸納總結，指出了在形象化人體建模方面存在的問題，并給出了解決這些問題的關鍵技術和方法；在運動控制技術方面，將傳統的方法與最新的方法對比分析，重點分析了如何建立自主虛擬人感知模型，實現自主虛擬人行為控制和決策，使虛擬人具有“自我意識”。

關鍵詞：虛擬人；形象化；運動控制；感知模型

中圖分類號 TP391.41 文獻標識碼 A 文章編號：1009-3044（2016）27-0147-03

虛擬人（Avatar）是人類自身在虛擬空間中的化身[1]。在人機交互研究領域內，研究者往往會考慮到虛擬人、虛擬人環境和終端用戶這三者之間的交互作用，通過在虛擬空間中建立各種形象化的虛擬人模型，并借助可視化的虛擬人集合外觀、動作姿態變化，來反應用戶的行為和表情特征，從而達到增強用戶交流的效果和沉浸感[2]。隨著人工智能技術和多媒體技術的發展，虛擬人技術的研究更趨向于智能化和多樣化，人們將現實生活中的一些娛樂活動搬到了虛擬空間當中，例如虛擬舞臺的出現，通過建立虛擬場景，讓虛擬人來演繹音樂與舞蹈的內在聯系。在建立虛擬場景以后，讓虛擬人通過邏輯推理與學習，形成自身對虛擬環境的認識，使虛擬人具有“自我意識”，并將用戶意圖解釋為具體任務。如何構建個性化的虛擬人，實現具有自主感知行為的虛擬人運動控制，是虛擬人研究領域內所關注的焦點。

本文首先介紹虛擬人體建模方面的研究工作，就虛擬人形象化建模存在的問題，給出具體的關鍵技術和方法；然后，對傳統的運動控制技術和方法加以歸納總結，并分析了自主感知行為的運動捕獲數據驅動方法；最后，就自主感知行為虛擬人運動控制研究方面的存在的難點以及未來研究的方向，給出一些自己的想法。

1人體建模方法研究

人體是一個復雜的生命體系統，由骨骼、皮膚、肌肉和神經系統等組成，其中關節和骨骼的自由度較多。目前，人體建模面臨兩方面的問題：一是虛擬人骨骼結構的簡化及數學表達；二是建立逼真的外形，這是兩個相互依賴的問題[1]。虛擬人的運動控制大部分是基于骨骼模型，也稱之為骨骼動畫。由于肌肉和神經系統的建立存在著很大的困難，研究的難度巨大，所以骨骼模型忽略了肌肉和神經系統。依據人體解剖學原理，人們制定了兩個重要的國際標準H-Anim和MPEG-4來表示虛擬人骨骼結構[3]，主要是將人體的骨骼和關節進行簡化，減少其自由度，這樣可以降低建模的難度。人體建模的方法主要有基于幾何的方法、基于二維照片重構方法和基于人體測量學的方法等[4。

（1） 基于幾何建模技術研究較多，常常采用棒狀型、體模型和表面模型（如圖1所示）。虛擬人幾何建模主要是使用三維造型軟件，如Poser、3dsMax、Maya等來構建人體模型。針對 Poser 軟件輸出的人體模型缺乏關節點數據問題，文獻[7]提出一種基于模型的快速人體建模方法。給出一種骨架提取算法。此方法從Poser輸出的人體模型中提取出其骨架以后，將骨架層與皮膚層綁定，應用運動學方法使得骨骼驅動皮膚變形。依據H-Anim標準建立分層的骨骼模型，通過設置所有關節的自由度（DOF），采用三角網格方法來仿真皮膚層。

（2） 基于二維圖片重構方法，采用數字圖像處理的方法，提取二維圖片中人體的特征點和參數，來重構三維人體模型。李毅等人[6]針對輸入的草圖，提出一種通過草繪三維人體建模的模板形變方法。將草圖特征映射到三維人體模板，實現個性化的三維人體建模。有文獻提出了一種基于視頻的人體骨架建模新方法，通過提取視頻序列中人體骨架的特征，建立透視投影下的三維人體骨架模型，然后通過蒙皮來建立虛擬人皮膚模型。

（3） 基于人體測量學的方法，主要是借助一些三維掃描儀，依據人體測量學的原理，來構建三維人體模型。文獻[7]提出一種采用 Kinect 掃描人體重建個性化人體模型方法，此方法的主要目的是用來解決三維試衣系統中人體建模方法難于建立大量個性化的三維人體模型的問題。通過掃描獲得各種不同類型人體的測量數據，可以迅速構建參數化的人體模型，實現個性化、多樣化的逼真虛擬人模型。

以上三種人體建模方法，存在的主要問題就是建立的虛擬人模型，只有單一的骨骼層或皮膚層，即便已經將二者關聯起來，即將骨骼層和皮膚層綁定，通過骨骼層驅動皮膚層變形。但是在虛擬人運動過程中，存在皮膚層的塌陷、斷裂等問題，研究者往往忽略了這些問題，未來研究的主要方向就是如何有效的解決上述問題，建立肌肉層模型，實現逼真的虛擬人外形。

2 虛擬人運動控制技術的相關方法

虛擬人運動控制一直是虛擬人研究領域的關鍵技術之一。早期的虛擬人運動控制，主要是通過數值計算方式控制虛擬人運動。近期國內外出現了大量有關虛擬人應用軟件，最顯著的特點就對運動控制的效率以及實時性有了很高的要求，研究者關注的焦點是如何將人工智能技術與運動控制技術結合在一起，實現“自主”虛擬人。在自主虛擬人行為感知系統當中，虛擬人根據行為決策系統輸出的決策結果，依靠運動控制系統，執行相應行為動作，例如前往某個地方、閑逛、攻擊目標、逃避危險等[15]。

2.1 傳統的運動控制技術

在虛擬人研究領域，傳統的運動控制技術主要有基于關鍵幀的方法、基于物理控制方法、基于動力學方法、基于運動學的方法等。

1）關鍵幀方法。

2）物理控制的方法。

3）運動學方法。

4）動力學方法。

5）視頻數據驅動的方法。

2.2 基于運動捕獲數據的控制方法

人體運動捕獲數據是直接記錄人體的運動數據并將其用于生成計算機動畫 ，因其視覺真實感、富有表現力等優勢，越來越多地被應用于動畫、電影制作以及游戲等產業中。利用傳感設備捕獲人體運動數據，捕獲到的運動數據描述了骨架的結構以及在各個時間點的運動參數，它可以視為一個時變函數[10]，給定時間參數，可以確定該時刻人體各關節的狀態信息。由于捕獲的數據存在一定的冗余，為了驅動虛擬人在三維虛擬空間中更流暢運動，需要對捕獲的運動數據預處理，提取一些關鍵幀數據11]，將關鍵幀數據與人體模型進行映射。

對于精度較高的捕獲設備，得到的運動數據準確度高，能充分體現出運動的細節。文獻[12]中作者將捕獲的動作文件進行編輯，來合成逼真的虛擬人運動。文獻[13]中采用實時的動作捕獲技術，在虛擬舞臺上進行現場戲劇表演，實現了仿真人體的舞蹈動畫。這是將傳統的藝術表演形式搬移到了虛擬空間，是藝術領域內一次技術革新，引起越來越多研究者們對這種新的藝術表達方式的關注。文獻[14]提出一種“模板化”的運動控制方法，主要是將捕獲的運動數據，根據稀疏主成分分析方法、Group lasso以及 Exclusive group lasso三者結合起來，找到每一種運動內在的具有語義特征的自由度，并將其包裝成模板化的運動參數留給用戶，用戶便可根據該參數的語義描述，直觀地進行實時的模板化運動合成和控制。

上述方法各有優缺點，基于運動捕獲的方法，雖然可以提高運動控制的效率和實時性，但是其無法適應虛擬環境的變化，運動顯得死板僵硬的缺點也很明顯；基于物理控制的實時計算方法，雖然可以使虛擬人運動顯得真實，但是計算復雜、占用資源的缺點也限制了應用的范圍。因此，可以采用多種方法綜合的途徑進行，糅合每一種方法的優點，這樣能極大地提高虛擬人運動控制的實時性。

3 自主感知行為的運動捕獲數據驅動方法

前面所述的內容，研究者關注的焦點是虛擬人運動的逼真性與實時性，根本上忽略了虛擬人與虛擬環境之間的交互性?？紤]到虛擬人與虛擬環境之間的交互作用，研究者提出通過建立自主感知模型APM，Autonomous Perception Model），使虛擬人實現自主行為控制。自主感知模型是自主虛擬人理解周圍環境、進行自主行為控制以及決策的基礎，其主要目標是通過不斷地監測虛擬環境的變化，為行為控制模型提供必要的信息。

3.1 感知模型

通過建立感知模型來模擬虛擬人對虛擬環境感知限制，主要由視覺、聽覺和觸覺過濾器組成。視覺過濾器的原理是采用計算機視覺計算的方法計算出虛擬環境中各個對象與人眼之間的相對距離，根據設定的虛擬人所觀察的范圍，判斷某個對象是否在虛擬人視野范圍之內。為了提高感知模型檢測的準確性，可以采用經典的可見性計算方法分別求解虛擬人到包圍盒8個頂點的視線與其他物體包圍盒矩形是否有交點來判定空間的遮擋關系，包圍盒的選取要求光線與包圍盒的求交測試盡可能的簡單。將得到的對象信息與虛擬人直接關聯，植入能否被感知的狀態值，設置虛擬人對物體的感知權限。聽覺和觸覺過濾器主要作為視覺過濾器的補充，擴大虛擬人的感知范圍。

3.2 行為決策模型

決策網絡是一種表達解決決策問題的有向無環圖。有文獻中使用GeNie&Smile決策網絡包編程實現虛擬人行為決策模型。作者在行為決策模型設計中，將決策網絡劃分為頂級網絡、一級子網絡和以下各級子網絡組成。一級子網絡包括熟識行為網路、攻擊響應網絡、呼救響應網絡以及補充能量行為網絡。

3.3 運動控制模型

虛擬人根據行為決策系統輸出的決策結果，依靠運動控制系統，執行相應行為動作。在高層控制中，通過設計路徑規劃器，根據目標地點，生成虛擬人的運動路徑軌跡。路徑規劃器采用A*算法進行路徑搜索。通過使用碰撞檢測，可在運動控制物理層上檢測出虛擬人之間及與虛擬環境景物之間發生的碰撞，并進行相應的碰撞反應處理[8]。

4 總結與展望

由于人體結構及其運動的復雜性，導致在虛擬人形象化建模、運動控制方面存在諸多困難和挑戰。本文在閱讀大量文獻的基礎上，通過分析總結了具有自主感知行為的虛擬人運動控制的方法。在形象化虛擬人建模方面，針對建立的虛擬人體模型缺乏逼真度等問題，將相關研究成果進行概括總結，分析了虛擬人體建模的關鍵技術和方法。在運動控制技術方面，將傳統的方法與最新的方法對比總結，重點介紹如何建立自主虛擬人感知模型，實現自主虛擬人行為控制和決策，使虛擬人具有“自我意識”。 如前文所述，由于人體自身的復雜性，自主感知行為的虛擬人運動控制技術還存在著一些問題有待于解決。

參考文獻：

[1] 何長鵬，侯進，王獻.基于骨骼的三維虛擬人運動合成方法研究[J].計算機工程與科學，2014，36（4）：737-740.

[2] J. Hou， F. Xu， L. Wu， and H. H. Mi. Avatar-based human communication： a review[J].International Journal of Modelling and Simulation，2012，32（4）：273-278.

[3] 夏時洪，王兆其.虛擬人合成研究進展[J].中國科學F輯：信息科學，2009，39（5）：483-498.

[4] O. Schreer，R.Englert，P.Eisert，and R.Tanger.Real-time vision and speech driven avatars for multimedia applications[J].IEEE Trans. Multimedia， 2008，10（3）：352-360.

[5] 呂治國，李焱，賀漢根.基于Poser 模型的三維人體建模方法[J].計算機工程，2008，34（13）：256-261.

[6] 李毅，劉興川，孫亭.草繪3維人體建模的模板形變方法[J].中國圖象圖形學報，2015，20（6）：0828-0835.

[7] 姚礪，李奧瓊，王慧潔.個性化人體特征曲線驅動的三維服裝變形[J].計算機仿真，2015，32（7）：426-432.

[8] 劉渭濱，周亮，邢薇薇，等.自主虛擬人真實感行為與運動建模的研究[J].北京理工大學學報，2010，30（10）：1189-1193.

[9] J.L.Ren，Z.B.Zheng， Z.M.Jiao.Simulation of virtual human running based on inverse kinematics[C].//in Proc. 2nd Int. Conf. Education Technology and Computer， Shanghai， China， Jun.2010：360-363.

[10] S.L.Li，J.H.Liang，B.Wu，and L.Chen，etc.Dynamic motion editing by combining an extension of the prioritized inverse kinematics with active dynamic control[C].//in Proc. IEEE Int.Conf.Mechatronics and Automation，Changchun， China，Aug.2009：4067-4074.

[11] F. Multon，R.Kulpa，L.Hoyet，and T. Komura.Interactive animation of virtual humans based on motion capture data[J].Computer Animation and Virual Vorlds，2009，20（5）：491-500.

[12] C.E.Colvin，J.H. Babcock，J.H.Forrest，C.M.Stuart，M.J.Tonnemacher，and W.S.Wang.Multiple user motion capture and systems engineering[C].//in Proc. IEEE Systems and Information Engineering Design Symposium，Charlottesville， VS，USA，Apr.2011：137-140.

[13] C.TAY and R. Green. Human motion capture and representation[C].//in Proc. 24th Int. Conf. Image and Vision Computing， Wellington，New Zealand，Nov，2009：209-214.

[14] J.Geigel and M. Schweppe. Motion capture for real-time control of virtual actors in live， distributed， theatrical performances[C].//in Proc.IEEE Int. Conf. Automatic Face & Gesture Recognition and Workshops， Santa Barbara， CA， Mar. 2011：774-779.

[15] 夏貴羽，孫懷江.模板化的人體運動合成[J].自動化學報，2015，41（4）：758-771.

[16] W. Meng，W.B.Guo，and C. M. Zhu. Motion fusion technique based on characteristics of human motion[J]. Journal of Computer Applications，2011，3（1）：42-44.

[17] 羅陸鋒，鄒湘軍，張叢，謝雷.基于實時數據的角色運動建模與仿真[J].系統仿真學報，2015，27（4）：677-681.