基于Kinect手勢識別技術的數字沙盤開發應用研究

李 昕 徐芳棋（中國美術學院，浙江 杭州 310012）

從2010年微軟正式發布Kinect v1到2019年4月更新至Kinect Azure，九年期間，從Kinect v1僅能對肢體識別20個關節點，到將手勢識別技術的精確度提高至25個關節點（包括手指和指尖關節），其硬件的升級，大幅提升了對顏色、深度、人物姿勢、檢測直徑、角度的精確度，其中對手部動作識別的感應精確度和空間范圍的寬容度有了顯著提升。在交互展示領域，三維數字沙盤因其以展示內容廣、設計手法精湛、展示手段先進、科技含量高等特點，受觀眾青睞，但Kinect手勢識別技術在三維數字沙盤領域內至今仍未得到廣泛應用。

一、Kinect手勢交互信息處理技術的特點

1.即時體驗

在當代電子技術媒介的影響下，即時體驗成為普遍的審美需求，尤其在展覽、游戲體驗中，即時體驗高可以說是用戶和開發者最重要的需求。在互聯網時代下，線上的過于虛擬化往往使得體驗者無法獲得真實、即時的體驗，而線下體驗則需要大量人力物力財力，成本較高。

圖1 Minimaforms “寵物動物園”展覽

尤其在手勢交互中，電腦程序捕捉精細數據時運算量大，往往會導致無法即時體驗，甚至時常有延時現象產生。為了解決這個問題，Leap motion公司于2013年發布了Leap motion，但Leap motion只能關注在手勢識別部分，開發力度不大，無法做到全身的肢體識別。但開發不久后，新上市的Kinect 2不僅解決了這個問題，其大量的程序庫不僅可以調用幾乎所有的手勢，更可以搭載不同的體驗設備，比Leap motion更開源。Kinect的即時體驗主要由于其承載數據量少，有豐富的數據資源，可以快速調用其他輸出程序。

例如，倫敦建筑工作室Minimaforms推出的“寵物動物園”展覽，參觀的游客可以直接進入該動物農場，不同的是該動物園沒有動物，都是有人造觸角的機器人。且每個機器人都配有Kinect感應器，根據游客的動作和態度會實時做出相應的動作。其內在原理正是Kinect感應器感應到了人體手部的范圍和姿勢，然后轉化成相應的電子信號傳輸給機械部分，從而形成實時的互動，像真的“動物”一樣。

2.消解界“面”技術研發與設備運用的銜接

在目前眾多交互媒介中，手勢交互被應用于最多的就是界面交互，而界面交互中最常見的是智能移動終端的手勢交互。智能移動終端最初的手勢交互代替了鼠標的點擊，隨著手勢交互的迅速發展，智能移動終端的手勢交互早已不局限于起初的“點擊”按鈕，滑動、下拉、捏合甚至多點觸控等手勢極大地豐富了手機手勢的多樣化需求。但現如今，界面交互已經遠不能滿足人們的需要，且界面交互技術研發過程復雜，為了使界面屏幕變輕便，各大智能移動終端的廠商不斷研發更小的芯片和更薄的屏幕，耗時耗力，十分復雜。

圖2 交互式燈光裝置New Angle

人機交互越過屏幕觸碰向非接觸式的手勢識別方向大踏步發展，極富圖像化和具備行動性的手勢操作將會越來越與人們的生活相關。Kinect不需交互中間這層“隔膜”，其手勢信息交互處理技術不但可以識別用戶的手勢動作、運動姿勢以及軌跡狀態，并能將識別信息及時轉化為指令信息，將交互體驗二維空間擴展到三維空間，消解了界“面”技術研發與設備運用的銜接，用戶不需要任何中間設備的過渡即能享受交互的樂趣。

例如，上海設計工作室的超自然交互式燈光裝置New Angle，該裝置六角形物體具有結晶表面，會形成多種顏色。其主題旨在裝置能與觀眾建立實時互動的視覺對話，有時模仿并反映前方人物動作，參觀者可以通過肢體操控其LED的亮暗，無須通過界面等方式進行間接操控。其操作原理也正是感應到了參觀者的手勢后，相應對應內部的機械，當人手勢識別到后，即感應器轉化為電信號傳達給主控板，之后導出相應信號點亮互動燈。

3.提升受眾參與度

傳統展覽展示中，受眾以接收方為主，展覽品與受眾之間基本沒有互動連接關系，參觀者需要借助展覽中所呈現出的文字、視頻，在短時間迅速了解展品內容，這一過程十分枯味乏躁。其次，由于展品和參觀者距離過大，往往受眾參與度會降低。近兩年來，隨著媒體技術的發展，展覽中多會運用一些觸控屏幕交互的方式，雖然提升了部分參與度，但還是以參與者被動接受為主，較為枯燥。

圖3 TeamLab Universe of Water Particles on a Rock where People Gather

但如果使用了Kinect手勢交互，交互簡單易懂卻效果震撼，參與者必須帶動自己的肢體動作才能夠看到展覽效果，參與者的“被動接受”變成了“主動探索”，這種心理上的迅速轉變能極大地提高受眾參與度，在短時間內不必消化理解所呈現的文字信息，而直接轉化為視覺信息。如日本TeamLab在東京的展覽中利用Kinect手勢技術做的Universe of Water Particles on a Rock where People Gather這件作品，當人站在作品上，當參觀者觸摸這件作品時，參與者會變為能夠改變水流流動的巖石，即觀賞者自身變成了障礙物，可改變水流的流動方向，該作品受到觀賞者的行為舉動不斷持續變化，效果都是即時產生的，故參與者往往為了眼前一瞬間的畫面，需要極大地提高專注度，因為錯過就無法看到第二次，這也說明在手的互動參與中，使用Kinect手勢交互可以大大提高受眾參與度。

4.實現瓶頸

Kinect手勢交互技術雖然優點眾多，卻只有少數大型展覽才會使用。這一技術實現的瓶頸主要有兩點。其一，在于科技技術和設計兼存的設計師極為短缺。尤其在國內，設計與技術脫節明顯，人才趕不上市場需要的變化。其二，由于Kinect被收購，現在市場上不再售賣Kinect設備（2019年4月更新的Kinect Azure未開售），原先兩版的開源硬件停售，導致市場上使用的人越來越少。

二、Kinect手勢交互信息處理技術在數字沙盤設計中的實踐運用

1. 數字沙盤設計說明

本實踐作品《人類世——生態地理數據可視化交互展示系統設計》。我們著重分析新陳代謝派建筑在緩解人類世進程中將可起到的積極作用?？萍际侄我运囆g的形式來表達，旨在引起大眾對于人類世的關注以及提高對新陳代謝派建筑的接受度。

在表達不同階級時，本作品以數字沙盤的形式呈現。根據不同的手勢會對應不同的圖案。數字沙盤內的方塊代表著不同的社會區域，而每個區域對應著不同的階層社會。一個區域的壯大是指該區域的人口數量多，產生的經濟效應累計高。且每個區域是根據觀眾的實時變化而不斷在變化著的。顏色紅、亮，代表著該區域的社會壓力增加。社會壓力是指人口背負的精神壓力，來源于金錢、地位等因素。相對應地，社會壓力會帶來權力壓力，在越高峰的地方權力帶來的壓力會更大。顏色藍、暗，則代表著社會壓力降低，但也同樣帶來淘汰的風險。層數高、流速快是指該地區流動人口高。如果一個地區的流速高代表著它頻繁地在調整使用，活躍性高。而一個地區低凹代表著該地區活躍度低，面臨被淘汰的風險。該裝置意在以上帝的視覺操控著人類的命運，在這些交互中，其實已經手中掌握著成千上萬甚至上億的“人類世”末期的人的命運和歸宿。

2.方案設計與媒介實驗

圖4 虛擬計算的實驗過程

選擇虛擬計算手段進行實驗。在試驗方案中，依然以Kinect手勢識別作為主信息輸入，但換Processing作為搭建基礎的虛擬輸出平臺，通過平臺的虛擬計算后，輸出實時投影進行手勢交互，投影范圍在數字沙盤上。在輸出中，運用了索尼EX291投影設備3D投影在數字沙盤上，將投影覆蓋在數字沙盤上，從而達到預期展覽效果。

3.交互實現

在交互實現階段，因最新款Kinect Azure還未進行發售，我們分別使用Kinect v1和Kinect v2設備測試，并進行了實驗對比。實驗對比發現，Kinect v2的精確度有了明顯上升，能很大地提高設備運算流暢度和觀眾互動率，故選擇Kinect v2設備作為展示設備。

Kinect開發環境下，對手勢識別有一些基礎樣本庫，通過在開源網站的截取，即可獲得手勢識別的基礎程序。在交互實現中，為避免過多的程序切換帶來的運算，我們加載了Processing中的開源庫Open Kinect for Processing 1.0，加載后可以在Processing中直接調取Kinect數據。由于開源的特性，此開源庫中有很多已經編好的手勢數據庫，例如“揮手”，調用好所需的手勢程序后，即可對接Processing。Kinect在手勢識別后，將手勢識別轉化成為電信號到Processing中，且實時顯示投影設備。

三維數字沙盤中，通過多次3D打印、ABS 材料制作、硅膠翻模、精雕切割亞克力，最終選取材料為內部圓形磁鐵外部塑料材質的磁力方塊，每個方塊的長寬高均為2.5cm。磁力方塊的磁力拼搭更生動有趣，觀眾體驗性強。為校正Kinect和投影儀的距離誤差，我們把它們懸空至2.05m左右，通過對比屏幕的顯示范圍和數字沙盤的實際大小，逐漸校正屏幕誤差。最后根據方案的改動，逐步編寫Processing程序，最終實現設計中的數字沙盤部分。

圖5 “人類世”數字沙盤

三、結論與展望

根據理論論證和多次實驗證明，隨著Kinect手勢識別技術的進步和其版本更迭精準度的提高，尤其在較小的展示空間內，能實現識別更復雜且精密的手勢。在信息數據的加載量和運算量方面，相較于觸屏交互來說，手勢識別的加載運算量比觸屏交互負載更輕，能夠在較小的展示空間內獲得更流暢的交互體驗。三維數字沙盤增加了Kinect手勢識別技術后，使展示互動效果多維化。

在展示成本方面，隨著硬件成本的大幅降低，以及軟件開發程序的不斷完善，展覽的展示成本能大大縮減，能帶來更客觀的效益。在展示需求方面，Kinect手勢識別技術同時支持虛擬計算和物理計算，能滿足不同展覽需求。近期，2019年4月更新的Kinect Azure更是將多款業界領先的人工智能傳感器集于一身，雖然至今還未發售，但其硬件配置已給人無限幻想。電子沙盤有展示內容廣、設計新穎、展示手段先進、科技含量高等特點。多媒體觸控沙盤將靜態模型與多媒體觸摸屏互動的結合起來[4]。當融合了Kinect的技術后，在原有基礎上增加了互動效果?；诒疚闹蠯inect手勢識別技術在數字沙盤應用的優勢，可以預測將來其將在數字媒體展示領域有更廣闊的發展推廣的意義，并鼓勵倡導同行業人員大力發展此應用。