基于手勢識別的智能家居人機交互系統

張家源 劉建華 傅周超 嚴涵 齊子康 程博洋

摘要：智能家居是一種新興的物聯網技術系統，基于手勢識別控制智能家居的人機交互系統設計，是一種新的改善傳統智能家居人機交互的方案。利用中智訊公司的機器視覺平臺模擬獲取操作者的手勢，并與控制器進行命令交互，結合AI高清攝像頭以及智能節點控制等單元，搭建一個智能家居感知控制系統。通過試驗測試采集并分析數據，結果表明，該系統具有良好的可行性，簡單直觀實現新的智能家居控制方式。

關鍵詞：手勢識別；計算機視覺；人機交互；物聯網；Zigbee

中圖分類號：TP391? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2023）13-0105-03

開放科學（資源服務）標識碼（OSID）

0 引言

近年來，隨著人工智能、機器視覺等領域的高速發展，手勢識別技術在人機交互、AR等領域取得了不錯的成果。目前，手勢識別技術是當下非常流行的一種人機交互技術，這種技術提供給用戶便捷、靈活的交互方式，面向智能家居的手勢控制方式又具有操作簡單、人機交互友好等優點，所以這種技術是未來智能家居的發展趨勢之一。

目前，手勢識別技術大致可以分為三個等級：二維手型識別、二維手勢識別、三維手勢識別。其中，前兩者是基于畫面中的二維坐標信息進行手勢識別，而三維則由于包含深度信息（z坐標）在識別技術和系統上都有更復雜的實現方式。例如利用Hausdorff距離模板匹配思想來實現手勢的識別[1]、基于DTW的手勢識別算法[2]、基于CRF和HMM混合模型的手勢識別[3]等。其中，易靖國等人[4]提出通過Kinect深度攝像頭采集信息并用Hu矩進行提取手勢特征，利用BP（Back Propagation） 神經網絡的手勢識別方法很好地適應復雜環境，本文在此基礎上，通過Zigbee搭建平臺模擬實現智能家居手勢交互控制，以此分析測試。

1 系統功能需求分析

傳統的智能家居控制方式以手動開關或無線方式控制，當遙控器或開關失靈無法控制家居設備時，家居設備的使用往往會遇到很大的不便。本文設計的手勢控制智能家居，能在沒有遙控器的情況下，使用手勢直接控制智能家居設備，方便了用戶使用智能家居設備，擺脫了遙控器或者開關的制約。目前的手勢識別產品，由于識別率較低，沒有得到大面積推廣。該系統的實現將使手勢控制智能家居的識別率提升，推動其在智能家居領域的應用。該系統主要通過智能攝像頭識別手勢，把手勢映射為智能家居設備開關指令，通過ZigBee無線網絡通信技術控制空調、電風扇、燈光的開關狀態。本系統實現如下功能：

1） 手勢圖像采集：目前常用的手勢特征包括輪廓、邊緣、圖像特征向量、區域直方圖特征等，在安卓系統端使用統計分析技術，通過統計樣本特征向量來確定分類器。

2） 手勢識別：在安卓端對采集的圖像進行手勢的識別。

3） 執行控制：把識別的結果轉變為控制信號，通過無線傳感器控制智能家居設備。

2 系統框架設計

系統總體硬件組成如下：1） AI高清攝像頭；2） 智能邊緣計算網關；3） 智能+產業套件，其中智能產業套件由ZigBee節點天線、風扇、LED燈、繼電器、RJ45通信連線、步進電機、ZigBee無線節點、智慧家居套件節點等組成。本系統是利用機器視覺平臺模擬操作者與控制器進行人機交互，共分為三個部分：操作者動作采集部分、傳感器被控制部分、數據處理部分。各部分功能如下：1） 操作者動作采集：操作者面向攝像頭做出命令動作，攝像頭將識別手勢數據傳送至數據處理中心，進行圖像識別處理；2） 傳感器：接收數據處理中心發來的控制命令并完成相應指令，如風扇轉動（停止），LED燈的亮（滅）等；3） 數據處理中心：協調系統控制流程，完成數據交換與圖像識別處理。系統總體框圖如圖1所示：

本系統的軟件設計主要分為邊緣計算網關網絡配置、數據中心處理、動作識別算法設計以及各智能產業套件的無線連接。下面主要介紹數據處理中心設計。

數據處理中心主要負責數據的集中處理計算，包括整個系統的數據傳輸、信息處理等。當攝像頭采集和處理數據完畢后，數據包將傳送至數據處理中心，通過算法進行分析和識別，再將其控制命令發送至傳感器完成相應指令。其軟件工作流程如圖2所示。

在軟件系統內建立識別庫樣本，設置不同手勢完成對應操作，如手勢“2”完成開關風扇、開啟LED操作等。

4 系統實現

4.1 識別模塊

在識別模塊中，系統負責抓拍用戶手勢圖像，并進行預處理，然后提取手部外觀特征構建樣本，同時根據參數進行識別并反饋輸出識別信息至數據處理中心進行處理。其識別結果與圖片中手部的外觀特征有關，如位置、輪廓、紋理，也與圖像矩、圖像特征向量以及區域直方圖特征有關。因此，需要反復進行訓練，補充擴大樣本庫才能提高識別準確性。

用戶手勢動作識別的過程具體如下：

1） 獲取手勢動作。在對手勢動作的加速影像進行識別判斷、綜合分析之前，首要的基礎就是要能夠順利地獲取手勢的有效動作數據。這種有效地動作表現為在比較明顯的靜止時間內出現短暫的動作區段。

2） 建立樣本庫。本次系統所采用的模式識別主要運用的是處理分析法，這種方法的本質就是對手勢影像的每一個動作進行信息采集，構建強大的動作樣本庫，在庫內針對每一個動作手勢，進行不同的分解識別，然后對其進行處理分析。

3） 模塊識別。對于采集的手勢動作影像數據庫具有很高的要求，能夠有效地提取分析庫內動作的有效特征，并生成特征的子空間；也可以將動作的子特征再次投影，構成一組新的數據庫，將其與有效的動作片段庫進行對比，找出操作者的動作區別，更精準地分別識別操作者動作。

4.2 控制模塊

識別信息結果與構建模型進行校對，若兩者相吻合，則輸出命令控制傳感器，完成相應指令，如圖3、圖4所示。

5 實驗測試結果與分析

5.1 動作識別功能測試

操作者完成各個手勢動作樣本采樣，設置A、B兩組正反手勢識別，C組在復雜背景下進行，每種手勢采樣數量各為10，測得誤識別率最高為25%，不識別率為0%，C組偏差過大，不作展出（由數據看出，手勢的正反也對識別有一定影響，且復雜的背景環境也對識別有很大干擾，猜測是算法模型問題導致）。重復數次實驗后，A、B兩組各動作的誤識別率和不識別率表1所示。

5.2 操作者定位測試

通過攝像頭不僅可以抓取操作者的手勢動作，同樣也可以獲取操作者的位置信息，對于操作者的位置信息檢測到人體在室內的位置，通過圖像校正的功能對操作者進行有效定位，可以對單純的手勢識別進行補充，系統可以通過操作者的位置信息判定手勢控制的有效時段，更好地控制智能家居的反應效果。

6 結束語

本文研究基于手勢識別的智能家居控制系統，主要是對用戶手勢進行識別，并能準確地操控智能家居產品，完成相應的指令。采用Python的開源Web 應用框架Django搭建手勢識別系統，以此對智能家居進行控制。經測試，系統能較好地識別手勢并作出相應指令。后續研究包括：進一步調整優化算法，提高識別準確度、分別對不同場景下不同干擾下對手勢識別[5]、準確分類手勢類型[6]并通過卷積神經網絡進行識別訓練[7]。

參考文獻：

[1] 蘇九林.Hausdorff距離在手勢識別中的運用[D].上海：上海海事大學，2004.

[2] 佟喜峰，樊鑫.基于DTW的手勢識別算法[J].計算機與數字工程，2022，50（8）：1782-1786.

[3] 蔡旻，高涵文，李華一，等.基于CRF和HMM混合模型的手勢識別方法[J].計算機應用與軟件，2021，38（11）：162-166.

[4] 易靖國，程江華，庫錫樹.復雜背景下的手勢識別方法[J].數字技術與應用，2016（9）：50-53.

[5] 楊波，宋曉娜，馮志全，等.復雜背景下基于空間分布特征的手勢識別算法[J].計算機輔助設計與圖形學學報，2010，22（10）：1841-1848.

[6] 解迎剛，王全.基于視覺的動態手勢識別研究綜述[J].計算機工程與應用，2021，57（22）：68-77.

[7] 萬宇.基于輕量型卷積神經網絡的手勢識別及應用[D].武漢：江漢大學，2020.

【通聯編輯：唐一東】