智能化消毒機器人人機交互的研究

周加全，莫春枝，梁虹梅，覃丹紅，顏夢微

（廣西科技師范學院數學與計算機科學學院，來賓 546199）

0 引言

隨著科學技術的不斷發展，人機交互技術越來越成熟，其發展趨勢變得更加智能化和人性化［1］。盡管目前人機交互方式正在全面發展，但仍然存在一些技術方面的問題未得到充分的解決，無法準確捕捉用戶的意圖和需求，導致用戶體驗感不強，無法精確地實現人機交互。

本文將人機交互技術分為圖形界面交互和語音交互兩個方面［2］。關于圖形界面交互，雖然它是目前使用最多的一種交互方式，但也存在一些問題。首先，它主要依賴于人的視覺神經，容易導致疲勞感。其次，大多數圖形界面交互方式相對單一，主要是通過采用機械設備的方式進行，而且輸入或輸出的信息相對較少。對于語音交互而言，在應用方面相對來說比較廣泛。但由于每個人的語音特點和發音習慣不同，語音識別系統需要適應多樣性的要求。此外，線性輸入方式也限制了語音交互在某些場景中的應用。

為了解決上述問題，本文在消毒機器人原有的人機交互功能的基礎上增加基于OpenCV 計算機視覺庫特征臉算法的人臉識別模塊和基于自動語音識別技術ASP 的語音識別模塊［3］，這些模塊的使用，除有效解決上述問題外，也可以有效提高機器人的識別精度，具有較好的魯棒性，能夠較好地改善消毒機器人人機交互性能。通過實驗結果分析，這些模塊的使用優化了消毒機器人人機交互性能，提高了算法的識別精度，有效提升人機交互體驗。

1 人機交互模塊

本文設計消毒機器人的人機交互模塊不僅含有人臉識別，還具有語音識別等功能模塊。其中人臉識別主要是基于OpenCV 計算機視覺庫的特征臉算法，能對高維圖像進行降維處理，能有效提高算法的運行效率和人臉識別的準確率。而語音識別通過自動語音識別技術ASR，該技術識別率高、響應迅速，在噪聲環境下具有一定的魯棒性［4］。

1.1 人臉識別模塊

通過攝像機或攝像頭等設備采集到用戶的靜態或動態圖像后，利用算法可以獲取到人臉分布中的主要特征并進行分析，通過對比數據庫相同特征類型的圖像，能夠準確識別出這個人的姓名和個人信息。其工作原理是輸入一些陌生的人臉圖像的特征，這些圖像特征和數據庫中已經有身份的人臉特征圖像進行訓練比較，可以得到一個相似度的分數，可以匹配出相應的身份信息［5］。本文主要采用OpenCV 計算機視覺庫的特征臉算法，并運用神經網絡深度學習實現智能人臉識別模塊。

1.1.1 特征臉算法

Eigenfaces 是基于主成分分析PCA 的一種人臉識別算法，PCA 是一種矩陣的壓縮算法，簡單來說就是將i×j的矩陣轉換成i×k的矩陣，只保留矩陣中所存在的主要特性，最常用的方法是將識別到的人臉圖像通過降維進行處理，只保存人臉的主要特征，這樣不僅可以節省空間，還可以提高識別的效率。首先獲取圖像數據，對數據進行預處理，先后求出訓練集和測試集，通過神經網絡對模型進行訓練。

1.1.2 特征臉算法技術原理

步驟一：獲得人臉圖像數據，將每個人臉圖像矩陣按行串成一維向量，所有向量可以構成訓練集x1,x2,…,xm。

步驟二：將m個人臉在對應維度上加起來，利用公式（1）求得到“平均臉”，其中n是樣本數量。

步驟三：將每個圖像都減去平均臉向量，利用公式（2）求得協方差矩陣C。

步驟四：根據算法訓練圖像，獲得特征子臉，然后進行圖像重構，尋找相似度高的人臉圖像，可以采用歐氏距離來衡量，見公式（3）。

1.2 語音識別模塊

語音識別是人機交互系統中非常重要的一個部分，它主要是針對語音進行處理，這其中主要包括語音信號處理和對處理過的聲音進行識別，這樣可以讓機器充分理解人們所表述的意思。語音識別涉及了多門學科，其中最主要的是語音學、語言學及神經生物學等學科［6］，其核心在于可以通過語音識別來更好地實現人與機器的交互。語音識別最主要目的是讓機器能夠聽清楚人們所說的，并完成相應的操作或對話。

1.2.1 語音識別原理

語音識別的原理主要包括特征提取、聲學模型、語言模型和解碼器［7］。其中特征提取是指未處理的語言信號存在冗余的信息，需要提取語音信息中的特征，以便用于后續處理。聲學模型是指利用聲音建立相應的模型，通過輸入語音得到的輸出結果為聲學。將得到的聲學的特征參數與數據庫中的模型匹配，得到最終的識別效果。而語言模型通過運用語法和語義的知識，能夠準確描述詞與詞之間的內在關聯，提高識別的正確率。解碼器利用輸入的語音信號，通過訓練好的聲學及語言模型形成一個識別的網絡，通過這個網絡并運用算法可以得到能夠以最大概率輸出語音信號的詞串的路徑［8］，進而確認待輸入的語音樣本所包含的文本。

1.2.2 語音識別技術

語音識別技術，也稱自動語音識別（automatic speech recognition，ASR），其關鍵是計算機信息處理技術。主要作用是把人類的語音轉化成機器人能夠識別的信息，這種信息要轉化成為相應文本或命令的一個過程，語音識別技術主要包括語音特征提取和相應的語言識別算法［9］。

2 人機交互的設計與實現

2.1 人臉識別模塊

2.1.1 設計流程

人臉識別模塊分為三個層：識別層、實體層和服務層。識別層：獲取人臉數據并保存。將用戶信息存儲在一個函數內，對人臉信息進行對比認證。實體層：人臉數據訓練與處理。對傳輸來的視頻進行識別、判斷，最后將數據傳輸到界面。服務層：調用攝像頭，進行人臉識別。具體流程如圖1所示。

圖1 人臉識別的設計流程

2.1.2 模塊的實現

首先注冊人臉，處理獲取的視頻流進行人臉識別，根據索引打開攝像頭，檢測到人臉，獲取當前捕獲到的圖像的所有人臉特征，計算其歐氏距離，將人臉數據添加到CSV中。

獲取所有已經注冊的人名和人臉特征，捕獲人臉的名字坐標，對于某張人臉，遍歷所有存儲的人臉特征，尋找出最小的歐氏距離匹配，若匹配成功，則在人臉框下面寫人臉名字，如圖2所示。

圖2 人臉識別圖

2.1.3 測試結果

為了驗證算法的有效性及準確性，本文采集了5000 張不同人物、不同角度的人臉圖像進行訓練，并運用OpenCV 算法識別人臉圖像。通過實驗，本文設計的OpenCV 算法進行人臉識別成功率較高，該算法的訓練精度高達95%，同樣的識別精度也能達到一樣的精準度，具體如圖3 所示。該模塊的應用有效提高了人機交互體驗。

圖3 訓練測試結果的精度

2.2 語音識別模塊

2.2.1 設計流程

語音識別是一種模式識別系統［8］，其主要是由特征提取、模式匹配、參考模式庫等組成，具體結構如圖4所示。其中特征提取也是預處理的過程，主要通過克服人們發音的差異和環境的影響對聲音信息進行處理，然后進行重復的訓練，保留關鍵信息，并按照一定規則對信息進行整合處理，形成模式庫［10］。

語音識別過程最重要的部分就是模式匹配，它主要通過算法得到與模式庫中的相似度，進而得到語音文本。

2.2.2 模塊的實現

（1）數據采集：收集用于訓練和測試的語音數據。這些數據可以來自公共語音數據集、自行錄制的語音數據或其他來源。為了獲得更好的效果，要保證數據集的多樣性和充分性，具體如圖5所示。

圖5 語音識別文本數據

（2）數據預處理：對采集到的語音數據進行預處理。包括去除噪聲、降低音頻采樣率、音頻歸一化等處理，以提高后續特征提取和模型訓練的效果。如圖6所示。

圖6 語音識別

（3）特征提?。簭念A處理的語音數據中提取特征。這些特征表示語音信號的頻譜和能量分布。

（4）建立聲學模型：使用特征提取的語音數據和對應的標簽（文本轉寫）來建立聲學模型。通過訓練聲學模型，使其能夠學習到語音信號與文本之間的映射關系。

（5）建立語言模型：語言模型是采用大量的文本語料庫構建的。語言模型主要包括n-gram模型和深度學習的循環神經網絡。通過運用語言模型來提高識別準確性和上下文理解能力。具體如圖7所示。

圖7 語音識別模型構建

（6）解碼和識別：通過運用聲學及語言模型進行相應的解碼與識別。其中解碼器可以通過聲學及語言模型得到特征序列之間的關系，通過這種關系可以確定對應的詞序列，并把詞序列作為識別的結果。

2.2.3 測試結果

（1）結果評估：對識別結果進行評估，使用評價指標（如識別準確率、錯誤率等）來衡量識別性能?？梢耘c其他方法進行對比，以驗證識別結果的準確性和效果。本次實驗經過訓練，測試精度較高，約98%，達到精準語音識別效果。如圖8所示。

圖8 語音識別測試結果

（2）優化和調優：根據評估結果和實際需求，對系統進行優化和調優，以提高識別的準確性和效率?？梢試L試調整模型結構、增加訓練數據、優化特征提取等方法。

3 結語

本文采用了OpenCV 圖像識別算法、特征臉算法實現的人臉識別模塊以及自動語音識別技術ASR 模塊，通過神經網絡深度學習，使得消毒機器人更加擬人化，有效提升人機交互體驗。在人臉識別這一設計部分經過相應的預測得出的訓練精度證明，該技術能夠有效提高人臉識別準確率，有效提高人與機器的互動。語音識別技術和人臉識別技術聯合有效解決了人與機器互動產生視覺疲勞和操作麻煩的問題，實現了人性化與智能化的人機交互方式。雖然本文設計的語音識別有了很大的改善，但語音識別外界干擾因素較多，識別相對復雜，目前還存在著一定的局限。今后將對該局限的外界影響因素做進一步研究。