基于人眼專注度檢測的智能臺燈設計

顏利宏，劉文華

（漳州職業技術學院 電子信息學院，福建漳州 363000)

在傳統線下授課模式中，教師、家長可以通過面對面觀察學生的學習狀態，及時糾正學生不良的學習行為，但是在網絡學習環境中，由于受空間的限制，教師、家長難以實時監測學生的學習狀態，如果學生的專注力比較分散，學生就難以維持高效的學習狀態，無法獲取足夠的有效信息，從而學習效果不佳，所以如何提高學習者的專注度是當下的一個重要研究課題[1-2]。此款設計的智能臺燈在前期設計基礎上主要為解決如何提高學生、辦公人員專注度，幫助其提高學習、工作效率而進行優化，同時增加人機交互智能語音控制功能，提升用戶體驗感。主要創新點有：（1）專注度判斷。通過Open-MV 模塊檢測人眼位置，計算眼睛張合度來判斷專注度情況，從而幫助用戶提高學習辦公效率；（2）人機交互控制臺燈。產品不局限于按鍵控制臺燈，用戶可以通過語音功能控制臺燈的開關，使得產品更加智能。用戶在離開臺燈時或不便開關臺燈時，可以通過語音的方式控制臺燈，為用戶帶來更好的體驗感。

1 系統設計方案

1.1 前期系統

系統以STM32G47RE 為控制芯片，通過串口、Ⅰ2C、中斷等接口連接外部血氧傳感器、人臉檢測攝像頭，在智能化照明的基礎上采用了快速傅里葉算法、人臉注冊、Haar-like 人臉檢測算法，實時計算用戶心率和人體姿態，對不正確的姿態和不健康的心率發出聲光報警信號，來實時進行血氧監測和坐姿矯正，為用戶健康保駕護航[3]。

1.2 系統升級方案

隨著智能照明設備的迭代更新，用戶對產品的要求越來越高，主要表現在智能輔助功能、語音控制、人體感應等方面。此臺燈主要針對當下關注的熱點——“專注度”進行設計，可以實時監測用戶專注情況并即時提醒，從而幫助用戶提高學習和辦公專注度，同時增加語音控制功能，提升用戶體驗感。

系統主要針對“專注度”監測提醒進行設計，目的在于模擬再現線下課堂教師督促效果，實時監測用戶專注情況，并通過語音進行提醒，從而幫助用戶提高學習效率。在STM32G47RE 控制芯片上通過USART、Ⅰ2C、中斷擴展接入專注度檢測模塊和語音模塊。專注度檢測模塊通過Open MV 識別人眼位置并計算眼睛張合度，對用戶專注度進行實時監測[4]。語音模塊用于接收專注度判定結果，對專注度不足情況進行語音反饋提醒，從而幫助用戶提高學習和辦公效率，同步具備接受外部語音指令對臺燈亮度、開、關進行控制，進一步提升用戶體驗感。系統設計圖如圖1 所示：

圖1系統硬件連接圖

2 專注度檢測算法

2.1 專注度判定流程

人眼是面部的重要特征之一，它可以反映一個人的情感、注意力情況等多種信息。人眼檢測可應用于專注度判斷、疲勞駕駛判斷、視線追蹤等多個領域。人眼的張合是人體生理信號的一種表現，它與個體的神經生理學反應和視覺注意力等因素有關，當人們處于注意力集中狀態時，交感神經系統會使人眼的瞳孔擴張，獲取更多的外部信息；當人們處于疲勞狀態時，副交感神經系統會使人眼的瞳孔收縮，獲取的外部信息相應減少，這種表現與人們的日常經驗和觀察相符。因此，可通過計算人眼瞳孔大?。磸埡隙龋﹣砼卸▽Ｗ⒊潭?。采用張合度判定專注度相比腦電圖或眼動追蹤等神經科學研究算法，具有非侵入性，不需要在人體上安裝設備或試劑，更容易被接受和使用。并且通過人眼張合度計算，可以快速、簡單地評估個體的專注度，具有實時性。段巨力[5]將人眼張合度用于線下課堂學生上課專注的判定，其專注度檢測準確率達92%。左國才[6]也將人眼張合度用于課堂學習效果評價取得了較好的效果。該模塊主要采用OpenMV 進行人臉識別，通過坐姿矯正模塊判斷用戶是否低頭、側臉，再檢測出眼睛位置并計算出眼睛張合度，最終將二者結果相結合來判斷用戶的專注程度。

2.2 張合度計算

OpenMV 模塊搭載STM32F427 芯片，集成了OV7725 攝像頭芯片，通過實時獲取圖片定位人臉位置。該模塊中的Haar 分類器是基于Adaboost 算法的基礎上，結合Haar-like 特征進行人眼檢測[7-9]。通過find_features()函數尋找與Haar-like 特征相匹配的區域，并輸出一個符合特征的邊界框矩形元組(x,y,w,h)的列表，從而提取出眼睛位置[10-11]。

其中，H表示眼睛張開的高度，W表示眼睛張開的寬度。由于人眼張合度是一個連續變量，且不同用戶在專注情況下的眼睛張開程度存在個體差異，因此為簡化計算，將公式(2)進行歸一化：

其中，0 ≤ZHDnor≤1,ZHDmax表示當前用戶在清醒狀態下眼睛的最大張開度，代表最專注的狀態，ZHDmax通過人臉注冊模塊計算得到。因此，可設定一個閾值p=0.28來判定專注程度：當被測目標的ZHDnor小于p時，認為學習專注度較低，即判定為不專注，并通過語音提醒用戶，其程序設計流程圖如圖2所示：

圖2 專注度判斷程序流程圖

3 語音模塊

3.1 硬件設計

語音交互模塊以SYN7318 為語音交互核心，它集成了語音識別、語音合成和語音喚醒等功能[13-14]。該語音模塊通過UART 與主控芯片STM32G47RE 進行通信，通信方式采用異步串行通訊方式來接收命令幀從而實現文本到語音、語音到文本的轉換以及語音控制功能,命令幀包括控制命令幀、待合成的文本數據等內容。

3.2 語音識別流程

該智能臺燈使用單片機作為上位機控制語音模塊來實現各種控制功能，通過命令幀和回傳幀實現上位機與SYN7318 模塊之間的信息傳輸[15-17]。具體流程如下：首先，上位機向SYN7318 模塊發送查詢指令，查詢SYN7318 模塊當前狀態。SYN7318 模塊在成功接收指令后向上位機回傳狀態指令。然后，上位機繼續發送語音識別指令啟動語音模塊，語音模塊從麥克風采集到語音數據并將識別結果通過UART 回傳至上位機。

4 實驗與結果分析

4.1 專注度測試分析

本設計使用NUCLEO-STM32G47RE 開發板結合OpenMV 攝像頭模塊進行專注度檢測實驗，通過低頭、側臉檢測和計算被測目標眼睛張合度來判定專注程度。該模塊每秒獲取5 次人眼數據并進行張合度計算，當連續30s 的張合度平均值低于設定閾值p=0.28 時，系統會進行語音提醒。實驗隨機選取3 名測試者，被測目標分別在連續專注學習狀態、正常學習狀態、微閉眼狀態、瞌睡狀態測得的專注結果如圖3 所示。

圖3 不同學習狀態下專注度檢測結果圖

系統在四組不同測試視頻下的專注狀態檢測結果如表1 所示，四組視頻時長均為120s 且為不同測試者，預設檢測次數共240 次，其中，視頻1 為專注場景，視頻2 為微閉眼場景，視頻3 為瞌睡場景，視頻4 包含專注、微閉眼、瞌睡三種場景。專注度檢測算法精準率如表2 所示，其中精準率（Precision）=TP/(TP+FP)。

表1 專注狀態檢測結果

表2 專注度檢測算法精準率

根據上述實驗結果證明該模塊根據人眼數據計算得出的張合度大小符合預期，學習越專注張合度值越大，并且在專注和閉眼場景下檢測效果明顯，其精準率達93.5%。因此能夠有效監督用戶學習專注情況，達到輔助提升學習效率的目的。

4.2 語音控制測試分析

本實驗采用一個面積約22m2的房間作為測試場地，測試以“Hi 百靈”為喚醒詞開啟語音識別功能，SYN7318 模塊通過麥克風采集到語音數據并將識別結果回傳至單片機，單片機根據接收的指令結果進行相應的操作，如打開臺燈、調節燈的亮度。使用手機以相同的音量在不同距離條件下分別循環播放關鍵詞“Hi 百靈”“開燈”“關燈”“變亮”“變暗”來控制臺燈，并記錄測試結果如表3 所示：

表3 語音指令識別率

根據上述實驗數據得出語音指令的正確識別率隨著距離的增加而降低，但本設計在2m 距離內的正確識別率可達85.3%，由于臺燈主要用于桌面學習辦公使用，因此能夠有效滿足用戶實現語音控制臺燈的需求。

5 結語

本文采用OpenMV 攝像頭采集人像數據，結合Haar-like 人眼檢測算法和計算眼睛張合度來判定專注程度并通過SYN7318 語音模塊實現語音提醒、亮度調節功能，提升系統在效率提升上的輔助作用以及用戶整體體驗感。實驗結果表明專注度判定算法能夠準確判斷用戶專注程度，實時性高，能有效幫助用戶提高學習、辦公效率；語音正確識別率良好，適合在智能化市場推廣應用。