基于微表情分析的在線學習評價模型與實證

孫建喬 ,丁涵宇 ,張功杰

（1.江蘇師范大學 智慧教育學院,江蘇 徐州 221116；2.江蘇大學 計算機科學與通信工程學院,江蘇 鎮江 212013)

1 前言

在線學習是一種利用網絡平臺進行遠程教學活動的學習方式.相比于傳統的面對面課堂學習，在線學習突破了時間和空間的限制，實現了教學資源的均衡分配.尤其在疫情期間，在線學習發揮了前所未有的作用，保證了學習的正常進行.然而，在線學習與面對面教學課堂相比，缺乏師生之間的交流和互動，充滿交互的線下課堂變成由教師主導的講解過程，不利于學習氛圍的營造[1].更重要的是，教師不能夠及時掌握學生的學習狀態，例如，學生是否掌握了某概念、是否理解了某個過程.因此針對上述在線學習存在的問題進行研究，提出采用微表情分析的方法對在線學習實施評價，旨在為教師提供具有參考價值的教學反饋信息.

微表情是人類情緒的直接表現，具有自發性、無掩蓋等特點.1966 年，Haggard 和Isaacs 首次發現了這種微表情的存在[2]；數年后，Ekman 和Friesen 在抑郁癥患者的錄像中，發現幾幀畫面中的極度痛苦的表情，遂將其與病人撒謊聯系起來，證實該表情與真實情緒有關[3].2002 年，Ekman 開發出微表情訓練工具后[4]，不斷涌現出手工提取微表情特征的算法和微表情數據集，微表情識別也取得了顯著進展.深度學習的發展和應用，也為微表情識別帶來重大突破，特別是Alex Net[5]在ImageNet[6]數據集上運行的結果，有力地證明了深度學習在微表情識別性能上的出色表現.目前，微表情識別理論和應用研究方面取得了顯著成果.文獻[7]將層次卷積遞歸神經網絡和基于魯棒主成分分析的遞歸神經網絡相融合，提高了微表情識別的準確性.文獻[8]將支持向量機分類器與線性核和深度信念網絡進行集成，能夠識別很多種面部特征.在課堂學習評價方面，文獻[9]通過分析微表情來評價學生的學習效果，能夠自動跟蹤和分析學生在教學過程中的專注度和情感狀態.文獻[10]基于深度學習識別微表情，并設計出一種能夠分析學生班級集中度的系統.

本文在綜合考慮魯棒性、計算復雜性、執行效率等因素的前提下，結合教學內容組織和管理，將YOLOv5 目標檢測算法應用于實際教學課堂，建立表情特征與學習狀況之間的對應關系，實現在線學習評價，這有助于及時發現教學中的問題.

2 問題描述與解決方法

2.1 問題描述

基于微表情分析的在線學習評價過程如圖1 所示.（1）對教學內容進行有效組織和管理，理清內在的邏輯關系；（2）按照教學計劃或選擇相應的教學內容實施教學，并在教學過程中實時采集教學視頻；（3）通過時間建立學習者、教學內容，以及微表情圖像之間的關聯關系；（4）利用微表情識別模型對微表情圖像實施分析時，先確定關注的教學內容，選擇考察學生對象，并通過學生、教學內容和視頻之間的關聯關系，確定待分析的微表情圖像集；（5）利用微表情識別模型對待分析的微表情圖像集實施分析，記錄識別結果；（6）基于微表情識別的記錄集，通過學習效果分析過程，得到學習效果評價結果.更進一步，對被考察的學生進行現場調研，分析評價結果的有效性.

2.2 教學內容組織

教學內容由相互關聯的知識點組成，對這些知識點進行有效地組織和管理，有助于澄清教學內容之間的知識關系.本文采用知識圖譜對教學內容進行組織和管理，簡化收集、分析、整合和處理的構建方法，構建過程為：（1）實體抽取，即確定具體知識點，記為S={s1,s2,…,s|S|}；（2）關系建立，即建立知識點之間的關系，記關系類型集合為R={r1,r2,…,r|R|}；(3)知識存儲及可視化，即構建知識圖譜，記知識圖譜為有向圖G={(si,rj,sk)|si,sk∈S,rj∈D}.

在實際應用中，可以直接使用Neo4j 圖數據庫存儲實體以及實體關系，構建對應的知識圖譜[11].以數據結構為例，構建的知識圖譜局部圖如圖2 所示.

圖2 知識圖譜的局部

2.3 表情圖像獲取和表情特征識別

在選擇微表情圖像時，需要考慮教學內容、考察對象，以及獲取時間等因素，例如，選擇教師提問后的學生的微表情圖像.教師提問是一種常見的交互方式，通過分析學生在被提問時的微表情變化，能夠獲取他們思考、理解等情感狀態的重要信息[12].心理學家Ekman 提出了六種主要情感：高興、憤怒、厭煩、恐懼、悲傷和驚訝[13].教學中，學生的情感狀態更為復雜，在借鑒現有學生表情識別研究[14]的基礎上，結合實際觀察，增加了中性和焦慮兩種情感判斷.

文獻[15]對情感狀態與學習狀況進行分析，說明在學習時客觀事物與主觀期望一致時，會出現積極的情感屬性，反之亦然.微表情作為一種隱含的情感表達方式，能夠傳遞學習者的情感狀態.因此，需要建立微表情特征與學習狀況之間的對應關系（見表1）.

表1 表情特征與學習狀況的關系

3 實驗與分析

3.1 實驗方案設計

分別在計算機網絡、設計模式、軟件體系結構中，選擇3 個理論點（教學內容）作為檢測對象，選擇10-20 位學生作為調查對象（見表2）以驗證所提方法的性能.

根據上述實驗設計，采集微表情圖像.圖3 為講授某個教學內容時部分學生的微表情圖像.

圖3 部分學生的微表情圖像

3.3 識別模型訓練

實驗基于Python 3.8.3 和Pytorch1.12.1，CPU 為AMD Ryzen 76 800 H，GPU 為NVIDIA GeForce RTX 3 060 GPU 6GB，內存大小為16 GB，緩存空間為512 GB.

3.3.1 數據收集與預處理

實驗中，微表情標簽分為8 種，利用0-7 記錄，分別表示Angry、Disgusted、Happy、Neutral、Sad、Scared、Surprised 和Anxious.采用了部分由Cohn-Kanade 數據集擴展而的CK+微表情數據集[16]，并精選了部分網絡圖像和自行拍攝的數據集，最終得到5 000 張微表情圖像，每一種微表情數據集包含500 張左右的圖像.采用Labelimg[17]進行圖像標注，以便后續的模型訓練，如圖4 所示.

圖4 數據收集與預處理

3.3.2 模型選擇與訓練

根據8∶1∶1 的比例分割采集到的數據集，得到大小為3 977 的訓練集、大小為497 的驗證集，以及大小為498 測試集.調整模型中的主要參數，以保證微表情識別的預期效果；其中，權重為yolov5s.pt，訓練周期為120，批量處理為16，圖片規格為640*640，線程數量為4，初始學習率為0.01，學習率動量為0.937，權重衰減系數0.000 5，iou 損失系數為0.05，cls 損失系數為0.5.

3.3.3 性能指標

YOLOv 5 模型的性能評價指標如表3 所示.其中TP 的定義是預測框與真實框的重疊程度（IOU）大于等于設定的閾值的數量，FP 的定義是IOU 小于閾值的預測框數量，FN 的定義是未被檢測到的目標數量.

表3 性能評價指標

實驗過程中，Precision、Recall、mAP@0.5、mAP@0.5∶0.95 的變化趨勢如圖5 所示.從圖中可以明顯看出，Precision、Recall、mAP@0.5 三者均在90%左右波動，說明訓練的微表情識別模型在識別效果方面取得了較好的效果，模型具有較強的識別課堂環境下的微表情的能力，這使得微表情識別可以初步被應用于教育領域.

圖5 指標變化趨勢

3.4 實驗結果與分析

將不同學生對某一教學內容的微表情圖像，放置在一個文件夾中；利用表格記錄原始的檢測數據，并利用表情特征與學習狀況的對應關系進行學習狀況評價.3.2 節中某個教學內容講授時部分學生的微表情圖像的分析如表4 所示.

表4 識別結果與學習狀況分析

通過調查回訪學生，得到學生的真實情況，可用具體的評價分數來衡量，0-29 視為不理解，30-59視為疑惑，60-79 視為知道，80-100 視為理解，由此與本文方法分析得到的評價結果作對比，得到評價方法的準確率.實驗檢索了9 個教學內容，得到準確率如表5 所示.表5 反映評價結果中的誤判個數均小于3；準確率超過80%（最低為81.2%、最高為93.8%），平均值為87.3%.其中，準確率的最低值和最高值相差較大；這是由于樣本空間較小時，個別數據的對整體結果會產生較大影響.

表5 評價方法的準確率

從實驗和調查的對比效果來看，所提方法的準確性較高，能夠用于實際課堂教學，從而提供具有參考價值的教學反饋.

4 結論

本文提出了基于微表情分析的在線學習評價方法.所提方法利用學生微表情數據并結合情感狀態信息，高效評價學生的學習情況，為教師分析教學效果提供有力的依據.由于存在個別虛假應答、表里不一等現象，容易出現誤判，導致評價結果與回訪結果存在差異如將不理解誤判為理解.可見評估的準確性是非常重要的，因此在后續研究中，會嘗試更多表情特征、更豐富的評價指標，以使增強評價結果質量.