AI賦能的教學手勢對課堂專注度的影響研究

施劍陽

關鍵詞： 指點手勢; 課堂表情；頭部姿態；課堂專注度; 人工智能

中圖分類號：G43 文獻標識碼：A

文章編號：1009-3044（2024）03-0019-03

0 引言

專注是產生有效學習的先決條件，是取得良好學習成效的重要保證，在課堂教學中尤為重要。課堂專注度是指學生在課堂中聚焦于學習任務，迅速篩選重要信息，抵御干擾，表現為保持相對靜止、持續關注學習刺激的能力。有強有力的證據表明，學習者在不同的專注狀態下有不同的學習表現。具體而言，在高專注狀態下，學生的學習動機被大大增強，同時也能促進其對信息的處理和記憶。因此，精準的評估和有效的優化學生的課堂專注度尤為重要。

1 文獻綜述

1.1 學習專注度的評估

學習專注度的精確評估一直是教育領域中重點關注的議題。評估專注度的傳統方法可分為兩類：一是教師通過觀察學習者的外顯行為特征判斷其專注度，二是學習者自我報告專注狀態，這兩類方法均存在一定的主觀性和滯后性。隨著數據采集技術的成熟，眾多學者深入研究了如何利用學習者數據實現對學習專注度的自動分析，在這方面，較為普遍的方法是采用非侵入的方式，通過攝像頭收集學習者的課堂行為數據，從中提取學習者的視覺特征，然后利用相關的機器學習方法來識別學習者的專注程度。例如Hu[1]等人基于非侵入性課堂視頻，構建了一個包含多種線索（面部表情、身體動作）的課堂專注度數據庫，并提出了一種雙峰模型來同時考慮兩個方面的信息，將兩個模態的特征合并起來進行專注度評估。這種基于多模態數據的專注度評估方法能實現對學習者專注度實時和自動化的評估，但目前仍缺少足夠的證據來證明該方法的有效性。來自心理學和腦科學領域的研究表明，學習者的眼球運動和大腦皮層的神經活動能準確反映學習者的專注狀態。具體而言，通過視線落點、注視時間及次數、眼跳路徑等能夠獲知學習者的注意范圍、對學習材料的加工難度與注意量，從而判斷學習者的專注度狀態。例如 D' Mello[2]等學者研究在線閱讀場景，通過學習者對閱讀材料整體和局部的眼動特征進行觀察以判斷學習者是否專注于學習內容。此外，通過腦電信號的頻譜特征可以反映出學習者的專注度水平，目前采用頻譜分析方法識別大腦狀態的專注度水平主要有兩種算法，一種是計算θ β 比率的得出大腦的專注水平；另一種是將腦電信號分解為δ 波（≤4HZ） 、θ 波（4～8HZ）、α 波（8～15HZ） 、β 波（12～30HZ）和其他波（≤30HZ） ，把每個波的能量或者功率譜作為反饋信息。上述基于生理數據的方法雖然能夠對學習者的專注度進行準確的評估，但眼動儀和頭戴式腦電設備的投入成本高，且難以規?；瘧?，其次頭戴式腦電設備以侵入式的方式采集數據易對學生造成影響。

1.2 教師手勢對學習者的影響

手勢又稱手的姿勢，是指人在運用手臂時，所出現的具體動作，這其中包括手和手臂的移動、姿勢的調整、觸碰他人和不同形式的節拍等。在課堂教學中，教師在課堂中經常使用三種手勢[3]：指點手勢通常以伸出的手指或手的方式表示物體的位置；描述性手勢則通過手的形狀或運動軌跡來描述語義內容的各個方面，以字面或隱喻方式在聽眾腦海中喚起相應的心理圖像；節拍手勢是一種簡單的、有規律的上下運動，與語音的韻律或話語結構一致，而不涉及語義內容的描述。已有的許多研究發現，教師手勢的運用有利于提高學習者的學習效果。具體來說，教師的手勢是一種非語言交流形式，它可以用來補充語言信息，增強學習者的理解和記憶。此外，手勢作為一種視覺提示，不僅可以幫助學習者理解復雜的概念和信息，還可以提高學習者的專注度和參與度。例如楊九民[4]等人使用眼動設備測量了被試在學習過程中的眼動數據，通過比較被試在不同手勢教學條件下的眼動情況和學習情況，他們發現指點手勢和描述性手勢都能引導學習者關注教師和屏幕上的學習材料，但指點手勢更能促進學習者在教師和學習材料之間切換注意力，而描述性手勢則更能促進學習者在學習材料內部分配注意力，該研究說明了教師在教學過程中可以通過使用不同類型的手勢來調節學生的注意力分配從而促進其學習。來自手勢的EEG研究也發現手勢和學習者的注意力存在一定的關聯[5]，具體來說，與指點手勢相比，當學生觀察到教師的節拍手勢或描述性手勢時，α和β振蕩的振幅較低。而α和β波與視覺空間注意力分配認知活動以及感覺運動皮層的激活密切相關。因此，在觀看手勢時，學習者需要感知運動皮層的參與，并進行視覺空間注意力的分配。

綜上所述，教師的手勢與學習者的專注度水平存在一定的關聯，但具體的關系仍需進一步的證實。因此，本研究借助人工智能技術實現課堂專注度和教師指點手勢的自動識別，并在此基礎上進一步探究教師指點手勢對學生課堂專注度的影響。

2 課堂專注度識別

對于課堂專注度的識別主要分為四個步驟：人臉識別、表情識別、頭部姿態識別和課堂專注度計算，具體的過程如圖1所示。學生的視頻數據先經由人臉檢測模塊識別學習者的人臉信息，通過裁剪得到學生的人臉圖片。隨后將得到的所有人臉圖像輸入到頭部姿態檢測模塊和表情識別模塊，以得到每一位學習者的表情類別和頭部偏轉角度。將得到的結果映射到評價指標中，再經過計算得到課堂專注度值。在上述過程中，人臉識別使用的RetinaFace模型[6]，表情識別使用的是ResMaskingNet 模型[7]，頭部姿態識別使用的是HopeNet模型[8]。關于課堂專注度的評價指標，通過對先前研究者關于課堂專注度研究的梳理，確立課堂表情和頭部姿態的相關評價指標。具體來說本研究確定了驚奇、開心、中性、害怕、悲傷、生氣和厭惡七種課堂表情，并且依次賦予3、2、1、0、-1、-2和-3七個分值。對于頭部姿態，本研究通過對俯仰角和偏航角兩個角度來綜合評價頭部姿態，具體的評價指標如表1所示，其中m₁、m₂、m₃、m₄賦予的值分別為1、0.75、0.5、0.25。

對于課堂專注度的計算，其綜合了表情識別和頭部姿態識別的結果，首先是表情得分的計算如公式（1）所示。

3 教師指點手勢識別

在這一章節中介紹了基于ResNet50的教師指點手勢識別方法，該方法主要包括了兩個步驟：教師識別和指點手勢識別，具體的流程如圖2所示。

1） 教師識別

識別教師在課堂教學中的指點手勢的前提是需要在課堂視頻的每一幀中識別到教師對象，我們通過對金華市某中學兩個班級的數學課堂進行長達一個學期的跟蹤拍攝發現，教師在講授學習材料時，絕大部分時間都是在講臺附近活動，反映在視頻中就是講臺與黑板所圍成的矩形區域。因此我們假設教師在使用指點手勢進行教學時，教師位于講臺附近。如圖2所示，我們利用教師在進行學習材料講解時與學生在空間位置上存在顯著分界的特點識別課堂視頻中的教師對象。具體來說，考慮到黑板中電子白板的顏色屬性。首先將RGB圖像轉換為灰度圖像，然后設置閾值為150將灰度圖像轉化為二值圖，并在二值圖中進行輪廓檢測。其中輪廓面積最大的即為電子白板，確定電子白板的輪廓之后即可獲取該輪廓外接矩形的左上角坐標（X_lt，Y_lt）以及外接矩形的寬W_box和高H_box。為了獲取講臺與黑板所圍成的矩形區域四個頂點坐標的，我們對外接矩形的高度進行了適當的擴增，教師活動區域矩形四個頂點的坐標的計算如下：

其中W_pic為圖片寬度。在四個坐標點限定的區域內通過Yolov5[9]即可提取區域內的教師對象。

2） 指點手勢識別

如圖2所示，我們在指點手勢識別上的過程可以概括為：首先將教師圖像放入Mediapipe進行人體關鍵點檢測，然后連接手部關節點得到手部姿態，并利用Resnet50進行手勢識別。

由于手部姿態依賴于教師的關節點位置，我們利用Mediapipe[10]算法對人體關節點進行檢測。具體而言，將在教師活動區域內捕獲的教師圖像序列作為Me?diapipe的輸入從而獲得圖像中人物的連接點S_i。Me?diapipe能夠檢測人體的33個關節點，但在該任務中只需要手部的關節點，因此，11 ≤ i ≤ 16，i∈Z。之后，將獲取的手部關節點歸一化并在224*224的畫布上連接各個關節點以獲取教師的手部姿態。對于指點手勢的識別，本研究使用了ResNet50[11]。它是經典的ResNet模型，在ImageNet數據集中，ResNet50在圖像場景分類方面的表現均優于其他CNN模型，可以很好地用于指點手勢的識別。在訓練過程中，為了提高模型的精度、穩定性和訓練速度。本研究使用了ResNet50模型在Ima?geNet數據集上預訓練好的權重。并且，針對指點手勢分類任務，本研究對ResNet50模型進行了微調。具體來說我們將ResNet50模型的最后一層（全連接層）替換為了一個新的神經網絡層，該網絡層包含兩個全連接層、一個ReLU激活函數、一個Dropout層和一個Log?Softmax層，從而使ResNet50適用二分類任務。訓練過程中所使用的數據集均來自真實的課堂實錄，包含兩種標簽即指點手勢和非指點手勢，共計2183張RGB教師圖片，其中訓練集1310張，測試集873張，經過50輪迭代最后分類的準確率為97.63%。

4 教師指點手勢對課堂專注度的影響

為了探究教師指點手勢對學生課堂專注度的影響，本研究對5節課的課堂教學視頻進行了分析，這些視頻的時間在40～45分鐘不等，每節課的課堂教學視頻包含教師視頻和學生視頻。借助于我們所提出的課堂專注度識別模型和手勢識別模型，我們統計了每一分鐘的課堂專注度均值和教師使用指點手勢的頻次。并以指點手勢條件為因素，在SPSS 26.0上利用單因素方差分析（ANOVA） 進行一系列方差分析。

1） 教師在課堂中指點手勢的使用情況

對于教師在課堂中指點手勢的使用情況，圖3的統計結果表明，教師在教學過程中大部分時間段都使用了指點手勢，其時間占比均超過了50%，與非指點手勢之間存在顯著差異，由此可見指點手勢在教學中的重要性。

2） 指點手勢對課堂專注度的影響

對于指點手勢對課堂專注度的影響，表2 的ANOVA檢驗的結果表明。教師在使用指點手勢和不使用指點手勢時學習者的課堂專注度存在顯著差異（M = 64.02，SD = 3.92，P < 0.001）。具體來說，相較于非指點手勢，教師使用指點手勢能大幅提升學習者的課堂專注度。

5 結束語

本研究探究了教師在課堂中使用指點手勢對學生課堂專注度的影響。單因素方差分析結果顯示，教師使用指點手勢能夠大幅提升學習者的課堂專注度，使學生專注于知識的獲取。選擇性注意理論指出，個體不可能同時關注所有呈現的刺激，而是會有選擇性地集中注意力于某一刺激，忽視同時呈現的其他多種刺激。在課堂教學中指點手勢作為一種引導行為，可以有效地幫助學習者在黑板或電子白板上快速捕捉到需要深度加工的材料，從而使學生的視覺空間注意力指向教學內容，進而忽略其他的教學干擾因素。同時教師的指點手勢能夠營造出一種師生交互的臨場感，使學習者沉浸于學習情境中，將有限的認知資源投入知識建構過程中。因此，在課堂教學中，當學生在看到指點手勢時會表現出行為專注，從而提高課堂專注度。

【通聯編輯：李雅琪】