基于人工智能LSTM 循環神經網絡的學習成績預測

未晛

（北京勞動保障職業學院，北京 100029）

一、引言

近年來，人工神經網絡已被廣泛應用于教育、醫療衛生、經濟等諸多領域，并在疫情期間的社會生活中發揮了巨大作用[1][2]。在教育領域，教學成績是一項評價學校教學質量的重要指標，對于學生學業、教師教學能力及學校教學管理意義重大。利用人工神經網絡對學習成績進行預測，給學生課業學習提供風險提示，并對學生專業發展提供合理化建議；教師據此制定或調整更符合學生成長規律的教學策略，同時促進自身教學水平的提高，進而提升學校教學質量；學校教務部門可預判各學科教學質量，優化教學管理進而預防教學事故的發生。學習成績預測已成為人工神經網絡在教育領域應用研究的熱點與難點[3-6]。

目前，在學生成績預測實踐中常采用BP（Back Propagation）神經網絡，這類算法具有很好的非線性映射能力、泛化能力、容錯能力，并在應用中取得了一定效果。但人們在使用過程中發現，該類算法存在收斂速度慢、容易陷入局部極小值等缺陷[6]。同時，BP 神經網絡只能單獨處理單獨的輸入，前一個輸入和后一個輸入是完全無關的。然而，學生的學習成績具有一定相關性，即前期課程基礎對后期課程成績有一定影響，此時BP 神經網絡就產生了不適應性[7-9]。這時，就常用循環神經網絡（Recurrent Neural Network,RNN）模型。長短期記憶網絡（Long Short Term Memory networks,LSTM）是循環神經網絡的典型代表，該模型除具有常規循環神經網絡特征外，還能較好地解決原始循環神經網絡的長距離依賴問題，已成為當前最流行的循環神經網絡，這也貼近學生成績的數據變化規律?；诖?，本文利用長短期記憶網絡，以北京勞動保障職業學院學生成績為例，進行成績預測，并在此基礎上給出針對學生、教師及學校三類群體的合理化建議，以達到提高教學質量的目的。

二、LSTM 概述

（一）LSTM 原理

LSTM 是一種特殊的循環神經網絡，由霍克賴特（Hochreiter）和施米德胡貝（Schmidhuber）提出，用于處理長時間序列數據。LSTM 采用特殊隱式單元，在繼承了大部分RNN 模型特性的同時，能夠解決長期依賴問題，避免梯度消失，模型準確度高、訓練速度快、并行處理能力強[10-12]。目前基本的LSTM 網絡結構如圖1 所示。

圖1 LSTM 結構圖

LSTM 模型由遺忘門限、輸入門限、輸出門限和神經單元狀態組成。遺忘門限決定哪些信息需要被丟棄，表達式為：

其中，ft為遺忘門限的激活向量；σ為sigmoid 函數；W為權重矩陣；ht為LSTM 神經元的輸出向量；xt為LSTM 神經元；bf為偏置項；下標t表示不同時刻。

輸入門限決定哪些新信息被存放到單元狀態中，表達式為：

其中，it為輸入門限的激活向量；為當前輸入的單元狀態。

LSTM 模型的關鍵是單元狀態，即貫穿圖1的水平線，單元狀態類似于傳送帶，貫穿整個鏈條，只有小的線性相互作用，使其容易以不變的方式向下流動，表達式為：

其中，Ct為神經元細胞狀態向量。

輸出門限是來控制單元狀態有多少輸出到LSTM 模型的當前值，表達式為：

其中，ot為輸出門限的激活向量。式（1）到式（6）就是LSTM 模型前向計算的全部公式。

（二）LSTM 模型訓練算法框架

LSTM 循環神經網絡的訓練算法采用反向傳播算法，包括以下幾個步驟：首先，按照公式（1）到公式（6）前向計算每個神經元的輸出值，即ft、it、Ct、ot、ht五個向量的值。其次，反向計算每個神經元的誤差項δ 值。像循環神經網絡一樣，誤差項向兩個方向進行反向傳播：一個是沿時間的反向傳播；一個是將誤差項向上一層傳播。再次，根據誤差項，使用一定的優化算法，通過計算每個權重的梯度來調整模型參數，使預測結果靠近優化目標。最后，通過上述迭代過程訓練模型，直至訓練得到符合要求的優化目標，從而建立滿足誤差要求的LSTM 循環神經網絡預測模型。

三、成績預測的實現

（一）實驗數據

本文進行成績預測的數據均來自北京勞動保障職業學院學生的真實成績數據，數據格式為：姓名、性別、學號、學年、學期、課程名稱、成績等，具體如表1 所示。

表1 學生成績數據

由于存在部分考生請病假、事假，導致缺考等異常情況，需要對數據進行預處理，包括去除空項、非正常數據等。同時，選擇相關度較好的基礎物理、基礎數學等課程，結合入學成績及各學年度的行圓成績（主要表征學生在考勤、自習課、宿舍衛生、校園紀律等方面的表現）進行成績預測，每位學生由4 項特征屬性進行描述，并做出如下假設：

假設1：學生成績可以通過入學成績、各階段歷史成績和學生行圓成績來反映。

假設2：影響學生成績的因素比較穩定，不會大起大落。

按照假設對數據進一步處理（去除非必要項）得到表2 所示的結果。表2 第一項為序號，第二項到第四項為基礎數學成績、基礎物理成績、行圓成績和入學成績。

表2 學生成績預處理結果

（二）LSTM 模型預測框架

由于預測成績數據集由4 維特征向量構成，所以，輸入層的節點數量為4，輸出層為LSTM模型的輸出結果，即目標課程成績基礎數學和基礎物理，所以輸出節點數為2。根據構建神經網絡超參數的經驗，本文采用經典的三層網絡模型，LSTM 循環層的節點數為20 個，如圖2 所示。優化采用Adam 算法，使用Dropout 正則化方法來防止過擬合現象的發生。預測回歸類模型精度的評價方法很多，本文采用平均絕對值誤差來衡量模型預測結果的好壞。

圖2 LSTM 循環神經網絡的預測框架

四、應用效果分析及建議

首先，為保持數據集的獨立性且不被窺探，在將數據輸入到神經網絡訓練之前，先將數據分成訓練集和測試集。數據集中共計7680 個4 維數據，6144 個數據集被用作訓練數據，其余數據用于測試，然后將訓練集和測試集分成輸入和輸出變量。最后，將輸入（X）重構為LSTM 預期的3D 格式。

其次，對訓練數據和測試數據進行歸一化處理。數據歸一化是很重要的環節，常用方法如下：

其中xi為樣本數據、xmin為最小值、xmax為最大值為歸一化后的數值。

最后，在神經網絡的訓練過程中，通常利用損失函數來衡量網絡模型對訓練數據的擬合能力。神經網絡算法通過多次的訓練迭代來調整模型參數（即網絡的權重值），最終通過損失函數的下降趨勢來判斷算法是否已經取得理想的深度神經網絡模型。圖3 為訓練數據集的損失函數，模型收斂較快。

圖3 訓練和測試損失函數

為方便查看預測成績結果，采用兩種方式進行顯示：一種是列表方式，另外一種是圖表方式。在匹配學生的姓名、學號、系統預測成績后可分別顯示出來，形式如表3 所示。另外，預測數據也可以呈圖表顯示，如圖4 所示。

表3 列表顯示學生成績預測

圖4 學生成績預測結果

從表3 和圖4 可以看出，基礎物理和基礎數學的預測成績和實際考試成績誤差較小，預測精度較為準確。但個別學生（如學生5）的預測成績和實際成績誤差較大，后經教務處證實，入學前約30 名學生并未選擇基礎物理學科，而其他學科則處于持續學習中，數據的相關性受到影響，學生5 為其中之一。同時，對課程的喜愛程度、回答問題次數等因素也影響學生的課程成績，這或許是導致預測成績精度稍差的原因之一?？傮w而言，模型預測成績和實際考試成績的趨勢一致，精度較為精確。

綜上，基于學生基礎物理、基礎數學、入學成績，以及各學年度行圓成績等數據，在假設條件下，利用LSTM 循環神經網絡模型進行成績預測具有較好的實驗效果，表明該方法具有效性和實用性。

學習成績預測是為教育教學服務的，探討預測成績數據，在不同維度上對提高教學效果具有重要意義。為充分利用預測數據，達到提高教學質量的目的，成績預測有三項功能建議。

首先，對于學生而言，基于成績預測結果可以篩查出處于及格線以下及邊緣的課程，達到對學生課程學習進行提醒與警示的目的，以便學生對薄弱科目進行重點復習或突破，減少課程不及格的風險。學生可以通過專用接口查詢學業預警情況。例如，蔡同學從表4 中可以看到存在掛科風險的課程名稱為“基礎數學”，今后會更加注重該學科的學習。通過學生學業預警，能夠給學生更直觀的警醒或提示，使其能夠更加重視某學科的學習，及時解決學習中存在的問題，預防不能如期畢業情況的發生。同時，學生可以明確自己的優勢學科，在進行專業選擇、畢業設計時，倚靠優勢學科，發揮特長，在畢業擇業時亦能做到“人盡其才”。

表4 學生學業預警

其次，對于教師而言，通過篩查授課科目的不及格率，定性或半定量了解學生的學習狀態，對處于及格線及其邊緣的同學重點關注，并主動提供學業幫助。表5 為根據預測數據篩查出的基礎數學某任課教師所教授學生中，存在掛科風險的學生姓名及其預測分數。針對表5 中的學生，教師可以從學生的學習興趣、自我效能感、學習策略等方面切入，分層分類開展教學管理。對于這部分學生，教師可適當地降低教學目標，增加成功激勵，提高其自我效能感，并加強薄弱環節的調節、鼓勵尋求幫助和進行自我監控能力的培養。

表5 某學科掛科風險學生列表

最為重要的是，教師不僅要關注學生成績數據本身，更應思考數據背后是一個個有待教育、引導的鮮活個體。在關注學生學習成績的同時，更要關心學生身心健康的發展。同時，借助新的信息技術手段及時調整授課方式方法、改進教學手段，促使教師不斷反思教學過程。特別是近年來，利用人工智能技術高效開展線上課程（釘釘直播課、學習通、雨課堂等），擴展了教學方式，離散了教學過程的“時間—空間”（可回放、重復、非教室），進一步豐富了教師的授課方式和教學手段，助力教師對學生（存在掛科風險）的課業輔導與教學。

最后，對于學校教務部門而言，可以系統地對教師的教學質量做出預評估。如果某科目成績低的學生過多，則證明該課程存在發生教學事故的風險。這時需要提示相關教學部門及時介入干預，同時提醒相關教師更加注重教學效果，甚至可以采取更為嚴格的管理措施來防范教學事故的發生。對學校教務部門而言，通過對教學質量的預警評估，能夠達到改善學生管理和預防教學事故的目的。

本研究可以在以下方面進一步擴展：①優化基礎數據。學習成績是學習效果的直接體現，受到諸如學生情感、行為、原有基礎知識結構等諸多因素的影響，越能準確刻畫這些信息，并且恰當地融入到預測模型中，越能提高模型的預測精度。例如，開展學生情感特征及目標學科成績關聯性分析，并科學量化融入模型，無疑對提高模型預測精度大有裨益。所以，這些因素的科學量化及準確表達是一個重要的研究方向。②探索教學過程時效性評價新途徑。在本文中，預測結果是依據歷史成績、入學成績，以及考勤、宿舍衛生、校園紀律等行為特征進行的階段性成績預測。實際上，隨著師生在教學過程中的互動，在學生更加注重自身學業、教師持續優化教學設計并改善教學活動等因素的共同影響下，教學效果必然實時發生變化，導致模型預測結果亦發生變化。預測結果的變化量可作為教師教學效果過程性評價的一個重要參考。

五、結語

本文的實驗結果表明，LSTM 模型能夠較準確地預測學生的課程成績，具有一定的有效性和實用性。研究對預測數據所具有的豐富內涵進行了不同維度的挖掘，并提出預測成績的三項功能建議，具有一定的推廣及實用價值。