教學測試數據的演變、應用及其展望*

朱 珂 楊 冰

?

教學測試數據的演變、應用及其展望*

朱 珂 楊 冰

（河南師范大學 教育學院，河南新鄉 453007）

教學測試數據是教育大數據的重要組成部分，對揭示教學狀態的要素特征和結構關系具有重要意義?；诖?，文章首先從數據來源、采集技術、分析處理技術、呈現方式等維度進行對比分析，梳理了傳統環境下和“互聯網+”環境下教學測試數據的演變歷程；隨后，文章分析了測試評價的轉變，并介紹了目前國內外教學測試數據在自適應評估、實時監控干預、學情預測與分析、個性化學習以及輔助決策服務等方面的典型應用案例；最后，文章針對教學測試數據的應用進行展望，以期為精準教學模式下教學測試數據的分析與應用提供借鑒。

“互聯網+”；教學測試數據；教學評價；教育應用

在教學活動中，評價扮演著調節、控制教學過程的重要角色，對喚起學生新的認知與成就需要、提高學習興趣與信心具有獨特的激勵導向作用。測試是評價學生學習效果的重要手段，在此過程中生成的可量化、可記錄的測試數據蘊含著豐富的學情信息。傳統的紙筆測試僅能給予教師和學生淺層信息反饋，如分數、名次、平均分等。這樣的反饋形式既不能使學生清晰了解自己的知識點掌握情況，也不利于教師對學生進行個性化指導。教育大數據及其分析技術的出現與發展，為教學測試數據的應用帶來了新的機遇，有利于解決傳統教學測試分析與評價中存在的問題。在學習分析等技術的支持下，教師可以充分挖掘和利用測試數據背后所蘊含的海量學情信息，使教育教學過程逐步從基于常識的經驗推斷走向基于數據的科學決策，從而對教學各環節進行精確診斷，實施精準化教學。

一 不同環境下教學測試數據的演變歷程

實施教學評價是教育管理者和教師進行教學干預與決策的重要前提，而有效的教學評價依賴于具有代表性的評價數據和科學、精確的評價技術。教學測試數據作為教學評價中最為客觀、準確、易測量的數據來源，受到了研究者的持續、廣泛關注。如楊現民等[1]提出將教育大數據的分析處理分為教育數據采集、教育數據處理、教育數據分析與呈現三個環節。本研究從數據來源、采集技術、分析處理技術、呈現方式等維度對測試數據進行了對比分析，梳理了傳統環境下和“互聯網+”環境下教學測試數據的演變歷程，如圖1所示。

1 數據來源

在傳統課堂中，教師對學生的評價是以考試后的分數統計和教師主觀分析評定為主。其中，考試后的分數統計主要以筆試測驗為主，測試數據來源于教師組織的周測、月考、期中考試、期末考試等測驗的試卷分數；教師主觀分析評定則是以學生在課堂上的表現和日常作業為基礎的主觀經驗評價。在“互聯網+”環境下，以“三通兩平臺”為代表的軟硬件設施的不斷完善和教育信息化進程的不斷推進，使得教學測試數據的來源越來越豐富，表現為：①微觀層面，教學測試數據來源于單個學生，這一層面的數據又可劃分為當次測試數據和歷次測試數據；②宏觀層面，測試數據可以分為課程測試數據、班級測試數據、學校測試數據和區域測試數據等[2]——課程測試數據是指圍繞課程測試而產生的檢驗學習效果的數據；班級測試數據是指以班級為單位采集的各類測試數據，如作業數據、考試數據、課堂實錄數據和班級管理數據等；學校測試數據是指以校為單位采集的各類測試數據；區域測試數據是指同一區域內不同層次、不同類別學校的匯總測試數據，用于區域內資源的均衡調配、不同區域之間學習狀況的調查等。

圖1 不同環境下教學測試數據的演變歷程

2 采集技術

通常情況下，傳統課堂采用一師對一班的授課模式，教師無法對所有學生進行實時學情監控與測試。課堂測試數據來自于教學過程中教師對學生的學情觀察、課堂提問和作業檢查等；紙質試卷類測試數據則來自于測試學前、學后知識掌握情況的測驗考試，通過人工閱卷、人工記錄等方式采集。在“互聯網+”環境下，各類專業、高效的工具軟件可以實現對學生全方位、多維度、自動化的數據采集。其中，智能錄播與視頻監控技術可以對課堂教學數據進行實時、自動采集；圖像文字識別技術通過計算機對圖像、文字的匹配處理與分析，可以識別不同模式的目標和對象，如用于采集學生測驗考試類數據的網評網閱技術和用于采集各種作業、練習類測試數據的拍照搜題技術；在線平臺管理、日志搜索、Web挖掘與網絡爬蟲等平臺采集技術可以對各種在線學習與管理數據進行采集。

3 分析處理技術

在傳統課堂中，課堂測試數據通常采用教師主觀劃分等級（優、良、差）或打分的方法進行處理與分析。利用階段測驗中產生的測試數據，通過對試卷得分的統計、排序等淺層信息分析（總分、平均分）或初步的分類聚類，可以得出學生的知識掌握情況和班級整體的認知分層狀況。在“互聯網+”環境下，有預測分析、建模、聚類分析、相關性分析和可視化分析等常用的數據挖掘模型和算法，以及神經網絡、深度學習等大數據時代的前沿機器學習技術。例如，對學習過程數據進行挖掘和預測，可以分析出學生的認知過程與情緒波動情況；對學習成績數據進行聚類分析，可以優化學生分組，從而更好地指導分組式合作學習；利用可視化和相關性分析技術，可以支持管理決策人員快速了解學生的學習情況，直觀、高效地發現學習短板。

4 呈現方式

在傳統課堂中，學生測試結果的呈現方式以平均分、得分率和排名等淺層次數據分析結果為主，只能分析小樣本測試數據顯示學生的成績狀況及其變化趨勢，強調甄別與選拔功能，呈現方式較為單一。在“互聯網+”環境下，測試數據的呈現方式重視評價的激勵與引導功能，強調對學生的全面考察，特別是對情緒、態度、習慣等綜合素質的考察。2016年，美國發布《2016-2045年新興科技趨勢報告》，報告中預測的新興技術——數字畫像技術為測試數據呈現方式的發展提供了更多可能與技術支持[3]。有學者預測，將分析處理后的測試數據結果以多樣態、交互式的視覺形式予以呈現，將成為一種必然趨勢[4]。

二 教學測試數據的應用

1 測試評價的轉變

在教學與測試動態交織的過程中，評價過程的類型主要分為“三明治”型和“蛋糕”型兩種：①在傳統課堂中，測試與教學的過程主要表現為“三明治”型階段分層評價。在這種評價過程中，教學發生于前測和后測期間，構成像三明治一樣的學習過程，在教學前與教學后生成測試數據。②在“互聯網+”環境下，測試與教學的過程主要表現為“蛋糕”型動態融合評價。在這種評價過程中，教學與測試交叉融合進行——教師設計具有針對性的測試題目，對教學內容與教學效果進行即時評價與反饋，同時依據測試結果，進行教學設計、教學策略、教學活動的自適應調整，測試數據的生成貫穿于整個學習過程。

“三明治”型階段分層評價與“蛋糕”型動態融合評價的主要差異是：在“三明治”型評價中，教學與評價在時空上是分離的，作用時間存在一定的滯后性；而在“蛋糕”型評價中，教學與評價緊密耦合，即時進行反饋調整，作用時間沒有延遲。傳統測試由于受評價技術、數據處理能力等因素的限制，通常以“三明治”型為主。而隨著大數據、云計算、學習分析等技術的快速發展與普及應用，測試評價逐漸從“三明治”型向“蛋糕”型轉變，如圖2所示。

圖2 “三明治”型評價向“蛋糕”型評價的轉變

圖3 教學測試數據的應用展望

2 教學測試數據的應用案例

（1）實施自適應評估

基于測試數據的自適應評估可以檢測學生的進步情況，為自適應學習提供數據依據。目前，國外針對不同年齡層和不同學習需求的學生，研發了大量基于測試數據的自適應評估工具，如表1所示。其中，ALEKS是加州大學歐文分校根據腦神經測試和數學算法，針對數學教育而研發的一款自適應評估工具，目前已在美國公立小學中被普遍應用。ALEKS運用“知識空間理論”（Knowledge Space Theory），利用人工智能的手段，通過少量的問題便可以快速準確地測評學生對所學數學知識的掌握程度，并提供自適應指導[5]。Imagination Station公司研發的Istation工具則為全美和其它國家400萬K-12階段的學生提供了閱讀和寫作的線上測評，學生以可視化和游戲的方式完成課程、活動和測試，之后系統將自動生成評估報告并將其發送給老師和家長[6]。

表1 基于測試數據的自適應評估工具

（2）支持實時監控干預

培生集團開發的全球少兒英語旗艦課程引入在線學習輔導系統（My English Lab，MEL），將測試數據應用于決策干預領域。MEL應用大數據技術，全程實時分析學生個體和班級整體的學習進度，實現對學習過程和結果的動態管理，為教學設計和教學活動的動態調整提供數據依據。MEL以學生為中心，按照教、學、測三個環節組織線上學習內容與教學過程，最終實現對學生學習過程的實時監控與干預。而布里奇沃特學院通過對比來自Edexcel、OCR（Oxford Cambridge and RSA Examinations）等第三方機構授權的源于全國其它學校學生的測試數據，獲得進行本校學生學情監控干預的數據依據，并將數據分析結果呈現給教師，從而實現對本校學生的干預，使本校學生在擁有相似入學水平的全國學生中取得更好的平均成績[7]。

（3）開展學情預測與分析

在利用測試數據實現學情預測方面，斯坦福大學的Piech團隊提出了基于深度神經網絡的學生知識點追蹤（Deep Knowledge Tracing，DKT)模型。DKT模型采用深度學習中的RNN算法，利用其在時間上的“深度”，對海量學習數據進行訓練學習，不斷完善算法模型。Piech團隊在用DKT模型訓練學習了可汗學院47495名學生所做的140萬道數學題及解答數據集后，預測學生所做習題正確與否的預測精度（即AUC值）達到0.86，遠高于基于貝葉斯網絡的學生知識點追蹤（Bayesin Knowledge Tracing，BKT）模型預測的精度（AUC值=0.69）[8]。

（4）助力個性化學習

個性化學習已經成為當今教育的研究熱點，各類支持個性化學習的測評方式不斷涌現[9]。2017年，由美國最大的教育測評機構——西北測評協會（Northwest Evaluation Association，NWEA）研發的個性化測試方法（Measures of Academic Progress，MAP）的學生使用人數已達到700多萬。在MAP測試過程中，測試內容、測試題目均可以依據學生的實時答題情況進行個性化調整，最終穩定在學生的最近發展區；同時，MAP針對收集到的測試數據，為每一個學生提供精準、個性化的評估結果[10]。美國的個性化學習平臺Summit Learning Platform中的學習測評系統利用測試數據進行深度分析后，可以精準評估學生在7大方面中36個不同認知技能的具體掌握程度[11]，并能精確、具體地呈現每個學生的認知發展程度，據此向學生提出清晰的學習目標，為學生的個性化學習提供支持。

（5）輔助決策服務

測試數據在教育服務、教育決策方面也發揮著巨大的作用。依據測試數據，教育管理者可以發現問題、找尋不足，由此規劃未來的教育決策與方針。2017年，英孚教育在上海發布全球非英語母語國家的英語水平排名，此排名依據的是80個非英語母語的國家地區、逾100萬人的測試數據[12]。這些測試數據有利于教育管理者了解全球各地區英語水平的掌握情況，經數據分析后得到英語水平高低與各地區的經濟競爭力、社會發展、創新能力之間的關系。同時，深度分析測試數據背后的含義，教育管理者可以據此提出一系列提高英語水平的可行性建議，從而更加科學合理地制定未來的教育方針。

三 教學測試數據的應用展望

隨著教育信息化進程的不斷推進，教育領域的數據量呈指數化增長，教育測試的“大數據”時代正在來臨。這些數據除了來自于學校測試數據系統（周練、月考、期中、期末等），還來自于各階段測試數據系統（中考、高考、研究生考試等）、各類在線課程測驗數據系統（MOOC、網易公開課等）等。未來，這些采集后進行了深度加工的測試數據，經過各種數據挖掘技術與機器學習技術的處理與分析，可以為教育決策者和師生在學情預測、學習預警、決策分析、自適應學習、個性化推薦、學習效果評測、學情監控和可視化等方面提供精準、及時、科學的數據支持，具體如圖3所示。

1 學習預警與預測

在教育教學過程中，學生學情的分析和學習效果的預測是學生了解自身學習情況、改變學習策略、調整學習狀態以及教師實施教學調整與干預的基礎，對教育教學具有十分重要的作用。教師實時了解學生即時的學習狀態，可以進行精準的教學調整和干預，從而在提升教學效果的同時減少學生的認知負荷，提高學生課程的成功率。如Pardos提出的學習預測模型能夠利用已有的各類測試數據對學生未來的考試成績進行預測，并提供具體的行動支持和相應的解決方案，從而為學生的個性化學習和教師的有效干預提供支持[13]。未來，各類學習系統可以對學生的日常作業進行自動批改并向教師提供及時反饋，教師可以利用這些測試數據對學生進行實時的學習預警，向學生發送將會導致輟學和學習成績表現不良的警告性信號，同時進行精準的教學調整和干預，以提高學生課程學習的成功率。

2 精準教育決策

在“互聯網+”環境下，教育領域每天生成海量的學情數據，這些數據可以幫助教育管理者更加全面、準確地了解教育現狀，故為相關教育決策的制定提供了數據依據。在測試數據方面，傳統的分析方式（如總分、平均分、排名）已經不能滿足精準決策的數據支持需求。因此，研究者需以管理科學、運籌學、教育科學、心理學等學科為理論基礎，以數據挖掘技術、機器學習技術和可視化技術為手段，針對教育問題，利用分析模型分析教育測試數據，為教育管理者提供備選方案，并提供支持精準、及時、科學決策的數據依據，使教育決策從模糊走向清晰、從猜測走向證實，最終提高教育決策的質量。

3 個性化學習服務

個性化學習是“互聯網+”環境下未來教育的熱點，滿足每個學生獨特的學習需求，讓每個學生以最高效的個性化方式學習是未來教育的必然發展趨勢[14]。深入挖掘學生的各類測試數據，教學測試系統可以得到每個學生獨特的學情信息，為學生提供個性化定制的錯題本、診斷報告、個性化學習包、學業信息檔案和學科內容評價報告單等，從而形成學習和行為的相關方案，為學生的個性化學習提供支持。如Alt School的學生畫像（Learner Profile）由系統學習進度（Learning Progression）、項目清單（Playlist）、基本信息（Basic Info）、文檔（Documents）和筆記（Notes）構成。其中，系統學習進度通過綠色（已學完）和黃色（學習中）對學習進度進行區分，且綠色/黃色會隨著學習的推進而逐漸加深，由此繪制出多維度、全方位的學習者個性畫像[15]。

4 自適應測試與認知診斷

隨著“互聯網+”時代測試手段和評價觀念的轉變，測試不再只是測量學生成績的一個終結性評價工具，而成為了學習過程的一部分，使得以促進學生學習為目的的認知診斷評估技術得到快速發展[16]。認知診斷是對傳統測試和評價的一種改進與完善，而認知診斷理論是認知心理學和心理測量學的結合。運用認知診斷評估技術，得到被試者精準、及時的知識狀態和認知結構，有助于教師在隨后的教學過程中采取相應的補救或調整措施。近年來，認知診斷模型不斷發展，如認知診斷技術和計算機自適應測驗相結合，可以實時獲得學生知識習得與能力提升的演變軌跡。所以，如何利用測試數據對學習者進行更加精準、高效的認知診斷，將成為測試數據未來分析研究的重點方向[17]。

四 結語

借助大數據獲取、大數據分析、大數據可視化等技術的發展與應用，測試數據在教學評估、學情預警、認知診斷等領域展現出巨大的應用價值。本研究分析了傳統環境下和“互聯網+”教育情境下測試數據的來源、采集、分析與呈現環節的異同，梳理了目前國內外運用測試數據在自適應性學習、實時監控干預、學情預測與分析、個性化學習及輔助決策服務等領域的典型應用案例，對測試數據在學習預警、教育決策、個性化學習、認知診斷等場景的應用進行了展望，以期為精準教學模式下教學測試數據的分析與應用提供借鑒。

[1]楊現民,唐斯斯,李冀紅.教育大數據的技術體系框架與發展趨勢——“教育大數據研究與實踐專欄”之整體框架篇[J].現代教育技術,2016,(1):5-12.

[2]楊現民,王榴卉,唐斯斯.教育大數據的應用模式與政策建議[J].電化教育研究,2015,(9):54-61、69.

[3]DeepTech深科技.美國陸軍發布20項重大科技趨勢,將在未來30年改變世界![OL].

[4]呂永峰.讀圖時代可視化及其技術分析[J].現代教育技術,2015,(2):19-25.

[5]王碩爍,馬玉慧.國外典型自適應學習平臺的基本框架及其關鍵技術分析[J].開放學習研究,2018,(1):48-54.

[6]Istation. About us[OL].

[7]中國教育網絡.大數據在英國高校的應用案例[OL].

[8]劉勇,李青,于翠波.深度學習技術教育應用:現狀和前景[J].開放教育研究,2017,(5):113-120.

[9][14]孔晶,郭玉翠,郭光武.技術支持的個性化學習:促進學生發展的新趨勢[J].中國電化教育,2016,(4):88-94.

[10]360百科.MAP測試[OL].

[11]黃劍橋.Facebook個性化學習平臺,有多個性?[OL].

[12]中國教育網.英孚英語熟練度指標全球排名中國人英語水平五年達新高[OL].

[13]李香勇,左明章,王志鋒.學習分析的研究現狀與未來展望——2016年學習分析和知識國際會議述評[J].開放教育研究,2017,(1):46-55.

[15]Robert老師. Alt School個性化學習系統揭秘[OL].

[16]趙茜,辛濤,劉雨甲.我國基礎教育質量監測與評價的現狀與趨勢——第二屆“中國基礎教育質量監測與評價”學術年會綜述[J].教育研究,2017,(9):154-159.

[17]張瑾.1:1數字環境下師生行為特征的比較研究[J].現代教育技術,2016,(8):49-54.

The Evolution, Application and Prospect of Teaching Test Data

ZHU Ke YANG Bing

Teaching Test data is an important part of the big data in education, which is of great significance to reveal the features and structural relations of teaching status. Based on this, the paper firstly compared the teaching test data in the traditional environment and the “Internet +” environment from the dimensions of data sources, collection techniques, analysis techniques and presentation methods, and further summarized the evolution of teaching test data in the two environment. Then, the transformation of the test evaluation was analyzed, and the typical application cases of teaching test data at home and abroad in the aspects of adaptive evaluation, real-time monitoring and intervention, learning situation prediction and analysis, personalized learning and auxiliary decision-making service were introduced. Finally, the application of teaching test data was forecasted, excepting to provide reference for the analysis and application of teaching test data in the pricise teaching model.

“Internet +”; teaching test data; teaching evaluation; education application

G40-057

A

1009—8097（2018）07—0018—07

10.3969/j.issn.1009-8097.2018.07.003

本文為河南省哲學社會科學研究項目“河南推進新型城鎮化進程中均衡配置城鄉教育資源的方法、路徑與績效評價研究”（項目編號：2014CJY030）、河南省教育廳2018年度教師教育課程改革研究項目“互聯網背景下中小學教師專業成長的生態模型及行動路徑研究”（項目編號：2018-JSJYYB-018）的階段性研究成果。

朱珂，副教授，博士，研究方向為學習分析技術理論與應用，郵箱為ezhuke@qq.com。

2017年11月28日

編輯：小米