大數據理念下開放大學學習評價的現實探索與系統構建

□ 陳 翀,閆乾勛

習近平總書記在黨的二十大報告中明確提出“推進教育數字化,建設全民終身學習的學習型社會、學習型大國[1]”,為國家教育發展指明了方向。作為國家教育體制改革試點項目,教育部明確了“切實辦好開放大學,推動建設學習型社會”的重要任務[2],這也是開放大學在教育體制改革中的使命。開放教育作為高等教育的重要組成部分,需符合高等教育基本規律,教師教學、學生學習的質量均需由科學的學習評價體系來評判。但與普通高校不同的是,開放大學實行注冊入學,其培養對象的學習背景、學習需求、學習能力、學習素養差異巨大,普通高校標準統一的評價體系并不適應開放大學個性化教與學的需求。隨著教育數字化建設進程的推進,在線教育教學在高等教育領域廣泛開展,大數據理念和技術在教育領域中得到廣泛應用[3],這使得以在線教育為主要教學方式的開放大學,在分析利用學習行為數據并進行個性化學習評價方面,具有得天獨厚的優勢。

有關適用于在線教育的學習評價,目前國內已有較多學者進行了探討和研究。如胡久紅、肖娥芳等認為學習者自控力及心理因素、教師在線教學技能水平及對學習者的了解程度、在線學習環境、教學資源質量等因素對在線學習影響程度較深。[4-5]而徐俊芳、王書瑤等認為在線學習主要從學生互評、教師教學滿意度、學習者的客觀成績或主觀學習滿意度,且多傾向于從學習者的主觀評價和學習成績方面來評價。[6-7]同時肖娥芳等依據在線學習環境、教師在線教學技能水平、學生在線學習狀況三因素,構建了基于FAHP法的在線教育學習評價指標體系。[5]倪彤光等從學生學習行為、問卷調查和學習狀態3個層次出發,初步建立了在線學習評價模型。[8]劉文斌等針對現有教學評價缺陷,提出一種以學生學習行為與偏好為屬性決策變量的在線課程教學質量評價方法。[9]

綜上可知,研究者基于學習者、教師、學習環境、學習行為等單因素內容進行分析,提出了多因素評價體系,其對學生具有普適性和主觀依賴性。而在線學習評價應該是一個動態多維的、具有強針對性的系統工程,需要伴隨學生自身學習的全方位和全過程。以往的研究中大都未能根據學生的學習能力和學習行為習慣設立個性化方案,形成一套系統的、滿足開放教育對象個性化學習需求的學習評價系統?；诖?本文在借鑒在線教學評價研究成果的基礎上,結合開放大學的學習現狀,提出一套具有開放教育在線學習特色的學習評價系統和反饋機制,旨在充分利用在線教育大數據中的有效數據信息,通過學習行為與學習之間的相關性,對開放教育學生形成個性化反饋,以充分調動每位學生的學習積極性,提高自身的學習效率。

一、開放大學學習評價現狀分析

學習評價是通過在學習進程中對學習者進行實時評價,為學習者提供及時的反饋、引導、激勵和調節等學習支持的一種教學反饋機制。理想的學習評價能夠有效促進教學與課程的動態性、生成性關系,彌補在線教學缺乏動態反饋的缺點,提升在線教學的課程意義。[10]其中,由于開放大學的課程具有全線上教學的特點,因此一直都十分重視學習評價。

為了通過多種方式考查學生日常學習過程中的表現、所取得的成績及所反映出的情感、態度、策略等情況,對學生學習結果做出相對全面、準確的評價,開放大學推行了目前課程體系中一直沿用的學習評價模式——“形成性評價+終結性評價”,即在關注學生學習考核結果的同時也重視學生學習過程,并通過聯合評價結果,相應修改或調整教學計劃以獲得更加理想的教學效果。這種“形成性評價+終結性評價”的綜合評價方式自實施以來,有效改善了傳統評價方式手段和內容單一的情況,但仍存在不少問題。

(1)評價內容程式化,缺乏針對性。開放大學實行注冊入學制,學生在進入開放大學學習之前,都是來自各行各業的在職人員,他們的前置學歷各不相同。如表1所示,J開放大學即便是同層次(尤其是?？?的學生,他們在入學前所接受的教育類型也各不相同,分布極不均衡,其學習背景、學習能力、學習素養、學習需求等差異巨大,統一的、程式化的評價體系無法滿足開放大學的學情。這意味著學生學習評價的內容不應僅局限于對知識與能力的評價,學生的學習動機、興趣、情感、態度、意志、性格等方面的評價也應當予以足夠的重視。而目前的學習評價主要以作業成績和作業評語的方式呈現,學情反饋維度單一、反饋內容不夠深入,不能有針對性地對學生個體的學習情況進行評價反饋,難以及時為學生調整學習方法和學習策略,提高學習效率和提供個性化學習支持服務。

表1 J開放大學新生各類前置學歷占比

(2)評價結果以點概面,缺乏全面性。目前開放課程的“形成性評價”設計主要依據知識單元的學習進度安排時間節點,無法貫穿整個學習過程。如表2所示,以J開放大學開設的某門課程為例,形成性評價的設計由觀看視頻時長、BBS討論、形成性測試、期末大作業4類考核構成,在一個學習周期中,BBS討論、形成性作業,分別被安排在第1、3、4、5周。這種在整個學習周期內安排幾個評價節點的方式無法實現對學生學習全過程的持續觀察、記錄和反思。同時,對學生提交的作業質量和在BBS上發帖質量的評價往往依賴于教師的教學經驗和個人態度等,具有一定的主觀性和片面性。

表2 J開放大學課程的形成性考核任務和要求

(3)反饋時間滯后,缺乏即時性。開放大學的教學模式以線上教學為主,教師和學生處于準分離狀態,無法像傳統課堂那樣面對面交流。這種模式下,即時的學情反饋機制顯得尤為重要,學情反饋是否及時準確直接影響到教學的質量和效果。以上述課程為例,其形成性評價屬于階段性的過程性評價,教師只能在學生提交作業時了解其在上一學習階段中的學習效果,而學生也只能在作業評閱后通過教師給出的評語了解自身的學習狀態。學生在學習過程中無法即時得到評價和反饋,教師也無法即時了解學生的學習需求、學習行為和學習效果,這在一定程度上影響了教學進度的靈活調整和教學效果的有效提升。

通過上述分析表明,開放大學現階段評價模式無法滿足教師教學及學生的個性化學習需求。因此,本文擬借助“大數據技術”充分挖掘學生的在線學習過程行為數據,應用“學本評估”理論框架豐富評價形式,對數據分析進行指導,構建學習評價系統,實現個性化、全面化、實時化的學習評價。

二、大數據背景下在線學習評價系統的理論基礎

1.大數據技術

在數據量龐大繁雜的今天,傳統的數據處理工具已無法滿足其使用需求。因此,眾多學者針對大數據的特點,研發了一種全新的數據處理工具。這種工具能夠快速分析和處理海量數據信息,被稱為大數據技術[11]。

大數據技術包括四個模塊部分,即數據獲取﹑數據存儲(數據索引、存儲、分享、歸檔)、數據分析(數據清洗、處理)和數據應用,各模塊之間的關系如圖1所示[12]。由于大數據具有海量化、多樣化和快速化的特征,能夠對數據進行實時處理,因而各模塊之間的關系不僅包括從數據獲取到數據應用的漸進序列關系,還包括兩模塊之間的交互和反饋關系。

圖1 大數據技術的模塊組成與關系

圖2 “學本評估”理論框架

利用大數據技術可將大量的、多樣化的學生學習行為進行量化處理,進而可以從量化的數據中分析其與學習效果的關聯性,最后根據關聯性分析結果對學生的個性化學習提供反饋和指導[13]。大數據技術為開放大學在線學習全面性評價和個性化評價提供了實施基礎、技術支持和發展空間,同時大數據技術模塊組成為開放大學個性化學習評價系統框架提供支撐。

2.“學本評估”(LOA)理論

2007年,卡里斯(Carless)等人提出了“學本評估”(Learning-oriented assessment)理論的概念和基本框架,該理論以建構主義學習理論為基礎,從學習的視角出發,將測評融入學習系統中,從而更全面、充分地發揮評價對學習每個階段和各個環節的促進作用。[14]

“學本評估”理論主要包括評估任務作為學習任務、學生參與和反饋作為前饋三個要素。首先,該理論注重評估任務作為學習任務,強調不能僅關注學生學習的結果,而是希望學生能通過完成一系列階段性的評估任務,來獲得更深層次的學習體驗,提升自身學業水平。這為開放大學學習評價從單一終結性評價轉向診斷性、過程性、終結性評價相結合的方式指明了路徑。其次,強調學生參與評估,學生學習行為的反饋可作為教師教學計劃、教學目標、評價標準等優化的方向,這有助于教師單向評價向多維互動評價轉變。最后,倡導反饋作為前饋,提出教師、學習同伴、學生自己都應該將評價反饋作為下階段學習的前饋,以此形成良性循環。這有助于改善開放大學混合學習評價反饋效果不佳的問題,進而促進學生下一步學習的有效進行。

3.大數據背景下在線學習評價的特征

開放大學學生個體差異較大,在線學習過程的學習行為也隨之多樣化,借助大數據工具進行在線學習評價的必要性不言而喻。以大數據技術與“學本評估”理論為基礎,結合開放大學在線學習評價現狀,總結大數據應用流程及在線學習評價特征,具體如圖3所示。

圖3 學習評價領域中大數據的應用流程和特征

(1)豐富學習評價內容。滿足個性化需求的開放大學學習評價不能只為了程序式檢查和評比分數,更應通過豐富的評價內容對學生展開全方位了解。在大數據時代背景下,多元化操作行為在各類界面和終端都會留下數據痕跡,大量的數據痕跡拼接而成的數據庫為評價形式多元化提供了可能。

一方面,評價主體需要多方參與,應努力形成師生之間交流點評、學生之間相互討論、教師之間溝通經驗的主體多元化評價形式。另一方面,評價方法需要豐富改善,加強過程性評價與終結性評價的結合,建立針對學生個性化綜合素質的評價方法。設立學生在線課程問答、實踐活動上傳展示、階段性課程成果收集等多種在線學習評價方法,豐富學習評價內容形式。

(2)完善學習評價結果。學習評價的初衷是為了及時反映學生在學習過程中的狀態、收獲和困惑,并及時為學生提供個性化的支持服務,而目前的學習評價較為注重周、月等時間節點的診斷和測試,并以此為依據反映學生階段性學習表現。此類缺乏連續性的間斷節點評價難以對學生個體形成正確認識,并準確反映自身學習思考的過程。推進大數據背景下的開放教育在線學習方式,借助大數據的連續性特點,可將每個學生在學習全過程中的理解程度、思考問題邏輯、創新性想法等精細化行為通過不定期評價以量化的方式保留其細節特征,為分析其學習差異性提供動態化的精細數據,使教師可以對學生進行全過程的監督和反饋,準確把握每個學生的學習方向,提高學生的學習效率。

(3)實時反饋學習評價。反饋個性化是開放大學學習評價最重要的特征之一,它不僅僅針對每個學生的個性化學習行為進行分析,而是通過對學生的評價,實現對學生個體的個性化教學反饋,以期達到更好的學習效果。通過大數據分析,獲得學生接受新事物能力、學習態度、學習的努力程度、學習動機、學習興趣、個人性格等方面的量化數據,對不同學生在學習過程中的差異表現進行表征,并以可視化的方式反饋給老師。老師可根據數據反饋,及時了解各學生自身情況,并制定個性化教學方案,實現精準化教學,盡可能選擇最適合學生的學習方式,對學生學習起到激勵促進作用。同時,學生可通過學習評價的反饋更清晰地了解自身學習興趣、學習效果、學習習慣等,從而為進行個性化教學、提升教學質量提供強有力的支撐。

三、大數據背景下在線學習評價的系統設計

結合開放大學校情和大數據背景下在線學習評價的特征分析,依據大數據技術框架和“學本評估”理論,本研究設計了大數據背景下在線學習評價系統模型,具體如圖4所示。該系統主要由在線學習過程觀測點活動記錄、數據處理與存儲、數據分類與整合、數據分析和在線學習過程評價(可視化信息反饋)5個子系統和個性化反饋擴展部分組成。通過這些,教師平臺教學和學生在線學習的行為活動可由大數據形式反映并分析出來,保障在線學習質量,判斷未來教學和學習的趨勢。

1.在線學習過程觀測點活動記錄子系統

學生的性格、能力、愛好、習慣等特性暗含于學生學習行為當中,因此需要選擇有代表性的、能夠如實反映學生全面發展狀況的指標。同時,參與開放大學學習的學生具有年齡、職業背景、個體需求差異大的特點,所以還需要選取與學生個體發展相匹配并能體現其個性的評價指標。根據上述原則,該系統將觀測點分為教師平臺教學、學生在線學習兩部分,其中教師端觀測點包括平臺登錄頻次、批閱課程作業量和時效性、發布課程公告數量和瀏覽量、發布討論帖數量和瀏覽量、發表評論條數和字數、作業點評率與點評字數;學生端觀測點包括平臺登錄頻次、課程在線時長和時段、學生課程測評所需時間和成績、發表評論關鍵詞情況、作業提交率、及格率和提交時間段等。

2.數據處理與存儲子系統

數據處理與存儲子系統主要包括數據采集獲取、數據篩選轉化、數據記錄存儲3個模塊。在系統中,學生相關學習行為主要由網絡日志中所記錄的用戶登錄學習平臺后產生的一系列操作數據組成,由于大數據背景下在線學習過程活動所產生的數據量巨大,所以需要如Web爬蟲、Session會話跟蹤技術、網絡抓取等數據采集工具對網站相關內容數據進行動態采集[15],為后續子系統提供豐富的數據庫支撐。但是原始數據庫數據表中記錄的大量用戶的基本信息和學習行為數據,不能直接作為系統進行數據挖掘的數據源,而是需要通過數據篩選模塊清洗不干凈數據、刪除冗余數據,將非數值數據轉換為數值數據。處理后的碎片化數據可通過數據轉化模塊按照一定規則進行劃分和數據標準化,并根據數據的特征、數據之間的關聯性,進一步轉化為“數據集”,在數據利用方面使后續子系統更加便捷。同時為防止數據丟失,需要通過數據記錄存儲模塊將處理后的數據或數據集存儲到相關數據庫中。處理完成的數據按照結構性質分為結構化數據和非結構化數據,其中結構化數據(如登錄時間、發帖量、視頻學習時長等)存儲在關系型開源數據庫MySQL中,非結構化數據(如圖片、文本等)存儲在非關系型開源分布式數據庫HBase中。

3.數據分類與整合子系統

數據分類與整合子系統調取存儲在數據庫中的相關數據集,根據提取數據的特征進行歸類,將碎片化數據整合成教師與學生雙層面數據庫。在參照開放教育在線學習評價特征的基礎上,教師與學生雙層面數據可進一步細化,其中教師層面包括:教學過程與教學習慣數據,主要指教師帶有個人主觀性的教學實踐行為數據。學生層面包括:學習過程,主要指學生與學習資源交互產生的數據;學習習慣,主要指學生帶有個人主觀性的學習實踐行為數據;學習方法,主要指學生完成學習任務的行為數據;學習能力,主要指學生完成學習任務的時間及課堂測試數據;學習態度數據,主要指可表現學生在線學習認真程度的數據。同時數據分類與整合子系統中細化的核心內容,可以根據實際評價的需求進行相應調整,以達到通過數據整合的方式,打破學生在線學習過程數據孤島的最終目的。

4.數據分析子系統

作為關鍵環節的數據分析子系統,主要是利用已分類整合好的數據集,進一步創建分析學生和教師的“個體用戶自畫像”,即建立針對用戶的個性化資料庫,為用戶提供高質量的個性化服務。教師“個體用戶自畫像”重點在于掌握教學規律和習慣,發現教學過程中的盲點。學生“個體用戶自畫像”主要是開放教育教師在查詢學生個體時使用,通過學生個體畫像了解和認識學生,為學生提供個性化教學,同時學生也可以查看自己的用戶畫像信息,了解自身學習情況,為自檢提供數據支撐。

根據開放大學學生特點,設計數據分析子系統主要包括學習行為TGI偏好指數分析、學習成效分析、價值分類學情模型分析。其中TGI偏好指數反映目標群體在特定研究范圍內的優勢或弱勢,根據TGI規則可以了解學生相關傾向和偏好;學業成效是學生學習結果的最終體現,是教學質量的直接反映,因此學習成效分析可分為學生綜合成績分析、學生綜合成績與教師教學行為相關性分析,以明確學生對課程的掌握情況,以及學生與教師之間的聯結情況;在線學習流程一般為“登錄學習平臺—觀看學習課程資源—根據課程團隊教師發布的學習活動進行討論或提交作業—退出學習平臺”,反映學生的總體學習行為特征較為統一,因此借鑒電商領域衡量客戶價值和客戶創利能力的RFM模型,根據學生在線學習活躍程度和學習時長設計RFT(Rencency, Frequency, Time)學生價值分類模型,分析學生學習過程活動的特征,從而為判斷學生的積極性和交互程度提供依據。

5.在線學習過程評價子系統

該系統旨在把評價內容貫穿于學習全過程,通過相關評價指標對學習開始前階段、學習過程中階段、學習結束后階段三個核心時間段開展評價。利用可視化等展示工具將進行學習評價后的結果及時呈現給學生和教師,讓學生和教師都可以準確掌握學生的學習情況。

首先在學習開始前階段,需要對學生的基礎進行充分考慮,包括:所學知識掌握情況、接受新知識的能力、對知識點的渴求度、學習目的等。對于開放大學學生而言,其學習動機較多是為了提升自身工作崗位遷移能力,因此明晰學生知識的欠缺部分,明確其對新知識接收、歸納、總結的水平,才可制定專項學習方向,使教學方案合理化,實現個性化的教學設計,達到因材施教的效果。其次在學習過程中階段,對學生學習習慣開展評價。學習習慣是一種學生個性化的學習過程,包括每天學習時間段、接納知識效率較高和較低時間段、學習過程的參與積極性等。在該階段根據學生個體用戶自畫像所表現的教學問題進行診斷,參考問題診斷結果與學生學習習慣對個性化教學設計進一步完善,有助于形成適合學生的學習策略,提高學習效率。最后在學習結束后階段,對學生開展學習效果評價。學習效果是學生學習完成后所引起的個體心理與行為上的變化。因此,系統設計從自學能力、所學知識基礎應用能力、所學知識綜合應用能力、學科探究問題能力等由簡至難4個角度,綜合考查學生對知識的掌握情況,并借鑒該評價結果對該學生下一階段學習的教學設計進行完善。

6.個性化反饋擴展部分

個性化反饋屬于在線學習評價系統中的擴展部分,開展評價是手段,最終目的是實現學生的個性化教學設計。因此,本文設計了依據系統的評價結果開展的個性化反饋內容,具體如圖5所示。

一是個性化教學方向。不是簡單地把學習視頻、學習課件、課程作業等堆放在學習平臺上,而是要根據學生的用戶自畫像,有針對性地推送有價值的學習內容。同時,教師也應根據學生在實際工作崗位中的知識需求和學習興趣來設計教學活動,提高教學效果和學習效率。二是個性化教學內容?，F階段在線學習平臺中一些宏觀、抽象概念的語言表達枯燥單一,教學內容不夠生動,部分學生對抽象內容難以理解。因此教師需要根據學生對教學內容的接受程度,個性化呈現多種學習內容,滿足不同學生的喜好需求。對于難以理解抽象概念的學生,學習內容通過符合開放大學學生需求的方式來展現,以此增強學生理解,激發學習興趣。三是個性化教學形式。通過了解學生在學習過程中對于交流討論的接受程度、偏好及學習興趣,設計專題學習小組。對于互動意愿強烈的學生,以學生自發組織、教師參與的形式建立學習小組,在較大程度上提高學生的積極性;對于自學意愿強烈的學生,以教師重點主導,師生一對一的形式促進交流。在最大程度上尊重學生學習習慣的同時,保證學習效率。四是個性化教學導學機制。學生的開放性導致同批次入學的學生在學習素養方面差異較大,因此需要建立個性化教學導學機制,達到學習支持服務覆蓋全過程的目的,以提高學習效果。對于學習時間較少且知識點掌握情況不樂觀的學生,可制定更為細致的導學方案,如要有明確的學習目標、學習計劃和學習規范。當有新的任務或作業時要給學生提示,并提醒學生結束時間。同時可通過在課程中間設置小問題等方式,避免學生掛網蹭學時。

四、在線學習評價系統的實施流程

本文以J開放大學統計數據為例,分析學習過程評價系統用于開放教育的路徑和方法,具體如圖6所示。

圖6 大數據背景下開放大學在線學習評價系統實施流程

首先,學生通過網上平臺進行線上學習活動,在該學習過程中產生的行為數據將被記錄下來。同時,教師通過平臺開展的一系列教學活動而生成的行為數據也被記錄。其次,學生和教師行為數據庫中的數據會被傳遞至基于大數據的開放大學學習評價系統。根據不同的評價指標和內容,系統選擇對應的方法和模型,對學生的學習過程開展評價。

圖7為學生A高級財務會計課程在線學習分析圖。由圖7(a)可知,該學生高級財務會計知識點1和6測評成績較好。對比分析其對應的學習時長,知識點1實際學習時長低于課程標準值,而知識點6高于課程標準值。利用在線評價系統初步判斷,該學生對于知識點1掌握較為熟練,對知識點6雖儲備知識不足,但對該內容具備一定的學習能力。知識點3和4的測評成績都不理想,其中知識點3的實際在線學習時長遠超標準時長,表明該內容是學習薄弱項;知識點4學習時長較短,表明學生A對該內容儲備知識不足且缺乏學習興趣。

(a)課程時長與測評成績分析

(b)在線時間段分析圖7 A學生高級財務會計課程在線學習分析圖

根據學習評價系統分析的結果,可通過4個不同的反饋機制,進行學生個性化教學設計。第一,評價結果直接反饋至在線學習平臺后臺系統,該后臺可根據學生在線學習評價結果主動推送個性化課程及學習資料。對于學生A,系統可個性化推薦自身學習意愿強烈但學習效果不佳的課程(如知識點3),適當減少知識點1和6的推送。第二,評價結果通過在線學習平臺消息推送反饋至學生本人,使學生可通過分析結果精準了解自己的學習狀態,便于進行自評。第三,評價結果通過在線教學平臺反饋至學生信息卡中,建立個性化資料庫,教學者可通過可視化展示頁面掌握每個學生的學習習慣和學習程度。如圖7(b)所示,可知學生A在6-8點和18-21點在線頻次較高,教師可掌握其高頻學習時間段創建相似學習習慣小組,供學生們進行實時在線交流。第四,教師以每個學生的可視化評價結果為依據,及時對學生進行學習過程干預,提供個性化教學方案和學習指導建議,以適應終身教育在線學習及學生多樣化的特點。

五、總結

隨著教育數字化步伐的不斷邁進,大批量線上教學產生了教育大數據,其存在為在線學習評價系統提供了新思路。而大數據、學習分析和內容分析等技術的引入,讓“個性化分析”為特征的在線學習評價有了技術和方法的支撐。本文在此背景下分析了開放大學學習評價現狀及大數據背景下的在線學習評價特征,并以大數據技術與“學本評估”理論為基礎,從觀測點記錄、數據處理與存儲、數據分類與整合、數據分析、過程評價、個性化反饋6個方面提出了基于大數據理念的開放大學個性化學習評價系統。最后,借鑒開放大學實際數據論述了該系統的實施流程。

基于大數據理念的開放大學學習評價系統在政策層面貫徹落實國家《深化新時代教育評價改革總體方案》的精神,對扭轉“唯分數”和“唯升學”的評價模式進行實踐探索。在實踐層面體現評價主體、方法、功能的多元化,能通過精細化的評價為每個學生建立個性化學習庫,在學生學習的過程中持續改進課程體系的教學內容和教學環節設計,在實踐層面實現真正意義上的“因材施教”。本研究模型為開放大學在線學習與評價服務提供更加高效、精準和個性化的參考,同時也期望由開放大學研究拓展至終身學習領域,為其評價環節提供新視角。