在線學習空間數據驅動的學生評價指標體系構建*

繆 玲 張尚先 燕紫君

（1.廣東開放大學，廣東 廣州 510091；2.江門開放大學，廣東 江門 529000）

一、引言

人工智能、數據挖掘等現代信息技術推動了教育教學的創新發展，海量學生在在線學習空間里，通過媒體界面的操作交互、教學要素的信息交互與概念交互實現有意義的學習。這些學習過程交互行為數據、學習成效數據被記錄在信息空間里，形成多元的、海量的、動態的大數據。挖掘大數據獲得高價值信息，實現戰略化、政策性、智慧型管理是人們的必然選擇[1]，也是學校提升內部治理的必經之路。

基于學習大數據的教與學的評價已然是教育評價研究的熱點。美國投入了大量人力、物力、財力發展各級各類數據系統，推進數據在教育評價與決策中的深度應用，利用大數據探尋發展教育的新途徑與新思路[2]。鄭勤華等人[3]基于學習分析技術構建學習者綜合評價參考模型，孫洪濤等人[4]收集學習環境數據、學習行為數據、學習評價數據和內容語義數據等，從媒體技術、學習資源、學習活動、學習支持和聯通度等五個維度構建了課程評價的模型。但是，已有評價模型并未在評價維度上達成統一認識。

2021年，中共中央、國務院印發《深化新時代教育評價改革總體方案》，明確提出從結果評價、過程評價、增值評價和綜合評價等維度積極探索和改進與新時代相匹配的育人評價方式，推進教育過程和學習過程數據化和可量化?？梢?，在新時代教育評價理念的指導下，有必要基于在線學習空間數據，進一步研究構建學生評價指標體系。

二、學生評價指標的構建

數據驅動的學生評價通過在線學習空間記錄的數據客觀地評價學生的學習過程、學習成效和學習發展，不再局限于考試成績結果和教師平時的主觀觀察印象[5]。在線學習空間數據驅動的學生評價則是根據既定的教學目標，通過分析在線學習空間里學生學習產生的數據，對學生學習過程和學習結果進行價值判斷，促使學生不斷自我完善。結合新時代教育評價堅持“改進結果評價、強化過程評價、探索增值評價”，本研究通過文獻調研、半結構訪談、德爾菲調查問卷等方法，從表征學生在線學習過程、學習結果、學習增值等三個維度確定基于在線學習空間數據的學生評價指標。

（一）評價指標的初步擬定

1 指標因子的初步擬定

首先，從在線學習特性來說，學生突破物理空間的限制與教師、與其他學生在在線學習空間建立聯結，通過與媒體界面進行操作交互、與教學要素進行信息交互和概念交互，即通過交互實現有效學習。與此同時，“社會交互性”[6]“在線協作與交流”[7]“聯通度”[8]等成為在線學習學生成績或學習有效性評價指標體系的一級指標。由此，引入交互度作為表征學生在線學習過程的評價維度。

其次，由于在線學習中學生和教師處于時空分離狀態，僅僅通過交互情況較難實時掌握學生的學習過程和學習狀態，較難及時作出有針對性的干預措施。而學生在線學習行為的持續情況和活躍情況等能夠彌補在線學習過程評價的短板?！巴度攵取盵9]“持續度”[10]等表示學生在線學習投入情況的維度成為表征學生學習過程的數量指標。由此，引入投入度作為表征學生在線學習過程的評價維度。

再者，為表征學生在線學習結果引入完成度和有效度兩個評價維度。完成度是從在線學習活動完成的數量指標來考量，即以課程要求的指定學習任務為標準對學生實際完成情況進行評價；有效度則是從在線學習活動完成的質量指標來考量，即對學生參與課程學習活動的有效情況進行評價。

最后，引入增值度作為表征學生在線學習增值的評價維度，考量學生學習過程或學習結果的變化情況。

2 數據指標項的初步擬定

指標因子是居于上層的理論維度，是學生評價維度的表征。數據指標則是理論維度的表征，居于下層，能夠通過在線學習空間原始數據直接或間接獲取，是可測量的。本研究基于初步構建的交互度、投入度、完成度、有效度和增值度等五個指標因子，對在線學習空間原始可記錄的數據進行分析，結合半結構訪談，歸納分析得出21項數據指標。

（二）德爾菲調查問卷的實施

德爾菲法是一種專家匿名反饋征詢法，是指以問卷的形式，按照系統的程序，采用匿名發表意見的方式，對一組特別選擇的專家進行征詢。經過兩輪或兩輪以上意見的征詢、歸納及修改，使意見趨于一致而得到研究結果。

首先，根據初步擬定的學生評價指標設計了征詢問卷，征詢內容以條目的形式呈現，請專家對條目“5表示非常適合、4表示比較適合、3表示一般適合、2表示比較不適合、1表示非常不適合”做出選擇；同時在每一條目下方或后方留有空格，以備專家填寫修改意見或添加其他內容。

其次，選擇具有在線教學豐富經驗、熟悉在線學習者特征的一線教師，其能夠立足于在線學習學生和教師時空分離的特性從不同的角度對研究提供建設性意見。一般情況下，調查評估或預測的精度與調查對象數量呈函數關系，即調查對象人數越多，評估精度越高。但是，人數越多，調查越難組織，統計數據越大。本研究結合實際情況，選擇了17人。

最后，通過微信或郵件向選取的17人發放征詢問卷，共開展2輪?；厥沼行柧砗?，依據調查結果及意見對指標體系內容進行討論，并對部分條目進行增添、修改與刪除。吸納第1輪問卷調查的修改意見，形成新的基于在線學習空間數據的學生評價指標體系。請專家對新的學生評價指標體系的合適程度進行5級評分。

（三）調查結果分析

1 第一輪調查結果

第1輪調查問卷結束后，從平均數、中位數、眾數、標準差對基于在線學習空間數據的學生評價指標因子、數據指標進行統計，以此判斷檢驗指標因子的適合程度。

指標因子適合程度。五項指標因子平均數均維持在4 0以上，中位數、眾數都均為4或4以上，表明指標因子是“非常適合”或者“比較適合”的。并且，5項指標因子的標準差均低于1 0，表明教師對指標因子的適合程度具有比較相似的看法。盡管對指標因子的合適程度比較認同，但是，對指標因子的主要內涵描述提出了優化建議，研究者根據反饋意見對其中3個指標因子的描述進行了修改。

數據指標適合程度。21項數據指標平均數低于4 0的有6項（其中有4項屬于第五項指標因子），表明指標因子的測量項不是“非常合適”，且標準差均低于1 0，表明教師對其判斷內容基本一致。研究將該6項數據指標刪除，并根據修改的指標因子增加5項數據指標。此外，對2項數據指標項進行了描述修訂。

2 第二輪調查結果

第二輪調查問卷仍舊從平均數、中位數、眾數、標準差四個統計量來進行統計分析指標因子和數據指標，并與第一輪調查問卷的統計結果做對比。若第一輪和第二輪的平均數均達到4 00以上，且標準差維持在1 00以下，則認為一致性檢測通過，此指標因子可以作為學生評價維度，數據指標可用來表征指標因子。對于在第二輪調查問卷做過修改或新增項，僅考察第二輪調查結果，以此決定是否通過。

第二輪調查問卷結果顯示，各指標因子的測量項平均數均達到4 0以上，中位數、眾數全部都為5，且標準差均在0 75以下，表明指標因子、數據指標一致性通過。因此，通過第二輪調查問卷，對基于在線學習空間數據的學生評價指標形成了較為一致性的意見，暫時可停止繼續調查。

至此，本研究通過兩輪征詢調查，獲得了基于在線學習空間數據的學生評價指標因子5項，分別為：交互度、投入度、完成度、有效度和增值度，數據指標20項。其中交互度和投入度是對學生在線學習過程的表征，完成度和有效度是對學生在線學習結果的表征，增值度是對學生在線學習變化狀況的表征，其具體描述如表1所示。

表1 基于在線學習空間數據的學生評價指標因子描述

三、學生評價指標權重分配的調查實施

本研究基于層次分析法分配學生評價指標權重。層次分析法簡稱AHP，其核心是依據目標，將問題劃分成有序的層次結構，通過兩兩比較對各個層次中各個因素的相對重要性進行確定，最后進行綜合判斷，從而決定決策各因素相對重要性總的順序。其特別適用于無結構特性的、多目標、多準則、多時期等的系統評價，比如學科群評價指標體系[11]、目標達成度評價指標體系[12]等多個評價指標體系的構建均應用層次分析法確定權重。層次分析法的調查實施一般有確定層次結構模型、建立權重判斷矩陣、判斷思維一致性和計算評價指標權重等步驟。

（一）層次結構模型的建立

建立層次結構模型是將復雜問題涉及的因素進行分析，確定相互影響的因素和相互比較的因素，按其之間的相關關系繪制層次結構圖。最高層是需要解決的問題或達到的目標，即目標層；中間層是考慮的因素，即準則層；最低層是問題的備選方案，即方案層。根據前期已構建的學生評價指標層次級別及其關系，構建出了權重分配的層級結構模型（見圖1）：

圖1 基于在線學習空間數據的學生評價指標層次結構模型

第一層是目標層，即基于在線學習空間數據評價學生；第二層是準則層，這一層是影響學生評價的指標維度，即交互度、投入度、完成度、有效度、增值度；第三層是方案層，即表征各指標因子的數據指標項。

（二）權重判斷矩陣表的建立

首先，根據建立的層次結構模型，制定學生評價指標權重咨詢問卷。征詢內容以條目的形式呈現，請教師對準則層的指標因子和方案層的數據指標項的相對重要性進行兩兩比較。兩兩比較采用五級標度法，用1、3、5分別表示同等重要、比較重要、絕對重要，2、4則表示重要程度介于相鄰的兩個等級之間，具體如表2所示。

表2 五級標度法說明

其次，邀請五位具有在線教學豐富經驗的一線教師和管理人員，通過微信或郵件向其發放征詢問卷。

最后，根據每位教師問卷填寫的指標因子和數據指標項兩兩比較的結果，轉換構成多張權重判斷矩陣表。如果ai因素與aj因素的比較值為正數A，則在矩陣表里aij記為A；如果ai因素與aj因素的比較值為負數A，則在矩陣表里aij記為1/A。

例如，教師1表示：“交互度”分別與“投入度”“完成度”“有效度”“增值度”比較，比較值分別為1、1、-2、-2、-2；“投入度”分別與“完成度”“有效度”“增值度”比較，比較值分別為1、-2、-2、-2；“完成度”分別與“有效度”“增值度”比較，比較值分別為 1、2、2；“有效度”與“增值度”比較，比較值為1。因此構建出如表3所示矩陣表。

表3 教師1對指標因子的判斷矩陣

（三）思維一致性檢驗及權重的計算

將每位教師兩兩比較的結果構成的多張權重判斷矩陣表輸入數據科學分析平臺SPSSAU，利用其綜合評價的“APH層次分析”功能進行計算，以求出每位教師一致性檢驗數據指標、指標因子和數據指標項的權重分配指標。最后進行幾何平均數處理，得出每項的權重。

在構建權重判斷矩陣時，有可能會出現邏輯性錯誤，因此需要使用一致性檢驗是否出現問題。一致性檢驗使用CR值進行分析，CR值小于0 1則說明通過一致性檢驗，反之則說明沒有通過一致性檢驗。如果數據沒有通過一致性檢驗，需要檢查是否存在邏輯問題或再次咨詢調查對象，重新錄入判斷矩陣進行分析，直至通過一致性檢驗。本研究中，共有5項內容在計算過程中出現一致性指數大于0 1，后經重新錄入矩陣后，使得所有權重判斷矩陣一致性指數均在0 —— 0 1范圍之內，一致性檢驗通過。

綜上所述，本研究在權重分配的調查中，通過CR值分析發現有5項內容在計算過程中出現一致性指數大于0 1，表示在填答過程中出現了一定的邏輯性錯誤，后經溝通分析，一致性檢驗才通過。本研究采用的是自填問卷的方法獲取數據信息。但是，教師在填答過程中可能受情緒、環境、邏輯等方面的干擾，或出現理解偏差，造成填答偏差，致使研究結果出現偏差。所以，在后續研究中，可以結合主觀測量和客觀測量方法，綜合運用定量和定性研究，二者相互驗證和比較，從而提高研究結果的可靠性。

四、學生評價指標權重分配調查結果的討論

（一）指標因子權重分配結果討論

每位教師對指標因子的權重分配結果如表4所示，采用群體決策的方法，對全部專家的權重系數求均值，得出一級指標的最終權重為：交互度21 89%，投入度14 35%，完成度20 16%，有效度 19 54%，增值度 24 07%。

表4 一級指標因子權重分配結果匯總

整體上，將5項指標因子的權重從大到小進行排序，分別是增值度、交互度、完成度、有效度、投入度?？梢?，增值度權重值（24 07%）排名第一，明顯高于其他指標因子，表明學生綜合評價非常注重其獲取在線學習成果的增值情況；交互度權重值（21 89%）排名第二，比排名第三的完成度的權重值多1 73%，表明學生綜合評價比較注重學生在學習過程中與學習資源、與教師、與其他學生的交互情況，即在線學習的學生評價比較注重學習過程的表現，這符合遠程教育強調的教學交互理論；完成度（20 16%）、有效度（19 54%）二者的權重值相對居中，相差不大，且均屬于對學生在線學習結果的評價維度，表明學生綜合評價相對注重在線學習結果；投入度權重值（14 35%）排名第五，明顯低于其他指標因子，表明其相對于其他四項指標因子重要性相對較低。

個體上，教師對于指標因子權重分配存在較大差異性。比如教師2和教師3分配的指標因子權重從大到小排序，依次為：交互度、投入度、完成度、有效度、增值度?？梢?，二者均認為表征在線學習過程評價的交互度和投入度非常重要，表征在線學習結果評價的完成度和有效度次之，而增值度所占權重分別為5 48%和5 01%，認為學生在線學習變化情況和獲取的成果的重要性相對很低。但是，教師4和教師5分配的指標因子權重從大到小的排序，依次為：增值度、有效度、完成度、投入度、交互度，這與教師2和教師3的排序結果完全相反。

綜上所述，一方面，根據整體結果，基于在線學習空間數據的學生評價不應只過分注重結果評價、過程評價或增值評價，而應強調三者相結合的綜合評價；另一方面，由于選取的調查對象存在潛在偏差，所調查的少數樣本無法代表整體的情況，從而導致研究所得結論不一定具有普遍性。所以，在后續研究和實際應用中，需要進一步擴大調查樣本，使得指標體系具有更高的使用范圍和更大的解釋能力。

（二）數據指標項權重分配結果討論

繼續對數據指標的權重分配進行計算，最終數據匯總如表5和表6所示。

表5 基于在線學習空間數據的學生評價指標權重分配結果

表6 數據指標平均權重結果分配

基于在線學習空間數據的學生評價指標包含20項數據指標，其中指標因子交互度設有3項數據指標，平均權重為7 30%；投入度設有4項數據指標，平均權重為3 59%；完成度設有4項數據指標，平均權重為5 04%；有效度設有4項數據指標，平均權重為4 86%；增值度設有5項數據指標，平均權重為4 81%。

根據數據指標平均權重從大到小排序指標因子，分別為交互度、完成度、增值度、有效度、投入度?？梢?，一是數據指標平均權重差別較大，最高為交互度，值為7 3%，即交互度所屬的數據指標一項平均占總權重的7 3%，最低為投入度，值為3 59%，投入度所屬的數據指標一項平均占總權重的3 59%；二是因為各指標因子的數據指標項數不同，以致數據指標平均權重排序與總權重排序發生了變化，主要總權重排名第一、第二、第三的指標因子，平均權重排名分別為第三、第一、第二；三是部分指標因子的平均權重排序和總權重排序未發生變化，即排名第四的有效度和排名第五的投入度。

具體到每項數據指標的實際值，權重超過8%的數據指標共有3項，分別是C1、C2、C17， 權重值分別為 8 64%、8 93%、8 16%。C1 和 C2均屬交互度指標因子，C1表示有學習行為發生的模塊數占課程部署的模塊數的比例，反映的是學生與學習資源交互的廣度；C2表示在與教師交互網絡中的點度中心度，反映的是學生與教師直接聯系的多少。C17屬增值度指標因子，表示獲取專業相關職業技能比賽獎項數，反映的是專業成果獲取情況?？梢?，在線學習過程中，學生應更多地完成教學交互，特別是與教學資源的交互、與教師的交互，從而獲取專業相關的成果。

權重低于3%的數據指標共有2項，分別為C19、C20，權重值分別為 2 65% 和 2 03%。C19和C20均屬于增值度指標因子，C19表示獲取與課程相關的比賽獎項，C20表示獲取其他學習成果證明。增值度是總權重最高的指標因子，但其數據指標項有兩項排名最末，且明顯低于平均值（4 81%）。經與部分教師訪談，認為在實際教學中較少有C19表示的課程相關的比賽獎項，或者只有部分公共基礎類、通識類課程有相關比賽，該項指標重要但是各課程賽項不均衡，其權重不應占比過大。與此同時，學生所取得的其他學習成果證明也是學生學習情況的反映，但不是單一課程教學或專業學習的增值結果，故其權重也不應過大。

綜上所述，一方面數據指標項權重分配結果為評價學生在線學習過程和成效給出了具體的方案策略；另一方面也注意到五項指標因子對應的數據指標項不同，導致各數據指標項的權重分配差距較大，有可能出現不科學的評價。所以，后續研究可以通過指標體系的應用增加其他指標因子或調整數據指標等擴展指標體系。研究變量的擴展能夠更全面地考量學生情況，從而為教學提供更好的參考。

五、結語

本研究通過問卷調查、層次分析等過程，建立了包含5項指標因子和20項數據指標的基于在線學習空間數據的學生評價指標體系。該評價指標為直接、有效地診斷學習提供了科學工具，進而為學生學習成效的提升、教師教學水平的提高提供了有價值的參考。為進一步提升指標體系的價值，提出以下建議。

（一）完善指標，推動評價科學化

《深化新時代教育評價改革總體方案》明確指出，教育評價事關教育發展方向，有什么樣的評價指揮棒，就有什么樣的辦學導向。同樣，基于在線學習空間數據的學生評價指標體系也事關學生在學習空間的學習導向，直接影響學習的成效。根據上述研究分析結果，進一步擴展、完善基于在線學習空間數據的學生指標因子和權重分配。在完善指標的同時，可以進一步探討各指標因素之間的關系。探索教學過程評價指標體系各個維度、各級指標與教學效果的關系[13]，并進行過程干預。不斷完善指標，推動評價科學化，才能切實有效地發揮指揮棒的作用。

（二）收集數據，獲得全程多維證據

學生評價最終需要通過在線學習空間的客觀數據表征，即通過各類數據指標的聚合完成綜合評價。這就需要在線學習空間能夠支持記錄和收集學生學習前期、中期、后期等不同階段反映學生學習發展的各種過程性、結果性、增值性證據。一方面，從不同角度、不同方面構建的評價指標體系包括詳細的數據指標，在線學習空間數據應該要能滿足其中數據指標的需求。換句話說，數據指標所需要的證據無法通過在線學習空間數據匯聚或計算得出是不可取的；另一方面，多維度、多方面收集學生學習發展數據，從而自下而上地研究、擴展數據指標，完善評價指標體系，進而更客觀、更公正地評價學生的整體表現。

（三）推廣應用，提升教育教學質量

通過自上而下評價指標體系的不斷完善和自下而上數據指標的不斷收集，二者持續升級迭代，為學生評價提供可靠的工具。通過推廣應用評價指標體系，更加真實全面地呈現學生學習的學習過程、學習質量以及存在的問題，更加有效地提升教育教學質量。推動學生評價科學、規范、有序地開展應用，至少包括三方面：一是依據指標體系直接評價學生學習成效，反映教師教學能力，實現評價指標的直接應用；二是通過評價結果反映的存在問題，推進學生自我改進、教師教學支持改進以及教學管理者的教學決策改進，進而有針對性地解決問題；三是高等學校教育信息化已經從原來的強調軟件服務和平臺服務轉變到強調數據服務的新型模式[14]。因此，借助指標體系構建大數據分析模型，助力學校信息化教學模式的構建，助力大數據應用平臺建設。