認知診斷評價在個性化學習中的功能與價值

李令青 韓 笑 辛 濤 劉彥樓

（1.曲阜師范大學，山東濟寧 273165；2.北京師范大學，北京 100875）

以學生為中心，滿足每個學生獨特的學習需求是個性化學習的主要特征[1]。個性化學習要求對學習者個體差異及學習需求進行準確評價。在新學習評價觀念指導下，充分發揮新方法、新技術在自動化學習數據收集、整理、分析及結果呈現中的作用，是實現個性化學習的關鍵要素之一[2]。在大數據時代，對學生學習進行自動的個性化評價與診斷，將教師從機械的、重復的勞動中解放出來，使其有時間和精力從事更具創造性的活動，對于師生而言都具有重要的價值與意義。本文在探討基于認知診斷評價的個性化學習如何有效實施的基礎上，以實證數據分析為支撐，重點對認知診斷評價在個性化學習中的功能與價值展開論述。

1 學習評價觀念的轉變

迄今，學習評價的觀念發生了2次重大變化：第一次是由“學習的評價”（assessment of learning）到“為了學習的評價”（assessment for learning）；第二次是從“為了學習的評價”到“評價是學習的一種方式”（assessment as learning）[3]?！皩W習的評價”主要是評價學生是否達到了學習目標或標準，為學生提供排名或分數?！盀榱藢W習的評價”主要是收集學生學習過程中某段時間內的知識或技能信息，幫助教師判斷學生的學習需求，指導課堂教學活動，或者向學生提供關于他們學習狀況的有價值的反饋?！霸u價是學習的一種方式”是指讓學生使用評價去促進學習，鼓勵學生對自己的學習負責，鼓勵同伴評價、自我評價與反思，突出學生本身在學習中的地位與作用，學生可以根據評價設定個人目標，促進自身的學習與發展。

“為了學習的評價”以及“評價是學習的一種方式”都是以促進學習為目的的評價，通過數字化工具、設施以及云計算、大數據等技術，將教育或心理測量模型無縫嵌入教師的教學及學生的學習過程中，在不中斷學習的前提下，對學習過程進行動態的隱形性評價[4]。2種評價方式都是基于認知心理學專家、學科專家、教育測量學專家等對學習與發展的深入理解，教師與學生可以共同對學習過程進行監控與評價，獲得及時的反饋，據此調整教與學，提高教與學的效率。

2 認知診斷評價

評價觀念的變化引發了評價范式的變革。人們希望通過新的評價范式——基于認知診斷的學習評價，了解學生在多維、細粒度的潛在認知屬性上的差異[5]。認知診斷評價是一個復雜的、系統化的過程，需要認知心理學專家、學科專家、心理與教育測量學專家通力協作。根據以往研究，在個性化學習中，認知診斷評價有3個主要部分：1）認知診斷評價設計與具體實施；2）模型選擇與模型—數據擬合評價；3）診斷性評價結果反饋[6]。

認知診斷評價設計部分主要包括確定要診斷的學科及具體內容、明確所要診斷的認知屬性以及屬性與題目之間的對應關系（Q矩陣）。認知屬性是學習者在解決某一具體問題時所需要的知識、技能及策略等，例如，本文第3部分所討論的數學分數減法運算的認知診斷共包含了3個認知屬性。在具體實施中，需要對測驗進行預測，以確保達到診斷目的。預測階段主要判斷屬性設置是否合理，是否有遺漏，測驗題目是否有歧義或其他不合理之處，確認無誤后，方可正式實施。

模型選擇與模型—數據擬合評價部分的主要任務包括選擇恰當的認知診斷模型，以及對模型與數據的整體擬合進行檢驗。一般而言，認知診斷模型分為一般化的認知診斷模型和具體的認知診斷模型2類。例如，對數線性認知診斷模型（log-linear cognitive diagnosis model，LCDM）是一般化的認知診斷模型；決定性輸入、噪音與門（deterministic inputs，noisy“and”gate，DINA）模型、補償的重參數化統一模型（compensatory reparameterized unified model，C-RUM）等是具體的認知診斷模型。盡管一般性的認知診斷模型能更好地擬合數據，但其不足之處在于，模型參數過多，在樣本量較少的情況下屬性分類準確性低。因此，需要在模型—數據整體擬合良好的前提下，選擇適合具體題目的認知診斷模型[7]。需要指出的是，技術支持下的認知診斷評價中，經過驗證的具體模型信息、模型參數以及Q矩陣信息均可存儲于個性化學習軟件系統中，以便隨時隨地進行診斷評價。

診斷性評價結果反饋部分主要進行認知診斷結果報告，以及提出相應的補救性措施。通過認知診斷測驗，可以獲得學生的認知屬性掌握信息，形成個性化的認知診斷結果報告。根據診斷結果報告，可以快速地識別出個體學習過程中存在的問題，方便學生、教師、政策制定者或其他利益相關者采取針對性措施。診斷性結果反饋是連接測驗開發者與應用者之間的橋梁，是個性化學習評價中最值得關注的部分。

盡管有的研究已初步嘗試將認知診斷模型應用于個性化學習實踐，但在模型選擇、模型—數據擬合評價、診斷性評價結果反饋3方面仍有待進一步提高。首先是模型選擇問題。在認知診斷測驗中，沒有任何一個模型適用于所用題目。本文在參考以往研究的基礎上，使用觀察信息矩陣計算用于模型選擇的Wald統計量[8]。其次是認知診斷模型與數據擬合問題。在使用認知診斷模型解釋學習者數據并獲取診斷性信息前，需要對模型—數據擬合優度進行檢驗。在診斷性結果報告前，需要使用有限信息擬合統計量進行整體擬合檢驗。再次是診斷性評價結果反饋方式。以往研究對屬性掌握狀況的報告只是簡單地采用“掌握”與“非掌握”2種方式。本文在參考Huebner和Wang相關研究[9]的基礎上，認為報告學生每個屬性的后驗掌握概率的方式更為可取，更有助于促進個性化學習。

3 實證數據分析

3.1 數據來源

有研究者曾使用分數減法數據（或子集）作為實踐案例進行研究，并不斷對模型及Q矩陣進行修正[10]。Liu等發現飽和的LCDM以及其研究中所應用的Q矩陣能很好地擬合反應數據[7]。因此，本文亦使用分數減法數據子集為例，探討認知診斷評價在個性化學習中的作用與價值。

本文所用分數減法數據子集包含536名學生在10個測驗題目上的作答反應。表1第2列呈現的是具體的測驗題目，第3～5列呈現的是每個測驗題目與所測屬性之間的對應關系，其中：“1”表示正確作答測驗題目需要對應的屬性，“0”則表示不需要。這份測驗測查了3個屬性：從整數部分借1（屬性a）、分離整數（屬性b）和確定共同因子（屬性c）。舉例而言，題目1測查了屬性a與屬性b，題目2測查了屬性a與屬性c，題目4只測查了屬性a。

3.2 研究工具

首先，使用flexMIRT軟件進行模型參數估計，以保證模型參數具有意義，并解決題目參數的可識別性問題。其次，自編R語言程序，使用Wald統計量進行題目水平上的模型選擇；使用有限信息擬合統計量評價模型與數據的絕對及近似擬合；使用期望后驗法估計學生的屬性掌握模式；估計整體屬性掌握狀況。

3.3 分析結果

選擇恰當的具體模型以及模型—數據整體擬合良好，是使用認知診斷模型解釋作答數據的前提，也是認知診斷評價在個性化學習中功能與價值實現的基礎。因此，首先要進行模型選擇與整體擬合檢驗。表1第6列呈現了題目的模型選擇結果。除題目1適用飽和的LCDM外，其余題目適用CRUM或DINA模型。這說明，在分數減法測驗中，沒有任何單一的具體模型可以有效擬合數據。其次要進行模型—數據擬合優度檢驗。結果顯示：M2=39.47，df=21，p=0.009；RMSEA2=0.041。也就是說，盡管模型選擇后的模型—數據絕對擬合優度統計量M2的p值小于0.01，但近似擬合優度統計量RMSEA2小于0.045，說明新選擇的具體模型有較好的近似擬合[7]。綜合而言，不同的測驗題目需要不同的認知診斷模型。

表1 分數減法數據的Q矩陣與模型選擇結果

以多維、細粒度的屬性掌握模式提供結果反饋是認知診斷評價功能的主要體現。圖1呈現的是分數減法個性化學習診斷報告單，可以發現，如果以0.5的掌握概率為切分點將每個屬性簡單地分為“掌握”與“非掌握”，這個學生在分數減法測驗測量的a（0.572）、b（0.878）、c（0.022）3個屬性上的掌握情況分別是“掌握”“掌握”與“非掌握”；同時，具體掌握概率表明，屬性b掌握得最好，屬性a次之，屬性c則根本沒掌握。對比這2種報告方式，不難發現，報告掌握概率更能體現出認知診斷評價的價值。圖1還呈現了學生整體的屬性掌握情況，可以發現，屬性b（0.643）的掌握概率最高，屬性a（0.468）與屬性c（0.448）的總體掌握概率均未超過0.5。根據這一情況，教師能夠更有針對性地開展教學。

綜合而言，過程性診斷信息勾勒出學生在某一知識領域的優勢與不足，便于學生進行個性化學習，也有助于教師提供針對性指導。也就是說，當基本的應用條件滿足后，認知診斷評價不僅能提高授課效率，而且能充分兼顧學生的個性化差異，這是認知診斷評價在個性化學習中的價值體現。

4 討論與建議

基于現代教育理念的認知診斷評價能為學生、教師及其他利益相關者提供關于學習優勢與不足的多維、細粒度診斷性信息，從而指導個性化學習決策，促進個性化學習。認知診斷測驗題目的編制是否恰當以及Q矩陣是否合理等都會影響評價效果。當前，盡管數字化學習設備與內容已經廣泛應用于日常教學實踐，但這些數據能否有效支持認知診斷評價，有待進一步檢驗。本研究采用分數減法數據作為實證數據分析案例的一個重要原因是，這個經典數據的子集在使用飽和LCDM以及相應Q矩陣時有很好的模型—數據整體絕對擬合。在數據爆炸式增長的時代，精心設計與實施認知診斷評價的重要性在于，可以有效避免出現“垃圾數據進，垃圾信息出”的狀況。后續研究應注意以下2點：

首先，在報告屬性掌握信息前，選擇適合于每個題目的認知診斷模型并且對模型與數據間的整體擬合進行檢驗。本研究證實，即使在同一份認知診斷測驗中，使用單一模型的方式也是不恰當的，不同的題目適用于不同的模型。模型—數據擬合檢驗的重要性在于，它為研究者提供了一個指標，用以評價模型在多大程度上真實地反映了數據中隱含的信息。后續研究應在模型—數據整體擬合優度良好的情況下進行題目水平上的模型選擇；使用模型解釋數據前，應重新進行整體擬合檢驗，以保證新模型的可靠性。

圖1 分數減法個性化學習診斷報告單（樣例）

其次，改進診斷性評價結果的反饋方式。提供多維、細粒度的屬性掌握情況報告是認知診斷評價的優勢功能之一，也是認知診斷評價能夠有效促進個性化學習的原因所在。以往研究在診斷性結果反饋方面的不足之處在于，只將屬性掌握狀況粗略地分為“掌握”與“非掌握”；改進后的診斷評價反饋應使用實證數據進行具體展示，同時不僅提供單個學生的屬性掌握情況，經過恰當的統計轉換，還要提供整體的屬性掌握狀況。也就是說，認知診斷評價不僅能為學生提供有效的個性化學習信息，還能從總體上為教師或其他教育工作者提供用于促進學生個性化學習的整體性信息。