基于認知診斷模型PISA數據的學生學習軌跡分析

崔 爽,張兆遠,2,張繼超

(1.伊犁師范大學數學與統計學院,新疆 伊寧 835000; 2.伊犁師范大學應用數學研究所,新疆 伊寧 835000;3.長春財經學院數學教研部,吉林 長春 130122)

0 引言

傳統的教與學是脫節的、碎片化的,使得教與學之間缺乏直觀聯系.學習軌跡[1]是一個個體在學習過程中所經歷的發展、進步和變化的路徑.學習軌跡成為教和學之間的紐帶,學習軌跡包含了對學習動態過程的描述,對學生的“學”給出了個性化、精細化的診斷報告,為教師的“教”提供了參考依據,教師可以通過學習軌跡能夠獲得直觀有效的信息.學習軌跡的獲取,可以通過對學生學習過程的持續觀察,也可以通過對學生的測試和定量分析.本文采用加入反應時間數據的重參數化DINA模型,對學生的測試結果進行分析,估計學生是否掌握相應的知識點或是否具備相應的技能屬性,進而得到學生的學習軌跡. 國際學生評估項目(Program for International Student Assessment,PISA)是國際上具有廣泛影響力的大型教育評估項目,為國際教育水平的橫向參考比較提供平臺,PISA測評對世界教育改革的影響在某種程度上代表了世界教育改革的趨勢[2].本文對中國、新加坡、日本、美國、加拿大、英國、芬蘭、俄羅斯、美國、巴西、哥倫比亞和沙特阿拉伯12個國家的PISA 2015數學測試數據集[3]進行統計分析,繪制出各國學生的學習軌跡并進行比較研究.

1 加入反應時間的DINA模型

在計算機化的測試中可以獲取作答反應結果和作答反應時間兩類數據,PISA 2015數學測試[3]采用計算機化的考試容易獲得的詳細作答反應時間數據.作答反應時間蘊含被試的潛在能力信息,比如當被試在低風險測試中時會以更快的速度作答,或具有先驗題目知識的被試反應時間可能會更短,這其中包含的潛在信息很難僅根據作答反應結果來識別.在認知診斷中加入作答反應時間信息作為輔助信息,與作答反應結果共同使用,可以獲得更準確的診斷信息.下面引入結合作答反應結果和作答反應時間兩類數據的聯合模型.

1.1 重參數化DINA模型

設Yni為第n個人對第i道題的作答反應結果,在DINA模型[4]中,屬性與作答反應結果之間的關系可以表示為:

(1)

其中,P(Yni=1)表示第n個人答對第i道題的概率,gi和si分別表示第i道題的猜測概率和失誤概率,1-gi-si為題目區分度[5];αnk表示第n個人是否具備第k個屬性,如果第n個人掌握第k個屬性則αnk=1,否則αnk=0;Q是一個I×K階矩陣[6],其中,qik表示第i道題是否考查第k個屬性,如果第i道題考查第k個屬性,則qik=1,否則qik=0.由此矩陣Q在學生的可觀測反應與不可觀測反應的認知狀態之間架起了一座橋梁.

將P(Yni=1)重參數化,首先將影響Yni中的兩個參數gi和si重參數化[7-9],即

γi=H(gi),

(2)

δi=H(1-si)-H(gi),

(3)

(4)

式(4)也稱為重參數化DINA模型[7],被試掌握屬性的概率為:

H(P(αnk=1))=τkθn-υk,

(5)

其中,P(αnk=1)為第n個人掌握第k個屬性的概率,τk,υk分別為斜率參數和截距參數,θn表示第n個人的一般能力,θn值越高意味著被試掌握相應屬性的概率越高.

1.2 反應時間模型

設Tni為第n個人作答第i個題目的反應時間,它的對數正態反應時間模型[10]為:

(6)

1.3 先驗分布

在分層建?？蚣芟?假設加入反應時間的DNIA模型的題目參數服從三維正態分布:

(7)

式(7)給出了DINA模型中題目參數間的關系[11],對數正態反應時間模型中的誤差項εni不包含在χi中,此為一個獨立分布.

類似地,假設加入反應時間的DNIA模型中關于人員的參數服從二維正態分布:

(8)

因此,由式(1)至(8)構成加入反應時間的DNIA模型[12].

題目參數的先驗分布[12]設定如下:

μβ～N(-2.197, 2),μγ～N(4.394, 2)I(μγ>0),

μδ～N(3,2),Σ1～W-1(R,3),

其中,指定β,γ,δ的先驗分布用于重參數化DINA模型,W-1表示逆Wishart分布,R是一個三維單位矩陣.

人員參數的先驗分布[12]設定如下:

屬性參數的先驗分布[12]設定如下:

τk～N(0,4)I(τk>0),υK～N(0,4).

2 PISA數據分析

本文數據來自PISA 2015的數學測試部分[3],選取其中12個國家的12 918名學生對9個題目的作答結果,這組測試題考查了4個屬性.

2.1 數據概況

根據參與評估的國家所在地理位置,選取12個國家學生的作答數據,數據分別來自亞洲的中國(CHI,選自北京、上海,江蘇和廣東)1 067份、新加坡(SGP)687份、日本(JPN)731份、沙特阿拉伯(ARB)1 387份;北美洲的美國(USA)567份、加拿大(CAN)2 021份;南美洲的巴西(BRA)1 365份、哥倫比亞(COL)1 101份;歐洲的英國(GBR)1 396份、芬蘭(FIN)603份、俄羅斯(RUS)571份;大洋洲的澳大利亞(AUS)1 422份.根據PISA 2015數學評估框架和已發布的基于計算機的數學題目評估了4個屬性,即變化和關系α1、量化α2、空間和形狀α3、不確定性和數據α4,表1為測試題目組所考查的認知屬性及其含義.

表1 測試題目組考查的認知屬性及其含義

數據包括每個題目的作答反應得分和作答反應時間.作答反應時間是由數據庫中開始作答時間減去結束作答時間計算得到(單位:s),在建模時將其轉換為對數反應時間.數據中沒有響應(原始代碼9)的被試將被刪除,未嘗試回復(原始代碼6)的題目得分記為零分.本文主要分析二分反應數據,所以只有滿分被視為正確反應,其他分數均被視為錯誤反應.表2是測試題目組的Q矩陣.

表2 測試題目組Q矩陣

2.2 整體作答分析

研究對象是來自12個國家的12 918名學生對9個題目的作答結果.圖1列出了所有學生作答正確的題目數量統計分析情況,可以看出,52%的學生正確作答數量小于5道,3.7%的學生正確作答數量為0,3.8%的學生正確作答了所有題目,見圖1.

圖1 學生作答正確的題目個數統計

本文使用R語言調用R2jags包[13]對加入反應時間的DINA模型中的參數進行估計.表3和圖2顯示了12個國家學生掌握4個屬性的概率,另外表3還展示了12個國家學生的平均個人能力參數θ和平均速度參數ω.

圖2 12個國家學生掌握4個屬性的概率

表3 12個國家學生的平均屬性掌握概率

從圖2中12個國家4個屬性的后驗概率可以看出,總體上屬性α1的掌握情況最好,屬性α4的掌握情況最差,屬性α2與α3居中差異不大.新加坡(SGP)和日本(JPN)在屬性α4的表現明顯優于其他國家.綜合來看,新加坡(SGP)在這4個屬性的綜合表現最突出,芬蘭(FIN)、加拿大(CAN)、中國(CHI)、英國(GBR)、日本(JPN)、美國(USA)綜合表現比較優秀,其次為哥倫比亞(COL)、巴西(BRA).

2.3 題目分析

選取的題目組中共有9個題目,分別為CM033Q01、CM474Q01、CM155Q01、CM155Q02、CM411Q01、CM411Q02、CM803Q01、CM442Q02、CM034Q01,每道題目所對應的屬性見表2.圖3顯示了猜測概率g和失誤概率s的估計值,整體來看,第1、2、3題的猜測概率值大而失誤概率值小,其中第1題最為明顯,這表明這道題更有可能被猜對;第7、8、9題的猜測概率值小而失誤概率值大,其中第7題最為明顯,這表明這道題迷惑性強,更容易作答失誤.日本學生整體的失誤概率值都在0.3以下,這說明日本學生做題嚴謹,在會做的情況下答錯概率很小,巴西學生整體的失誤概率比較大.

圖3 12個國家9道題的猜測概率和失誤概率的估計值

2.4 屬性分析

通過模型估計出每個學生對屬性的掌握情況,將學生是否掌握指定屬性的情況稱為學生的認知狀態,且認知狀態的比例對應該國學生掌握指定屬性的情況.計算相應認知狀態在該國內的比例方法為:由PISA數據估計出每個學生的認知狀態,可能的認知狀態有16種分別為(0,0,0,0)、(1,0,0,0)、 (0,1,0,0)、(0,0,1,0)、(0,0,0,1)、(1,1,0,0)、(1,0,1,0)、(1,0,0,1)、(0,1,1,0)、(0,1,0,1)、(0,0,1,1)、(1,1,1,0)、(1,1,0,1)、(1,0,1,1)、(0,1,1,1)、(1,1,1,1),據此計算每個國家學生在這16種認知狀態下的占比,可得出所有認知狀態的比例,如表4所示(12個國家學生在各國內部各認知狀態占比從大到小排序,記錄前五的結果,第六及之后的占比數值過小不具備參考價值,未納入表格).由表4可知,有7個國家的(1,1,1,1)認知狀態在該國內排名第一,這表明這些國家掌握所有屬性的學生占比最大,巴西的(1,1,1,1)認知狀態占比僅為7.6%;新加坡的(1,1,1,1)認知狀態占比為56.8%,在所有國家中排在首位.

表4 12個國家學生占比前五的認知狀態

2.5 學習軌跡分析

學習軌跡是一個個體在學習過程中所經歷的發展、進步和變化的路徑[1].或者說,學習軌跡是認知狀態的層次結構,用偏序關系來表征認知狀態之間的關系.該結構為學習內容提供了一個認知序列,為更科學地編寫教案和進行教學提供了理論依據,可以依此設計科學合理的學習進度計劃.認知狀態的層次結構可以基于高頻認知狀態之間的邏輯依賴關系獲得,由此確定出主學習軌跡和次學習軌跡.學習軌跡嚴格遵循學生認知規律的學習路線圖,可以幫助學習者按照認知發展規律來安排相應知識和技能的學習進度計劃.

在建立學習軌跡的過程中,假設學生從相對簡單的知識開始學習,然后學習更難的知識,通常認為掌握低層次屬性更容易,掌握高層次屬性更困難.在特殊情況下,學生可能會先掌握較難的知識,然后在此基礎上快速掌握簡單的知識,前提是簡單知識不是困難知識的唯一前提要求.在繪制學習軌跡時,一般假設初始狀態為學生未掌握所有規定知識點或屬性,學生每次只學習一個知識點,直到掌握所有知識點或屬性.本文通過加入反應時間的DINA模型估計出PISA 2015數據中12個國家學生的認知狀態,進而繪制出學生可能的學習軌跡.主學習軌跡繪制步驟如下:

步驟1 假設初始認知狀態為(0,0,…,0);

步驟2 每推進一層只能比前一層多掌握一個屬性,計算出相應推進一層各認知狀態的所占比例;

步驟3 挑出每推進一層中占比最大的認知狀態,作為該層的標記狀態;

步驟4 最后一層推進到認知狀態(1,1,…,1)結束.

主學習軌跡是由每一層中占比最大的認知狀態構成,因此主學習軌跡一般是唯一的.在繪制學習軌跡過程中通常會將每一層中認知狀態占比過小的直接剔除以便于簡化圖形.次學習軌跡是剔除過小值后每一層認知狀態中仍然保留的狀態,同理再運用主學習軌跡的繪制方法即可繪制出次學習軌跡,所以次學習軌跡可能是不唯一的.

例如,在表5中,(1,0,0,0)、(1,1,0,0)、(1,1,1,0)是從每一層認知狀態中個挑出占比最大的認知狀態.顯然,屬于認知狀態(1,1,0,0)的被試已經掌握了認知狀態(1,0,0,0)中的所有屬性,即(1,0,0,0)?(1,1,0,0).下面以中國學生的學習軌跡為例進行繪制.

表5 中國學生各層認知狀態所占比例

根據表5繪制中國學生學習軌跡過程拆解圖(圖4),繪制步驟如下:

圖4 繪制中國學生學習軌跡過程拆解圖

步驟1 設初始認知狀態為(0,0,0,0),第二層占比最大的認知狀態為(1,0,0,0),而其他認知狀態占比過小予以剔除,即存在主學習軌跡(0,0,0,0)→(1,0,0,0);

步驟2 第三層占比最大的認知狀態為(1,1,0,0),且(1,0,0,0)?(1,1,0,0),次大的(1,0,1,0)保留,而其他認知狀態占比過小予以剔除,即存在主學習軌跡(0,0,0,0)→(1,0,0,0)→(1,1,0,0);

步驟3 第四層占比最大的認知狀態為(1,1,1,0),且(1,1,0,0)?(1,1,1,0),次之的(1,1,0,1)和(1,0,1,1)占比較大予以保留,而(0,1,1,1)占比過小予以剔除,即存在主學習軌跡(0,0,0,0)→(1,0,0,0)→(1,1,0,0)→(1,1,1,0);

步驟4 最后到達認知狀態(1,1,1,1),即學生掌握了所有屬性.

如圖4所示,綜合以上四個步驟(1)～(4)即可得到中國學生的主學習軌跡為(0,0,0,0)→(1,0,0,0)→(1,1,0,0)→(1,1,1,0)→(1,1,1,1).中國學生首先掌握的是第一個屬性α1,其次是第二個屬性α2,再次是第三個屬性α3,最后掌握的是第四個屬性α4.圖中實線路徑代表主學習軌跡,教師可以按主學習軌跡針對大部分學生進行教學設計;虛線路徑為次學習軌跡,顯然次學習軌跡不止一條,代表了小部分學生的學習軌跡,他們的認知規律和思維方式“與眾不同”,需要教師進行單獨的教學設計或者個別指導.

按照上述繪制學習軌跡的方法得到圖5,展示了12個國家學生的學習軌跡圖.圖中實線路徑是其中的主學習軌跡,包含了每一層中占比最大的認知狀態,在一定程度上代表了某一群體的學習軌跡.從圖5可以看出,存在三組學習軌跡一樣的國家分別為沙特阿拉伯和巴西、澳大利亞和英國、俄羅斯和加拿大,其他六個國家的學習軌跡各不相同,三組學習軌跡相同國家的軌跡圖形較為簡潔.這12個國家都存在主學習軌跡和次學習軌跡,其中實線路徑的學習軌跡為主學習軌跡,虛線路徑的學習軌跡為次學習軌跡. 以日本學生的學習軌跡為例,學生首先掌握的是第一個屬性α1,其次是第三個屬性α3,再次是第四個屬性α4,最后是第二個屬性α2.分析發現這12個國家在第二層中認知狀態(1,1,0,0)和(1,0,1,0)的比例非常接近,第三層中認知狀態(1,1,1,0)、(1,1,0,1)、(1,0,1,0)的比例也非常接近.由圖5可知,這12個國家不僅存在主學習軌跡,也都存在次學習軌跡.

圖5 12個國家學生的學習軌跡圖

學習軌跡不僅與學生對認知屬性的接受順序直接相關,同時也會受到各類外部因素的影響,處于不同知識狀態的學生可以根據自身特點和周圍的學習資源選擇不同的學習軌跡,這也體現了學習選擇的多樣性,圖5中不同國家學生的學習軌跡不盡相同正是這一現象的反映.新加坡學生的學習軌跡相對于其他的11個國家更為復雜,這也說明新加坡學生的認知狀態非常多樣化,這可能與新加坡受到多元文化影響同時屬于發達國家教育水平較高有關.南美洲哥倫比亞學生的學習軌跡最簡單,除日本以外其他11個國家學生的主學習軌跡是相同的.數據分析結果顯示,屬性α1是其他屬性的前提,α2是α3的前提,α3是α4的前提,這表明存在α1→α2→α3→α4線性主學習軌跡.這說明此學習軌跡為大部分學生的認知理解過程,可以認為是共同選擇的易于接受的最佳學習軌跡,即主學習軌跡,按照這一主學習軌跡進行教學更適合大部分學生的學習,同時這一主學習軌跡也是很多國家教科書中所選擇的編排順序.其他學習軌跡為次學習軌跡,屬于少部分學生的認知理解過程,需要教師有針對性地進行教學或者單獨指導.

總之,學習軌跡顯示了學生通過不同方式的學習使自身能力水平逐步提高的過程,反映了知識狀態之間由簡單到復雜的遞進關系,描述了學生知識能力增長的發展過程,為學生提高學習能力展示了清晰的發展軌跡和方向.因此,學習軌跡不僅為學生提供個性化、精細化的診斷報告,也能為教師的教學設計提供依據.

3 結語

本文選取PISA 2015中12個國家的數據,采用加入反應時間的DNIA模型估計學生認知狀態,推斷出學生可能的學習軌跡.研究發現,12個國家學生的學習軌跡具有一定的共同特征,4個屬性的最佳學習順序是“變化和關系→量化→空間和形狀→不確定性和數據”.研究還發現了一些特殊情況,比如日本學生的主學習軌跡與其他11個國家不同,后續可以進一步研究這類獨特現象的深層次原因.雖然有11個國家學生的主學習軌跡相同,但不同國家的學生對不同屬性的掌握程度卻可能不同.從統計分析結果來看,解答不確定性和數據問題對學生較為困難,最佳學習軌跡表明,先學習其他三個屬性后再學習“不確定性和數據”,更有利于學生掌握該屬性.所有參與國家都存在表現不佳的學生,但比例不同.由于PISA數據本身屬于抽樣數據,在不同國家的考試項目并不完全相同,本文選取其中12個國家中作答同一組題目的學生進行研究,因此本文的研究結果僅依據抽樣選取的數據,并不能完全代表某一國家學生的真實學業水平情況.