基于默認值的教學評價信息增益分析

王 茜 卞 慧 趙松立 湯勇明

(東南大學 黨委教師工作部(教師教學發展中心),南京 210096)

中共中央國務院印發的《深化新時代教育評價改革總體方案》指出要把認真履行教育教學職責作為評價教師的基本要求,引導教師上好每一節課、關愛每一個學生。教育部等六部門關于加強新時代高校教師隊伍建設改革的指導意見中指出要完善教學質量評價制度,多維度考評教學規范、教學運行、課堂教學效果、教學改革與研究、教學獲獎等教學工作實績。有效及時的課堂教學評價對于教學單位和授課教師獲取課堂教學效果反饋信息,推動課堂教學質量改進具有至關重要的意義[1]。

對于課堂教學評價,國內在近十幾年的研究與應用基礎上基本形成了一種包括學生評價、同行評價、督導評價、教師自評在內的課堂教學評價辦法。在上述常見評價手段中,學生評價是唯一可實現全員參與、全過程感受、全覆蓋評價的評價辦法[2]。但絕大多數高校在實踐中,都把學生評教用作對教師進行總結性評價的工具,以加強對教師的人事管理和控制,而非形成性評價的工具,以幫助教師改善其教績[3]。各高校在實行學生評教后,都不同程度地出現了持續的學生課程分數的膨脹,同時引起了教師普遍的焦慮[4]。

隨著高?！爸腔坌@”“信息化平臺”的建設,網上評教成為數據收集的主流方式。大數據回收后,讓數據“開口說話”,挖掘數據背后的價值[5],利用大數據分析來幫助學校進行科學評估與決策,是當前學生評教工作發展的重要趨勢。當前我國的教學評價主要是“學評教”的傳統模式,這種單一方式存在主觀性強、缺乏學習數據支撐等問題,不能完整地對教學質量進行客觀評價[6]。通過優化調整調查手段,在數據源頭埋下數據挖掘線索,可為數據處理分析提供更多參考與依據?；诖髷祿煨畔?實現數據結果的標準化和可比較化,為學生評教制度的持續改進提供量化依據。

本文基于D大學學生評教客觀數據默認值設置這一措施,對措施實施以來四學期評價數據進行分析,與未設置默認值獲取的評價結果進行比較分析,研究此方法的優化效果及存在問題。

1 學生評教的問題分析

學生評教是一種面向全體上課學生的全覆蓋式評價?；诋斍俺Ｒ姷膶W生評教組織形式,學生評教最終結果通常以評價總分、指標均分、評價排名及主觀評語組成。該評價結果被運用于教師職稱評定、績效考核、課程管理、質量監控等活動和程序中[7]。而由于學生評教能力匱乏[8],且在認知能力、評教動機、課程興趣、學習態度及評教態度等心理特征上存在差異,學生個體在做出價值判斷時容易出現評判標準認知和教學事實感知上的偏離,導致學生評教這一模式面臨著評教結果失真的問題[9]。

1.1 評價結果虛高,缺乏區分度

李克特量表以受訪者感受為中心的表達方式適用于面向學生、非專業性受訪者進行的調查,但5度劃分對更精確的感受表達產生了一定限制。學生評教時由于受到考試成績、師生關系、是否匿名等不確定因素的制約,存在一定感情上的傾向或心理上的顧忌,傾向于默認選擇最高分項,導致分數膨脹,使得分數的分布向高分段集中[10],分數之間缺乏區分度。如表1、圖1和圖2所示對D大學2017學年至2019學年四個學期的學生評教原始數據進行統計,四個學期共對11024個教學班課程進行評價,學期均分分布于89.15～95.00之間(滿分100分),學期總體方差均分分布于11.26～18.39之間,中位數均在89分以上,65%以上課程評價達90分,近99%的課程評價均在80分以上。

圖1 全校均值及方差分布

圖2 全校各分數段統計分布

表1 各學期評價結果

1.2 評價標準不一,存在個體化差異

學生評教問卷的客觀題部分通常以“以學生為中心”的問題導向,引導學生從立德樹人、教學組織、課堂互動、收獲體驗等維度表達自身感受,對教師課堂教學進行評價。表達方式通常為李克特量表的“十分滿意、滿意、一般、不滿意、十分不滿意”,或采用“十分制”:以10分表示最滿意,以1分表示最不滿意進行評價。但無論是李克特量表的“滿意”,或是十分制評價中的“8分”“10分”,均無法體現“好”“壞”“一般”的標準。由于個體化差異,學生依據個人感受進行評價時,對于“好”“壞”“一般”的標準難于統一,“好”是以7分還是9分進行表達,學生之間亦存在隱形差異,由此產生了評價主體的客觀標準差異,對最終評價結果產生影響。

1.3 學生應付評教,結果可信度不足

當前高校的評教多為對課程評教或對教師評教。在期末集中評教中,學生通常需要一次性或分批次完成所有評教問卷。以每個問卷10題客觀題,1題主觀題計,學生認真完成一份問卷需要3 min。以D大學2020-2021學年1學期為例,16 247名學生共收到203 740份問卷,平均每人收到問卷12.54份。50%以上的學生收到問卷數量在9～13份之間(如圖3所示),平均一個學生完成全部評教的時間大約為37.5 min,學生在耗時較長的情況下,答題一致性較差,且延長答題時間會降低學生的滿意度[11]。

圖3 問卷數量人次統計

當前雖提倡以學生為中心的評教,但是更多的學生評教結果對學生的意義并未能讓學生感知。為提升評教率常見的督促方式有管理式,如綁定成績查看、選課等;鼓勵式,如組織學生評教員、設置評教完成獎等[12],但這并不能從根本上改變學生應付評教的心態,學生仍處于被動評教而非主動評教的心態。為快速完成評教而產生的應付評教,其評價結果可信度存疑,且難以通過技術手段甄別。

1.4 僅有評價分數,評教信息量有限

學生評教結果通常由評價總分、指標均分、評價排名及主觀評語組成,最常用的處理方法是按絕對分值進行排名。而擁有高評教分數即可擁有高評價排名的導向,使得教師會采用放寬課程要求、給更高的課程分數等方式“討好”學生,以換取高評教分數,使得評教“失靈”?；谟邢扌畔⒌脑u價結果的應用,可能存在應用失當與路徑依賴等問題[13]。

2 默認值設置的合理性及有效性分析

為提高學生評教源頭數據準確性及評價結果科學性,D大學自2019-2020學年3學期起,對學生評教組織形式、評價對象、問卷內容、統計方式等進行系列調整,通過授課學時區分評價對象為課程或教師,對不同類型的課程評價指標進行關聯性梳理,對客觀評價指標設置默認值,在結果統計時去除離散學生評價等,以提高最終評價結果的科學性和合理性。其中客觀評價指標默認值設置是在問卷客觀題設置時,將每個分項指標設置為8分,評價方可依據自身感受選擇進行調整或默認提交。

2.1 提高評教效率,降低學生評教負擔

通過設置默認值,學生對于認為無特殊評價意見的教師可以一鍵提交問卷,將主要精力分配于愿意主動對其進行評價的教師或課程。對于設置了默認值且學生無分數調整意愿問卷,學生可在30 s內完成問卷提交,大大提高了學生的評教效率,減輕學生評教負擔。

設置默認值后,可以通過問卷是否均進行缺省值調整,判斷學生是否在評教過程中進行了主動判斷,將學生分為主動評教學生、應付評教學生與未評教學生。以D大學2020-2021學年1學期評教數據為例,全校共有13 114名學生參與評教,共回收165 269條針對教師/課程的評教數據。其中共有11 508名學生對個人名下的問卷進行了分數調整,占總人數的87.75%,可見絕大部分學生在給出評價時經過思考,并非全然默認。

如圖4所示,對D大學實行默認值評價以來的四個學期,學生非默認提交的比例進行觀測統計,各學期非默認提交學生比例均在85%以上,僅10～15%的學生評價結果均按默認值進行提交,學生主動評教積極性狀況良好。

圖4 非默認提交學生比例

2.2 統一打分基準,凸顯評價區分度

學生評教問卷的客觀評價部分,本質為學生對于相應指標的滿意度、收獲感表達。通過默認值設置給到學生心理合格線相應的分值,可以在一定程度上統一學生對滿意的表達標準差異。同時將分數細化,有利于學生更加準確表達自身感受?？梢詮膬r值邏輯和技術邏輯兩方面突破現有限制,從而更充分地助推學生評教自下而上的作用發揮,發揮學生評教本身龐大的數據優勢[14]。

如表2、表3和圖5所示,對D大學在2019-2020學年3學期至2021-2022學年1學期采用設置默認值問卷的學生評教結果進行統計。全校5%分位值與95%分位值較未采用設置默認值的評價方式均降低了4分左右,有效改善了評價分數虛高情況;95%分位值與5%分位值分差均值為13.79,四學期均值與未設置默認值相比擴大了2.75分,四學期方差均值21.74與未設置默認值相比提高了7.42,分數密集現象也得到了一定的改善。

圖5 學期評價結果變化趨勢

表2 未設置默認值學期評價結果

表3 設置默認值學期評價結果

2.3 新增標準分界線,補充評教信息量

設置默認值后,學生打開問卷可依據自身的感受,對各項指標分數進行調整。以默認值為一般水平標準,若感受為正向,則將分數調高,反之則調低。最終統計結果中,若教師/課程評價高于默認值,說明學生整體對教師正向評價,對于最終教學效果表示認可;若教師/課程評價低于默認值,則學生整體對教師負向評價,對于最終教學結果表示一定程度不認可。這個正負向評價信息是原有的評教數據所不具備的內容,對于教學質量評價有非常重要的參考作用。

如圖6所示,以D大學2020-2021學年1學期學生評價結果為例,共有4 303個教學班學生評教均分為80分(含)以上,占教學班總數的96.24%,其結果表明學生對教師/課程表示正向認可。

圖6 班級均分所屬分數段統計

如圖7、圖8所示,對D大學實行默認值評價以來四個學期學生評價分數段與未實行默認值評價前四個學期學生評價分數段分別進行統計。設置默認值前,課程評價均分集中于90分及以上,課程數量累計占比61.84%,設置默認值后,課程評價均分集中于80～90分,課程數量累計占比68.06%。評價集中分數段由90～100分變為80～89分,分數段分布得到優化。

圖7 班級均分分數段變化統計

圖8 班級均分分數段分布統計

2.4 增加評教認真度和差異度的判斷信息

未設置默認值時,僅能通過學生是否參與評教獲知學生評教主動性信息,將學生分為評教學生與未評教學生,且由于評教動機可能受管理手段或激勵手段影響,評教信息真實性有待核實。設置默認值后,若一名學生某學期所有問卷中有1份問卷進行了分數調整,即認為該學生的所有問卷為主動評價問卷。主動評價問卷信息的客觀性和真實性有更加明確的體現。

如圖9所示,通過對D大學2019-2020學年3學期至2021-2022學年1學期共計四個學期期末學生評教回收的評教記錄的評價一致性進行分析,80%以上人次對于分項評價指標的均分與總體評價分差<0.5分,95%以上人次對于分項評價指標的均分與總體評價分差<1分。絕大多數學生未因評教便利隨意打分,能夠依據課程實際情況給予客觀公正的評價。

(a)2019-2020學年3學期期末

3 默認值設置存在問題及優化空間

由于系統中已設置默認值,學生可以選擇打開問卷提交,對不得不參與評教的學生,可以通過全部提交默認值問卷完成評教,不會對教師授課進行認真評價,此類行為習慣可能會在提高評教率的同時,提高了無效數據的比例。在未來統計中,可通過關聯性分析,將提供“無效評價信息”的學生甄別出,考慮調整主動評教學生與被動評教學生的分數權重,提高主動評教學生的話語權,提高教師獲得評價結果的客觀性與真實性。

對于提供“無效評價信息”的學生,從評價主體角度,可以通過強化界面提醒、優化評價反饋等正向引導,強化其主動評價意愿。從客觀操作層面,可以通過分類評價,縮減其待評價課程/教師數量,提高評價對象精準度的同時,進一步減輕學生心理負擔,增強其主動評價意愿。

4 結語

綜上,基于D大學設置默認值的評教結果比較分析發現,默認值設置在降低學生評教負擔、提高評教效率的同時,保障了學生評教的總體數據可信度,獲取了學生評教認真度信息。默認值的設置引導了學生對于評價基準的認知,減少了個體分數差異,同時有效緩解了學生評教中的分數膨脹現象,提高了評價結果的區分度,使評價結果更趨近于正態分布。而且增加了學生正負向評價信息、主被動評價判斷依據,為進一步開展數據分析,完善綜合評價算法,優化課程評價結果提供更豐富的信息。