線上線下混合式教學過程的評價指標體系構建研究

付蓉,郭夢珠,江藝羨,林征,胡志堅

(福建醫科大學 公共衛生學院,福建 福州 350122)

線上線下混合式教學是將傳統線下教學與信息化式線上教學結合起來的教學模式,已成為當代高等教育的重要教學方式,也是教學改革的關注點[1]。盡管線上線下混合式教學有諸多優勢,但如何保證教學質量值得深思。教學評價能有效反映教學質量、保障教學實施,對整個教學過程有監督、激勵和積極導向作用[2]。線上線下混合式教學需要一套適應的評價指標體系,以更好地監督混合式教學實施過程。根據評價結果促進混合式教學改革,找出目前教學方式的優勢與劣勢,針對不足之處采取改革措施,以提高線上線下混合式教學質量。

盡管已有研究建立了混合式教學過程的評價指標體系,但仍存在問題:(1)大多數研究限于理論性,評價指標太多且可行性較差;(2)個別評價指標無法量化、主觀性強;(3)每個指標的評價方式、評價環節和評價主體不明確[3-6]。筆者在現有研究基礎上,充分考慮科學性、可操作性、便捷性和可行性等,用德爾菲法和層次分析法,針對教師和學生建立線上線下混合式教學過程質量評價指標體系,并確定每個指標的評價方式、評價主體和評價環節,以便更好地規范線上線下混合式教學過程,提高教學質量。

一、研究方法

(一)德爾菲法

使用德爾菲法構建線上線下混合式教學過程評價指標體系[7]。

1.專家的確定。國家級(4人)和省級(12人)線上線下混合式一流課程負責人應邀參加,能保證研究期間參加幾輪咨詢。其中教授6人、副教授8人、講師2人。

2.專家評價標準。專家積極系數(E)用問卷回收率表示,衡量專家參與的積極性。E=Nj/N,其中N為發出咨詢表數,Nj為實際回收數。E>70%表明專家積極性高。

專家權威程度q為專家學術水平權數q1、指標熟悉程度q2和專家判斷依據q3的算術均數,即q=(q1+q2+q3)/3,衡量專家對該領域的了解程度及咨詢結果的可信度。q≥0.7表明咨詢結果可信。其中,專家學術水平權數的量化值按“教授1.0、副教授0.8、講師0.6和其他0.4”計算,指標熟悉程度的量化值按“非常熟悉1.0、較熟悉0.8、一般0.6、比較不熟悉0.4和非常不熟悉0.2”計算,專家判斷依據及其影響程度的量化值見表1。

表1 專家判斷依據及其影響程度的量化值

3.候選指標的確定。查閱文獻、碩博士論文、慕課準則和國家級一流課程評審指標等,確定教師線上線下混合式教學過程評價指標體系的理論框架,分為教學態度、教學能力和教學效果3個維度;學生評價指標體系的理論框架為學習態度、學習能力和學習效果3個維度,包括41個教師候選指標和24個學生候選指標。

(二)層次分析法

筆者用層次分析法確定評價指標的權重[8]:(1)構建層次評價模型,即評價指標體系的理論框架,包括3級結構。(2)邀請16位專家中的5位專家面對面討論,用層次分布法中1～9標度方法構造評價指標間相對重要性的判斷矩陣。用方根法計算層次單排序的權重并作判斷矩陣的一致性檢驗。若CR<0.1,表明評價指標間相對重要性的判斷矩陣滿足一致性標準,確定的權重體系可信。(3)用前幾層層次單排序的結果,從最高層次向最低層次依次進行,用乘積法計算最低層次評價指標的組合權重,即最低層次評價指標的組合權重等于各層評價指標權重的連乘積。

(三)統計分析方法

用SPSS 26.0計算指標評分的均數、變異系數和滿分率;用在線分析工具SPSSPRO進行層次分析,包括構建評價指標的層次結構模型、構造判斷矩陣、確定每個評價指標層次單排序和層次總排序的權重。

(四)評價指標體系實踐應用方法

以某高校省級線上線下混合式一流課程——“衛生統計學”為例,進行線上線下混合式教學過程評價指標體系的實踐應用。教學團隊共5名教師,授課對象為2021級檢驗檢疫專業58名學生,總學時80學時,其中33學時依托中國大學慕課和學銀在線平臺進行線上教學。學生方面,利用學銀在線平臺的問卷發布功能,邀請每個學生按每個指標要求整體評價教學團隊的教學態度和教學能力,同時自評學習態度和學習能力。采用定性評價,若滿足則得分100,否則得分為0,最終計算每個評價指標的平均分。教師方面,組織5名教師面對面討論,按百分制獲得教師指標的自評分數和學生指標的評價分數。課程結束后,教師統計58名學生課堂小測、課后作業和期末考試的平均分作為學習效果指標的評價分數。

二、研究結果

(一)線上線下混合式教學過程評價指標體系

第1輪咨詢:根據3位專家面對面討論的意見和慕課準則確定用于第2輪專家咨詢的47個教師和28個學生的候選指標。

第2輪咨詢:共發放咨詢表16份,回收咨詢表16份,專家積極系數=1(100%),專家權威系數=0.93。教師候選指標的篩選標準為滿足均數≥4.200、變異系數≤0.202且滿分率≥0.426;學生候選指標的篩選標準為滿足均數≥4.292、變異系數≤0.201且滿分率≥0.467(表2)。根據上述篩選標準并結合專家意見確定用于第3輪專家咨詢的40個教師和18個學生的候選指標。

表2 第2輪和第3輪專家咨詢結果

第3輪咨詢:專家積極系數=100%(回收16份/發放16份),專家權威系數=0.93。教師候選指標的篩選標準為滿足均數≥4.216、變異系數≤0.165且滿分率≥0.341;學生候選指標的篩選標準為滿足均數≥4.100、變異系數≤0.201且滿分率≥0.321。本輪中專家的修改意見明顯減少,由于教師候選指標中“布置課后作業”和“布置有效討論話題”不符合篩選標準,而學生候選指標中有“按時完成有效討論”和“課后作業”,因此邀請3位專家進行第4輪咨詢,面對面討論第3輪咨詢結果。

第4輪咨詢:3位專家一致認為教師指標中“布置課后作業”和“布置有效討論話題”是慕課準則中的要求且與學生候選指標相對應,應予保留,其他不符合篩選標準的評價指標可刪除。最終的線上線下混合式教學過程評價指標體系包括33個教師和14個學生的評價指標(表3,表4)。

表3 線上線下混合式教學模式教學過程3級評價指標(教師)

表4 線上線下混合式教學模式教學過程3級評價指標(學生)

(二)線上線下混合式教學過程評價指標的權重

所有教師、學生評價指標間相對重要性的判斷矩陣的CR值均為<0.1,表明判斷矩陣符合邏輯、滿足一致性標準。層次總排序結果顯示,教學態度中“分析測驗和學生提問情況,尋找學生學習難點”的權重最高(0.150),提示教師在線上和線下環節中均要及時了解學生學習難點,針對性教學,幫助學生掌握知識;教學能力中“表達清晰,條理清楚,邏輯性強”和“重難點突出”的權重均最高(0.066),提示教師要做好備課,有邏輯、有條理地授課能提升課程教學質量。

學生評價指標的層次總排序結果顯示,學習態度中“按時完成自測題”的權重最高(0.068),提示學生需及時完成自測題,查漏補缺,進而全面掌握知識;學習能力中“了解章節重難點”的權重最高(0.069),提示學生在學習中應先了解章節重/難點,做到高效率、不盲目地學習;學習效果中“期末考試”的權重最高(0.413),這與目前高?？己藢W生的方式中期末考試的占比較大相對應,反映期末考試得分是評價教學質量的重要方面。

(三)衛生統計學線上線下混合式教學過程評價

由態度和能力的評價結果可知,師生均對該課程教學過程質量的評價較高,但師生在少數指標的評分上稍有差別。從教師角度來看,學生與教師互動交流的積極性和主動性較弱,使得師生間信息不對等,導致個別學生不認可教師的助學和督學工作以及教學設計、課堂駕馭和信息技術使用能力。提示教學團隊在接下來的教學活動中需要增加師生間的互動,引導學生主動與教師溝通交流,了解學生的學習難點。

課前小測是學生網絡自主學習后對基礎知識點的考查,課后作業是對知識點的深入考查,期末考試是對所有教學內容的綜合考查。從測驗成績評價結果來看,隨著測驗難度的增加,學生的成績有所下降,反映該專業學生的學習效果有較大的提升空間。

三、討論

線上線下混合式教學質量的眾多影響因素中,教師的作用非常關鍵。教師是實施者、組織者和監督者,在教學活動中起組織領導作用。具體表現為幫助學生明確學習目的和方向,規定教學要求和內容,加工學習教材,用恰當的教學方法培養學生自主學習精神和自我教育能力等[9]?；旌鲜浇虒W模式屬于“以學生為中心”的線上線下結合的創新模式,學生也發揮很大作用[10]。筆者針對教師和學生構建線上線下混合式教學評價指標體系,還確定了每個指標的評價方式、評價主體和評價環節。評價方式和評價主體的確定是為了保證評價的可行性,評價環節的確定是為了保證線上線下混合式教學過程各個環節的教學質量。研究顯示,學生年級、學習成績、課程屬性和教師職稱等均影響學生評教作用[11]。學生評教慢慢變成了教學考核、人事管理、學生教學事務控制的簡單政策工具與手段[12]。因此,教學團隊尊重專家的意見,最終評價教師的指標體系只包含教學態度和教學能力2個維度。

筆者在文獻、碩博士論文、慕課準則和國家級一流課程評審指標的基礎上,通過4輪德爾菲咨詢確定了評價指標體系。在此過程中將專家咨詢表單獨發給專家,讓其獨立思考判斷,實現低成本的集思廣益。邀請的均為國家級或省級專家,積極性和權威性高,減少了主觀因素影響。本研究充分利用層次分析法系統性和實用性的優點確定評價指標權重[8],評價指標間重要性判斷矩陣得分由5位專家面對面討論得出,受專家個人主觀影響較小,具備更強的信服力。德爾菲法和層析分析法的應用提升了線上線下混合式教學過程評價指標體系的科學性。

從“衛生統計學”課程線上線下混合式教學過程評價實踐應用來看,本研究構建的線上線下混合式教學過程評價指標體系操作簡單易行,33個評價教師教學態度和能力以及11個評價學生學習態度和能力的指標均采用定性評價,學生只需按指標描述選擇“是”或“否”,最終“是”選項的百分比即為評價分數;教師集體評分可在集體備課和教學總結會議上討論得出;3個評價學生學習效果的指標在課程結束后統計成績得出。采用學銀在線平臺的問卷發布功能進行學生評價,學生的參與情況計平時分,學生保持較高的評分積極性,保證問卷的回收率。通過師生評價結果,從評價指標分析線上線下混合式教學過程存在的不足,反饋教學效果,監督教學過程,從而采取有效的整改措施。同時學?？梢詫υu價指標體系進行動態評價,發現整改閉環,最終達到提高線上線下混合式教學質量的目的。

綜上,研究邀請國家級和省級專家為專家組,具有專業性和權威性。通過德爾菲法和層次分析法專家咨詢構建的線上線下混合式教學評價指標體系具有科學性和可行性,可為學校教學過程質量評價提供參考。