在線網課的教學質量評價指標及其算法設計

黃振永

摘要：當前，在線教學模式已成為高等院校重要的教學模式。按質量管理領域中的戴明環（PDCA理論），教學質量評價是PDCA理論的C環節，是檢驗和評價在線網課教學質量的重要環節。該文以智慧樹平臺中的國家級在線開放課程《C君帶你玩編程》的近四年數據為依托，列舉了12個在線教學質量評價指標及其算法。研究表明：詳實的統計數據能清晰地表征學生“學”網課的質量和教師的“教”網課的質量，也能清晰地揭示在線網課存在的問題和變化規律；就同一個平臺的同一門課程而言，雖然選課單位、選課師生形形色色，但是用該校的數據和所有選用該課程產生的平均數據相比較，由于參照數據是確定的和一致的，所以這種相對性評價是具備可比性的。

關鍵詞：智慧樹平臺?在線網課?慕課課程?教學質量評價?評價指標?評價算法

中圖分類號：G642 文獻標識碼：Ａ

Design?of?Teaching?Quality?Evaluation?Indexes?and?Their?Algorithms?of?Online?Courses

HUANG?Zhenyong

（School?of?Information?Technology，?Beijing?Institute?of?Technology，?Zhuhai，?Zhuhai，?Guangdong?Province，?519088?China?）

Abstract：?At?present，?the?online?teaching?mode?has?become?an?important?teaching?mode?in?colleges?and?universities.?According?to?the?Deming?Circle?（PDCA?theory）?in?the?field?of?quality?management，?teaching?quality?evaluation?is?the?C?link?of?PDCA?theory，?which?is?an?important?link?to?test?and?evaluate?the?teaching?quality?of?online?courses.?Based?on?the?data?of?the?past?four?years?of?the?national?online?open?course?Mr.?C?Takes?You?to?Play?Programming?in?the?Zhihuishu?platform，?this?paper?lists?12?online?teaching?quality?evaluation?indicators?and?their?algorithms.?The?research?shows?that?detailed?statistical?data?can?clearly?represent?the?quality?of?students'?"learning"?of?online?courses?and?the?quality?of?teachers'?"teaching"?of?online?courses?and?can?also?clearly?reveal?the?problems?and?change?laws?of?online?courses，?and?that，?as?far?as?the?same?course?on?the?same?platform?is?concerned，?although?there?are?various?course?selection?units?and?teachers?and?students，?this?relative?evaluation?is?comparable?because?the?reference?data?is?determined?and?consistent?when?comparing?the?date?of?the?school?with?the?average?data?generated?by?all?participants?in?the?course.

Key?Words：?Zhihuishu?platform;?Online?course;?MOOCs?course;?Teaching?quality?evaluation;?Evaluation?indicator;?Evaluation?algorithm

2019?年中國慕課大會在北京召開，在會議上發布的《中國慕課行動宣言》贏得了廣泛的共識[1]。2020?年中央全面深化改革委員會審議通過的《深化新時代教育評價改革總體方案》指出，要推進教育評價關鍵領域改革取得實質性突破，堅持科學有效，改進結果評價，強化過程評價，探索增值評價，健全綜合評價，充分利用信息技術，提高教育評價的科學性、專業性、客觀性[2]。王曉凡等人[3]采用文本挖掘技術，選取中國大學MOOC平臺上12門國家精品在線開放課程作為代表，結合國內外的評價規范和學習體驗的特征與構成要素，構建了基于學習體驗的線上“金課”評價指標體系。吳淑娟[4]認為：教學評價制度是高校教學管理制度的重要組成部分，基于新時代教育評價制度深化改革新要求，高校應不斷深化教學評價制度改革，優化教學評價體系，構建多元化教學評價制度體系。

文章的數據來源于智慧樹平臺中的國家級精品在線開放課程《C君帶你玩編程》。借助慕課平臺的強大功能，學生除了可以進行在線視頻學習外，還可以進行互動問答、作業提交、測驗考試、視頻見面課等交互活動[5]。隔屏授課的在線教學與面對面講授的傳統課堂教學相比，其學習效果應該如何評價、用什么標準來評價值得研究[6]。

1研究背景與特色

按照戴明環PDCA理論，質量管理可以分為四個階段，即：Plan（計劃）、Do（執行）、Check（檢查）和Act（處理）。PDCA理論要求：在質量管理活動中需要各項管理工作遵照制定計劃→實施計劃→檢查實施效果→將成功的解決方案納入標準或在下一輪PDCA循環中找出成功的解決方案。PDCA理論是質量管理的基本理論之一，同樣適用于教學管理。教學質量評價是PDCA理論的Check環節，是檢驗和提升在線網課教學質量的重要環節。在疫情防控的大背景下，在線教學模式已經成為線下傳統教學模式的重要補充。種類繁多的網課平臺的教學質量良莠不齊，如何客觀的、準確的、全面的評價在線網課的教學質量是當前在線教育的研究熱點之一。

文章以北京理工大學珠海學院信息學院的“線上線下混合式一流課程”《程序設計基礎及應用》配套的智慧樹平臺中的慕課《C君帶你玩編程》的近四年（2019—2022年）教學數據為依托，研究了12個在線網課的教學質量評價指標及其算法?？紤]到在最近四年里，每次開課時都有幾十所高校、數百個教學班、過萬名學生選修《C君帶你玩編程》，由于各高校的辦學層次和所在地市不同、各教學班班型和教學進度不同、選課學生更是多樣化、教學模式又分在線模式和線上線下混合式，所以該課程團隊認為：用絕對的數據來評價在線網課的教學質量是不合適的（這就好比問：一個學生身高150?cm，是高還是低？在沒有參照系的情況下，“高還是低”是無法比較的），因此筆者選用相對性的指標及其加權算法來評價在線網課的教學質量。換言之，不同平臺中的、不同學科的、不同院校的在線網課質量是千差萬別的，“有可比性”是評價網課質量高低的重要前提；就同一個平臺的同一門課程而言，雖然選課單位、選課師生形形色色，但是用本校的數據和所有選用該課程產生的平均數據相比較，由于參照數據是確定的和一致的，所以這種相對性評價是具備可比性的。

2?在線網課的教學質量評價指標及其算法設計

2.1?選修比率

在教學實踐中發現：個別學生因為種種原因出現了在線網課“選而不修”的現象。為表征學生“選而不修”的情況，“選修比率”定義為：選修比率=實際修讀人數÷應選課人數×100%。由表1可知：（1）在近四年里，本校的選修比率高于總體的選修比率，且都呈先降后升的變化規律；（2）19202學期是恰逢疫情突發的首個學期，因為師生受疫情防控限制不能及時地、面對面地溝通交流、師生不適應居家上網課的教學模式，所以選修比率呈下降變化；（3）在經歷了兩年的疫情背景下的在線教學模式后，因為師生積累了相關的教學經驗，所以選修比率又呈上升變化。

2.2?成績合格率與成績優秀率

為表征學生修讀在線網課的成績分布，“成績合格率”定義為：成績合格率=網課總成績大于60分（含）的人數÷實際修讀人數×100%，“成績優秀率”定義為：成績優秀率=網課總成績大于90分（含）的人數÷實際修讀人數×100%。由表2可知以下結果。（1）總體合格率、總體優秀率、平均成績（百分制，下同）都呈先降后升的變化規律，首個疫情學期（19202）的數據是低谷值。（2）該校的合格率與、優秀率、平均成績都呈逐年下降規律，形成鮮明對比的是18192學期的本校情況均好于總體情況，但是21222學期的本校情況卻都遜于總體情況，這些數據的變化給教學團隊敲響了警鐘。經研究分析出現這些問題的主要原因是21222學期的任課教師團隊出現了重大變動，即：更換了課程負責人、多名教師出現新老交替（新任課教師的教學經驗不足）。這些數據的變化啟迪教學管理者：作為全學院的核心基礎課程，維持其教師團隊的穩定、循序漸進地培養新人是確保教學質量的重要保障。（3）就近四年課程平均情況而言，該校的平均成績、合格率、優秀率均高于總體情況。

2.3?在線課程完成比率

為表征學生實際修讀網課的學習進度、了解學生自主學習網課的規律，“在線課程完成比率”定義為：以學生完成在線學習進度90%為基準，超過基準算完成；在線課程完成比率=實際完成學生人數÷實際修讀學生人數×100%。由表3可知：（1）本校的在線課程完成比率與總體情況相比較高；（2）本校的在線課程完成比率與總體情況都呈先降后升的變化規律，首個疫情學期（19202）的數據是低谷值；（3）在線課程完成比率表現出的變化規律與合格率、優秀率、平均成績的變化規律相似。

2.4?見面課學習完成比率

見面課（即網絡直播課）是在線課程實現教學互動的重要途徑，也是線上線下混合式教學的重要橋梁。為表征學生修讀網課中的見面課（該課程有四次網絡直播課）的完成情況，“見面課學習完成比率”定義為：以學生參與見面課直播或錄播回放的進度90%為基準，超過算完成；見面課學習完成比率=實際完成學生人數÷實際修讀學生人數×100%。由表4可知：（1）本校的見面課學習完成比率與總體情況相比較高或相差不多；（2）本校的見面課完成比率與總體情況都呈先降后升的變化規律；（3）在見面課學習完成比率表現出的變化規律與在線課程整體完成比率的變化規律相似；（4）見面課的平均出勤率與學習完成比率變化規律相似且密切關聯。

2.5?視頻學習時間比率

視頻是在線課程的重要教學資源，為表征學生學習網課中視頻的情況，“視頻學習時間比率”定義為：實際平均觀看時長÷視頻時長×100%。該指標反映了學生重復學習視頻的情況；同一個視頻被累計學習時間越長則該指標的值就越大，也側面說明網課對學生學習的重要性越強。釋義：當學生學習某一章節時，當課堂時間不足以讓學生明白時，學生就會通過學習網課來彌補，當看視頻一遍看不懂時，學生會看視頻多次，直到看明白為止；這正是線上線下混合式教學的意義和價值所在?！耙曨l學習時間比率”也可用來表征每一章的視頻學習情況。由表5可知：（1）本校的視頻學習時間比率和總體情況都呈先升后降的變化規律；（2）本校情況與總體情況相比明顯落伍了，尤其是20212學期差異顯著；（3）近三年的視頻學習時間比率都超過了100%，這說明學生重復觀看了網課中的視頻，學生已經適應了線上線下混合式教學模式。

2.6?每章作業的未完成比率

每章作業也是網課的重要教學資源，是檢驗網課中每章視頻學習成效的重要途徑?！懊空伦鳂I的未完成比率”定義為：每章作業的未完成比率=本章未完成人數÷實際修讀人數×100%。由表6可知：（1）在疫情發生的前兩個學期，學生缺交網課每章作業的比率較高，最近一個學期的數據有所改善；（2）首章和最后一章的缺交作業的比率較低，中間各章的缺交作業的比率較高，這和學生的學習習慣與學風、教風有關：兩頭緊，中間松。

2.7?課程整體滿意度值

在網課結束后，按教學管理要求，學生需要填寫課程問卷。近四年的課程整體滿意度的問卷數據如表7所示。利用加權處理的方法，“課程整體滿意度值”定義為：課程整體滿意度值=100×非常滿意比率+80×滿意比率+60×一般滿意比率+0×不滿意比率。課程整體滿意度值的取值范圍是60～100（含端值）。

參考上述計算辦法，可以算出其余學期的課程整體滿意度值，如表8所示。由表8可知：（1）在疫情發生期間，本校的課程整體滿意度值與總體情況相比較低；（2）本校的課程整體滿意度值呈先降后升的變化規律，谷底值發生在首個疫情學期；（3）如果設定90%（含）以上為優秀，90%以下為良好，則網課的總體教學質量為優秀等級，本校的首個疫情學期的教學質量為良好等級、其它學期的教學質量為優秀等級，但都比總體情況低，這說明本校的教學質量未達到同門課程的全國平均水平，后續工作需要反思和改善。

2.8?在線視頻質量滿意度值

為表征網課的在線視頻的教學設計是否科學合理、講解是否條理清晰、學生對視頻質量的滿意程度，“在線視頻質量滿意度值”定義為：在線視頻質量滿意度值=100×非常滿意比率+80×滿意比率+60×一般滿意比率+0×不滿意比率。近四年的在線視頻質量滿意度的問卷數據如表9所示。18192學期的在線視頻質量滿意度值計算辦法如下：

本校：100×70.0%+80×24.1%+60×3.6%+0×2.3%=72.16%；

總體：100×67.7%+80×25.3%+60×4.7%+0×2.3%=70.52%。

參考上述計算辦法，可以算出其余學期的在線視頻質量滿意度值，如表10所示。由表10可知：學生對在線視頻質量的滿意度值普遍較低。經調研分析其原因是：視頻中的案例與教材中的案例不太一致、視頻內容與教材章節的進程不太一致、運行編程軟件類的界面字號過?。床磺宄热荩?。這些數據對開課方制作優質網課視頻提出了高要求，也為國家級精品課、金課、一流課程建設指明了努力的方向。

2.9?見面課質量滿意度值

因為見面課的開課方是昆明理工大學，見面課的時間安排與本校的時間安排經常沖突，所以一些學生不能參與直播課，只能看回放視頻，從而降低了本校的直播課堂互動指標值。為表征見面課的內容設計是否科學合理、講授是否精彩和學生參與情況，“見面課質量滿意度值”定義為：見面課質量滿意度值=100×非常滿意比率+80×滿意比率+60×一般滿意比率+0×不滿意比率。近四年的見面課質量滿意度的問卷數據如表11所示。18192學期的見面課質量滿意度值計算辦法如下：

本校：100×69.2%+80×24.8%+60×4.1%+0×2.0%=91.50%；

總體：100×66.5%+80×26.0%+60×5.2%+0×2.4%=90.42%。

參考上述計算辦法，可以算出其余學期的見面課質量滿意度值，如表12所示。由表12可知：（1）在疫情發生期間，本校的見面課質量滿意度值與總體情況相比較低；（2）本校的見面課質量滿意度值呈先降后升的變化規律；（3）本校的前兩個疫情學期的教學質量為良好等級、其他學期的教學質量為優秀等級，但都比總體情況低，這說明了見面課時間沖突造成的網課學習體驗感和滿意度較差。

2.10?本校教師指導滿意度值

本校教師指導學生學習網課是確保在線網課教學質量或線上線下混合式課程教學質量的重要保障。為表征學生對本校教師指導學習網課的滿意情況，“本校教師指導滿意度值”定義為：本校教師指導滿意度值=100×非常滿意比率+80×滿意比率+60×一般滿意比率+0×不滿意比率。近四年的本校教師指導滿意度的問卷數據如表13所示。18192學期的本校教師指導滿意度值計算辦法如下：

本校：100×69.8%+80×25.4%+60×2.9%+0×1.8%=91.86%；

總體：100×67.1%+80×25.3%+60×5.0%+0×2.6%=90.34%。

參考上述計算辦法，可以算出其余學期的本校教師指導滿意度值，如表14所示。由表14可知：在首個疫情突然發生的學期，由于教師對在線網課的準備不充分、缺少成功的在線教學經驗、教學管理信息混亂、網課和課程群只安排一人專管且沒有發揮教師團隊的集體作用等原因，學生對本校教師指導的滿意度低于總體情況，這種情況在21222學期有所改善，但仍有進步空間。

2.11?校園網絡條件滿意度值

校園網絡條件建設是影響網課教學體驗的重要基礎工程，在線視頻觀看是否流暢，聲音、畫面是否清晰，都會直接影響網課的教學質量。為表征學生對校園網絡條件的滿意情況，“校園網絡條件滿意度值”定義為：校園網絡條件滿意度值=100×非常滿意比率+80×滿意比率+60×一般滿意比率+0×不滿意比率。近四年的校園網絡條件滿意度的問卷數據如表15所示。18192學期的校園網絡條件滿意度值計算辦法如下：

本校：100×68.4%+80×26.3%+60×3.8%+0×1.6%=91.72%；

總體：100×66.4%+80×25.9%+60×5.3%+0×2.5%=90.30%。

參考上述計算辦法，可以算出其余學期的校園網絡條件滿意度值，如表16所示。由表16可知：學生對校園網絡條件建設滿意度的統計規律與學生對課程整體滿意度的統計規律相似。

3?結語

科學合理的教學評價體系是衡量和提升線上教學效果的關鍵。本校的“校級一流課程”《程序設計基礎及應用》與智慧樹網中的“國家級精品在線開放課程”《C君帶你玩編程》密切合作并開展線上線下混合式教學已有五年的歷史，本文依托近四年的網課數據，列舉了12個在線教學質量評價指標及其算法。為進一步構建在線教學學習效果評價體系提供了借鑒經驗，有助于評價和提升在線教學的質量。

參考文獻

[1]楊榮泰，張曉麗，楊春堯，等.高校慕課教學效果的統計分析[J].計算機教育，2020（1）：96-99.

[2]李璠.基于OBE理念的大規模在線教學課程評價指標體系設計：以《計算機程序設計基礎》為例[J].南昌工程學院學報，2021，40（5）：103-108.

[3]王曉凡，馬力，汪娟.線上“金課”評價指標體系構建研究[J].湖北成人教育學院學報，2021，27（5）：26-31.

[4]吳淑娟.地方高校教學評價制度的審視與優化[J].高教論壇，2022（6）：79-82.

[5]姜迪，潘晟旻，方嬌莉.疫情期間基于MOOC的翻轉課堂模式在線上教學中的實踐[J].計算機教育，2021（6）：65-68.

[6]徐迎磊.在線教學學習效果評價指標體系的構建研究[J].黑龍江生態工程職業學院學報，2022，35（1）：136-138.