基于AHP模糊綜合評價法的高職MOOC建設評價研究

李志長+姚亞琳

[摘 要]盡管國內外研究MOOC的數量呈遞增的趨勢，但是其主要集中在介紹、應對、開發等研究或討論上，較少的關注其實施效果，評價其開發效用。由于高職和本科的立足點和培養重點不同，因此，本文在借鑒本科院校MOOC開發經驗的同時，突出建立一個面向高職的系統、科學的評價指標體系。

[關鍵詞]MOOC；評價；高職

doi：10.3969/j.issn.1673 - 0194.2017.06.161

[中圖分類號]G642.3 [文獻標識碼]A [文章編號]1673-0194（2017）06-0-02

1 MOOC建設的研究背景

大規模在線開放課程（Massive Open Online Course，M00C）為學習者提供了豐富的教學資源。在線開放課程的受眾學生不僅多、且范圍廣，所有人都可以在線進行學習。但在這種特殊的環境下，伴隨著MOOC的快速發展，許多開發建設的MOOC出現了不少問題，引起關注的包括但不限于教學質量、學員流失、考核評價等諸多問題，制約著MOOC的進一步發展。在此背景下，如何控制和保證MOOC的建設質量已成為MOOC研究者關注的一項重要課題。

2 高職MOOC需求特征分析

高職的課程體系中最重要的組成部分是職業技能課，這些課程是針對職業不同級別所需技能和知識而設計的，注重知識的針對性和實用性，強調職業能力的適用性和復合性，著重職業發展的層次性和遞進性。另外，高職的入學門檻相對較低，學生素質參差不齊，在網絡學習中學習能力、自我管理、誠信等方面的表現較差。因此，高職的MOOC建設在項目設計、內容組織、教學服務、用戶體驗等方面有其獨特的需求。首先，技能碎片化，即將依賴性強、聯系緊密、環節較多的技能項目劃分成一個個短小的技能點；其次，目標多樣化、層次化，國家對職業技能（資格）本就劃分了幾個等級，體現了不同層次的要求，加上學生素質的參差不齊，在MOOC的建設中，須考慮到這些非均衡性的因素，以滿足不同層次的需求；最后，MOOC平臺的用戶體驗以及教學團隊在學生學習過程中需提供自我管理、學習黏度、技術接受與認可等方面足夠的、有針對性的幫助或協調。

3 MOOC建設評價指標的構建

借鑒國內外網絡課程的評價指標體系和MOOC開發實踐，構建出開發團隊、教學內容、拓展資源和使用平臺4個一級指標，教學服務、學習分析、教學設計、考核設計、課程組織等13個二級指標和16個三級指標。

3.1 開發團隊

開發團隊包括成員數量與分工、教學服務、學習分析3個指標。成員數量與分工：團隊成員結構合理性、分工合作情況，每門課程應不少于3人。教學服務：又包括線下活動、課程討論和關懷性，分別是指通過戶外課堂、學習交流、舉辦沙龍等活動進行線下有效交流和共同分享的頻率或次數，線上線下關鍵時刻提供引導與指導，教師響應速度、個性化服務、關愛性、輔助服務等。學習分析：對課程的學習者需提供其表現報告、提供課程活動數據、能對學習數據進行分析并將其可視化、提供建議與反饋，幫助其改進表現。

3.2 教學內容

教學內容包括教學設計、考核設計、課程組織3個指標。教學設計：主要有多樣化目標設計、教學方法和風格設計，即考慮受眾的多樣性，設計多層次的教學目標，讓學生根據自身情況調整學習目標和課堂參與程度，符合高職生學生特點，能精準有效的表達教學內容，詳略得當，語言感染力、儀態等表現出面對面授課體驗，有肢體語言表達等?？己嗽O計：主要涉及考核形式、評分標準及申訴反饋機制，考核形式要符合學科、課程特點，在合乎邏輯且連貫下靈活開展，評分標準應詳細、清晰，能公平、有效的評價學生，申訴機制提供考核結果的申訴、解釋等溝通機制。

3.3 拓展資源

拓展資源包括索引組織、可訪問性、有用性。索引組織是否易用、分類、關聯性和指示標志是否明確且清晰；可訪問性指資源鏈接是否可無障礙訪問且完整有效；有用性指提供的參考教學視頻真相與信息是否方便學生自主擴充知識面。

3.4 使用平臺

使用平臺從用戶體驗的角度設計，包括學習特征收集反饋、進度跟蹤、界面設計、響應性。學習特征收集反饋：平臺能否有效收集學生的學習特征，以便提供學習數據和假冒篩查。進度跟蹤：平臺是否具有學習進度的跟蹤記錄、斷點標注、進度提醒等體制或機制。界面設計：用戶界面是否友好、易接受和操作方便，幫助信息是否清晰且易用、有用，是否有使用指南。響應性：網站鏈接服務請求的響應速度。

4 MOOC建設模糊綜合評價

4.1 評價集合

關于評價賦值方法有多種，針對文中指標體系中大多指標不容易量化，或者量化時缺少對照參數而不能給出精確數值，導致不同層次甚至同層次的評價指標不易判斷其重要程度而很難給出相對權重，因此結合三角模糊數和FAHP的優勢，本文采用了基于三角模糊數的FAHP方法，設計了符合日常一般化表達的評價語言變量，從而簡化指標權重的判斷。如圖1所示的評價語言變量與其對應的三角模糊數。

4.2 模糊綜合評價步驟

步驟1對指標Xi的下級指標Xim分別進行單因素判斷，得到Xi評價結果三角模糊數。

假設指標Xi的下級指標集合為{Xi1 ， Xi2，…，Xim}，因為有n個專家參與判斷，同一問題不同答案采用多數原則，相近則取平均值。專家k對這m個指標評價結果其實是達成共識后的專家團隊判斷結果，表示為：

Pik={Pi1k， Pi2k，…， Pimk}， k=1，2，…，n。

其中，Pimk相應的語言含義與對應的三角模糊數如表1中評價語言變量與對應的三角模糊數。

步驟2利用FAHP確定二級指標Xim對被評價對象的重要程度，即Xi的一級指標權重。

（1）將指標兩兩進行重要程度比較，構造Xim的模糊互補優先關系矩陣F=（fij）m×m。

（2）進行一致性判斷。若滿足一致性，轉到（3），若不滿足，則需要將其改造為模糊一致矩陣。在改造過程中，應盡量保留原始判斷矩陣信息，調整幅度不宜過大。

（3）將矩陣F歸一化處理，得到特征向量Wik，即Xim的層次單排序權重。

Wik={Wi1k，Wi2k，…，Wimk}，k=1，2，…，n。其中，Wik為用戶k對Xi所有二級指標進行模糊評價后的權重。

步驟3計算指標Xi的評價結果三角模糊數。

對Xi評價結果矩陣和權重矩陣進行模糊運算得到結果為：

其中，符號“⊕”和“x”分別表示模糊數運算的加法和乘法。

步驟4分別計算所有一級指標的評價結果三角模糊數。

重復步驟1到步驟3，分別計算{X1，X2，…，Xi}的評價結果的三角模糊數，結果為Ak={A1k，A2k，…，Aik} 。其中，Aik為用戶k對指標Xi的評價結果三角模糊數。

步驟5利用步驟2的方法確定一級指標Xi權重。

步驟6將一級指標評價結果組成新的矩陣和一級指標權重矩陣進行模糊運算，得出綜合評價結果。綜合評價結果三角模糊：

經過以上6個步驟，得到的對某一評價對象的綜合評價結果B也是一個三角模糊數。

4.3 實證研究

首先選擇了10名校內外專家組成評價專家小組，采用德爾菲法對同級別下評價指標的重要性進行兩兩比較，經過3輪背靠背的對比排序分析，對照表1的評價變量構建模糊判斷矩陣，并利用模糊判斷矩陣一致性檢驗和改進方法對一致性檢驗和改造。然后，選擇40名教師及學生組成的評價小組，以問卷調查的形式對湖南信息職業技術學院一期開發的MOOC課程“市場營銷”進行二級和三級指標單因素評價，被調查者只回答問卷中與體驗相關或相近的問題，同一問題不同答案的采用多數原則，相近則取平均值，得到評價結果如表2所示。

為了評價直觀，最后對這些評價結果三角模糊數去模糊值后進行排序，不考慮專家偏好，直接用取平均值，結果為0.384 3，化成百分制為38.4分。評價結果表明：該門課程的MOOC建設總體評價為“較差”或“中等偏下”，未來還有較大的提升空間。從表2的計算情況來看，四個一級指標拓展資源和使用平臺得分較低，開發團隊和教學內容一般，說明MOOC建設實施過程中團隊在技術支持和服務意識方面還好，組織基本到位，教學內容基本滿足高職生夠用的原則，拓展資源是薄弱環節，缺少這一方面的資源組織與運用，最后是使用平臺，因為是租用他人平臺，缺少個性化和針對性設計導致用戶體驗較差。

5 結 語

針對高職建立MOOC建設評價指標體系，運用模糊綜合評價法進行量化評價，便于專家和被調查者對指標性能、權重和問卷答案進行判斷，評價過程可操作性強，評價結果相對客觀、準確?？勺鳛楦呗氃盒Ｔ谶M行MOOC課程建設、驗收等方面的參考依據，也是提高MOOC建設以及后續教學質量的重要手段之一。但由于MOOC的學習平臺、學習資源存在差異，因此本文構建的指標體系是否具有普遍性有待進一步探究，同時模糊評價便于判斷，但也造成一定的信息損失，指標體系需要結合實際應用繼續進行完善。

主要參考文獻

[1]姜藺，韓錫斌，程建鋼.MOOCs學習者特征及學習效果分析研究[J].中國電化教育，2013（11）.

[2]趙英，楊閣，羅萱.大學生對MOOC接受與使用行為的調查研究[J].中國遠程教育，2015（8）.

[3]李志長.制造企業信息系統評價指標體系研究[D].長沙：湖南大學，2011.

[4]李青，劉娜.MOOC質量保證體系研究[J].開放教育研究，2015（5）.

[5]李加軍，張楚珊，陳春麗.基于模糊綜合評價法的MOOC教學質量評價研究[J].當代繼續教育，2016（2）.