面向“一村一名大學生計劃”的遠程開放教育教學質量評價體系研究

張曉梅++鐘志賢++沈建華

【摘 要】

“一村一名大學生計劃”（簡稱“一村一”）是電大系統實施的一個特別教育項目。它依托電大遠程開放教育將高等教育伸向農村，旨在培養和造就一大批“扎根農村、服務農民、發展農業、帶頭致富”的鄉土實用人才，以調整農村人才結構，培養新型農民，實現“人才強農”政策。本研究根據實施“一村一”教育教學的需要，緊緊圍繞其人才培養目標，在遠程開放教育教學質量評價體系研究成果基礎上，遵循快速原型技術原則構建了專門面向“一村一”的教育教學質量評價指標體系雛形，并依此編制專家調查問卷，以Delphi法完善與修正評價指標體系雛形，再以層次分析法確定評價指標權重，最終形成系統的質量評價指標體系。該體系試圖凸顯客觀性、科學性和適用性，以促進“一村一”教育教學活動的過程反饋和結果評價，規范遠程開放教育教學管理模式，展示電大服務社會的能力和成效。同時，拓展遠程開放教育教學質量保證體系的研究內涵，為完善遠程開放教育教學質量保證制度提供理論和實踐的依據。

【關鍵詞】 一村一；遠程開放教育；教育教學質量評價體系；Delphi法；層次分析法

【中圖分類號】 G420 【文獻標識碼】 A 【文章編號】 1009—458x（2016）01—0032—09

一、研究背景

2004年，教育部依托全國廣播電視大學系統啟動了“一村一名大學生計劃”。作為首批試點單位，江西省遂川、大余、上饒、都昌縣級電大和新余、贛州等市級電大先后以“局部試點”和“局部推廣”方式進行了實驗，在實踐過程中探索了針對農民大學生的人才培養模式，積累了廣泛而豐富的農民大學生教育教學經驗，取得了較好的社會效益。

鑒于以往成功的經驗，2011年，江西省人民政府決定在全省范圍內啟動“江西省一村一名大學生工程”，從2012年開始，一直持續到2020年，每年以“政府出錢、電大出力、農民受益”的方式培養 6，000名，實現每個行政村有2～3名農民大學生的培養目標。這項工程在教學和管理上與已實施的“一村一名大學生計劃”并行運行（以下統稱“一村一”）?！耙淮逡弧币劳薪麟姶筮h程開放教育手段，將高等教育延伸到農村，旨在培養和造就一大批“扎根農村、服務農民、發展農業、帶頭致富”的鄉土實用人才，使他們成為發展現代農業的骨干力量、推廣運用農業技術的示范典型、實現科技致富的創業先鋒和推動農村社會進步的生力軍。

眾所周知，完善的質量保障制度是人才培養的關鍵與核心，教育教學評價體系是實現過程監控和績效評估的必要手段，而評價指標體系的確定則是教育教學評價的難點和重點。雖然“一村一”教育教學有著豐富的經驗和成果，但就評價體系研究和實踐而言卻一直是較為薄弱的部分，嚴重滯后于實踐需求，目前還沒有發現針對“一村一”進行教育教學質量評價體系的專門研究。在遠程開放教育歷史上，教育教學質量評價體系的研究并不是一個全新課題，但隨著遠程開放教育規模的發展和現代教育技術手段的更新，評價體系研究的與時俱進和創新發展顯得愈來愈迫切。而對于具有特定人才目標規格和培養模式的“一村一”來說，更具有緊迫性和現實意義，因為探索一個具有較強針對性、客觀性、科學性和適用性的評價指標體系，不僅是系統實施“一村一”教育教學活動的標準或參照，有利于拓展遠程開放教育教學質量保證體系的研究內涵，更是展示電大服務社會能力的最佳表現手段與方式之一。

二、研究設計

（一）內涵

教育評價體系由反映評價對象內涵的指標集及評價標準和量化符號構成，其主體框架是指標。[1]其中，指標是具體的、可測量的、行為化的和可操作化的，體現評價的全過程，對評價結果具有決定性作用；指標集具有系統性、整體性特征，能反映評價對象的全部特征。

“質量是電大發展的生命線?！彪姶筮h程教育質量觀認為，“電大對質量的認定，關注的是學生對工作崗位的適應性，政府和用人單位的滿意度，以及社會對電大教育的認同度”。[2]從辦學層面來看，教育教學質量應該綜合反映包括指導思想、辦學條件、教學要素和教學過程等在內的各個方面。

因此，構建面向“一村一”的遠程開放教育教學質量評價體系應該是基于電大遠程教育質量觀，通過構建完善的評價指標體系，對遠程開放教育各環節和要素進行綜合評價的過程。

（二）定位

本研究所要構建的面向“一村一”的教育教學質量評價體系具有自評和他評功能，評價主體可以是教學點本身，也可以是教學點的上級監管部門；評價客體是電大系統內開展“一村一”的所有教學點。其目的是更好地規范遠程開放教育教學管理模式，健全遠程開放教育教學質量保證體系，發揮系統監管和自我評價的功能，使電大系統服務“三農”更具穩定性和發展潛力。

該體系構建過程嚴格遵循公平、公正、導向激勵的考核原則；確保指標體系的科學性、完備性和可行性特點；尊重現代遠程教育“質量文化”的開放性、適應性和多元性特征[3]；以提高教育教學質量為出發點和落腳點；從“重入口、重過程、重實效、重社會效益”的角度選取各要素指標作為考核項；在實施過程中靈活參照評價指標的考核內涵，堅持“整體性、結構性、創新性、操作性”的基本理念，對各教學點的具體實施情況進行自評和他評。

（三）過程設計

在充分的文獻研究基礎上，以快速原型技術（rapid prototyping technology， 簡稱“RPD”）理念和量規（rubric）開發技術為指導[4]，充分考慮農民大學生培養模式特點和政府民生工程的特殊性等因素，建立評價指標體系雛形，然后利用Delphi（德爾斐）法，借助專家的力量對評價體系進行多輪次修正與完善，最后采用層次分析法確定各級指標權重。量規開發技術指導下的評價指標體系開發思路如表1所示。

三、構建評價體系

（一）建立評價指標體系雛形

首先，通過文獻綜合研究，全面分析我國遠程教育領域的教育教學評價體系研究成果，以部分具有針對性、普遍適用性和廣泛影響力的研究成果為基礎，遵照快速原型技術理念初步擬定評價指標元素；然后，深入了解“一村一”作為政府惠民工程的特殊性因素在培養對象、培養目標、培養模式、培養方式等方面產生的特殊訴求與形式，并在此基礎上對初擬評價指標元素及其內涵進行有針對性的增刪與修改。

1. 初擬評價指標元素

文獻研究結果顯示，有學者以擁有遠程教育體驗的學生作為研究對象，以問卷調查法為研究方法，通過因素分析法和結構方程模型等技術手段最終構建了包括“質量策略、學習支持、教學組織、基礎設施、教學管理、社會聲譽、教學支持、教學效果”8個要素作為一級評價指標的遠程教育質量評價體系。[5]中央廣播電視大學在多年的探索與實踐基礎上，以5項核心要素為主線構建了遠程開放教育教學質量標準體系，該體系包含5項一級指標、35項二級指標和對應的35項三級指標。[6]還有學者以全面性、客觀性和重視學習原則為前提，著重考慮網絡遠程教育教學管理在人才培養模式改革和開放教育試點項目中所發揮的重要作用，針對性地設計了包括5項一級指標、26項二級指標和相應內容觀測點的評價指標體系，并通過秩和運算法對該指標體系進行權重分析。[7]上海電大以中央電大“創建示范性基層電大（教學點）”活動為契機，啟動了上海電大系統“達標評優”活動，并為此制定了開放遠程教育質量評價指標體系框架，該指標體系包括了5項一級指標、11項二級指標和21項觀測點。[8]

分析上述評價體系發現，遠程開放教育教學質量評價體系的構建在形式上力求指標的具體化和可操作性，內容主要涵括定位評價、條件評價、過程評價、效果評價和創新評價5個層面。因此，將目標定位、基本建設、教學運行、辦學效果、特色創新作為一級指標，由此確立評價指標體系基本框架。然后，對上述指標要素進行整合和篩選，分解出對應的二級指標和三級指標（即觀測點），從而建立一個按層級劃分、樹狀結構的指標群，結合各教學點在遠程開放教育教學中的職能定位概括出三級指標內涵。最后，以“重入口、重過程、重實效、重社會效益”為原則，從整體角度修改該指標群，對各元素補其所缺，增其所益，以保證評價體系的“整體性、結構性、創新性和操作性”，并盡量保證評價指標盡可能地符合全面、不重疊和易于取得的要求。由此擬定“遠程開放教育教學質量綜合評價指標”（見表2），其中包括一級指標5項、二級指標13項、主要觀測點33項。

2.“一村一”項目特殊性分析

“一村一”屬于政府重大惠農工程，旨在培養“留得住、用得上”的本土農民大學生，以改變農村人才素質結構。正是基于這樣的項目背景，其教育教學必然存在特殊的訴求和形式。因此，以江西電大在開展“一村一”教育教學過程中的經驗為參考，充分契合“一村一”教育教學在培養對象、培養目標、辦學模式、培養方式等方面的現實需求，并在此基礎上對表2中的各指標元素及其內涵進行更具針對性的增刪與修改。

（1）培養對象的特殊性：要求“因地制宜”地制定評價指標

采用問卷調查法對江西省農村成人學習特點進行局部調查的數據顯示，農村成人學習有三個主要特點：一是教學對象學習基礎普遍較差，農村學習氛圍弱，缺乏教育資源，較少接觸現代信息技術；二是基礎知識不扎實，學習動機源自當前可見的操作性或技術性的知識或技能，片面看中學習內容的高度實用性；三是學習時間存在明顯的“時令性”，要求與農業生產時間密切結合。[9]這些學習特點要求“一村一”教學方式和教學模式在遵循遠程教育管理實踐原理和經驗基礎上更加強調“因地制宜”或者“量體裁衣”。比如，教學計劃與農時、當地產業和農村工作重點相結合，而不是機械地執行“統一教學計劃”；教學模式做到自學、導學、助學、促學、督學相互作用、相輔相成等。因此，構建面向“一村一”的評價指標體系的總體思路應該是“因地制宜”的，通過增加教學“適應性”評價指標來鼓勵、支持培養模式和方式的改革與創新。

（2）培養目標的特殊性：轉移評價指標目標導向

“一村一”是以電大學歷教育方式開展人才培養工程的，培養的學員頒發成人高等教育?？飘厴I證書，培養目標定位為扎根農村、服務農民、發展農業、帶頭致富的鄉土實用人才。該培養目標旨在培養我國社會主義新農村建設進程中的農村本土人才，培養的人才應該與當地經濟發展特色、本土文化導向等保持協調一致，因此該評價體系不能完全照搬電大開放教育學歷教育人才培養的教育教學評價標準。根據多年開展“一村一”的實踐經驗和社會反饋來看，教育教學的最終結果“給江西農業、農村和農民帶來明顯的變化，改善農民的基本素質、知識結構，并在本質上提高他們的生活質量、生存本領及收入水平等才是農民、農村甚至農業的最迫切需要”[10]。因此，在指標體系的設計上，評價導向應向學員自身知識結構、就業與創業、媒體報道、口碑調查等社會反饋上轉移。

（3）辦學模式的特殊性：增加政策性支持評價指標

電大教學點是電大辦學系統中的基礎和終端，是電大辦學面向農村、面向基層、面向生產第一線的落腳點。對江西電大系統縣級電大遠程教育成本效益進行研究發現：江西電大系統內，99%的縣級教學點不具備獨立法人資格，沒有相應的人員編制和專門的辦學場所，大部分都只是作為縣教師進修學校、縣委黨校、縣工會或縣職校等機構的附設部門而存在，很難得到專門的教育事業撥款，缺乏穩定的經費來源和基本的制度保障，辦學的政策條件和物質基礎亟待完善與提高。[11]而個別地方經濟實力較為樂觀的教學點又存在一味追求高、新、現代的現象，教育信息化基礎設施建設存在脫離實際需要的傾向，缺乏針對性的合理經費投入與分配。由于“一村一”是由江西省委、省政府發起的一項民生工程，屬于各級地方政府的工作內容之一，其教育教學活動的開展更容易得到地方政府和相關部門的重視與支持，比如宣傳、經費投入等方面。另外，地方領導小組成員、地方政府官員以“教師”或“專家”身份對“一村一”學員進行授課，教授行政基礎知識、法律常識、縣域經濟文化等內容，這種教學支持也將極大地提高“一村一”教育教學的效果。因此，與地方政府建立密切聯系、取得政策支持也應該作為評價指標之一。

（4）培養方式的特殊性：實踐教學基地建設作為重點評價指標

實踐教學是“中央廣播電視大學人才培養模式改革和開放教育試點”項目實現人才培養目標的重要手段之一，而實踐教學基地建設則為保障實踐教學效果提供了現實條件，“一村一”人才培養目標規格對實踐教學基地建設則提出更高的要求。實踐教學基地建設不僅是保證實踐教學環節有效落實的前提和基礎，更是培養“知識+素質+技能”型農村實用人才、提高農民大學生“即學即用”的技術應用能力的最佳手段。這些實踐基地形式可以是農、林業生產基地，畜禽養殖基地，村委會、鎮政府、新農村建設示范村，鄉鎮企業等多種類型，可以滿足學員“不離原地，不誤農時”的學習要求。因此，實踐基地的選擇、合作、互動等也應當屬于教學運行重要且必需的內容之一。

由此，我們對表2做了進一步的補充、刪除和修改，包括增加了3項二級指標和對應的8項觀測點。具體如下：

第一，在“I-3教學運行”后增加旨在考察實踐基地建設的二級指標“基地建設”，對應“規范建設”“基地師資”“檔案管理”3項觀測點；在“I-4辦學效果”后增加旨在考察社會關注程度的二級指標“社會關注”，對應“媒體報道”“學生典型”2項觀測點；增加旨在考察社會反饋的二級指標“社會調查”，對應“學生滿意度”“政府滿意度”2項觀測點；

第二，在“I-5特色創新”后增加旨在考察辦學獨特性和創新性的二級指標“辦學特色”，對應“專家講學”“縣本課程建設”“送教下鄉”3項觀測點；

第三，對“Ⅱ-2辦學定位”觀測點進行具體化，將原來的“Ⅲ-3辦學思路”改為“組織保障”“領導重視”，通過考察領導小組成員及重視情況來觀測教學點對“一村一”教學的定位與重視程度；

第四，“一村一”是電大辦學主體業務之一，招生宣傳工作由江西省農村工作部系統協助完成，因此刪除“Ⅲ-2主體業務”“Ⅲ-12咨詢服務”“Ⅲ-14獎懲制度”3項指標；

第五，電大系統經過30余年的發展日臻完善，用于支撐“一村一”教育教學的軟硬件條件也相對成熟，因此弱化“I-2基本建設”的考察指標，刪除“Ⅲ-8人員管理”“Ⅲ-11經費管理”2項指標。

另外，根據“一村一”具體教學實施情況對各個觀測點也作了相應修改，最終得到面向“一村一”的遠程開放教育教學評價指標體系（見表3），其中包含一級指標5項、二級指標17項、三級指標39項。

（二）修正評價指標體系

Delphi法是一種借助專家集體智慧，通過多輪次的“背靠背”咨詢，在不斷的反饋與再咨詢中獲得專家一致意見的研究方法，具有匿名性、反饋性和可操作性三大特點，既可以用于預測結果，也可以用于評估績效。眾多實踐經驗表明，“Delphi法在解決非結構化問題上具有顯著效果，對于實現決策科學化、民主化具有重要價值”[12]。

本研究采用Delphi法對表3進行修正，希望借助“專家”力量，在多次循環調查中對指標框架及指標內涵作進一步的篩選和修正。

1. 設計咨詢問卷

在專家咨詢過程中共設計了兩份問卷：第一份以咨詢內容合理與否為目的，以專家“背靠背”的形式進行多次循環咨詢與修改，直到專家意見趨于一致為止；第二份問卷以采集專家對各指標重要性程度的評價為目的，分別要求專家對一級指標中的各要素進行“兩兩對比”式的重要性評判，對二級和三級指標按照5個等級進行量化打分。

2. 邀請咨詢專家

采用經驗選擇的方式，邀請在江西廣播電視大學系統內從事遠程開放教育教學、考務、學籍管理、招生等相關業務的教師作為專家咨詢組成員。確定備選專家必須滿足的條件有：具有副高級及以上技術職稱，無職稱者需在本領域具備工作l0年以上的工作經驗；參與“一村一”的教學或管理。符合以上條件的人員擁有豐富的遠程開放教育教學實踐經驗，思維力和判斷力較之一般遠程從業者強，能夠在不同層面對評價指標做出全方位的立體反饋。最終成功邀請了在招生、教學、考務和學籍管理等方面具有豐富經驗的專家共14名。

3. 進行專家咨詢

在發放第一份問卷時，要求各專家以“目標定位是前提，基本建設是基礎，教學運行是重點，辦學效果是核心，特色創新是亮點”為原則，憑借自身多年的遠程教育從教經驗，對指標元素及其內涵進行真實客觀的評價并提出修改意見。第一次回收問卷后，對專家的反饋意見進行匯總、分析，并修改指標體系，然后將修改后的指標體系及爭議較大的指標（包括爭議的主要觀點）再次反饋給專家，開始第二輪征詢。在第三輪咨詢結束時，專家的修改意見已經基本趨于一致。

4. 修正評價指標

根據多輪反饋與修正，專家們的修改意見主要集中在三級指標的設定和指標內涵的描述上。具體包括：“Ⅲ-3領導重視”與“Ⅲ-32政府滿意度”均為考察當地政府部門對當地“一村一”的重視情況，存在重復考核，刪除前者，保留后者；“Ⅲ-16作業批改”、“Ⅲ-17成績上報”、“Ⅲ-18作業上交”三個觀測點均為考察學生的形成性作業完成情況，根據負責教學管理的專家反饋和修改意見，這三個觀測點在實際考察中很難分別進行考察，教師通常會在專門的“形成性考核記錄本”上記錄學生的作業完成情況，這也成為可供考核的主要依據。因此，將這三個觀測點合并成一個觀測點，重新命名為“作業情況”；“Ⅲ-21小組活動”與“Ⅲ-22協作學習”兩個觀測點也存在重復考核的情況，合并為“小組協作”。

在內涵的描述上，專家意見傾向于可操作的、提供量化標準的參考指標（比如提供五級判斷的量化參照標準），便于考核人員迅速做出準確判斷。另外，專家認為“II-16參與”與“II-17總結”考察內容存在交叉，建議合并改為“總結探索”。修正后的評價指標如表4所示。

（三）確定各級評價指標權重

層次分析法（analytic hierarchy process，簡稱“AHP”）是在20世紀70年代初由美國匹茲堡大學教授、運籌學家薩蒂（T. L. Saaty）首次提出來的，是一種“利用矩陣特征值和特征向量運算，幫助人們進行群組判斷，以確定某些定性變量的賦值”的方 法[13]。具體操作步驟為：第一步，根據指標體系建立層次結構模型；第二步，利用成對比較法和1—9相對比較尺度構造判斷矩陣；第三步，計算判斷矩陣的最大特征值所對應的特征向量，通過正規化求和計算權重值；第四步，利用隨機一致性指標和一致性比率作一致性檢驗。

本研究在確定一級指標權重時，嚴格按照層次分析法的計算方法得出5項一級指標權重。在確定二級和三級指標權重時，考慮到元素的增多對構造判斷矩陣和專家判斷帶來的“級數式”的增長難度，操作性不強，因此，只要求專家進行直觀判定，即按照重要程度分別給予1—5分的權值分，通過計算每個指標的滿分頻率來分析專家的意見集中程度，通過比例分配法計算二級和三級指標權重，通過計算指標的變異系數和協調系數來分析專家意見的協調程度。[14]

1. 確定一級指標權重

在專家對指標體系意見趨于一致時，向專家發放第二份問卷，根據層次分析法原理，要求專家依據Satty相對重要性等級表（見表5）用1—9的標度對5項一級指標分別進行兩兩對比，并做出相對重要性判斷，再通過計算并分析定量化判斷的數據結果來確定一級指標權重。

回收專家定量問卷征詢表后，將每一位專家的判斷結果均轉化為判斷矩陣（見表6），然后以正規化求和法計算權重系數。

下面以專家Z的判斷數據為例說明其對應的一級指標權重的計算方法和過程。