學生對線上診斷性測評反饋報告的評價調查研究

梁炯霞

(廣東科學技術職業學院 外國語學院，廣州 510640)

引言

近年來，線上教學、線上自主學習已經發展成熟并成為日常教學的常態。教學與測試是同時存在、緊密聯系且相互作用的。測試是檢測教學效果和提高教學質量的重要手段，是教學過程中不可欠缺的重要環節。因此，線上測試也應與線上教學一樣得到重視和發展。本研究從學生的角度出發，探討學生對于線上診斷性測評反饋報告的看法，了解高中低水平學生的評價有何差異，并深入剖析造成差異的原因。由于目前國內英語語言能力線上測評平臺較少，高質量且免費開放的更少，因此，本研究選擇全球四大著名英語語言能力的線上診斷性評估平臺之一的DIALANG平臺，由Alderson團隊于2005年研發。

一、研究背景

傳統的語言測試只提供一個籠統的考試分數或語言能力估值，無法解釋具有相同分數或相同語言能力的學生具有不同的知識狀態及不同認知結構這一現象。語言測試專家們更希望語言測試能夠提供診斷信息，能夠報告學生在考試中的認知過程、知識結構和加工技能，并對高能力被試與低能力被試的差別進行刻畫，為教學和學習提供豐富的反饋信息。于是，20世紀90年代，以認知診斷為核心的新一代測量理論應運而生。診斷性測評的測評方法與目標等先天特質，決定了診斷性測評只有與互聯網結合起來才能獲得發展。因此，線上診斷性測評研究應該受到關注和重視，應與線上教學研究并駕齊驅、齊頭并進。

目前，國內外主要通過構建認知模型來測量學生在考試中的知識結構、加工技能，以及對細顆?；哪芰傩缘恼莆涨闆r。閱讀、聽力方面的研究最多，寫作和口語次之。如國外：Jang[1]，Li et al[2]，Yi[3]研究了閱讀和聽力的認知診斷性評估；Kim[4],Chapelle et al[5]對寫作進行認知診斷研究；國內：馬曉梅等[6]研發的英語視聽診斷評估與策略指導一體化網絡系統，被作為西安交通大學的校本學習系統。范婷婷等[7]探討了英語閱讀能力認知診斷測試中需解決的主要問題，即理論基礎、屬性定義、題型選擇以及模型的可操作。閔尚超等[8]將聽力能力劃分為六個認知屬性，運用四個不同性質的認知診斷模型，從?；J知屬性層面探究英語聽力理解中的互補性機制及其體現。孟亞茹等[9]基于認知診斷評估，探索基于聽力認知屬性的動態評估干預模式。此外，也有學者探討學生對診斷性反饋報告的看法，如Wagner[10],Jang et al[11]研究發現學生對反饋報告的態度不一、對利用該報告的效率并不理想，學生需要更多的指導才能高效利用反饋報告；田霖等[12]也有類似的研究結論。但是，總的來說，國內外對這方面的研究都不多，國內更少。

因此，本文研究的問題：(1)學生對DIALANG英語閱讀能力診斷性評估的反饋報告評價如何？(2)高中低水平學生的評價有何差異？造成差異的原因是什么？

二、研究設計

(一)研究對象

本文的研究對象為某高職院校大一學生，分別來自計算機軟件、體育保健與運動防護、體育產業營銷、財務管理、建筑專業。該樣本專業和英語水平覆蓋面較廣，具有一定的代表性。

(二)研究方法

本研究主要采用文獻法、問卷調查法。

(三)研究工具

本研究采用的DIALANG測試平臺是國外的英語語言能力在線測試平臺，于2005年由Alderson團隊研發，提供 14種歐洲官方語言的多語種診斷性測試，涵蓋聽力、閱讀、寫作、詞匯、語法五大方面的語言能力測試。根據考生的答題情況，依照歐洲共同語言參考標準(簡稱“歐框”)，該平臺提供語言能力級別診斷報告和學習建議。本研究只選用其中的閱讀能力診斷測試。DIALANG反饋報告主要包括：(1)級別診斷報告：A1，A2，B1，B2，C1，C2(級別水平由低至高依次遞增)；(2)各個級別的學習建議。

(四)統計工具

本研究使用SPSS 24.0進行單因素方差分析。

(五)研究過程

為了更科學準確地獲取學生對DIALANG英語閱讀能力診斷性評估反饋報告的態度和看法，本課題組開發編制了一份較有針對性的問卷。問卷經過多次試驗和修改才最終確定。問卷包含兩大部分：級別診斷報告和學習建議。級別診斷報告部分含6個題項，學習建議部分含8個題項，共計14題項。問卷采用李克特5級計分量表形式，具體分為完全不同意(1分)、不同意(2分)、不確定(3分)、同意(4分)、完全同意(5分)共5個等級。

本研究通過問卷星平臺發放問卷，回收270份。為減少未認真作答帶來的數據污染，剔除全選同一個答案的問卷。剔除無效樣本問卷后剩余252份進行數據分析。

運用描述性統計方法對252份問卷進行分析，了解學生對DIALANG英語閱讀能力診斷性評估反饋報告的態度和看法。

運用單因素方差分析法，探究高中低三種測試水平的學生的態度看法是否具有顯著性差異。然后結合國內外文獻、DIALANG測試平臺特點、學生特征，分析討論造成差異的原因。

三、結果與討論

(一)學生的態度與看法

1.級別診斷報告

總體而言，將近50%的學生認為級別診斷報告簡單易懂。但是，有接近30%的學生持相反意見，認為該級別診斷報告生詞多，該級別診斷報告的用詞造句不易理解。約60.32%的學生認為該級別診斷報告能準確地診斷出其英語閱讀能力總體水平，9.13%學生認為不能，30.56%學生表示不確定。57.14%學生認為能準確地診斷出我對英語閱讀能力各項技巧的掌握程度，10.31%學生認為不能，32.54%學生持不確定意見。

2.學習建議

在學習建議的可理解性方面，41.27%的學生認為該學習建議生詞很少，27.78%的學生持相反意見，30.95%學生保持中立態度。48.02%的學生認為該學習建議的用詞簡單易懂，27.38%學生表示該學習建議的用詞不易理解，24.6%學生表示不確定。52.78%學生認為學習建議的句子結構簡單易懂，25.4%學生表示不確定，21.83%學生持相反意見。61.51%學生表示該學習建議具有現實可操作性，10.31%的學生表示相反意見，28.17%表示不確定。70.24%學生認為該學習建議能為我進行英語閱讀能力訓練指明方向，8.73%持否定意見，21.03%表示不確定。61.11%的學生認為其能夠在實際學習中運用該學習建議中提到的方法，11.11%的學生持否定意見，27.78%的學生表示不確定。66.27%的學生認為其能夠在現實環境中找到該學習建議中提到的資源，7.14%的學生持否定意見，26.59%的學生選擇中立立場。50%的學生認為根據該學習建議能輕松地進行英語閱讀訓練，15.48%的學生持相反意見，34.52%的學生選擇中立立場。

(二)高中低水平差異情況

252份有效問卷中，有四個水平的學生，具體分別是A1、A2、B1、B2四個等級水平。結合DIALNAG測試平臺對等級的劃分標準，以及學生平時的考試成績，即期末成績或期中成績，本研究把A1定為低水平，A2定為中水平，把B1和B2定為高水平。本研究在高中低三個測試水平學生中分別隨意抽取15份數據樣本，共計45份，進行單因素方差分析。方差齊性檢驗表數據顯示，P=0.260，大于0.05，說明方差呈齊性，滿足方差分析的前提假定。方差分析推斷統計表顯示，sig.=0.439,大于0.05，說明各組平均數之差沒有達到顯著水平(見下表)。

單因素組間方差分析推斷統計表

(三)討論

1.“不確定”的比例略高

在級別診斷報告和學習建議兩大部分問卷中，學生被試選擇“不確定”的比例略高。14個題項中，每題的“不確定”選擇比例約在21%—35%區間。為何會有這么多學生選擇中立的態度？主要原因是問卷填寫前的準備工作煩瑣復雜。首先，學生需要先觀看登錄操作視頻，按照視頻指示登錄DIALANG測試網頁進行英語閱讀能力診斷性測試。該平臺的登錄步驟比較煩瑣。其次，該測試共有30道閱讀題，每題都是閱讀1—2個段落的小短文完成對應選擇題的形式。與被試學生的平時英語測驗相比，這個測試是有一定難度的，并且有些題型不太熟悉，至少需要25分鐘才能完成。完成測試之后，學生還需要認真閱讀該測試平臺提供的級別診斷報告和學習建議，最后才開始填寫問卷。換言之，學生在填寫問卷之前，已經花費了大量的時間和精力去做相關的準備工作，在填寫問卷時難免帶有一點厭煩情緒。

2.級別診斷報告的準確性

問卷數據表明，均有10%左右的學生認為該級別診斷報告不能準確地診斷出其英語閱讀能力總體水平、對英語閱讀能力各項技巧的掌握程度。經分析，背后原因主要有兩點。其一，對于被試學生而言，DIALANG平臺的英語閱讀能力測試題目總體偏難。題目偏難，區分度就低，不能很好地區分出高水平學生和低水平學生，難以反映學生的真實水平。其二，DIALANG平臺測試題目中有些題型是學生平時很少接觸的，并且整個平臺都是以英文呈現的，基礎差的學生未必能看懂所有的題目指示說明，從而降低了測試的準確性。其三，DIALANG平臺的測試結果診斷報告從低至高共分為六個等級：A1，A2，B1，B2，C1，C2，這與學生平時習慣的數值型分數成績不同，不夠直觀明了。學生習慣了100分制的分數，而這些等級與100分制之間沒有直接對等關系，他們很有可能因此覺得診斷報告不夠準確。

3.學習建議的可行性

問卷數據表明，有10%左右的學生不認為該學習建議具有現實可操作性，能為其進行英語閱讀能力訓練指明方向、能在實際學習中運用該學習建議中提到的方法、能在現實環境中找到該學習建議中提到的資源。15%的學生認為根據該學習建議不能輕松地進行英語閱讀訓練。原因主要是：DIALANG是國外的在線測試平臺，其生成的學習建議自然是依據國外的情況條件設定的，有些建議在中國沒辦法實施。

4.高中低水平學生之間的觀點無顯著差異

單因素方差分析顯示，高中低三個測試水平的學生對DIALANG在線測試平臺的態度和看法沒有顯著性差異。經分析，原因可能有如下幾點。其一，這個問卷調查是在2020年6月實施的，恰逢新冠疫情時期，學校所有課程都實行線上教學，所以這個問卷調查也是以線上的形式進行。沒有教師在課堂上面對面監督，學生填寫問卷難免有敷衍了事的心態。其二，學習建議部分問卷的最后四道題目都是關于學習建議的可行性，由于大家的生活學習條件限制，所以三個水平學生的答案自然也是相似度高。其三，整個問卷調查中，學生選擇“不確定”選項比例略高，因而導致三個水平之間沒有顯著差異。因此，問卷中是否可以刪掉“不確定”這個中立態度的選項，也是一個值得斟酌的問題。

結束語

隨著線上教學的常態化，線上測試必然成為教育發展的重中之重。了解學生對構建線上測試平臺的態度和看法有助于提高平臺的使用率和有效性，從而推動線上測試的改革創新和發展。本研究還有許多不足之處，例如某些問卷題項還不夠科學；問卷調查實施過程中，教師沒有面對面地讓學生進行平臺測試然后填寫問卷。否則，將會獲取到更豐富、更理想的信息。