人工智能視域下應用型院校英語寫作多元反饋模式構建
——基于 iWrite2.0寫作自動評閱系統的實證研究

祁 晶

(運城學院 外語系,山西 運城 044000)

寫作反饋是英語寫作教學任務環節中不可或缺的一部分,對于提高學生的寫作水平起到至關重要的作用。英語中的寫作反饋是對寫作者所提供的文本內容進行建設性判斷和評估,對寫作者未來寫作以及寫作過程發展進行指向性評價[1]。近幾年關于英語寫作反饋研究的重點主要集中在反饋者、文本修改以及寫作質量上[2],即不同的反饋者如何提高反饋質量以達到期望的文本修改水平。隨著人工智能技術的發展,越來越多的智能技術被應用到自然語言處理以及教學領域,特別是寫作自動評閱系統AWE(Automated Writing Evaluation)在二語寫作教學過程中的應用,比如批改網、句酷網、iWrite等,提高了二語寫作反饋的效率。寫作自動評閱系統的出現也為構建寫作多元反饋模式提供了可能。該研究旨在對應用型院校大學生英語寫作反饋模式的現狀進行調研,發現目前大學英語寫作反饋中的問題,并從人工智能視角(以iWrite系統為研究平臺)構建符合應用型院校大學生學習能力發展的英語寫作多元反饋模式。

1 研究現狀

1.1 國外研究

反饋者針對學習者在任務進行過程中的表現提供相應的改良信息,從而完善該學習任務的過程就是反饋。在二語寫作反饋相關研究中,寫作反饋有效性一直是近些年所關注的重點議題[3]。改良信息形式可以是分數、等級、口頭評價、書面評價或建議。通過開放性的寫作任務(比如論文和報告)來促進二語的學習本身就充滿復雜性和挑戰性,需要寫作者有較強的動機去識別和利用反饋中的有效信息。在二語寫作中,寫作反饋主要來自教師反饋、同伴互評和機器反饋,它對于培養學生的寫作能力、寫作動機以及寫作潛力起著重要作用。Evans[4]就發現由于調研過程中的各種影響因子,比如反饋設計、學生參與度、任務類型等,都導致對于寫作反饋的研究結果多樣化。Vinagre &Muoz[5]則將機器反饋作用納入研究,發現通過計算機接收書面反饋的學習者比未接收反饋的學習者語言準確度顯著提高。Elola&Oskoz[6]在結合機器反饋的寫作案例研究中發現,教師對于學習者的需求以及個性的了解也會影響反饋的方式、工具以及頻次。學習者對于文本的形式傾向于接受書面反饋,而對于內容和結構則更傾向于接受口頭反饋。一些學者認為寫作反饋對寫作者的認知、動機以及情感會產生一定的影響,而且通過線性角度分析寫作者寫作能力和寫作反饋的關系,發現寫作反饋對于寫作者能力的提升具有正向有效性[7]。目前也有部分學者對不同寫作反饋方式的有效性進行了相關對比研究,但結果并不一致。

1.2 國內研究

國內關于英語寫作多來源反饋領域的研究整體呈上升趨勢,并在2019年達到了研究高峰期[8]。隨著多媒體技術的快速發展,越來越多的學者開始將機器評閱作為研究中的考量因素。蔡基剛[9]將在線同伴反饋納入自動評分系統,發現該模式引導下的學生寫作興趣顯著提高。學者們也開始逐步聚焦于將多種反饋模式進行對比研究,探究其對于學生英語寫作水平能力的影響。楊麗娟,楊曼君,張陽[10]就將三種不同來源反饋模式進行對比研究,發現教師反饋與同伴反饋相結合的反饋模式,對于學生在寫作詞匯、結構和內容方面的影響最為顯著。黃靜,張文霞[11]就對多種來源反饋方式對中國大學生的作文修改所產生的影響進行了相關實證研究,發現多種方式結合的寫作反饋極大提高了學生的學習主動性。而李亦華[12]則從動態理論視角出發,對比研究不同來源反饋方式對于學生的寫作水平是否有正向的影響。實驗結果也表明,教師干預下的多種反饋方式更能提高學生的寫作水平,但同時也給學生帶來一定的焦慮感。對于寫作水平變化的衡量標準也逐漸聚焦于文本的復雜度、流利度以及學生的投入度。徐鷹和韓芬[13]就從行為投入的視角對學生對于自動作文評語系統反饋過程中的投入度進行實證研究,實驗結果顯示學生對于自動作文評閱系統的行為投入呈現非線性的遞增趨勢,認知投入比較穩定,而情感投入則從積極轉為消極。王慧慧[14]也在對比不同來源反饋模式的研究中發現實驗周期和學生專業背景對寫作反饋有效性也有一定的影響。所以無論是對多種不同來源反饋的對比分析,還是對于不同維度學習者投入度的分析,都缺少對反饋效果以及影響因素的分析,沒有提出或構建符合當下學生寫作能力現狀的反饋模式,特別是針對應用型院校大學生英語寫作能力的反饋模式。

2 研究設計

2.1 研究問題

(1)不同評價方式下應用型院校大學生英語寫作水平有無差異?

(2)影響應用型院校大學生英語寫作反饋的因素有哪些?

(3)如何構建符合應用型院校大學生寫作能力的多元反饋模式?

2.2 研究對象

該項目的研究對象是山西某地方應用型高校商務英語專業二年級的學生,4個班共133人,年齡分布在20—22歲。該專業屬于二本A類專業,招生分數線比當年高考國家二本分數線高二十分左右,由于生源的差異,在制定人才培養方案以及課程大綱時,都需要認真衡量學生的語言差異性,從而制定符合地方應用型院校學生水平的課程教學方案及評價方式。而作為語言類課程,則更應該考慮地方應用型高校學生的能力及語言水平差異。課程選擇商務英語專業二年級的《基礎英語寫作》,該課程的周學時為2學時,實驗周期是16周。實驗前,對4個班的學生進行前測,結果顯示并無顯著性差異。

2.3 研究工具

研究工具包括二語寫作現狀調查問卷、半結構化訪談和iWrite寫作平臺測試。研究者首先結合調研目的編制學生調查問卷和教師調查問卷,旨在對當前應用型院校大學生二語寫作反饋方式及現狀進行了解,并從中探究其影響因素。半結構化訪談主要圍繞對于兩種不同方式學生和教師的感受,以及如何在反饋的基礎上進行修改。每位受試的訪談時間為20分鐘。

寫作測試選擇在iWrtie平臺進行,該平臺不僅可以實現對寫作內容從語言、內容、篇章結構以及技術規范四個維度的評價,還可以同時進行教師反饋以及同伴反饋。結合該實驗的研究方向,所有受試都在iWrite平臺參與前測以及后測,從而確保評價的公平性和有效性。

2.4 研究過程

整個研究過程分為三個階段:準備階段、實驗階段和數據收集分析階段。

準備階段

其中，P為總人口數，Pi為各教育程度的人口數，而各教育程度的系數取值則依據中國現行教育體制。具體為：擁有小學學歷的受教育年限為6年，初中為9年，高中為12年，大學及以上為16年以上，在此我們取最低年限16年。

該研究是為了調研不同反饋方式對應用型院校大學生英語寫作能力的影響,所以在實驗初期就擬定了兩種不同反饋方式:一種是機器反饋,一種是教師反饋+同伴反饋+機器反饋。每兩個班執行一種反饋模式。在整個寫作項目過程中,4個班的學生都需要在iWrite平臺完成6次寫作任務(1次前測,4次實驗任務,1次后測),為了確保任務難度的一致性,寫作任務均選自于iWrite平臺題庫中的真題,正如表格1所示,結合參與學生的實際英語水平,本次項目中的6次寫作任務中前測和后測為官方真題,實驗任務1、實驗任務2、實驗任務3和實驗任務4則來自外研社模擬題,體裁均為議論文?？紤]到不同學生在作同伴反饋時可能存在反饋詳實度的差異,所以為學生設計了固定的同伴反饋模板,反饋維度主要包括詞匯、句型、結構、內容準確性等多個維度。在實驗初期完善所有學生和教師問卷的設計以及訪談的提綱,并對所有受試在平臺進行測試。

圖1 研究流程圖

表1 寫作任務列表

實驗階段

在實驗開始前,了解到大部分受試的同伴反饋經驗較少,僅有互相打分及口頭反饋的反饋經驗,所以實驗開始前對所有受試進行同伴反饋培訓,目的是讓所有受試了解反饋模板的使用以及反饋的維度,確保同伴反饋的有效性。結合課程大綱的教學內容及安排,所有受試每4周完成一次寫作任務,一共完成所設定的4次寫作任務,所有寫作任務限時120分鐘在線完成提交,不限制提交次數,但評分以最后一稿進行評價?？刂平M在iWrite上完成寫作任務直接在線提交,進行機器評閱。實驗組則按照實驗要求,依次接受機器反饋、同伴反饋和教師反饋,并按照反饋意見進行修改,形成終稿,最終提交到iWrite上進行評分。第16周,在完成最后一次寫作任務提交后,對兩個組別進行后測,在iWrite上進行統一評分。

圖2 寫作過程圖

數據收集和分析

后測結束以后,對iWrite上所有的數據進行下載、標注和記錄。并在后測結束后的30分鐘內向學生和教師發放調查問卷。共向學生發放調查問卷162份,回收162份,其中有效問卷158份。學生調查問卷由35個客觀題和5個主觀題組成。向教師發放調查問卷25份,回收25份,有效問卷25份。教師問卷由30個客觀題和5個主觀題組成。其中兩類調查問卷的客觀題部分都采用了Likert五級量表,分別通過“非常不符合”“不符合”“不確定”“符合”和“非常符合”五個類別讓參與者進行選擇。并在后測后兩天內完成半結構化訪談任務。采訪3位專任教師和8名同學。每位訪談者的受訪時間都在20分鐘以內,在訪談過程中,準備教師自己反饋過的作文題目紙質版,以及學生在寫作過程中所有收到反饋的紙質版作文,以便幫助他們在訪談過程中回憶寫作題目的具體內容以及自己的反饋過程。全程對訪談內容進行錄音、轉寫和標記,最后選擇SPSSAU軟件對所有收集到的數據進行分析。

3 結果與討論

3.1 不同反饋方式對比分析

通過對兩個組別最終的后測成績進行t檢驗分析,發現兩組之間的成績存在一定的差異性,如圖3所示,對照組的平均成績為82.46,而實驗組的平均成績為85.63,實驗組比對照組均分高出3.17,整體來看實驗組經過16周的綜合反饋模式實踐,即機器反饋、同伴反饋和教師反饋相結合的模式,平均成績有所提高。

圖3 后測平均成績對比圖

表2 t檢驗分析結果

通過效應量(Effect size)進一步分析兩組實驗數據的差異幅度,通過表3可得知Cohen’s d值為0.507,對比臨界點0.2,0.5和0.8,發現兩組實驗數據差異幅度中等,并沒有顯現出較大的差異?？梢钥闯鲭m然實驗組在使用多元英語寫作反饋模式(即機器評閱、同伴反饋和教師反饋相結合的模式)之后成績有所提高,但相較對比組并沒有特別大的差異。造成這個結果的原因也有待分析,可能和實驗周期、反饋方式或反饋者投入等因素有關,這也為后期的英語寫作多元反饋方式的研究提供了新的研究視角。

表3 效應量指標分析

3.2 大學英語寫作反饋現狀及成因

通過對學生和教師的問卷調查以及訪談,了解目前應用型院校大學英語寫作課反饋現狀。學生和教師也從不同的角度分析目前大學英語寫作課反饋的現狀及其原因。

(1)大學英語寫作反饋現狀

在整個問卷調查過程當中,共收到158份有效的學生調查問卷。其中94.3%的學生認為英語寫作反饋非常符合現在大學生英語寫作的需求,能夠提高自身的寫作能力,5.7%的學生則不確定目前的英語寫作反饋是否能夠提升自身的英語寫作能力。但是大部分同學都對機器反饋持積極肯定的態度,其中97.5%的學生都認為機器反饋可以很好地給自己的英語寫作提供及時的反饋意見,促進自己英語寫作質量的進一步提升,但仍有2.5%的學生并不確定機器評閱是否能夠更好地提升英語寫作質量。88.6%的同學認為同伴反饋可以有效提高英語寫作質量,而7.6%的同學則認為同伴反饋不能夠提高英語寫作質量,還有3.8%的同學并不確定同伴反饋是否可以提高英語寫作質量。而對于教師評閱這種傳統英語寫作評閱方式,63.2%的同學認為是可以提高英語寫作質量以及自身寫作能力的,23.8%的同學認為不能夠提高自身寫作能力,也有13%的同學并不確定教師單獨反饋是否可以有效提高寫作質量以及提升自身寫作能力。但是99.4%的同學都認為教師反饋的內容可以彌補同伴反饋和機器反饋的不足。令人出乎意料的是,100%的同學都認為將機器評閱、同伴反饋以及教師反饋結合到一起的多元反饋方式可以提高英語作文的寫作質量,可以通過這個過程提升自身的寫作能力。因為問卷是面向所有的受試,所以無論使用過多元反饋模式還是沒有使用過多元反饋模式的同學都對這種多元反饋模式有非常高的期待值。

根據所收集到的25份有效教師調查問卷,發現100%的教師都認為機器反饋的方式在很大程度上提高了自己寫作課堂的反饋效率。但對于機器反饋的有效性仍有16%的教師持有保留態度。對于智能評閱系統的評價,94%的教師都認為智能評閱系統極大地提高自身的工作效率,可以更高效地反饋學生英語寫作中所存在的問題,但仍有6%的教師對智能評閱系統的反饋效果持有保留態度。在課程當中設置同伴反饋環節的教師占到了62%,也有25%的教師不確定自己的課程當中是否完整進行同伴反饋,在問卷的補充說明中,部分老師解釋不確定的原因,因為在寫作課程講授的過程中,會讓多名學生針對某些同伴寫作中的詞匯、句子、段落等方面進行口頭反饋,提出其中的問題以及如何進行改進,但是并沒有使用寫作反饋模板針對整篇作文進行完整反饋。仍有13%的教師并沒有在英語寫作評閱過程中設置同伴反饋環節。

(2) 影響因素分析

在完成3位教師和8位同學進行訪談后,結合學生及教師問卷調查結果,對目前應用型院校英語寫作反饋的現狀及其原因有了進一步了解,主要表現在以下幾個方面:

首先,班級容量大。對于地方應用型院校,班容量大一直是一個無法忽視的問題,特別是對于這種語言類課程,班級容量就直接決定了上課的效果。該校目前寫作課的班級容量最少是40人,最多會出現兩個班級合班的現象,數量可以達到80—90人,這也為教師帶來較大的反饋工作量。3位教師均表示,班級容量大就會影響到英語寫作反饋的周期和效率。其中2位教師借助iWrite智能評閱系統,表示確實極大地提高英語作文的反饋效率,作業布置的數量會有所提升,從以前3—4周布置反饋1篇,到現在基本1—2周都會布置寫作任務,智能評閱系統反饋維度豐富,主要從句型、結構、篇章、技術規范等方面給予學生反饋,教師也會結合反饋能容進行講解。另外1位教師表示自己采取傳統評閱方式,由于班級人數多,周學時少(該校每周寫作課學時為2學時),布置作業后2—3周才能完成所有學生的作文評閱與反饋工作。8位受訪學生中有7位同學都使用了iWrtie智能評閱系統,他們都認為智能評閱系統可以及時給予反饋,自己可以立刻針對其中的問題進行改正。而另外1位同學需要等待的反饋周期較長,最長有四周給出反饋,但是已經忘了這篇文章的大部分內容。

其次,學生投入少。其中1位教師認為雖然智能評閱系統能夠極大提高教師的反饋效率,但是反饋的內容相對比較簡潔,學生在修改過程中是否投入大量精力思考造成錯誤的原因也會影響學生本身英語寫作能力的提升。這位老師提到:“機器反饋確實非常便捷,但是學生是否有仔細看這些反饋?是否有思考造成這些錯誤的原因?還是說直接系統給出替換詞我就改為這個替換詞,并沒有進一步思考為什么系統要給出這樣的替換詞?所有這些因素或多或少都會影響到學生自身寫作能力的提升?！焙芏鄬W生僅限于完成教師布置的寫作任務,自己從來沒有在作業任務之外,主動進行過模擬寫作。這8位同學幾乎都沒有在老師要求之外進行過模擬寫作,他們也表示自己感覺自身的寫作能力較高中并沒有特別大的提升,甚至有2位同學認為,幾乎停留在了高中寫作水平,作文中使用的還是自己比較熟悉的句型、詞匯和表達。

第三,缺乏思辨能力。當問及修改過程中是否思考錯誤原因時,有2位同學表示自己會認真閱讀系統給出的評閱內容,并結合自己的文章總結錯誤的原因。5位同學表示,看到及時反饋,就是立即替換掉自己的用詞,并沒有認真想這個詞是否合適,認為系統給出的都是最佳選項。但也有同學對該系統的技術評分方面提出自己的疑惑。因為自己發現即使按照系統給出的替換詞進行替換并提交以后,得到的評價分并不一定比之前的版本高,這也導致很多學生為了刷出較高的分數甚至會提交十多個修改版本,而不是思考寫作本身的問題,缺乏一定的思辨能力,這也從一定方面影響了學生對于反饋意見的投入度。

3.3 多元英語寫作反饋模式構建

基于實驗、調查問卷以及訪談的分析結果,可以看出對于應用型院校目前的英語寫作反饋現狀來說,結合當下先進的人工智能技術和智能評閱系統,構建高效的多元反饋模式迫在眉睫。應用型院校學生英語水平特別是寫作水平的提升,不能僅僅依靠教師一周一次課的講解,而需要將先進的人工智能技術與教師的課程理念特別是英語作文評閱理念有效結合,才能最大程度提高課堂效率,增加學生的寫作積極性?；谀壳皯眯驮盒W生英語寫作評閱的現狀,將人工智能技術融入英語寫作課程以及評閱過程當中,從而構建一個高效的英語反饋模式。正如圖4所展示的多元英語寫作反饋模式,可以將機器評閱、同伴評閱與教師評閱融合到一起對學生的英語作文進行評閱。

圖4 多元英語寫作反饋模式

首先,學生可以自主通過寫作平臺提交自己的英語寫作初稿,可以快速獲得機器自動評閱平臺(比如iWrite平臺)從語言、內容、篇章、結構等幾個維度給出的反饋意見,學生根據反饋意見進行第一輪修改并提交,修改完以后進行同伴互評,因為所選擇的iWrite平臺具有同伴互評的功能,可以直接進行同伴互評。在進行同伴互評之前需要進行規范的同伴互評培訓,讓學生們了解同伴互評的目的以及操作方式,可以給出固定的同伴互評模板進行互評。同伴互評的方式不能只是簡單地給出分數或等級,這樣并不能有效地反饋出學生英語寫作中的問題。沒有同伴反饋的自動評閱系統或平臺,可以通過讓學生按照固定模板進行同伴反饋,并提交電子版或紙質版反饋。同伴反饋后學生進行第二稿的修改,在平臺進行提交,教師可以通過iWrite平臺直接進行評閱,學生收到教師的反饋修改意見后,進行第三輪修改,并最終形成英語寫作終稿。通過構建這樣多元的英語寫作反饋模式,學生可以全面地了解自己寫作中存在的問題,并對這些問題進行及時修改,從而進一步地提高自身的寫作能力和水平。

4 結語

大學英語寫作反饋是提高大學生英語寫作水平的重要環節之一,尤其對于大部分應用型地方院校來說,學生的英語寫作水平及能力比較薄弱,那么如何快速獲得積極有效的寫作反饋則顯得尤為重要。不同于傳統的英語寫作評閱中教師進行反饋的模式,該研究所提出的多元英語寫作反饋模式將機器評閱、同伴互評以及教師反饋有效的結合到一起,在反饋環節形成一個完整有效的閉環,極大地提高了學生獲得反饋的效率以及質量,讓學生真正意識到自己英語寫作中存在的各種問題,并進行針對性的修訂,從而進一步的提高學生的寫作能力。但此次研究所設置的研究周期較短,選取的研究樣本數量相對較小,還存在一定的局限性。但該多元寫作反饋模式已經在實驗院校實施了較長時間,也取得相對不錯的效果,對其他應用型院校的英語寫作教學及評閱具有一定的參考價值,也能為英語寫作中人工評閱和機器評閱相結合的研究提供新的研究視角和思路。