《改進和拓展二語研究的定量推理》評介

申云化 馬 毅

(吉林大學，長春，130012)

Norris，J.M.，S.J.Ross＆R.Schoonen(eds.).2015.Currents in Language Learning Series:Improving and Extending Quantitative Reasoning in Second Language Research.New Jersey:Wiley－Blackwell.ISSN: 0023－8333.pp.vi+255.

《改進和拓展二語研究的定量推理》評介

申云化 馬 毅

(吉林大學，長春，130012)

Norris，J.M.，S.J.Ross＆R.Schoonen(eds.).2015.Currents in Language Learning Series:Improving and Extending Quantitative Reasoning in Second Language Research.New Jersey:Wiley－Blackwell.ISSN: 0023－8333.pp.vi+255.

1.引言

近年來，應用語言學定性研究方法倍受學界青睞，研究者愈發認識到，“社會、文化、語境等因素幾乎對語言習得的各個方面產生決定性影響，而定性研究是人們深刻把握這些影響的理想手段”(D?rnyei 2007:36)。但不能否認定量研究仍是應用語言學的重要范式，在二語習得研究中占主導地位(Lazaraton 2005;王立非、江進林2012)?？墒且驗槿鄙傧鄳柧?，許多研究新手無法正確規范地運用定量研究方法，造成研究結論的外推性差，研究結果不適合二次分析，對教學研究理論與實踐貢獻不足等問題。有鑒于此，2015年6月應用語言學頂級期刊Language Learning以增刊的形式出版了一期題為“改進和拓展二語研究的定量推理”的專號，發表了二語習得研究領域John M.Norris、Rob Schoonen、Luke Plonsky、James E.Purpura和Nick C.Ellis等國際知名學者關于二語定量研究方法的論文。該系列論文是2013年10月在美國喬治敦大學舉辦的旨在改善二語定量研究現狀的國際會議成果，匯集了作者對二語習得研究方法所存問題的反思以及未來發展趨勢的展望。全書由兩部分(十章)組成，第一部題為“二語定量研究的測量、設計、分析面臨的挑戰”(第一至六章)，第二部分題為“二語定量研究的選擇、發展與未來”(第七至十章)，共計255頁。本文擬對其內容作簡要評述。

2.內容簡介

第一章作者 John M.Norris、Steven J.Ross和Rob Schoonen介紹Language Learning雜志出版本期增刊的背景與目的，并概述了本卷各章節的主要內容，指出當前應用語言學和二語定量研究仍存在各種問題，例如在實驗設計和控制不足的情況下確立因果關系、效果和影響，樣本量過小，選擇推論統計方法時忽視數據是否滿足應用條件，過度和錯誤解釋p值和顯著性檢驗而忽視效應量大小，描述統計和推論統計結果報告不完整，以及由一個或若干個案推論總體等。作者希望上述問題能夠引起二語習得研究者的重視，并且能夠在新技術層出不窮的背景下，堅持研究方法的終身學習。

第二章作者Luke Plonsky和Talip Gonalul詳細闡述了二語定量研究近年來新涌現的研究綜合法或元分析法。該方法將二語習得某一領域的原始研究作為樣本，系統地分析和評價定量研究的研究方法部分(如Norris＆Ortega 2000)。本章揭示了對二語定量研究方法進行元分析的動機，以及與研究設計和抽樣有關的分析熱點，例如實驗研究的延遲后測，研究結果的效應量，樣本量和檢驗效能等等。本章重點報告了Luke Plonsky和Talip Gonalul對Applied Linguistics等國際期刊上發表的51篇使用探索因子分析(exploratory factor analysis)的二語定量研究所進行的元分析，用實例向讀者展示了新的綜述研究路徑。不同于傳統綜述研究對研究內容的關注，元分析更側重研究方法特征的分析、比較和綜合，有利于豐富和改進二語習得研究方法的理論與實踐。

第三章主要討論應用語言學實證研究中量具的效度問題，關于如何可靠、有效地操作關鍵變量，精確測量研究的理論概念。James E.Purpura、James D.Brown和Rob Schoonen強調“不按照公認的規范編制、評價和使用量具，分析變量和變量間關系，將會危及研究結果的可靠性和研究對知識的貢獻”(p.41)。作者以倫敦大學學院Révész(2012)的研究為例，該研究使用語法判斷任務，書面和口頭的圖片描述任務考察重鑄反饋(recast)對受試過去進行時語法結構習得的影響。利用Kane(2006)的分析框架，作者分析了Révész(2012)研究中口頭描述任務的效度驗證過程。此外，作者還對測量的評分者間信度和再測信度等問題進行剖析，指出研究者在做出概括性結論之前應提供必要的證據支持。最后，作者總結了應用語言學研究者在測量工具的設計和編制中易犯的錯誤，例如，試題項過少，編碼和計算步驟報告過簡，使用參數統計檢驗分析參照標準測驗數據，不正確地測量目標概念等實際問題。

第四章作者重點討論二語實驗研究的設計問題及其與研究結論的關系。Thom Hudson和 Lorena Llosa指出實驗研究設計的好壞直接關系到研究質量和確立因果關系的能力。作者認為現實中許多實驗研究存在樣本量不足(Lazaraton 2005)，設計中缺少前測、延遲后測，受試沒有隨機分組，以及研究假設過多而導致結果分析和闡釋困難等問題。本章還介紹了實驗研究中排除干擾變量的方法:(1)盡可能讓所有實驗步驟標準化;(2)通過隨機分組控制無關變量的影響;(3)若可以確定干擾變量，可將干擾變量作為研究設計中的自變量因素直接處理。另外作者還討論了實驗研究中語言的使用問題，強調研究者應使用與研究設計相匹配的語言，謹記“相關不是因果”的箴言，切莫將兩種研究設計的語言相互混淆。

第五章作者John M.Norris通過實例詳解了二語習得研究中統計顯著性檢驗存在的若干問題及對策。作者認為零假設顯著性檢驗(NHST)作為用樣本估計總體的一種方法，時常被二語習得研究者誤用和過度解讀。實際上統計顯著性檢驗(p值計算)只說明零假設為真時樣本中所觀測到的現象存在的概率小于預設的顯著水平(α)，只起到防止一型錯誤的作用，卻并不包含觀測結果為真的概率、零假設為真的概率，研究發現的效應量、重要性和可靠性等信息。作者概括了統計顯著性檢驗存在的四個問題:(1)p值的錯誤解釋;(2)統計意義的過度概化; (3)統計顯著性的簡單化解釋誤導研究者忽略回答研究問題的其他重要信息;(4)錯誤地比較不同研究的結論。接著作者通過若干研究案例說明統計顯著性檢驗的錯誤用法，并就二語研究者如何正確運用統計顯著性檢驗提出個人建議:(1)使用推論統計前，要認真觀察數據，仔細思考所觀測到的現象;(2)選用統計分析方法前要考慮數據是否滿足應用條件，例如是否正態分布，格子實際頻數，方差是否齊性，數據間是否是線性關系等;(3)謹慎使用和解釋p值;(4)正確合適地報告統計數據，例如報告全部描述統計結果，統計分析的應用條件檢驗(如正態性檢驗)，效應量以及精確的p值大小等。

第六章作者Jenifer Larson－Hall和Luke Plonsky就研究結果的報告內容和規范以及研究結果的分析和解釋提出建議。作者指出均值和標準差是任何統計分析的基礎，為定量研究的元分析提供重要信息，因此研究者“不僅一次性報告數據組的均值和標準差，還要報告研究者感興趣的各分組數據的均值與標準差”(p.131)，否則會造成二次分析的知識缺口。除此之外，研究者應當嚴格遵照APA格式要求，匯報一切相關的統計數據，包括統計檢驗結果、p值、效應量和置信區間、信度系數(如 Cohen＇s Kappa or Cronbach＇s alpha)。作者還建議研究者使用圖表等視覺手段描述和檢驗數據的分布情況，學會分享原始數據，樹立元分析的研究思維，充分意識到每一項研究都會增進人們對本領域知識體系的理解。

第七章介紹結構方程模型(SEM)在二語習得研究中的應用前景。Gregory R.Hancock和 Rob Schoonen首先舉例說明ANOVA和多元線性回歸等傳統分析方法的不足，比方說構念測量存在誤差，研究假設包含多個自變量和因變量，縱向追蹤研究中導致個體發展差異的因素，或因復雜抽樣設計造成的數據非正態分布和方差不齊性等，繼而指出結構方程模型的重要價值。作者分別概括說明了協方差結構模型中包含的測量變量路徑模型，驗證因子分析模型和潛在變量路徑模型等三種具體模型，以及潛在均值模型，潛在成長模型和混合模型的相關概念和在二語習得研究中的應用。最后，作者強調了結構方程模型與二語習得研究密切相關的若干問題，包括數據篩選和條件檢驗，數據模型擬合檢驗，模型選擇、潛在變量和顯在變量、因子指標、因子不變性和樣本量的確定等。

第八章主要涉及混合效應模型在二語習得研究中的應用和發展。作者 Jared A.Linck和 Ian Cunnings指出許多二語習得研究沒有隨機抽樣，并且忽視樣本個體差異，因而建議使用混合效應模型來克服上述問題。作者以一項調查中德英語學習者對主謂一致語法結構的習得研究為例，說明在實際研究中傳統統計方法(如ANOVA)會受制于參數檢驗的應用條件。而作者認為混合影響模型不受方差齊性條件和數據缺失的影響，不僅“適合研究者一般運用ANOVA的標準實驗研究，還適用于常常伴有缺失數據的語料庫研究和追蹤研究”(p.190)。隨后，作者使用開放軟件R分析了Linck等(2009)關于沉浸式學習效果的數據，演示混合效應模型在R軟件中的操作與實現。

第九章介紹貝葉斯統計方法在數據插補、假設檢驗和參數估計等三方面的應用。作者指出傳統的統計方法近年來飽受詬病，尤其是當研究者發現大量應用語言學研究不適合進行元分析時，學界對分析方法的改革呼聲此起彼伏，認為引入貝葉斯方法可以彌補傳統統計分析的不足。但作者也承認統計顯著性檢驗向貝葉斯方法的轉變進程卻十分緩慢，貝葉斯方法目前應用最多的還只是插補缺失數據。

第十章是基于使用的語言學理論的常用數據統計方法。作者Stephen Th.Gries和Nick C.Ellis指出，認知語言學和心理語言學的研究成果表明語言習得是對構式的重復性區分和整合過程，受頻率、近現率和使用語境的影響。本章主要概述了對理論語言學和認知語言學發展尤為重要的幾個心理語言學概念，如頻率、分布、偶合性和驚異等，并著重介紹如何基于語料庫數據對上述影響因素進行操作、測量和探討分析。

3.簡要評價

正如本書主編Nick C.Ellis所言，“［科學研究方法和統計學理論］的發展不但給語言科學研究者，教師和學生提供了機遇，而且也帶來了負擔……令我們更容易犯錯誤”(Ellis 2015)。我們呼吁二語習得研究方法的科學性和規范性的同時，又不得不對定量研究方法抱謹慎態度，因為如果研究過程缺乏邏輯的嚴密性，就可能會導致錯誤的結論。本刊幫助讀者了解定量研究中可能犯的錯誤和錯誤根源，鞏固和拓展二語研究者的統計學知識，厘清認識上的誤區，提高二語定量研究的總體質量，對于推動二語習得和外語教學的理論建構與實踐發展起到積極的作用。概括起來，本刊有如下優點:

3.1 內容全面，例證翔實。

本刊輯錄的文章覆蓋了二語定量研究方法的各個方面，包括定量研究報告的規范性，測量工具的效度驗證，實驗研究的設計，統計顯著性檢驗等諸多問題。作者通過豐富的二語定量研究案例，詳細剖析了二語定量研究所面臨的各種挑戰，并給出了應對挑戰、解決問題的策略和辦法。讀者既可根據作者的分析解答反觀自己的研究，加強研究設計和研究過程的科學性和系統性，又能從中了解他人的研究，獲得關于定量研究推理的有益啟示。例如，我們可以通過第三章Révész(2012)的研究，掌握如何通過實證數據證明測試分數的效度，也可通過本刊第四章作者所舉的二語定量研究實例，認識研究過程中潛存的問題。

3.2 問題導向，前瞻意識。

本刊各章的作者都從二語定量研究的實際現狀出發，以問題為導向，一問一答逐次提出解決問題的辦法。本刊各章節的內容安排結構緊湊，次序合理，關聯性強，給讀者清晰地呈現二語定量研究的邏輯步驟。作者先從研究工具的效度檢驗入手(第三章)，確保準確測量目標構念，再到如何構思和準備定量研究過程(第四章)，繼而指出二語習得研究統計顯著性檢驗的問題與建議(第五章)，最后規范研究結果的報告與解釋(第六章)，內容的嚴密邏輯性從中可見一斑。與此同時，本刊作者還展望了定量研究的文獻元分析，結構方程模型、貝葉斯方法以及語義網絡分析等高級統計方法的應用前景，反映和代表了當今應用語言學和二語習得研究的前沿。比如，從Norris和Ortega(2000)發軔的定量研究元分析逐漸成為熱門的綜述研究方法，筆者注意到近來國際應用語言學期刊陸續發表了一系列本領域的元分析研究，例如Plonsky(2011)對二語策略教學效果的元分析和Jeon和Yamashita(2014)對二語閱讀理解和語法知識等十個關鍵因素變量相關性的元分析，國內學者的綜述研究還停留在對內容主題的總結評價，對國外二語習得研究文獻的元分析研究仍不多見。因此，第二章作者對使用探索因子分析研究的元分析可以為讀者提供很好的借鑒與參考。

4.不足之處

本刊文章主要討論定量研究的參數統計檢驗，卻沒有論及非參數統計檢驗。而非參數統計在應用語言學領域用途也很廣泛，比如卡方檢驗就是“少有的幾個分析名義數據的方法之一”(D?rnyei 2007: 228)，如果能對二語習得研究中非參數統計存在的問題加以分析，本刊的內容會更為全面。

D?rnyei，Z.2007.Research Methods in Applied Linguistics［M］.New York:Oxford University Press.

Ellis，N.C.2015.Foreword［A］.In Norris，J.M.，S.J.Ross＆R.Schoonen(eds.).Currents in Language Learning Series:Improving and Extending Quantitative Reasoning in Second Language Research［C］.New Jersey:Wiley－Blackwell.v－vi.

Jeon，E.H.＆J.Yamashita.2014.L2 reading comprehension and its correlates:A meta－analysis［J］.Language Learning64 (1):160－212.

Kane，M.T.2006.Validation［A］.In R.L.Brennan(ed.).Educational measurement(4thedn.)［C］.Westport: American Council of Education and Praeger Serieson Higher Education.17－64.

Lazaraton，A.2005.Quantitative research methods［A］.In E.Hinkel(ed.).Handbook of Research in Second Language Teaching andLearning［C］.New Jersey: Lawrence Erlbaum.209－224.

Linck，J.A.，J.F.Kroll＆G.Sunderman.2009.Losing access to the native language while immersed in a second language: Evidence for the role of inhibition in second language learning［J］.Psychological Science20:1507－1515.

Norris，J.M.＆L.Ortega.2000.Effectiveness of L2 instruction:A researchsynthesis andquantitative meta－analysis ［J］.Language Learning50(3):417－528.

Plonsky，L.2011.The effectiveness of second language strategy instruction:A meta－analysis［J］.Language Learning61 (4):993－1038.

Révész，A.2012.Working memory and observed effectiveness of recasts on different L2 outcome measures［J］.Language Learning62(1):93－132.

王立非、江進林.2012.國際二語習得研究十年熱點及趨勢的定量分析(2000～2009)［J］.外語界(6):2－9.

(責任編輯 楊麗)

申云化，吉林大學公共外語教育學院講師。主要研究方向為二語習得。電子郵箱:shenyh@jlu.edu.cn

馬毅，吉林大學公共外語教育學院教授。主要研究方向為二語習得、外語教學。電子郵箱:mayi@jlu.edu.cn

*本文系中央高?？蒲袠I務費吉林大學種子基金項目“學術英語寫作中的文獻使用與抄襲問題研究”的階段性成果。