基于內容分析法的在線英語學習詞典用戶評價模型構建

陳賢德 楊玉玲

(北京語言大學 教師教育學院,北京 100083)

0 引言

詞典是語言學習的重要資源,在眾多詞典類型中,在線雙語詞典,已成為中國英語學習者的主要選擇(Dilin et al.,2021)。但高使用率并不意味著高質量,黃錦鴻(2021)便指出五大在線英語學習詞典存在收詞差異性較大、系統性不足、及時性不夠等缺陷。為指引用戶購買和使用詞典,引導編者提升詞典編纂質量,詞典評價研究就顯得尤為重要。無論是詞典交際觀還是認知觀,用戶需要都應居于重要的地位,表現出學習者傾向(胡文飛,2015),詞典評價中更應如此。但目前詞典評價大都局限于介紹和描述,評價性特征略顯不足,基于用戶視角的評論也相對缺乏(王嬌 等,2016)。由于網絡空間具有虛擬性、寬松性、平等性等特點,用戶能夠比較真實地將其對產品的滿意之處及失望之處表達出來,可成為研究用戶偏好的重要資料?；诖?本研究擬通過App store 搜集五部在線英語學習詞典用戶評論,借助內容分析法,挖掘出用戶的潛在需求和使用偏好,并在此基礎上構建出用戶視角下的在線英語學習詞典評價模型。

1 相關研究

詞典評價體系包含詞典評價理論與實踐兩個主要組成部分。目前,詞典評價理論研究多集中于對評價標準和原則的討論(羅思明 等,2006)。在總體評價標準上,陳楚祥(1994)較早地提出了“收詞是否全面”“立目是否合理”“義項是否分明”等十條標準。鄒酆(2004)則從編纂角度、使用角度、總體角度和類別角度探討了辭書的評價標準。有關雙語詞典的評價標準,姜治文等(1998)提出了三方面構想:從詞典編纂過程的角度對詞典進行描寫性評論;從編纂質量、校對質量、設計質量等角度對雙語詞典進行具體評論;從歷時分析、共時比較角度對詞典進行定性評論。章宜華等(2000)則基于雙語詞典評獎委員們的評獎經驗,從“出版質量”“編纂質量”兩方面對雙語詞典的質量進行考察。魏向清(2001)從人類評價實踐的“合目的性”與“合規律性”的兩大哲學基本原則出發,對雙語詞典批評的復合理據進行重點分析,提出了“編纂目的明確,有自主性”“編纂理據充分,有針對性”“編纂質量優良,有學術性”等用于評價雙語詞典內容質量的六大標準。

雖然國內關于詞典標準的討論較多,但真正將標準用于評價實踐的研究卻鮮少。國外出現了部分有借鑒意義的評價實踐研究。伊妮德·皮爾森(Enid Pearsons) 和 溫德琳·尼科爾斯(Wendalyn Nichols) (2013)提出包含“界面友好度”“內容質量”“信息來源廣度”等八個評價維度的單語英語詞典評價框架,山田茂(Shigeru Yamada) (2013) 則使用該框架評價了 Merriam-Webster、Macmillan 和 Oxford 等在線英語詞典。羅伯特·盧(Robert Lew)和阿格涅什卡·沙羅夫斯卡(Agnieszka Szarowska)(2017)在前人研究的基礎上,制定了包含“詞匯覆蓋面”“詞條處理”“詞匯信息訪問”“詞匯信息的呈現”等評價維度的在線雙語詞典評價框架,并以該框架評價了MEGAslownik、Diki、bab.la 等六部英語-波蘭語雙語詞典。劉迪麟(Dilin Liu)等(2021)則借用該評價框架評價了Youdao、Ciba (Power Word)、Bing 等六部漢英在線雙語詞典并證明該框架具有較強的可操作性。

雖然已有部分研究對詞典評價體系的建立進行過探討,但這些研究更多的是詞典學家、語言學家和出版商之間的對話,極大地忽略了用戶在評價過程中的作用。因此,納入用戶的評價標準對完善以往的詞典評價體系或框架具有重要意義。為彌補前期研究之不足,本文擬基于內容分析法構建起用戶視角下的在線英語學習詞典的評價框架。

2 研究設計

2.1 研究問題

本研究擬解決以下三個問題:(1)如何對在線英語學習詞典用戶評論數據進行挖掘,從而發現用戶對詞典的使用偏好? (2)如何根據用戶使用偏好構建在線英語學習詞典評價模型? (3)所構建的評價模型是否具有良好的信效度?

2.2 研究過程

內容分析法是一種基于信息特征研究的系統、客觀的定量研究方法,其實質是對傳播內容中所包含的信息先進行定量的編碼分析,然后根據編碼結果得出更深層次的定性分析(Neuendork,2016)。本文的研究過程為:收集五部在線英語學習詞典用戶的積極評論和消極評論,利用ROST CM6 軟件分別對積極評價文本和消極評價文本進行句子拆解和詞頻計算,再利用社會語義網絡分析發現高頻詞之間的語義連接。結合高頻詞表和社會語義網絡分析圖提取出分析單元。對分析單元進行編碼設計,劃分出一級編碼和二級編碼。編碼完成后,將分析單元進行歸類,利用Holsti 信度值對歸類結果進行信度計算,以保證其有效性。結合詞典用戶需求研究,構建起用戶評價模型,最后對模型的可信度進行驗證,如圖1所示。

圖1 研究過程與思路

2.3 用戶評價文本收集

在APP Store 中搜索“詞典”,選擇五部近一年下載量較大、評價數量較多的在線英語詞典作為研究對象,分別為:有道詞典、金山詞霸、歐路英語詞典、牛津高階英漢雙解詞典和朗文當代高級詞典,詞典信息如表1 所示。根據APP Store 評價類型中“最高評價”和“最低評價”篩選出積極評價和消極評價,在篩選過程剔除“惡意評判”“湊字數”“無效重復”等無效評價,五部詞典分別篩選出積極評價和消極評價各100 條,積極評價總計500 條,消極評價500 條,樣本共計1 000 條。

表1 詞典信息及評價文本數量

2.4 詞頻分析

將500 條積極評價和500 條消極評價儲存為txt.文本格式,然后將文本導入ROST CM6 軟件中進行分析。先利用ROST CM6 對評價文本進行分詞,分詞完成后,再對其進行詞頻統計。為凸顯用戶需求,在詞頻表中剔除了“詞典”“有道”“牛津”“歐路”等高頻詞。表2 為消極評價和積極評價中排名前30 的高頻詞。

表2 積極評價文本和消極評價文本高頻詞表

據表2 可初步推知,用戶的積極評價更為關注詞典的微觀結構信息如“翻譯”“例句”“釋義”“發音”等,而消極評價除關注微觀結構信息外,還較關注系統的穩定性如“閃退”“消失”,功能的有無如“沒有”“離線”。

2.5 社會語義網絡分析

詞頻分析能通過提取的詞典評價文本中的高頻詞反映研究對象的主要特征,但無法反映詞組在特定意義上的聯系以及文本深層次的結構關系,而社會語義網絡分析則能通過構建概念和語義關系的網絡圖來直觀展現要素之間的關系,有助于了解用戶的具體使用偏好,如圖2 中“英英”指向“釋義”,表明“英英釋義”作為共現詞,在總文本中出現頻率較高。社會語義網絡分析的過程為,首先分別對總的積極評價文本和消極評價文本進行分詞處理,提取高頻詞并過濾掉無意義詞匯后,對文本進行特征分析,并形成VNA 文件,啟動NETDRAW,繪制完成社會語義網絡圖。積極評價社會語義網絡如圖2,消極評價的語義網絡如圖3。

圖2 積極評價社會語義網絡圖

圖3 消極評價社會語義網絡圖

積極評價的社會語義網絡圖中“英語”“例句”“單詞”“功能”的節點連接量最大,成為主節點。相較之下,消極評價社會語義網絡圖更多地展現出用戶的情緒,如有大量的“不能”“不準”“錯誤”等消極評價詞。其中“翻譯”“沒有”“單詞”“功能”的節點連接量最大,成為主節點。

2.6 分析單元提取

根據高頻詞表、社會語義網絡圖確定100 個分析單元,其中積極評價分析單元共55個,消極評價分析單元共45 個,如表3 所示。

表3 分析單元

2.7 編碼設計

確定完分析單元之后需對單元進行編碼。編碼方案通常有三個來源,分別是數據、已有的相關研究、已有的理論。本研究的目的是基于用戶的評價,總結其使用需求,知曉其使用偏好,從而構建出在線詞典用戶的評價模型,所以一級編碼為:使用需求,二級編碼為:使用偏好。根據分析單元、詞典學理論并結合相關編碼研究(韋艷麗 等,2022;程罡 等,2011),將用戶需求劃分為七個部分:內容需求、界面需求、資源需求、系統需求、經濟需求、服務需求和功能需求。

內容需求指用戶期望詞典能提供準確、詳盡、權威的結構信息。界面需求指用戶期望在進行查閱時詞典界面能帶來良好的審美體驗。資源需求指詞典內置的學習資源能夠滿足用戶不同階段英語學習的需求或滿足用戶提升不同言語技能的需求。系統需求指用戶對系統穩定性的需求。經濟需求則指用戶期望在使用詞典時能夠花費較少的流量、電量,同時期望詞典沒有額外的付費功能。服務需求指用戶期望客服具有友好、及時的服務態度。功能需求指用戶期望詞典能夠具有多樣的功能,這些功能是指在詞典結構信息之外的額外功能,如是否具有橫屏模式、夜間模式、離線模式等。使用需求下可劃分出不同的使用偏好,如表4 所示。

表4 單元歸類

2.8 單元歸類與分析

編碼劃分完成后,需將100 個分析單元歸類。歸類必須完全、徹底,能適用于所有分析材料,使所有分析單位都可歸入相應的類別,不能出現無處可歸的現象,且每一分析單位只能歸入一個類別。由于部分分析單元表意較為模糊,還需結合原始評價文本了解具體含義。如“11 解釋詳細”“46 釋義全面”,其典型評價為“解釋很詳細,很多意思都有”“釋義比較全面,可以知道單詞的很多意思”,可知用戶所要表達的應是義項豐富,具體分類如表4 所示。分類統計結果顯示,在線詞典用戶關注的使用需求順序依次為內容需求(58%)、資源需求(18%)、功能需求(6%)、界面需求(6%)、系統需求(5%)、經濟需求(4%)、服務需求(3%)。

2.9 信度檢驗

內容分析中的信度可以定義為不同編碼員對內容歸類的一致性(Daniel et al.,2010:124)。為檢驗分類的信度,選擇了A、B、C 三位碩士研究生作為編碼人員,三位編碼人員皆有詞典編纂和研究經歷。對編碼人員進行編碼培訓后,三位編碼員獨立完成歸類任務。歸類完成后,采用Holsti 信度值計算內容分析中編碼員歸類的一致性,其中:

M 為兩位編碼人員編碼一致數量,N1 和N2 分別為編碼單位數,n 為編碼人員數量。據表5 數據顯示,Holsti’s 信度值達到0.983%,滿足理論要求(夏長杰 等,2017:28)。

表5 編碼信度檢驗

3 評價模型建立

評價維度確立之后,開始納入具體的評價項。雖有100 個分析單元作為評價項目確立的依據,但仍遺漏部分項目。遺失的項目多為詞典用戶不常使用或不關注的微觀結構信息,如語用、標記、文化等。雍和明(2003)的調查便指出,有些詞典用戶甚至沒意識到英漢詞典中包括有詞源信息,52%的被訪者從未有過或很少查閱過有關“美國英語”或“正式用語”之類的語言或文體變體方面的信息。

因此,為使評價框架更為完整,還需要納入“專家引導下”的用戶需求調查的研究成果。這些調查多以發放問卷、訪談的方式來進行,而問卷和訪談的題目多是專家依照自身使用或編纂詞典經驗而確立。一定程度的專家介入使得整個評價框架具有了完整性,最后結合雍和明(2003)、陳玉珍(2007)、胡文飛(2013)等人的研究制定出評價模型,如表6 所示。

表6 用戶視角下在線英語學習詞典評價模型

4 模型信效度檢驗

4.1 測試對象及方法

以五部詞典中下載量最大的有道作為考察對象。為防止部分用戶因之前從未關注過部分項目而導致信度降低,提前告之問卷測量維度,用戶完成對未關注項目的嘗試后,對50 個項目進行評分(五度量表,“1”表示很不符合,“5”表示“很符合”),問卷通過問卷星系統發送至用戶。共收回210 份有效問卷,用戶年齡為16-27 歲,詞典平均使用時長為12.5個月,平均使用頻率為每星期3 次。

4.2 信效度檢驗

本研究采用 SPSS 26.0 對量表的信效度檢驗。50 個測試題目,內部一致性信度Cronban'sα 系數為0.765>大于參考值0.6,信度較高。進行探索性因素分析,樣本適當性和Bartlett 球形檢驗的結果顯示,KMO 值為0.761,近似卡方值為9 000.90,P<0.001,表明數據適合進行探索性因素分析。

4.3 結果分析

據圖4 可知,有道最終得分為3.3 分。在所有需求維度中,“資源需求”均值得分最高,為4.23 分,表明有道向用戶提供了較為豐富的學習資源,這些學習資源有助于用戶提高言語技能并通過各類英語考試?！肮δ苄枨蟆薄吧缃恍枨蟆痹u分均值得分靠前分別為4.0 分和4.07 分,表明用戶認為有道的功能較為豐富,自己的社交需求也能得到一定程度的滿足?！敖洕枨蟆焙汀胺招枨蟆本档梅州^低分別為2.3 分和2.2 分,表明有道在使用時消耗了較多的流量、電量等,同時部分用戶反映有道客服友好性欠佳,存在回復不及時、回復內容無效及強制推銷產品等問題。

圖4 有道各使用需求得分情況/分

“內容需求”是詞典評價的重心。據圖5 可知,有道“內容需求”中“收詞”“發音”“義項”評分均值得分較高,這表明,有道收詞量較大且全面,詞語、例證等的發音較為標準、流暢、優美,多義詞義項較為豐富且排序較符合用戶需求?！胺g”“辨析”“詞形”評分較低,這表明,有道內置翻譯功能所譯文本質量有待提高,拍照翻譯、語音翻譯在識別文本時存在一定問題。同時,比較缺乏對詞語全面、準確的辨析。詞形上,因未提供易拼寫錯單詞的正誤對照導致得分較低。

圖5 有道內容需求各評價項得分情況/分

5 總結與討論

通過對在線英語學習詞典用戶評論的內容分析,我們了解到用戶的使用偏好,并結合相關文獻研究構建出用戶視角下的在線詞典評價模型。最后,以有道為調查對象,將模型運用于評價實踐中,結果顯示,模型具有較好的信效度。同時,評價模型的構建過程也可為在線學習詞典評價研究提供啟示。

評價從本質上來說是客體與主體之間價值關系的體現,價值關系是以主體尺度為依據的關系內容,客體滿足主體自身的需求是形成這種價值關系的前提和基礎(李守福,2005)。對于在線學習詞典而言,其評價主體的構成、需求,主客體之間的關系以及客體的內容構成等都是復雜、多元的,故對其評價應改變以往單一、片面的一元評價模式而應形成系統、全面的多元評價模式,這主要體現在:

評價主體的多元化。以往的詞典評價多是以詞典學界的專家學者們為評價主體的單一主體評價。接受美學理論認為“在作者、作品與讀者的三角關系中,讀者絕不僅僅是被動的部分或者僅僅作出一種反應,相反,他自身就是歷史的一個能動的構成”(金元浦,2002)。同樣,詞典編纂是一個傳播和分享知識與信息的交際過程,而用戶在這一過程中發揮著重要的能動作用。同時,學習詞典的“學習性”是為了使學習者獲得好的學習效果并有助于教師提高語言教學效果。因此在線學習詞典評價的主體不應只局限于專家學者,用戶、教師等也應參與到詞典評價過程中才能保證評價結果的權威性、客觀性和有效性。具體而言,各評價主體可依據自身評估優勢有側重地對詞典進行評價。專家學者可借助專業知識評判詞典文本編纂的科學性與規范性,如驗證是否存在循環釋義等問題。教師則基于語言教學經驗評判詞典的學習性,而用戶則基于使用感受可評價詞典客服的友好性、界面的美觀性等。

評價內容的多元化。傳統的詞典評價研究主要是“以文本為中心”,但隨著信息技術的發展和詞典用戶需求的擴大,現如今在線詞典所能囊括的功能、內容等也更為多樣,故其評價內容應不只局限于文本。

評價階段的多元化。在線詞典的編纂和運行是分階段進行的,大致可分為編寫階段、試用前階段、小范圍運行階段、運行階段等,不同階段的評價主體、評價目的、評價方式都應有所不同。

評價方式的多元化?？傮w而言,詞典評價應堅持定性和定量結合的方法。從評價階段上看,編寫階段以詞典編者團體為評價主體,主要以同伴互評的方式監控詞條編寫質量。在試用前階段以非編者的專家學者為評價主體,側重對詞典內容的評價,可采用定量分析法、對比法、綜合分析法等。在運行階段則以用戶、教師等為評價主體,側重對詞典使用效果的追蹤評價,可采用問卷調查法、訪談法、內容分析法等。

最后,我們須知詞典評價的目的不是為了給詞典貼標簽、排名,而是為了促進詞典理論與實踐的進步,引導用戶選擇適合、優質的詞典,指導編寫團隊對詞典的功能、內容等進行優化升級。