融合AI與AR的情景式英語學習資源設計與實踐應用

蔣艷麗 趙瑞斌 鄧玉婷 殷雨潔

【摘 要】信息時代，要推進信息技術與英語學習深度融合，提升初中生的英語口語表達能力。本研究結合人工智能、增強現實技術，基于ADDIE模型、Unity引擎，設計開發初中英語口語學習資源。該軟件不僅實現了人機對話，還能通過AR識別、角色選擇等功能進行情景對話，切實提高學習者對英語口語的學習熱情和興趣，解決初中生英語口語學習困難等情況。

【關鍵詞】AR技術；人工智能；初中英語；資源開發；情景化學習

【中圖分類號】G434? ?【文獻標識碼】B

【論文編號】1671-7384（2024）02、03-130-04

《義務教育英語課程標準（2022年版）》中強調，要推進信息技術與英語教學的深度融合，重視教育信息化背景下英語課程教與學方式的變革，滿足學生個性化學習。教師要努力營造信息化教學環境，為學生搭建自主學習平臺，提高英語學習效率。引導學生樂學善學，根據學生的認知特點，設計多感官參與的語言實踐活動，讓學生在豐富有趣的情境中感受英語的樂趣[1]。增強現實技術和人工智能應用于英語口語教學可以為學生提供情景化、個性化、互動性強的學習體驗，幫助學生更有效地提升英語口語能力。它們不僅可以提供實時的反饋和指導，還可以創造出有趣的學習環境，激發學生的學習興趣和動力。

技術背景

近年來，以增強現實技術、人工智能等為代表的新興技術正推動著教育領域的新一輪變革，展現出了在學科融合方面的巨大潛力。增強現實（Augmented Reality， AR）是一種3D技術，能實時融合物理世界和數字世界，通過圖形計算和對象識別技術來增強用戶對現實世界與虛擬對象的可視化[2]。它具有以下特點：一是虛實結合，即將虛擬環境與現實環境結合；二是實時交互，即跟蹤用戶動作和環境變化，實現用戶與虛擬對象的即時交互；三是增強現實感，即疊加虛擬對象在現實場景中，提供更直觀、更豐富的信息，增強用戶對現實世界的感知和理解；四是多感官體驗，即除了可以通過視覺呈現虛擬對象，還可以結合聲音、觸覺等多種感官，提供更加沉浸式的用戶體驗。AR應用于各種領域，如教育、工程、醫療等，為用戶提供更實用、更便利的服務和體驗。AR技術彌合了虛擬世界和現實世界之間的差距，為教學和學習開辟了新的途徑，并對教育領域產生了重大影響[3]。

在英語口語學習中，AR技術可用于以下幾個方面：一是虛擬角色和場景，學生可以與虛擬角色進行對話，提高口語表達能力。虛擬場景可以模擬真實情境，讓學生在不同情境中練習口語。二是虛擬實驗室，學生可在虛擬實驗室中進行口語實踐，如模擬訪問國外的商店或餐廳，提高實際口語應用能力。三是交互式教材，通過AR技術將教材中的圖片、文字等轉化為虛擬內容，讓學生通過觸摸或手勢與之互動，增加學習的趣味性和參與度。

人工智能（Artificial Intelligence，AI）技術是一種模擬和模仿人類智能的技術，主要包括機器學習、自然語言處理、計算機視覺等幾個方面，可以實現自主決策、學習能力、大數據處理和自然語言處理等功能，為人類提供了更智能、更高效的解決方案和服務。在教學領域，人工智能可以通過語音識別、自然語言處理等技術，為學生提供個性化的學習支持和反饋。如在英語口語教學中，AI可用于語音識別和評估，幫助學生進行口語練習，糾正發音錯誤，提高口語流利度。人工智能系統還能根據學生學習情況和需求，提供個性化的輔導和反饋，如推薦適合的學習材料和練習內容。最后，AI能實現智能對話和互動，模擬真實對話情境，幫助學生提高口語表達能力和自信心。

我國英語口語教學現狀

我國初中英語口語教學存在以下問題：首先是教學方法單一。大部分學校仍然以傳統教學方式為主，教師對口語的重視程度不夠，只注重課堂講解和學生的聽寫、背誦等機械性的活動，缺乏互動和實際口語練習。其次是學生口語練習機會不足。由于課堂時間有限，學生的口語練習相對較少，缺乏實際口語練習的機會，導致口語表達能力的欠缺。最后是很多學?？谡Z教學缺乏真實的語境，學生只在教室中進行口語練習，缺乏與外語環境的接觸和實踐，導致學生學習動力不足、興趣不高，不能夠積極主動地參與口語練習活動。

情景化學習理論認為，學習不僅僅是知識的傳遞，更是一種社會參與和實踐的過程。通過參與真實的情境和社會活動，與他人進行交流和合作，學生能夠更好地獲取知識和技能，并將其應用于實際情境中。增強現實技術通過將虛擬內容疊加到現實世界中，提供豐富的學習資源和體驗。人工智能進入教學實踐場景，發揮了即時反饋、多角度評價、個性化推薦、資源無限擴展等優勢[4]。AI與AR的深度融合，能夠為學生提供個性化學習、實時反饋、自適應教學、互動體驗、豐富資源和教師輔助等幫助，提升學生的學習效果和學習質量。

英語學習資源開發

ADDIE模型是一種常用于教育和培訓領域的系統化教學設計模型。它由分析、設計、開發、實施和評估五個階段組成，各個階段相互關聯，缺一不可。本研究以ADDIE模型為指導，融合AR和AI開發初中英語口語學習資源，為學生提供一種交互式和情景化的學習體驗。該學習資源以譯林版英語教材——八年級上冊第五單元“Wild animals”為例，以野生動物為主題進行AR設計開發。

1.功能設計

考慮到像微軟HoloLens和HTC Vive這樣的設備成本更高，我們的學習資源基于平板和手機等移動端進行設計?；谇捌谡{研分析，完成學習活動、增強現實應用場景、學習資源功能等設計，具體功能設計包括單詞、AR識別、跟讀三個模塊（圖1）。在這三種學習模式下，學生自主選擇相應單元學習。并且可以選擇不同單元（Unit1-Unit8）。在單詞模塊可以跟讀單詞，糾正發音。跟讀模塊中學習者同樣可以自由進入不同單元學習、跟讀以及對話。本學習資源重點在AR識別模塊，此模塊能夠還原Unit5“Wild animals”動物園場景，學習者在AR環境下體驗與虛擬人物交流，任選角色與虛擬環境進行交互，點擊虛擬場景中動物可進行旋轉、縮放，對課本知識有更深刻的理解。

2.開發與實現

我們使用3D Max、Unity游戲引擎和Vuforia插件開發學習資源。3D Max是一種專業的3D計算機圖形程序，用于創建動畫模型和虛擬環境。Unity是一款跨平臺的游戲開發引擎，可用于創建高質量的游戲和應用程序。Vuforia是一個增強現實開發平臺，允許在Unity引擎中創建基于圖像識別的AR應用程序。通過使用Vuforia插件，可以將虛擬內容與現實世界疊加，并實現與虛擬對象的交互。以上工具的選擇為Unit5“Wild animals”主題開發學習資源提供了保障。結合C#語言和語音識別技術等AI技術，應用于AR程序，有望提高AR系統的靈活性和有效性。

（1）AR

在英語口語學習資源中，使用Unit5“Wild animals”單元首頁（圖2）作為AR標記來啟動AR場景。開發過程主要依賴于Vuforia插件，該軟件可以在移動設備上創建交互式的AR應用程序。通過Vuforia開發AR學習資源，將虛擬內容與真實世界結合，提供沉浸式和互動的學習體驗。學生可以通過觀察、操作和探索虛擬對象，深入理解學習內容，并應用所學知識。具體原理如下：一是圖像識別。Vuforia使用計算機視覺技術實現圖像識別，開發者提供目標圖像作為AR場景的觸發器，可以是書籍封面、海報、物體等。Vuforia分析攝像頭捕捉到的圖像，識別目標圖像。本研究開發目標圖像如圖2所示。二是坐標追蹤。Vuforia識別目標圖像后，追蹤其在攝像頭視野中的位置和方向。開發者可以將虛擬對象與目標圖像對齊，使其在現實世界中出現。三是虛擬對象渲染。Vuforia支持3D模型、視頻、音頻等虛擬對象。根據目標圖像的位置和方向，Vuforia將虛擬對象準確地放置在AR場景中。四是交互和反饋。Vuforia支持用戶與虛擬對象交互的功能。開發者可以定義觸發事件，如點擊、滑動等，觸發虛擬對象的動作。Vuforia還提供反饋信息，如虛擬對象上的標記或提示，引導用戶學習。

（2）AI百度語音識別

為了將AI更好地融入學習資源中，使用百度AI中的語音識別功能進行開發。百度AI是百度公司推出的人工智能平臺，其語音識別技術基于深度學習和大數據技術，通過對大量語音數據進行訓練和模型優化，實現高準確率的語音識別功能，能將人類的語音輸入轉化為文本輸出。本學習資源中學生在與虛擬環境角色對話過程中可自動識別對話內容?；赨nity開發引擎的百度AI語音識別主要是通過SDK提供的接口與百度AI語音識別服務進行通信，實現將音頻數據轉換為文本的功能。通過配置認證信息、創建識別器和獲取識別結果等步驟，可以完成語音識別的整個過程。其具體流程如下。

先是導入SDK：在Unity項目中導入百度AI語音識別的SDK，提供與百度AI語音識別服務通信的接口和方法。然后配置認證信息：在代碼中配置認證信息，包括App ID、API Key和Secret Key，可在百度AI開放平臺上創建應用獲取。接著創建識別器：使用SDK接口創建語音識別器對象，與百度AI語音識別服務進行交互。之后設置參數：創建識別器后，設置參數如語言類型、采樣率、音頻格式等，影響語音識別結果。獲取音頻數據：通過麥克風、文件或網絡流方式獲取音頻數據，可使用Unity API或第三方插件實現。傳輸音頻：將待識別的音頻數據傳輸給語音識別器對象，調用方法將音頻數據發送到百度AI語音識別服務進行識別。獲取識別結果：等待百度AI語音識別服務返回識別結果，通過回調函數或輪詢方式獲取。最后處理識別結果：對識別結果進行處理，如文本分析、語義理解等后續操作。

AR和AI的有效結合有助于開發者創建更具沉浸感和吸引力的移動應用，使學習變得更加有效。雖然AI和AR是不同的技術，但它們可以在各種應用程序中相互協調，可以利用彼此的最佳功能和特點，創造出令人驚嘆的移動體驗。

（3）功能實現

AR掃描：從主界面（圖3）點擊進入AR識別模塊，掃描單元首頁（圖2）啟動AR場景，學生根據自己的學習安排選擇相應的角色，進入AR場景進行對話練習。

情景學習：情景化學習理論強調學習的情景化和真實性。該理論認為學習應該在與實際應用相似的情景中進行，以便更好地將學習的知識和技能應用于實際情境中?；谇榫盎碚?，在學習資源“Wild animals”設計中，以野生動物為主題，為了更好還原野生動物場景，讓學生在較為“真實”的情景中學習，先用3D Max構建動物園及動物模型，并將英語學習虛擬場景以FBX格式導入Unity中。在動物園中，學生不僅能仔細觀察課本涉及的動物，加深對課本知識的理解，還能置身于真實的語言情境中，模擬實際對話交流的場景。這有助于學習者更好地理解和應用所學的語言知識。

角色互換－機器對話：在情景式體驗“野生動物”主題中，不僅能近距離觀察野生動物，還為學習者提供不同角色（Millie和 Simon）選擇對話。通過角色互換對話，學習者可以扮演不同的角色，練習不同的語言表達方式，從而增強他們的語言表達能力和流利度。這種學習方式可以激發學習者的學習動機和興趣，因為他們可以通過扮演不同角色來體驗不同的身份和情感體驗，從而更深入地參與學習。同時，該學習資源可以根據學習者的水平和需求進行個性化的設置和調整，提供個性化的學習體驗。這種個性化學習體驗可以更好地滿足學生的需求，優化學習效果。

語音識別：AI語音識別技術與AR的有效融合，為學習者提供了更加智能和便捷的交互體驗。通過語音識別技術，用戶可通過語音與AR應用交互與控制。在“英語口語學習資源”中，用戶可以通過語音和場景人物對話交互。當然，這一部分也是正在開發和將要完善的重要功能。

實踐應用

將所開發的學習資源應用于初中學校的學習環境中。本次實踐選擇在徐州市某中學八年級某班級展開，共有47名學生參與。在實驗開始前，給學習者講解使用方法和流程，并分發相關學習材料，包括平板、手機、耳機、課本等。學生學習結束后，以問卷和訪談的形式收集數據。數據包括學生使用學習資源后的學習態度、學習滿意度、認知負荷和系統可用性四個方面。

通過評估學生的口語表現、學習成果和用戶滿意度以及對系統性能和效果的評估，確定是否需要進行改進和修改，以提高學習資源的質量和效果。實驗表明大部分學生的學習興趣有所提升，學習滿意度較高，對系統可用性的評分也較高。部分學生也給我們提出了軟件進一步改進的意見，比如在單詞模塊最好也加上語音識別功能等。下一步我們會根據學生的意見和建議進一步修改，提高學習資源的質量。

英語口語學習資源是一款融合AI和AR的移動學習軟件，可實現通過虛擬場景和交互式模擬，提供真實的口語訓練體驗。為學生提供更加個性化和互動性的學習體驗，提升學生的學習效果和體驗，提高口語表達能力和自信心。本研究學習資源的設計開發旨在結合教材，運用AR和AI解決初中生英語學習過程中缺乏真實情景、學生興趣低等實際教學問題。接下來，我們會根據教師和學生的建議進一步完善學習資源功能。

注：本文系2022年江蘇師范大學科研與實踐創新計劃項目“VR促進STEAM教育的主要路徑及典型應用研究”（項目編號：2022XKT1497）的研究成果

參考文獻

中華人民共和國教育部. 義務教育英語課程標準（2022年版）[S]. 北京：北京師范大學出版社，2022.

Azuma R T. A survey of augmented reality[J]. Presence： teleoperators & virtual environments， 1997， 6（4）： 355-385.

Wu H K， Lee S W Y， Chang H Y， et al. Current status， opportunities and challenges of augmented reality in education[J]. Computers & education， 2013， 62： 41-49.

安欣，沈希，周穎，等. 英語教師視角下人工智能與教學的融合發展：機遇、挑戰與提升路徑[J]. 現代教育技術，2023，33（2）： 71-79.

作者單位：江蘇師范大學智慧教育學院

編? ?輯：徐靖程