生成式人工智能及其教育應用的基本爭議和對策

苗逢春

（1. 北京師范大學 互聯網教育智能技術及應用國家工程實驗室，北京 1000875；2. 聯合國教科文組織總部，巴黎 75007）

2022 年11 月，美國開放人工智能研究中心（OpenAI Artificial Intelligence Research Center INC，OpenAI）發布了第三代聊天生成式預訓練轉換模型（Chat Generative Pre-trained Transformers，ChatGPT）—ChatGPT-3，開啟了生成式人工智能（Generative AI）從研發轉向商用和民用的新歷史時期。在ChatGPT 發布近一年時間里，其引發的影響及管制反彈主要體現為四個方面。1）壟斷與多元。OpenAI、谷歌公司和Meta 公司的生成式人工智能平臺形成了貫穿基礎模型、網絡基礎設施和文圖音視內容加工等領域的垂直壟斷。同時，其他大型公司和開源大模型社群等發起了基礎模型開源化、平臺選擇多元化、語言文化多樣化的研發追趕與生態布局抗衡。2）應用與替代。生成式人工智能在商業領域迅速推廣，引發相關行業工作崗位快速自動化。3）爭議與治理。生成式人工智能的安全和倫理威脅從理論憂患浮現為實際法律案例，形成堅信其積極變革潛力和憂慮其潛在人文威脅之間的對立，加速中國、美國、歐盟等國家和經濟體的針對性立法。4）愿景與現實。迅速涌現的生成式人工智能正在顛覆和變革教育等社會服務領域，但與該技術對本土學生尤其是未成年人的教育適用性和實用性的理性研判之間存在明顯斷層。其中，社會各界對生成式人工智能可能引發的安全及倫理憂患眾說紛紜、莫衷一是。聯合國教科文組織2023 年9 月發布的《生成式人工智能教育與研究應用指南》（簡稱《指南》）（Miao，2023）首次在對該類技術的工作原理進行溯源的基礎上，系統總結了八個有關生成式人工智能的基本爭議，進而揭示了爭議對生成式人工智能教育應用的根本影響?！吨改稀丰槍π缘靥岢鰬獙@些基本爭議的公共治理策略、生成式人工智能教育應用的政策和引導主體適用的人機互動應用的實踐框架。

本研究是對《指南》的第二篇解讀，聚焦于系統總結和剖析生成式人工智能及其教育應用的基本爭議，并針對這些爭議的起因和責任主體提出治理對策和實踐應用建議。本研究的相關解讀基于三個相互關聯的基本假設：第一，人工智能科技創新、人工智能的安全可信性、包容平等的社會應用不應成為三難悖論（trilemma），人類應追求三維同頻共振；第二，生成式人工智能對全社會及教育平等與包容、學習主體能動性、價值觀及語言文化多樣性、知識建構的多元性等教育核心價值的威脅最為直接和深入，這些核心價值應成為考證生成式人工智能教育適用性的邏輯起點；第三，生成式人工智能的教育應用應遵循“優先管制、確保包容、引導應用”的邏輯。

一、爭議的技術起因

對生成式人工智能教育應用爭議的討論須以其工作原理、技術缺陷及其對社會的顯性和潛在影響為依據。

（一）生成式人工智能工作原理及其訓練用數據來源和語言分布

《指南》從人工智能對人類思維表征符號系統模擬的角度界定生成式人工智能：生成式人工智能是基于人類思維符號表征系統表達的提示工程（prompt engineering）自動生成內容的人工智能技術。生成式人工智能技術對借助各類符號表征系統呈現的內容進行模式識別和內容生產方面的性能日益強大，目前已能貫通文字、語音、聲音、圖像、視頻、計算機編碼等格式進行模式識別，并借助上述符合表征系統生成新內容。文本生成式人工智能使用人工神經網絡技術的通用文本轉換器，通常被稱為“大語言模型”（Large Language Model），是一種利用從互聯網網頁內容、社交媒體對話和其他在線媒體收集數據進行訓練的內容生成深度學習模型。文本或語音生成式預訓練轉換模型，可以對訓練用數據集的各類句法模式進行識別和學習，然后經過反復訓練、測試和優化，獲得根據提示、通過重復執行事先確認的模式生成內容或提供答案的能力。其關鍵技術環節包括：1）將提示指令分解為人工智能可處理的文本最小單位字節（token）后，輸入到生成式預訓練轉換器中；2）轉換器根據從訓練數據集中確認的語言模式，預測特定單詞或短語在特定語境出現的概率，通過統計模型預測的擬合度組合為連貫反應的詞語及其連綴方式（即句法），并借此預測后續最有可能使用的單詞或短語；3）將預測產生的單詞或短語轉化為可閱讀的文本（或可理解的聲音）?？衫斫獾奈谋净蚵曇艚涍^“護欄技術”（guardrails）過濾明顯違法或不合標準的不良輸出，并通過處理技術提高句法的擬人化程度和可理解性。上述過程不斷循環重復，直到完成一個完整的響應。

圖像或音樂生成式人工智能多采用生成對抗網絡（generative adversarial networks，GANs）人工神經網絡技術，并可與變分自編碼器（variational autoencoders）技術結合使用。也有圖像生成式人工采取擴散模型（diffusion models）等無監督生成模型。例如，生成對抗網絡模型由兩個對抗器組成，即生成器（generator）和判別器（discriminator）。生成器針對提示識別圖像或音樂要素組合模式并生成隨機圖像或音樂片段，判別器對比生成的圖像或音樂與真實圖像或音樂（或范例）之間的擬合度。生成器隨后根據判別器的對比結果調整其使用的參數以便生成更優化的圖像。通過千百次不斷的迭代訓練，生成器創作的圖像或音樂越來越逼真。

生成式預訓練轉換器的功能依賴于模型架構、訓練方法和預訓練數據集的質量、數量和模型使用的參數。其中，參數是決定人工神經網絡系統如何加工輸入和產生輸出的數值，它通過界定訓練中的數據對模型的內容要素進行編碼。參數的定義和數量決定預訓練轉換器的性能和應用表現。GPT-3 使用了約1750 億個參數，而GPT-4 使用的參數據稱達1.8 萬億。從模型架構的成熟度、所用的參數規模、內容處理和生產能力、語言覆蓋范圍等方面考量，占全球壟斷地位的大模型包括OpenAI 的ChatGPT 系列產品、Meta 公司的 “羊駝”大語言模型（Alpaca）和 Meta 大語言人工智能模型（簡稱Llama 大模型）、谷歌公司“詩人”大語言模型（Bard，基于谷歌的PaLM2 基礎模型）和“雙子座”多模態大模型（Gemini）。已有生成式人工智能模型的訓練用數據集主要包括通過爬蟲軟件讀取互聯網網頁信息、社交媒體對話信息、在線圖書館圖書資料和互聯網百科類平臺的百科內容。以ChatGPT-3 為例，其訓練用文本數據（即語料）約1 TB 左右（（即語料）約1 TB 左右（Thompson,2023），主要來源包括：自2012 年以來持續通過“網絡爬蟲數據集”（common crawl）從互聯網收集的數據，約占數據總量的61.75%；通過“紅迪”電子布告欄（Reddit）收集的點贊數超過3 個的社交媒體發帖和討論數據，約占18.86%；兩個在線圖書平臺（Library Genesis 和Smashwords）的在線圖書，約占15.9%；維基百科數據，約占3.49%。目前壟斷性生成式人工智能模型的訓練用數據集以美國和歐洲國家的語言為主。在ChatGPT-3 的訓練數據集中，英語語料約占92.65%，歐洲各國語言占比超過5%，漢語語料占比不到0.1%。Meta 公司開發的Llama 2 語料中，英語占比有所下降但仍占89.7%，其他占比排前15 的語言幾乎沒有改變，漢語語料占比為0.13%（Touvron et al., 2023） 。預訓練用數據集和參數的幾何級數增長要求超算能力同步加速。在超級計算支撐方面，從2012 年到2019 年，用于生成式人工智能模型訓練的算力的翻倍周期為3～4 個月（Stanford University，2019）。

（二）生成式人工智能在內容處理范疇的集成性技術躍遷與潛在技術范疇瓶頸

生成式人工智能在多種深度學習技術中的綜合應用、模型架構的優化、所用參數以千億級為基點的持續細化、訓練用數據的跨平臺動態挖掘與疊增、處理海量數據和參數所需計算能力的周期倍增等核心技術和支撐技術領域都取得了集成性的突破。這種集成性技術突破在技術和實踐領域產生了“逃逸效應”（runaway effect，又譯為“失控效應”）。首先，生成式人工智能的近期成果表現為人工智能技術在跨符號表征系統數據加工和呈現方面的突破，提升了人類挖掘技術能力，由此加速了人工智能芯片、超算技術、數據加工模型等全領域的技術研發。鑒于其基礎性技術突破和影響，斯坦福大學學者2021 年提出的“基礎模型”（foundation models）概念已被廣泛接受（Bommasani,2021）。其次，生成式人工智能已引發網絡瀏覽器和網絡搜索引擎等數字基礎設施的全面升級，成為最底層國家數據安全和個人數據隱私保護的核心控制節點，并將引發數字管制政策和數字安全設施的全面升級。再次，生成式人工智能為直接和間接以內容生產和內容綜述為目的的經濟和社會領域提供了提高生產效率的基礎工具，將引發大規模的生產方式變革。但生成式人工智能對教育等不以內容生產為目的的行業的效能提升和行業變革能力會有極大的局限性。

從可知的技術路線分析發現，生成式人工智能采用的人工神經網絡技術取得的成就皆屬統計曲線擬合，它不同于人類結合時間、地點和因果關系等的推理智能（Pearl, et al., 2018）。如果生成式人工智能所代表的深度學習技術路線是對人類智能問題解決進行可計算性模擬的正確路徑，那么其持續的迭代突破將會產生超越內容加工范疇的通用人工智能逃逸效應，即積蓄足夠的技術勢能后會全面趕超人類智能的奇點并進入通用人工智能，進入相對脫離人類控制的發展軌道。但據目前可知的基礎模型工作原理，生成式人工智能的底層技術似乎還停留在內容綜述、借助符號表征系統的內容加工和格式轉換范疇，尚未進入模擬人類理解力的技術路線，仍屬“范疇性錯誤”（a category mistake）（Bishop，2021）。目前取得的技術突破是否屬于范疇錯誤瓶頸前的技術性能躍遷有待觀察。

二、生成式人工智能的基本爭議

生成式人工智能的基本爭議本質上屬于人機互動引發的人文憂患，本研究從人機互動的技術和人文兩個維度解析。其中，技術維度是人工智能系統生命周期的主要環節，主要包含以下向度：數據的產生與保存、數據及數據設備的訪問權與控制權、基于數據與算法的預測與決策影響的外顯行為、智能人機界面及智能設備等實體人工智能。人文維度即人類借助技術以個體存在、社會交往、國家治理以及人類與生態系統互動等的多層次人文活動，主要包括以下彼此關聯的向度：人類個體、人與人互動的群體、以主權國家形式存在的人與人關系體、人與環境及生態系統的互動（苗逢春，2022）。在大面積推廣使用該技術前，使用者有必要從其訓練數據采集、數據使用、基礎技術架構、基于模式識別的內容輸出等方面加以分析，研判對個體、社會和國家的現實威脅和潛在影響。

（一）數據生產力挖掘爭議：數據貧窮和數字貧窮惡化

中共中央、國務院（2022）頒布的《關于構建數據基礎制度更好發揮數據要素作用的意見》是人類進入數據財產和數據產權保護時代的法律標志。從此視域出發，生成式人工智能對個體和商業數據的免費采集使用并借助基于數據訓練的技術產品進行商業謀利，會將原本潛藏的數據生產要素跨國跨行業價值挖掘爭議推向前臺。

訪問和應用高質量數據、隨時生產高質量在線數據和轉化數據的能力已成為人工智能時代支撐國家經濟發展和個體獲得數字發展機會的基本條件。故而，缺乏數據訪問機會、不具備數據挖掘所需的技術能力和超算能力的國家或不具備數據應用支付能力的個體將處于“數據貧窮”（data poverty）（Marwala, 2023）的境地。生成式人工智能提供商基于免費數據訓練基礎模型和借助訓練成熟的模型提供有償服務的數據剝削生產方式會加劇數據貧窮的惡化。生成式人工智能對數據生產要素的挖掘依賴于三個必要條件：人工智能架構設計和訓練方法的迭代創新、海量數據集和超級計算能力。目前全球僅美國、中國和歐盟或極少數超大型數字技術公司同時具備參與基礎模型競爭所需的必備條件，數據貧窮國家在生成式人工智能領域的差距迅速拉大并被排斥在基礎模型核心研發圈外。生成式人工智能的跨領域普及加快了人工智能領先國家和公司數據生成和技術迭代的速度，成為加速數字鴻溝惡性循環的底層技術成因。

逆轉數據貧窮惡性循環的當務之急，是從國家層面解析和補足轉化數據要素生產所需的各層次短板，基于下述“數據貧窮成因分類目錄”解構和配給轉化數據生產所需的各類生產要素：大數據生產所需的互聯網普及率、全民數字素養普及率、數據流量成本可承受性、人工智能創新人才儲備和創新激發機制、人工智能芯片及超算能力的可及性和性能、借助本地或國際可信數據訓練本地模型的能力等。針對該爭議的延伸問題是：如果跨國生成式人工智能提供商從低收入國家搜集使用的數據達到一定規模，是否應通過征收數據使用稅等國際立法措施平衡數據生產要素剩余價值的分配機制？在具體立法方面，如何界定和追蹤數據要素的使用量、如何計算數據生產剩余價值及其稅收標準、如何在鼓勵技術創新和保護數據貧窮人口基本利益方面取得平衡等問題，都將是國際數據要素治理的前沿難題。

（二）服務轄區內治理爭議：生成式人工智能服務轄區內治理失控

生成式人工智能系統的跨境服務應接受其服務覆蓋區域當地政府治理機構的管制，但生成式人工智能基于技術不透明的跨境服務已引發治理領域的多重爭議。首先，壟斷生成式人工智能系統提供商拒絕向獨立學術機構提供基本的透明性資料并接受基本學術評估（Bommasani, 2023）。其次，生成式人工智能的基礎性技術多受以美國為主的提供商所在國知識產權保護而不向其服務覆蓋的國家開放，導致已有用戶所在國家在管制技術系統和應用實踐安全性方面面臨極大挑戰（Lin, 2023）。第三，盡管有專家呼吁暫緩生成式人工智能的研發并謀求與公共治理機制同頻共振，但資本驅動的人工智能研發迭代節奏遠超各國監管法規的起草速度，對各國治理機構應對相關法律和倫理憂患提出了技術不對等的巨大挑戰。

各國生成式人工智能的治理呈現梯度性制度缺失和滯后：1）通用數據隱私保護法尚未形成覆蓋全球的完整圖譜。截至2023 年7 月，全球只有137個國家制定并頒布數據隱私保護的法律框架，近三分之一的國家無基本數據隱私保護法（UNCTAD，2023）。2）整體性國家人工智能戰略缺失?！吨改稀奉C布前，約67 個國家制定了國家人工智能戰略規劃?！吨改稀奉C布后，盧旺達和多米尼加共和國發布各自的人工智能戰略。3）國家人工智能倫理治理框架制定滯后。調研發現，截至2023 年7 月，全球僅約40 個國家制定了針對人工智能倫理治理的相關政策。4）應對生成式人工智能的立法無力。調研發現，截至2023 年7 月，針對生成式人工智能技術合成內容作品能否受知識產權保護進行論證并提出明確管理意見的只有中國、美國和歐盟三個國家或經濟體。在《指南》發布前，只有中國制定并發布了《生成式人工智能暫行管理辦法》。此后，美國政府2023 年10 月底發布了《關于安全有保障和可信地開發與使用人工智能的行政命令》（The White House, 2023）。歐洲議會2023 年7 月啟動《人工智能法案》的起草和談判程序，并于2023年12 月通過全球最具有法律綁定效力的人工智能管制法律（European Parliament, 2023）。

（三）預訓練數據版權爭議：未經許可使用內容訓練模型

生成式人工智能在搜集和使用訓練用數據集方面存在未經許可使用個體或機構數據以及版權保護內容的巨大爭議。

如前所述，生成式人工智能模型主要基于數據爬蟲軟件從互聯網爬取的文本、聲音、計算機代碼、圖像等數據集訓練。已有壟斷性大模型在爬取數據時大多未事先取得個體和機構的許可，易引發廣泛且深刻的知識產權爭議和法律糾紛。這種行為已被控違反了包括歐盟《公用數據保護條例》（European Union，2016）在內的數據保護法，已進入法律訴訟的案例集中在新聞媒體行業。2023 年10 月底，代表2200 多個新聞出版個體和組織權益的美國新聞媒體聯盟指控ChatGPT 借助爬蟲軟件，爬取數以百萬計的付費新聞報道和報告作為訓練語料，但未征得版權擁有者許可，并通過法律程序要求Crawl Common 刪除非法搜集的內容（Robertson, 2023）。生成式預訓練模型未經數據擁有者許可使用網絡數據的做法被進一步質疑侵犯了用戶的“數據遺忘權”，即數據擁有者有權要求有關產品和平臺刪除未經許可搜集的數據。但在基礎模型研發領域，一旦用戶數據被基礎模型用作訓練轉換器，已生成的模型從技術上不存在反學習（unlearning）的可能性，不可能從平臺輸出中刪除基于用戶數據的深度學習結果，包括反映數據擁有者觀點、語言文化習慣等特征的應答（Zhang, 2023）。

（四）模型架構解釋性爭議：使用不可解釋的模型生成內容輸出

生成式人工智能采用的人工神經網絡模型一直存在模型架構“黑盒”的缺陷，在人工神經節點的節點數和節點層數、參數定義及其計算方法等方面不可解釋，這一爭議在生成式人工智能的近期突破中得到放大。盡管生成式人工智能包括算法在內的總體技術路徑具有一定的可解釋性，但難以解釋具體模型尤其是模型的具體參數及其在決定內容輸出中的權重。GPT-4 等基礎模型，通過數以十億級的參數及其權重界定復雜學習過程識別模式并決定基于模型識別的應答輸出，導致難以解釋某一預訓練模型為什么生成特定的輸出?；A模型的主要迭代路徑仍依賴參數數量和模型架構復雜性的增加，其不可解釋性問題會更加嚴重。

基礎模型客觀存在的技術不可解釋性與提供商不愿公開必要技術指標的主觀行為相交織，給監管機構和獨立研究人員檢測模型的有意風險和無意危害造成難以克服的障礙。斯坦福大學針對基礎模型的核心技術要素研制了基礎模型透明性指數（Bommasani, 2023）。該大學基于該指標體系對十多個主流基礎模型的透明性作了綜合評估。其中，三個主要壟斷性生成式人工智能基礎模型的透明性得分見表1?；A模型的不可解釋性和風險的不可檢測性導致其產生錯誤時無法追溯原因且無法通過透明機制評估和防范風險。為此，有專家建議不能將生成式人工智能用于高風險任務。

表1 生成式人工智能平臺透明性得分

（五）基礎模型理解力爭議：生成式人工智能不理解語義和真實世界

生成式人工智能借助概率對文本上下文進行模式識別，根據句法規則生成文本內容。但因其不理解語言的語義（semantics），容易生成關于事實性、史實性甚至科學性錯誤輸出內容幻象（hallucination）。根據代碼托管平臺GitHub（2023）基于英文問答的測算，ChatGPT 系列平臺的出錯率在3%～3.5%區間，Llama 系列平臺出錯率為5.1%～5.9%，谷歌PaLM 平臺出錯率為12.1%?；谥形牡绕渌Z言的出錯率應顯著高于這一范圍。缺乏堅實基礎知識的未成年學生通過與生成式人工智能平臺的獨立對話開展學習，會將學生置于一種基于不確信內容開展學習的爭議境地。這一局限意味著基于目前技術的生成式人工智能不能被用作可靠的教學內容來源。此外，生成式人工智能也不能借助句法理解文本和圖像等格式背后的現實世界、物體及其關系、人類和社會關系、人與物體的關系或人與技術的關系的真正意義。迄今為止，人類主要的科學發現方法主要是基于對真實世界的觀察、科學實驗和科學推理。生成式人工智能主要基于對已有文獻的綜述生成新內容，除非用戶基于自身能動性并借助人工智能輔助發現知識，否則生成式人工智能不能輸出新知識。依據目前各主要國家的版權保護法，生成式人工智能生成的內容并不被認可為“知識”。與此關聯，現有基礎模型為現實世界的具體復雜挑戰提供有針對性或創新性的解決方案方面表現不佳（Candelon, 2023），更不能作出社會價值判斷。故而，目前生成式人工智能尚不能脫離人類教師成為引導學生復雜知識學習和結構不良問題解決的獨立導學系統。

上述技術局限會限制生成式人工智能變革教育的正面支持價值。生成式人工智能的現有技術性能在基礎性教育內容提供、高階思維和復雜問題解決過程導學、價值觀引導或育人實踐等領域可提供的變革性影響有限。目前，生成式人工智能對教育變革的作用似乎更多體現在通過逆向挑戰學習結果和評價方式倒逼教育改革：生成式人工智能提高了內容加工的自動化程度和防偽難度，降低了低階內容綜述和作品制作作為核心學習結果的必要價值。處于低水平思維階段的基本拼寫和句法、文獻綜述報告、演示文稿制作、低階藝術作品制作等在形成性評價和低利害性考試中的占比降低，將會倒逼教育系統重新界定學習結果的側重點和相應的評價方式。

（六）生成性信息污染爭議：技術合成內容污染互聯網

生成式人工智能輸出和傳播的內容對互聯網的污染體現在以下兩方面。

一方面，生成式人工智能存在通過生成和傳播不良內容、污染互聯網信息的爭議。目前基礎模型訓練均從互聯網提取訓練用數據集，充斥互聯網的有害信息、錯誤信息、歧視信息、憎恨言論等會被轉換成有害信息再次輸出并通過互聯網二次傳播，會對不同年齡學習者造成難以逆轉的污染。

另一方面，被機器合成內容污染的互聯網會影響后續基礎模型的培訓。優質的深度學習模型依賴于人類產生的高個性化數據，它通過從人類創造和使用的差異性表達方式中識別和學習高差異化的句法和模式，以維持機器的深度學習進程并生成帶有模式差異的輸出。生成式人工智能大規模生成的內容經互聯網的二次傳播導致后續的基礎模型不可避免地從其先前生成的內容中學習。在基于技術自身生產的數據開展訓練的進程中，已有統計模型的高概率事件會被過度高估、低概率事件會被過度低估，導致訓練用數據集中低概率事件的（統計曲線）長尾逐步消失。而訓練數據的小概率長尾在提高內容輸出的準確性和差異性方面具有重要價值，其消失導致的模型過于強化先前識別的模型會引發模型的性能衰退，主要表現為越來越多地生成與機器合成內容趨同而非擬合現實內容的同質應答，出錯率上升，最終可能導致模型坍塌。這對后續的基礎模型開發者提取優質互聯網訓練數據提出更大的挑戰（Lutkevich, 2023）。

（七）生成性價值觀投射爭議：同質化輸出內容的價值觀和語言文化壓制

生成式人工智能輸出內容的趨同性價值觀投射會壓制數字弱勢群體和教育領域知識建構的多元性和多元化觀點表達。

如果一個字符串在訓練用數據集中頻繁出現，轉換器傾向于在其輸出中重復這些字符及其連綴成的語句。ChatGPT 等壟斷性基礎模型采用的歐美數據集中表達的共識性觀點、主流信念或主流媒體主導性觀念等都會被識別為與這些價值觀和語言文化習慣擬合的“標準答案”輸出，從而形成越是互聯網強勢價值觀和語言文化習慣越會在生成式人工智能輸出中得到強化的反饋閉環。如果不辨析生成式人工智能平臺所用訓練數據集的文化和語言來源，大量盲目采用當前壟斷性基礎模型，會強化美歐價值觀及其文化刻板印象。例如，醫學領域對ChatGPT-3、ChatGPT-4、詩人大模型和Anthronopic 公司的Claude 大模型問答結果的大量反復檢測發現，這些基礎模型在回答有關肺活量、估算腎小球濾過率、皮膚厚度、腦容量等客觀醫學問題時，均會生成基于黑人和白人種族刻板印象的偏見性答案（Omiye, 2023）。相反，數據貧窮群體包括邊緣群體中的在線數字化“足跡”稀少，在基礎模型訓練數據集中的占比很小，其價值觀和語言文化習慣無法被基礎模式加工、識別和強化。如果沒有突出語言文化多樣性的本地模型的強勢出現，歐美基礎模型的全球壟斷會危及土著語言和文化的可持續發展和弱勢群體的合法利益（苗逢春，2023）。

另外，過分依賴生成式人工智能尋求“標準答案”或問題解決方案，會導致觀點的趨同性，削弱多樣性創新觀點的建構。波士頓咨詢集團針對750多名被試的研究發現，借助ChatGPT-4 尋求創新方案的被試所形成觀點的多樣性比不使用者低41%，而且被試收到ChatGPT-4 提供的建議后多缺乏增加觀點多樣性的意愿。同時，70%的被調查者認為長期使用生成式人工智能尋求答案會導致人類創造能力的退化（Candelon, 2023）。

（八）助長違法性深偽爭議：助推“更深”的深偽的生成與傳播

生成式人工智能極大地降低了生成違法性深偽（deeper deepfakes）內容的技術和成本門檻，提高了識別深偽的技術難度，助推了違法性深偽的合成與傳播。

生成式人工智能可支持新聞編輯能力低、零音樂和視頻制作的用戶獲得零基礎、零成本制作和發布高仿真深偽內容的能力，包括模仿真人的語言風格生成虛假新聞或網絡消息用以傳播虛假信息、宣傳憎恨言論或詆毀他人，或通過修改和操縱已有圖像和視頻生成難辨真假的偽造視頻非法牟利或達到其他不法目的等。換言之，生成式人工智能也許尚不能為解決人類面臨的公益問題提供有效解決方案，但已為別有用心者借助深偽內容產品達到違法目的提供了低成本便捷工具。根據“2023 深偽狀態報告”（Home Security Hero, 2023）的統計和分析，借助生成式人工智能，只需一張清晰的面部照片，平均不到25 分鐘就可零成本生成一段60 秒長的色情深偽視頻；由于生成式人工智能的助推，2023 年新增在線深偽視頻達近一百萬段，是2019 年的5.5 倍；在所有深偽視頻中，色情類深偽視頻占98%，其中借助女性肖像生成的占99%。

三、管制建議

為應對生成式人工智能引發的上述基本爭議并挖掘其教育潛能，《指南》提出了以人為本的人工智能開發和應用指導原則，并遵循“優先管制、確保包容、引導應用”的邏輯路徑，確保合乎倫理、安全可信、公平包容和富有意義的應用。

（一）以人為本的人工智能治理與應用取向

自2019 年以來，聯合國教科文組織一直倡導以人為本的人工智能研發和應用取向，并通過《人工智能倫理問題建議書》（UNESCO, 2022）、《關于人工智能與教育的北京共識》（UNESCO, 2019）、《人工智能與教育：決策者指南》（Miao, 2022）等多份文獻對以人為本的人工智能的應用取向進行了系統深入的界定。要義如下：人工智能的應用與治理須以人為本，確保人的基本權利、尊嚴和文化多樣性，并追求人與環境和生態系統協調發展的生物中心主義（bio-centred）發展觀；人工智能的開發應以技術服務于人為目的，確保人工智能致力于增強人類進行有效人機協作所需的能力；人工智能系統設計、開發、應用、迭代的全生命周期應以確保人機互動的人類主體能動性為原則，確保人工智能系統及其應用的安全可信性（trustable）、主體和領域適用性（proportional）、可解釋性（explainable）、人類可控性（human-controlled）、人類問責（humanaccountable）（苗逢春，2022）。

（二）生成式人工智能的治理路線圖

《指南》建議制定和實施政府一體化、明確跨領域和行業的主體責權和義務的協同共治策略。

1. 協商跨國通用數據保護法等國際法規

協商和制定跨國互認的通用數據保護法和跨境治理機制是應對轄域內治理失序的必要國際共治前提。歐盟的《通用數據保護法》（簡稱《保護法》）為針對跨境數據服務開展轄域內治理提供了國際法律框架的先例。

2. 制定政府一體化的跨部門、跨領域人工智能發展戰略和倫理共治機制

政府一體化的人工智能發展戰略是保證本國各領域和各部門協同治理人工智能的關鍵機制。其中，人工智能倫理治理機制需清晰界定國家數據主權、機構和個體數據擁有權與隱私等核心權益、合法的數據要素生產關系、人工智能技術開發和應用的核心倫理原則以及基于公共和他人數據生產的人工智能產品剩余價值分配關系等。

3. 研制針對生成式人工智能的專門管理辦法

2023 年7 月，中國發布了《生成式人工智能暫行管理辦法》（簡稱《管理辦法》），是全球首部對生成式人工智能進行服務轄區管制的正式法規。該法規可進一步借鑒《指南》以及歐洲與美國近期的立法舉措，修改完善其中的諸多法律和倫理要點。其中與教育應用息息相關的要點有以下方面：

1）對生成式人工智能的安全風險進行技術分類和分級監管。歐洲議會頒布的《人工智能法案》草案將人工智能系統對人類安全和基本權利等的風險分成不可接受的風險（包括引誘未成年對人工智能聊天平臺產生依賴的技術、情感識別技術、智力和行為預測人工智能等）、高風險、有限風險和輕微風險四類，并針對不同類型采取禁用（禁止開發和投入市場）、重點監管（教育領域屬重點監管領域）、審查監督和行業自律的分級監管措施。

2）未成年人獨立使用生成式人工智能聊天的年齡限制?；诹奶祛A訓練模型會生成不適合未成年人的輸出等安全隱患，《指南》建議各國將13歲設為未成年人獨立使用生成式人工智能聊天服務的年齡下限，并考慮16 歲的更嚴格年齡限制。最近，生成式人工智能的技術服務方式開始實現從基于平臺的聊天服務向手機等個人終端應用軟件的延伸，監管部門和成人將更難監督未成年人的獨立聊天安全隱患?！豆芾磙k法》的修訂需深入研判相關風險，明確對成年人獨立使用生成式人工智能聊天類軟件的多方監管責任。

3）明確其他責任主體的責任和義務?！豆芾磙k法》的具體條款主要針對的是生成式人工智能提供商，而美國的“行政命令”則較為全面地對各類應用機構的集體責任和義務作了界定?！豆芾磙k法》的修訂應明確集中采購和部署生成式人工智能系統的機構在協同審核數據、工具和內容服務合法性等方面的共治職責，并協助開展對用戶尤其是弱勢群體影響的動態監督和評估；在明確機構治理責任的基礎上，考慮個體用戶應用相關技術應履行的法律和倫理責任，包括個體對其潛在威脅和自我安全保障的基本意識和技能、合乎法律法規地使用相關工具和生成內容的知識和技能等。

4）對人工智能生成內容的版權識別和應用范疇界定?！豆芾磙k法》要求“提供者應當按照《互聯網信息服務深度合成管理規定》對圖片、視頻等生成內容進行標識”，歐盟的《保護法》要求明確標注說明人工智能生成的內容。然而，上述三份最有針對性的法律法規均未對人工智能生成的內容產品的合法使用作出清晰界定?！叭绾斡行拗品欠ㄐ陨顐蝺热莸纳珊蛡鞑ァ薄案顿M生成內容產品的用戶對內容的擁有權如何界定和如何保護”“借助生成式人工智能文獻綜述支持人類主導的科研活動與完全違背學術道德或教學紀律的生成式人工智能作弊之間如何劃定界限及如何識別”等都是有待深入研判的監管難題。

四、確保生成式人工智能有效教育應用的政策和實踐建議

《指南》對確保生成式人工智能有效教育應用的政策和實踐提出了詳細建議，要點如下：

（一）確保包容、公平、語言與文化多樣性

生成式人工智能與包容、公平、語言與文化多樣等人本原則的雙向關系包含以下政策和實踐意蘊。1）包容公平的技術使用權和使用機會是借助人工智能促進教育公平包容的前提：應確保無論何種性別、種族、能力水平、社會經濟地位或有無固定居住地的人群都有能包容性地使用人工智能的機會。為此，各國應借鑒前述“數據貧窮成因分類目錄”精準確定缺乏使用人工智能機會的人群及其成因，并采取專項措施補齊短板，縮小數字鴻溝。2）面向不同能力水平和年齡階段終身學習者的包容：通過專項經費開發和推廣有針對性的人工智能技術和工具，滿足有特殊需要和不同能力水平的群體和不同年齡段的學習者的終身學習需要。3）確保數據和技術去偏：生成式人工智能評估體系應該重點考核數據來源和數據預處理、模型設計和輸出內容中的性別偏見、特殊群體刻板印象、邊緣群體歧視、憎恨言論等。4）倡導開發具有語言文化多樣的基礎模型：制定和實施確保生成式人工智能語言文化多樣性的指標體系，確保預訓練數據集、模型架構和訓練方法對少數或土著語言文化的包容性，嚴禁提供商有意或無意從預訓練數據中剔除少數族群的語言和添加帶有語言文化偏見的數據過濾或輸出的后處理技術。

（二）保護主體能動性

由于生成式人工智能性能日益精細并在一定程度上部分替代人類的初級內容加工活動，其教育應用存在壓制人類能動性的可能。借助生成式人工智能工具撰寫論文和提交基礎藝術作品帶來的便利，會誘使學生對借助工具加工外部內容形成依賴。對外部創作的長期依賴會使學生失去鍛煉心智和形成基礎知識、基本技能的機會。為此，保護和增強人類的能動性應是設計和采用任何人工智能技術的核心原則，應堅守生成式人工智能可被用于挑戰和拓展人類的思維，但決不能用來篡越人類思維活動的底線原則?！吨改稀方ㄗh從以下方面界定人機互動的主體性，保護生成式人工智能教育應用的師生能動性：1）明確告知生成式人工智能會搜集和使用的學生數據類型、數據將被如何使用以及相關數據應用會對其教育和社會生活的影響；2）保護學生成長和學習的內部動機，強化人類在基于日益復雜的人工智能系統開展教和學中的決策和行為自主性；3）防止生成式人工智能的使用剝奪學生通過觀察現實世界、實證方法（如實驗、與他人的討論等）和邏輯推理發展其認知能力和社會技能的機會；4）在學習活動中確保學生有足夠的社會互動和接觸人類創作作品的機會，防止學生過度依賴生成式人工智能或成癮；5）在審核并決定是否大規模采納生成式人工智能工具前，充分咨詢研究人員、教師和學生的意見；6）鼓勵學生和教師批判和質疑生成式人工智能背后采用的技術方法、輸出內容的準確性、隱含的價值觀以及對教學方法和過程的潛在影響等；7）師生在借助人工智能作決策和選擇時，應避免將人類的決策責任讓渡給生成式人工智能系統。

（三）審核監控教育生成式人工智能工具與開發本地適用性教育基礎模型

教育生成式人工智能工具的開發和部署在遵循“設計倫理”指導原則的基礎上，應從人工智能系統的全生命周期出發，避免具有潛在技術和倫理風險或不具備對教學適用性的人工智能技術對師生和各類教育主體關系的影響。針對已有生成式人工智能的教育應用，《指南》建議通過以下機制開展審核、準入和全程監控：在準入審查中強化倫理檢測，考核生成式人工智能系統是否有去除偏見尤其是性別偏見的技術和機制、是否采用代表語言文化多樣性的訓練數據集；在給予準入權限前，確保被審查的系統不會對師生產生可預測的傷害，提高教育有效性、針對不同年齡和能力學生的適用性并符合教育機構確認的教學原則（如適用于相關的知識技能類型、預期的學習結果和價值觀培養目標等）；采取有效措施解決數據使用和服務許可授權等難題。例如，針對未成年人和殘障人士等不具備完全刑事能力的主體，如果其被告知數據隱私和安全等風險的前提下被授權使用數據和接受服務的難題等；審查生成式人工智能輸出內容中是否含有深偽圖像、虛假新聞或憎恨言論等不良或非法信息；結合當地的環境影響評估結果，分析生成式人工智能系統教育應用的環境成本，尤其是模型訓練的電耗和水耗等因素。

現有壟斷性大模型對歐美之外其他國家的語言文化適用性較低，在保障對合法國際競爭的前提下，應采取積極自主的開發策略提高教育生成式人工智能的本地適用性；在鼓勵版權自主、安全可控的本國基礎模型開發基礎上，支持基于本地價值觀、語言文化多樣性和本國課程標準的教育生成式預訓練轉換器（EdGPT）或教育大模型的研制、試用與迭代；通過激勵機制鼓勵開發基于本國基礎模型的面向探究性學習和多樣化學習選擇等需求的生成式人工智能教育平臺和應用插件，培育基于本國語言文化多樣性和課程標準、基礎模型與中下游應用軟件同步的教育生成式人工智能生態系統。

（四）培養師生的人工智能能力

培養學生尤其是中小學生的人工智能能力對確保學生安全、符合倫理和有意義地應用人工智能至關重要。截至2022 年中，全球只有約15 個國家制定并通過國家認可的中小學人工智能課程（UNESCO, 2022）。隨著生成式人工智能的迅速推廣應用，培養面向所有人的基礎性人工智能素養（AI Literacy）的需求更加迫切。聯合國教科文組織正在研制的“中小學生人工智能能力框架”，從“能力表現”和“能力層面”兩個維度界定可通過課堂教學和課外課程結合的方式培養的中小學生人工智能能力。能力表現維度包括“人工智能觀念”“人工智能倫理”“人工智能底層技術與應用”“人工智能系統設計”；能力層面維度則從對相關知識、技能和情感態度的“理解”“應用”和“創造”三個方面界定學生的能力表現（見表2）。

表2 聯合國教科文組織中小學生人工智能能力框架（研制中）

與此同時，聯合國教科文組織在組織研制中小學教師人工智能能力框架，旨在引導各國制定相關標準和教師培訓課程以支持教師做好合理應用生成式人工智能的能力準備（見表3）。該框架倡議從以下能力層面界定教師的能力：人本人工智能觀念、人工智能倫理、人工智能基礎與應用、人工智能與教學整合和人工智能支持教師專業發展，并建議從“獲取”“深化”和“創造”三個水平劃分不同能力背景的教師通過培訓可以達到的能力表現。其中，“獲取”水平是預期所有教師經過培訓均能達到的能力表現，包括缺乏人工智能知識技能準備的教師以及技術條件貧乏地區的教師；“深化”水平是預期具有中等先前知識基礎的骨干教師經過培訓可以達到的能力表現；“創造”水平針對在人工智能教育應用方面有深厚的知識技能儲備的教師，預期經過培訓后可以達到專家的能力表現。

表3 聯合國教科文組織中小學教師人工智能能力框架（研制中）

（五）倡導創造性教學應用并強調多元觀點建構及觀點的多元化表達

教育擔負著維持和促進文明延續和持續繁榮的歷史使命。實現這一教育使命的支柱性原則是確保教育過程中語言文化的多樣化、鼓勵個性化觀點的建構和多樣化表達。生成式人工智能通過復制或強化訓練數據擁有者的世界觀和語言文化觀念，壓制多樣性觀點的形成和多元表達，并對教育的文化多樣性和觀點多元化使命造成直接威脅。為此，借助生成式人工智能查詢或深化某個（些）主題教學的根本前提是：無論圍繞任何主題開展人機互動，均不能將生成式人工智能作為權威的知識來源，應引導教師和學生堅守對生成式人工智能輸出內容進行批判性思維的正確定位，即明確生成式人工智能可用于快速查詢信息、支持文獻檢索和格式轉換，但會含有不可靠內容的信息來源。在具體教學中，教師應基于主體適用原則設計教學活動，激勵和輔助學生評價和批判其輸出內容對價值觀和語言文化觀念的投射，并借助生成式人工智能在文獻綜述和數據加工方面的優勢支持探究性學習；與此同時，為學生提供足夠的不依賴人工智能工具的試錯學習機會、實證性實驗和對真實世界的觀察機會。

（六）跨領域跨學科審視生成式人工智能對教育的長遠影響

盡管本研究對目前可知的生成式人工智能工作過程進行了概括和追溯，但面對迅速進化的基礎模式和快速裂變的中下游應用軟件，以及人類教育活動的互動場景千差萬別并充滿不確定性，不能僅基于現有技術缺陷或單純從消極懷疑論的視角出發短視地分析其教育影響?！吨改稀方ㄗh教育決策者仍應與人工智能研究者和提供商、教育教學理論研究者、認知神經科學等學科研究人員以及教師、學生和家長等合作，跨領域、跨學科評判生成式人工智能對知識生產和學習過程、版權與科學研究、課程與評價、人類協作和社會動態發展等領域的深遠影響，并以此為基礎審慎地反思迅速迭代的人工智能技術對課程框架、教學目標界定和考試評價方式的影響，從而作出相應的系統調適。

面對一項在內容加工功能上出現代際躍遷的人工智能技術，論證其教育潛能的邏輯起點不應限于關于其技術性能的商業宣傳，也不應始于其在內容創作等商業領域的生產力提升表現，仍應堅守以人為本的基本原則。以此為出發點，教育者辯證分析生成式人工智能系統全生命周期的關鍵技術環節可能引發的根本爭議，系統考證和應對其對公平、包容、價值觀培養、語言文化多樣性等教育核心價值的影響，唯此才能避免作為教育主體和教育服務對象的人類個體和人類群體成為商業驅動的人工智能技術的實驗品和仆從者。