可解釋人工智能的教育視角：基于倫理和素養的思考

托雷·霍爾 曹夢瑩 明芷安 袁莉*

（1.北京師范大學 未來教育學院，廣東 珠海 519087；2.挪威奧斯陸城市大學 多媒體和學術研究中心，挪威 奧斯陸NO-0130；3.上海開放大學上海開放遠程教育工程技術研究中心，上海 200433）

一、引言

2021 年，聯合國教科文組織（UNESCO）通過了首個供193 個成員國采用的關于人工智能倫理的全球協議《人工智能倫理建議書》（Recom-mendation on the Ethics of Artificial Intelligence,以下簡稱《倫理建議書》）[1]?！秱惱斫ㄗh書》定義了共同的價值觀和原則，用以指導建設必需的法律框架，以確保人工智能的健康發展，并且強調人工智能系統的透明度和可解釋性是確保人權、基本自由和倫理原則得到尊重、保護和促進的必要條件?！秱惱斫ㄗh書》明確指出，可解釋性是指讓人工智能系統的結果可以理解，并提供闡釋說明。并且呼吁會員國進行道德影響評估，確保道德治理；制定數據政策，確保適當的安全和數據保護措施，向公眾提供人工智能素養教育[1]。同年，中國《新一代人工智能倫理規范》[2]的發布，為從事人工智能相關活動的自然人、法人、相關機構等提供倫理指引，強調在算法設計、實現、應用等環節，提升透明性、可解釋性、可理解性、可靠性、可控性?？梢?，人工智能技術的發展需要相應提高數據、媒體與信息素養，努力減少錯誤信息、虛假信息和仇恨言論的風險，以及濫用個人數據造成的傷害。

以深度學習為代表的智能技術存在的“黑箱”問題，使智能教育系統的決策結果缺乏透明度和可解釋性，對于輸出結果，往往沒人能確切地知道決策的依據以及決策結果是否可靠。因此，我們需要透明、可解釋的系統為人工智能的結論提供依據，使其推理可以被檢查，錯誤的假設可以被識別。此外，加強人工智能素養教育，特別是遵循以人為本的原則是避免人工智能“黑箱”的先決條件。我們不僅要提高學生應用人工智能的能力，也需要讓學生明白透明度、公平性等問題在智能社會的重要性，它是決定人工智能影響人們生活的關鍵所在。因此，在人工智能素養教育中，加強學生對人工智能可解釋性的認識，具有非常重要的意義?；诖?，本文探討了人工智能機器學習可解釋性的原理，闡明了可解釋性在教育中的重要作用，以及開展全民人工智能素養和倫理教育的必要性，并強調提高教師、學生的人工智能知識和技能，發展可解釋的人工智能是可信任未來智能教育的基礎。

二、人工智能教育倫理框架

在過去的25 年里，國際人工智能教育協會（the International Society for AI in Education）一直積極組織關于人工智能教育的會議并支持相關研究，但是人工智能對教育的影響近幾年才逐漸被大眾關注和討論，國內外研究者和實踐者開展了大量研究，并發布相關報告。這些報告幾乎都涉及人工智能教育倫理的探討，但是很多研究只是提出問題，并沒有給出具體的解決方案。例如，微軟前教育戰略主管達根（Duggan）撰寫、聯合國教科文組織教育信息技術研究所發布的《教育中的人工智能：學習速度的變化》（AI in Education:Change at the Speed of Learning）報告中，描述了對人工智能算法可能導致的偏見，以及學生數據使用不當所帶來的隱私、數據保護等問題的擔憂，并提出，“在開發人工智能系統和解決方案時，同樣需要關注人工智能的倫理問題，而不僅僅是在實施階段”[3]。由美國計算與學習科學綜合研究中心（CIRCLS）發布的《人工智能與學習的未來：專家小組報告》（AI and the Future of Learning:Expert Panel Report）也得出相關結論，即需要“制定更強有力的倫理和公平政策”，并“迅速加強了解在這一新興領域有效、公平和符合道德規范的核心標準、準則、政策和其他指導形式”[4]。該報告還提出，從事這項工作的研究人員必須參與制定規范和指南，幫助該領域以安全可信的方式發展。實踐者、決策者和其他利益相關者需要平等參與。政策不僅要滿足研究人員的需求，還要滿足初創公司和提供大的科技平臺及服務公司的需求。政策及其實施需要透明，這樣一旦出現問題，教育工作者和公眾可以追究開發者的責任。[4]

另外，澳大利亞政府教育部委托索斯蓋特（Southgate）等人撰寫的報告《簡讀：人工智能與學校教育》（Short read:Artificial intelligence and school education）指出，人工智能教育面臨著“很難看懂機器決策的準確邏輯”的困境。該報告表達了一個重要觀點，“對于教育等人文領域來說，能夠解釋為什么做出這樣的決定，是運用智能系統進行教學和管理的核心原則”[5]。由此可見，為了確保人工智能在學習和教學中蓬勃發展和有效運用，機器學習的可解釋性是智能教育研發必須解決的問題。該報告還提出一個教育、倫理和人工智能（EEAI）框架，為教師、學校領導和政策制定者提供了一種思考倫理問題的方法，如圖1 所示。該框架從公民權利、倫理原則、運用人工智能進行學習等方面，對如何設計、實施和治理面向大眾的人工智能進行分析和探討[5]。

圖1 教育、倫理和人工智能（EEAI）框架

當前，“人工智能倫理”已經成為很多非盈利機構和組織的一個非常重要的議題。例如，全球志愿者網絡已經形成了一個以英國為基地的研究中心——人工智能倫理和機器學習研究所（http://ethical.institute），旨在探討人工智能倫理和機器學習對未來社會發展的影響。此外，白金漢大學建立了教育中的倫理人工智能研究所，并在2020 年發布由國際人工智能教育協會前任主席羅盧金（Luckin）教授主持撰寫的《人工智能教育倫理的共同愿景》（Towards a Shared Vision of Ethical AI in Education）報告[6]。這份報告闡述了教育中人工智能倫理的重要性，以及實現符合倫理規范的智能教育系統的共同愿景和目標。首先，報告重申了歐盟委員會（European Commission）人工智能高級專家組提出的防止智能教育系統可能對學習者產生潛在傷害的要求[7]，具體措施包括:人的參與和監督；問責制；技術穩健性和安全性；多樣性、不歧視和公平；隱私和數據治理；透明度以及社會、環境福祉。其次，報告還建立了一個人工智能教育倫理標準框架，并提出滿足這些標準規范的藍圖；反思了人工智能教育倫理方面的機制建設，并就歐盟委員會可信賴人工智能的指導方針如何適用于教育環境提出了建議。機制討論包括法規、行為準則、認證、標準化、利益相關者的教育和意識、多樣性和包容性團隊、可信賴人工智能的架構、服務質量指標、解釋方法等。最后，報告進一步提出需要改進的方面，包括采購程序、關于人工智能和對教育工作者使用人工智能的培訓、保障方法、人工更正的方法、風箏標志（Kitemark）、監測和報告人工智能教育的宏觀影響，以及確保人工智能教育倫理成為課程的一部分[6]。

對教育中人工智能倫理的討論，是在各個領域廣泛開展人工智能倫理框架、規范和實踐的背景下進行的。這里需要提出兩個問題：①人工智能與其他領域，如醫學、生物科學等，存在哪些通用的倫理原則？②當解決人工智能在學習、教育和培訓中所面臨的倫理困境時，教育有什么特殊性？

弗羅里迪（Floridi）等人2019 年在一份關于人工智能在社會中的五個原則框架中，回答了上面提出的第一個問題。他們分析了來自六個知名度很高、專家驅動的人工智能倫理報告中的47項規范，發現這些規范可以歸結為五項原則，其中四項是傳統生物倫理中眾所周知的原則（受益、無害、自主和公正），如圖2 所示。他們認為第五個原則——可解釋，是人工智能所特有的。這一促進人工智能發展的原則包含可理解性（對于非專家，包括患者或商業客戶；對于專家，包括產品設計師或工程師）和責任性”[8]。

圖2 傳統生物倫理原則和人工智能的新原則

對學生進行人工智能倫理的教育是實現人工智能可解釋性的途徑。毋庸置疑，教育在可解釋人工智能中起著關鍵的作用，如使人工智能的倫理原則變得可理解和可操作。為了更好地掌握人工智能給教育帶來的潛在機遇和風險，一方面，將可解釋性作為智能教育的內在動因，明確哪些內容應該讓教育用戶理解；另一方面，智能教育系統、工具的決策和結果要具有透明性，這也包括認識論和倫理學的跨學科的探索，以及如何吸引更多教育工作者參與到智能教育的設計和實施過程中。

三、人工智能可解釋性的教育視角

（一）人工智能可解釋性的基本原理

解釋機器學習，特別是具有多層抽象變量的深度學習的決策過程和結果，一直是開發和應用人工智能的挑戰。近年來，隨著人工智能技術的日益發展，負責任的人工智能（歐盟使用術語“可信任的人工智能”）相關問題日益緊迫地被列入了研究議程。歐盟委員會任命了專家組為其人工智能戰略提供建議，其中包括制定可信賴的人工智能倫理準則、制定可信賴的人工智能政策和投資建議、制定可信賴的人工智能最終評估標準等[9]。目前，已經有許多關于可解釋人工智能的研究和論文，其目的是“尋求解釋，并探討人類如何理解人工智能決策系統”。關于可解釋人工智能的概念至今仍未達成共識，根本原因是這個概念會因其所應用的領域不同而發生變化。例如，在人機交互領域，沃克爾（Wallk?tter）等人專注于“機器人提供內部工作信息的能力，這樣觀察者（目標用戶）可以推斷出機器人行為的方式和原因”[9]。同時，在教育、國防、醫藥、法律等許多領域，可解釋性便于用戶理解，并提高信任度，能夠有效地管理人工智能系統。由此可見，可解釋性定義取決于領域，并且不能獨立于領域進行定義。每種解釋都取決于人工智能系統用戶的任務、能力和期望值。

為了對可解釋性進行深入的討論，我們需要厘清一些基本概念和分類法，在最近的一些研究中也討論了這些問題[9-11]。簡而言之，可解釋人工智能通常是作為技術概念而被關注，如機器學習、深度神經網絡、具身代理等。然而，從本文所提出的教育視角來看，我們需要有更廣闊的視野。例如，阿瑞塔（Arrieta）等人提出，需要“考慮到用戶的實際情況，可解釋的人工智能要提供使其功能非常明確或易于理解的信息和推理”[10]。他們在討論可解釋人工智能概念和分類時，把目標受眾的知識作為關鍵問題，提出可解釋性模型取決于受眾，“必須與隱私、保密、公平、問責等相關要求和約束一起解決”[10]。如圖3 所示，在阿瑞塔等人提出的“負責任的人工智能”概念中，可解釋人工智能只是其中的一部分。

圖3 “負責任的人工智能”包含可解釋人工智能和相關附加原則

“負責任的人工智能”觀點說明，人工智能的可解釋性，不能與反思社會技術和實踐方面的其他倫理原則分開，如圖2 所示。然而，如果一個能夠幫助和支持人類做決策的技術機制背后仍然是一個“黑箱”，就很難找到符合倫理要求的技術發展方向。因此，一方面，我們在討論問責制之前，需要理解可理解性；另一方面，當我們開始從技術角度出發考慮不同的受眾時，可理解性是很難達到的。在許多情況下，它只是一個近似值，而不是確定的答案。

人工智能的可解釋性在技術層面上需要達到什么程度，主要取決于其目標用戶。在教育環境中，完全透明的人工智能模型是很難實現的。但這個模型是可以被理解或易懂，而且這一模型所做的決策可以被解釋。阿瑞塔等人對人工智能和可解釋人工智能倫理規范中使用的術語進行了必要的澄清：可理解性（Interpretability）與可解釋性（Explainability）不能互換?？衫斫庑?，也可以表示為透明度，指模型的被動特性，“指給定模型達到目標受眾能夠理解的水平；相比之下，可解釋性可以被看作是模型的一個主動特征，表示模型為了闡明或詳述其內部功能而采取的任何行動或過程”[10]。他們還進一步解釋道，“人工智能系統作為連接人和數據決策之間的應用，既要呈現精確的決策又要為人們所理解”[10]。因此，根據阿瑞塔等人的定義，人工智能系統取決于數字的能動性，而系統應用的界面提供了一個與外界交流的渠道，因此目標用戶也有能動性。也就是說，人們與智能系統互動就是一個解釋和學習的過程。在這個過程中，服務對象是誰、目的是什么、如何采取行動、為什么要這樣做，等等，這些問題都會被提出并加以分析。

在回答這些問題時，可解釋人工智能相關文獻中提出了使人工智能模型，特別是機器學習模型更透明的特征，即模擬、分解和算法透明[10][11]。然而，大部分解釋用的是事后解釋技術，即文字解釋、視覺解釋、闡明更復雜的整體模型的局部解釋、實例解釋、簡單化解釋、特征關聯性解釋。

貝勒（Belle）和帕潘托尼斯（Papantonis）在圖4 中總結了可解釋性方法[11]。從本文的角度來看，很明顯，即使一個很透明的模型顯示使用的是貝葉斯統計，也需要通過復雜的解釋機制和解釋方法，才能為使用人工智能系統管理日常任務的不同受眾，給予有意義的解釋，學校的教學就是一個最直接的例子。

圖4 以不同方式解釋人工智能模型的思維導圖

（二）教育視角的可解釋性

一個好教師需要了解學生，也就是前文所說的受眾。換句話說，教師對可解釋人工智能所面臨挑戰的自然環境特征是非常清楚的。正如在智能教育這樣一個特定的領域，涉及很多系統和應用，包括：機器自動評估和答疑、智能推送、對用戶需求進行引導，使教師和學生潛意識受到人工智能的暗示做出決策。即使我們知道“場景（Context）就是一切”，而場景本身也是一個難以定義、難以捉摸的概念。好的教師會用現實生活中的例子，將一個現象解釋得簡單明了，其過程更像是個人信息的交流。尼森鮑姆（Nissenbaum）提出，“尊重場景意味著消費者有權期望公司收集、使用和披露個人數據的方式，與消費者提供數據的環境一致?！盵12]她提出了“情境脈絡完整性”（Contextual Integrity）理論，在教育大數據的應用中，這對于討論對隱私和數據保護是非常有用的。根據這一理論，人們應該遵守“特定環境下的個人信息流動”規范[12]。數據共享方式是否侵犯了個人的隱私，取決于三個方面的因素：①共享的信息類型；②發送者、數據主體和接收者的社會角色；③信息的傳輸方式。

從教師的角度來看，在學生使用的所有應用程序中，數據應該如何處理，還沒有達成普遍共識。此外，如果我們需要在具體的環境中，才能決定數據共享是否符合倫理規范，那么學校的作用是什么? 由此不難得出結論，學校的責任是教育學生了解和掌握數據共享方面的知識、明白數據是如何收集和使用的，以及如果數據泄露能夠問責（由誰收集、出于什么目的，等等）。這就意味著，需要將人工智能素養的提高作為人工智能課程設計和開發的重要組成部分。

相關研究發現，從2014 年到2021 年，人工智能素養課程大幅增加[13]。2021 年11 月，人工智能素養的關注度達到了一個新的高峰。聯合國教科文組織所有成員國就促進人工智能教育的建議達成了一致：成員國應促進獲得人工智能教育的“基本技能”，如讀寫、計算、編程和數字技能，媒體和信息素養、批判性和創造性思維、團隊合作、溝通、社會情感、人工智能倫理的知識和能力，特別是目前還明顯落后的國家（地區）或各國的區域[1]。

《倫理建議書》指出，有必要為各級各類學校設計人工智能課程，并且“促進人工智能的技術教育與人工智能相關的人文、倫理和社會方面的教育交叉合作”[1]。在2021 年的另一份題為《一起重新構想我們的未來：教育的新社會契約》（Reimagining Our Futures Together:A new social contract for education）報告中，聯合國教科文組織提出，人工智能課程開發應該考慮如何應對人工智能可能造成的錯誤信息的傳播[14]。

人工智能課程應該強調培養學生科學探究精神，以及區分嚴謹的研究和謬誤謊言的能力。我們應該發展數字技能，使學習者能夠有目的地使用技術。人工智能課程應確保學生通過參與決定科學技術使用方式和運用目的，從而獲得“駕馭”智能技術的能力[14]。

四、人工智能素養

（一）人工智能素養教育

人工智能素養的定義由一場國際討論而引起關注，這場討論試圖解釋人工智能到底是什么，以及人工智能為人們對倫理的理解和行為帶來了哪些新的變化。如前文所述，可解釋性是人工智能倫理新的要素，那么相對于人們已經熟悉的數字素養，人工智能素養有哪些新的要素呢？有研究者將人工智能素養定義為，“一系列使個人能夠批判性地評估人工智能技術；與人工智能有效溝通和協作以及在網上、家里和工作場所使用人工智能工具的能力”[15]。因此，人工智能素養包括：①數字素養，即使用計算設備所需的能力；②計算素養，即使用代碼表達、探討和交流思想的能力；③科學素養，即對自然、目標和科學的一般局限性的理解，以及對更重要科學思想的一些理解；④數據素養，即作為探索世界的更廣泛過程的一部分，閱讀、處理、分析和論證數據的能力。也可以理解為，人工智能素養有不同的類型：技術素養（功能、概念、評估和關鍵水平）、代碼素養、修辭素養（利用不同的修辭格）、寫作素養（保持在線和協作寫作）、倫理素養（就與數字安全、數字權利、數字財產、數字身份、數字隱私等相關數字行為做出符合道德的選擇和決定）和數字素養。

人工智能素養不能簡單地通過“知識傳授方式”來獲得提高，如人工智能在學術寫作中的運用?？梢灶A測，在不久的將來，研究人員能夠通過數字技術互聯互通，與全球研究社區開展合作。那么，需要具備什么樣的素養，才能與機器代理開展建設性合作。在英國，負責高等教育技術應用的英國聯合信息系統委員會（JISC）制定了一個數字能力框架[16]，如圖5 所示。該框架將數字能力歸納為五個方面：①信息、數據和媒體素養；②數字創作、問題解決和創新能力；③數字化交流、合作和參與；④數字化學習和發展；⑤自我實現數字身份管理和數字福祉。從這個角度來看，人工智能素養只能通過促進跨學科的教學和學習來獲取，這就需要將人工智能工具、實踐和人工智能倫理整合到各級各類學校的所有科目中。

圖5 英國JISC 開發的數字能力框架

（二）人工智能素養課程設計

目前，有研究者進行了針對不同年齡層學生不同需求的人工智能素養課程設計實踐。例如，金承勛（Kim）等人在研究中設計了針對小學階段的學生課程，通過體驗學生在日常生活中可能遇到的人工智能技術，來開發人工智能素養課程模塊；通過體驗熟悉的人工智能技術，使學生消除對人工智能先入為主的誤解。該課程的目的是培養人工智能素養的三種勝任力：人工智能知識、人工智能技能和人工智能態度[17]。需要特別強調的是，人工智能態度包括“社會影響”和“與人工智能合作”。人工智能態度能力要求學生能夠認識人工智能對社會的積極和消極影響，以及對使用人工智能技術的批判性觀點。另外，麻省理工學院發布了人工智能教育網站[18]，分享K-12階段學生可以用來學習人工智能的各種在線資源，旨在培養學生的創造力、批判性思維和同理心，從而讓他們思考如何負責任地設計和使用人工智能，認識到人工智能倫理的社會影響。

有研究者采用整合技術的學科教學知識（Technological Pedagogical and Content Knowledge,TPACK）模型設計教師人工智能素養課程，并概念化其在人工智能素養教育中集成相關技術所需的能力和知識。圖6 中包含三種知識：①技術知識，涉及特定領域學習工具，如人工智能素養教育中的硬件和軟件、人工智能相關代理（使用智能代理，包括專家系統、機器學習訓練器、聊天機器人，無需編碼即可構建定制機器學習模型）和無電子學習工具（在沒有計算機的情況下學習人工智能知識，包括講座、案例研究、角色扮演和講故事）。②教學知識，涉及教學方法及其應用，以促進學生的人工智能素養學習，這需要教學策略和支架，以反饋學生的學習過程。③學科知識，涉及關于人工智能素養主題的知識，即課程中應該涵蓋的特定主題。[19]

五、結論

人工智能的發展通常被描述為世界各國爭奪未來科學技術主導地位的競賽。但是我們可以清楚地看到，僅僅關注人工智能技術方面的突破并不能實現人工智能發展質的突破。歐盟在其報告《人工智能、機器人及相關技術倫理方面的歐洲框架》（European Framework on Ethical Aspects of Artificial Intelligence,Robotics and Related Technologies）中指出，“歐洲人工智能發展旨在促進歐洲在人工智能領域的創新能力，同時支持在整個歐盟經濟中開發和采用符合倫理和可信的人工智能。人工智能應該為人們工作，并成為社會中的一股正義力量”[20]。人工智能工具和應用的開發涉及社會、文化、經濟、教育等各個方面。了解人工智能應用的環境是關鍵，社會上沒有其他機構比教育更能滿足人工智能對不同背景環境的需求。教育的本質是提出問題，如是什么、為什么、如何等解釋概念，以及想法和結果之間的關系，可解釋性是人工智能帶給人類的新挑戰。為了迎接這一挑戰，需要通過精心設計的人工智能課程來提高全民的人工智能素養。值得一提的是，在2021 年，包括中國在內的世界上許多國家都公布了為中小學和大學開發人工智能課程的計劃，以用于提高人工智能素養和人工智能倫理意識[21]。

人工智能教育仍處于發展的相對早期階段，圍繞道德和法律框架還有許多工作要做?；谌斯ぶ悄軅惱碇贫ㄈ斯ぶ悄芩仞B課程框架，可以確保該技術向善應用，并確保流程透明，以及課堂、學校社區和學校系統各級的問責制度。教師、學校領導和政策制定者應該參與人工智能在教育和社會方面的發展，以便在現在和未來的變化中賦予學生權力[5]。最后需要強調的是，在人工智能素養課程教學中，除了培養學生的人工智能知識，更重要也是最容易被忽視的一點就是加強人工智能倫理教育?？山忉尩娜斯ぶ悄苁谴蜷_智能教育“黑箱”的關鍵，智能系統、工具提供的預測和決策，只有獲得教師、學生的理解和信任，才能真正促進公平、公正、高質、高效的未來教育的發展。