生成式人工智能沉迷的法律規制：動因及對策

□李 巖 康 銘

（遼寧大學法學院，遼寧 沈陽 110036）

引言

近年來，伴隨神經網絡、大數據和深度學習等技術的發展和運用，人工智能與生產的鏈接可能會引發生產方式的根本性變革。人們驚訝地發現人工智能在模仿人類表達、思考方式方面展現出的強大功能，并將其廣泛應用于人們日常生活的各個方面，在社交、寫作、編程、翻譯、教育等領域完成賦能。生成式人工智能的應用改進了生產工具，推動產業升級，提升了勞動者生產能力。正如習近平總書記指出：“新一代人工智能正在全球范圍內蓬勃興起，為經濟社會發展注入了新動能，正在深刻改變人們的生產生活方式”[1]。

生成式人工智能的強大功能使得它能勝任本應由人類完成的各項工作，甚至包括構思、創作等“高級任務”。實踐證明，人們在工作、學習中越來越依賴生成式人工智能，利用其完成各種任務的情形屢見不鮮。對生成式人工智能廣泛而普遍的使用，一方面確實提高了產能，另一方面還需要警惕因過于依賴技術而產生的“技術沉迷”。

盡管當下生成式人工智能沉迷的實例并不多見，但根據國務院發布的《新一代人工智能發展規劃》精神，必須高度重視人工智能可能帶來的安全風險挑戰，加強前瞻預防與約束引導，最大限度降低風險。生成式人工智能的便捷性容易誘發對其“工具沉迷”，對此應當加以防范。

當下法學界鮮有學者從防沉迷角度討論生成式人工智能法律規制問題，對生成式人工智能防沉迷問題缺乏深入研究。因此有必要對生成式人工智能沉迷的誘因以及不利后果展開深入思考，探究生成式人工智能沉迷與傳統互聯網沉迷的區別，以此作為生成式人工智能沉迷法律規制具體措施的基礎，并且提出針對生成式人工智能沉迷的法律規制對策。

一、生成式人工智能防沉迷規范存在的問題

習近平總書記指出，要把握人工智能發展規律和特點，加強統籌協調，加大政策支持，形成工作合力[2]。據筆者統計，2020 年至2023 年6月14 日，中央及各地方政府出臺了70 余項人工智能相關政策。在中央政府出臺的政策文件中，人工智能政策較為強調人工智能技術在各個行業場景的應用，同時強調人工智能風險的防范。以此為契機，關于生成式人工智能的相關立法也開始嶄露頭角，但其中涉及生成式人工智能防沉迷的條款較少。

當下直接涉及生成式人工智能防沉迷的規范只有《生成式人工智能服務管理暫行辦法》（以下簡稱《管理暫行辦法》）第10條?！痘ヂ摼W信息服務算法推薦管理規定》（以下簡稱《算法推薦管理規定》）第8條、第18條第2款對算法推薦服務沉迷進行了規制，同樣涉及生成式人工智能防沉迷問題?！段闯赡耆吮Ｗo法》第71條、第74條以及《未成年人網絡保護條例》第五章針對未成年人沉迷網絡問題做出回應，考慮到已經有網絡游戲開發者利用生成式人工智能技術設計游戲，以上規范與生成式人工智能沉迷的法律規制存在一定程度上的關聯①根據權威解讀，利用生成式人工智能技術提供生成式人工智能服務的，也屬于“提供者”的范圍。此處網絡游戲開發者屬于提供娛樂性服務，應屬于生成式人工智能提供者的范圍。參見辛勇飛：專家解讀｜推動生成式人工智能精細化治理，http：//www.cac.gov.cn/2023-07/13/c_1690898363806525.htm，訪問日期：2023-10-01。。

上述規范體現了國家對生成式人工智能沉迷問題的重視，但同時也存在如下問題，導致其難以發揮應有的作用。

第一，既有防沉迷規范更多偏向未成年人沉迷，忽略了成年人的防沉迷問題。即便是傳統的網絡游戲對成年人也具有較強的吸引力；生成式人工智能提供的個性化服務、更為真實的虛擬世界和虛擬人物同樣容易使成年人沉迷其中。生成式人工智能沉迷涉及人類的思維能力、倫理道德、審美、人機關系等深層次領域，這與未成年人和成年人均密切相關。因此，對生成式人工智能沉迷的規制不能忽略成年人，但既有規范未注意這一問題，更沒有針對成年人與未成年人在認知、心理、自控力等方面的區別設計不同的防沉迷措施。

第二，既有防沉迷規范對生成式人工智能防沉迷的監管方式設置不當。從監管層面來看，對生成式人工智能防沉迷監管的重點在于“出現沉迷后果”，這顯然不合適?！豆芾頃盒修k法》第10 條作為生成式人工智能防沉迷的一般性規定，其中“采取有效措施防范未成年人用戶過度依賴或者沉迷生成式人工智能服務”中的“有效措施”意味著“不能出現沉迷后果”，該防沉迷義務顯然過高。此外，《管理暫行辦法》也沒有規定相關行業協會對防沉迷治理的參與。

第三，既有規范主要針對網絡游戲以及算法推薦服務的沉迷問題，其適用范圍有限?！端惴ㄍ扑]管理規定》主要規制各種利用“生成合成類、個性化推送類、排序精選類、檢索過濾類、調度決策類等算法技術”的信息提供服務，側重于信息的篩選和信息資源的分配（分析式人工智能②分析式人工智能主要指能夠對海量信息進行識別與篩選，完成諸如垃圾或欺騙郵件識別或算法推送等工作。參見《生成式人工智能浪潮下的傳播革命與媒介生態——從ChatGPT 到全面智能化時代的未來》，《新疆師范大學學報（哲學社會科學版）》2023年第5期。），難以應對“提供設計思路”“生成文本、視頻、圖片”等生成式人工智能“專長領域”的沉迷問題。實際上，后者才是生成式人工智能防沉迷重點關注的領域?！段闯赡耆司W絡保護條例》規定了網絡服務提供者在使用時段、時長、功能和內容等方面按照國家相關標準提供服務，盡可能預防未成年人沉迷網絡。但該條規定僅限于網絡游戲等娛樂性服務，未提及其他類型，難免掛一漏萬。

第四，生成式人工智能防沉迷手段過于單一，對相關主體防沉迷義務設置不明確。一方面，《管理暫行辦法》只有一條籠統的“防沉迷條款”，缺少明確的防沉迷義務主體以及防沉迷義務的具體內容。另一方面，《未成年人保護法》規定了“限制網絡使用時長”“限制打賞”等方法來防止未成年人沉迷網絡，這種限制方法應對網絡沉迷尚可，但面對能夠提供多樣服務的生成式人工智能卻因手段過于單一而力有不逮。這是因為，生成式人工智能提供的服務是多樣的，其既能提供沉迷性較強的娛樂性服務，又能提供簡化機械式工作、有效節省工作時間的各項便捷服務。這就意味著，生成式人工智能沉迷的預防手段也應當是多樣化的，只從使用時長等方面考慮難以達到防沉迷的目的。

二、生成式人工智能沉迷法律規制的動因及理論基礎

科學技術是把雙刃劍。習近平總書記指出，要加強人工智能發展的潛在風險研判和防范，維護人民利益和國家安全，確保人工智能安全、可靠、可控[2]。盡管生成式人工智能帶來的沉迷風險屬于程度上的風險，但這并非意味著該問題不應被重視。恰恰相反，量變的積累通常會引起質變。不同于傳統網絡游戲沉迷的不利后果偏向個體性①以網絡游戲成癮為代表的網絡沉迷會導致未成年人身體功能、心理功能、社會功能受損等。網絡沉迷對個體精神、價值觀、人格、各項能力等造成負面影響。參見郭開元：《網絡不良信息與未成年人權益保護專題》，《預防青少年犯罪研究》2017年第4期。，生成式人工智能沉迷造成的危害還涉及思維、道德、審美、自由、主體性等人類社會層面的問題。生成式人工智能沉迷影響了人們的思想自由和道德自由，加劇了用戶與生成式人工智能提供者之間的不平等地位，造成了人主體地位的虛化。因此不能將生成式人工智能沉迷與傳統互聯網沉迷混為一談。當下缺少對生成式人工智能沉迷后果的研究，對生成式人工智能沉迷層面的風險研判不足，本部分主要討論生成式人工智能沉迷的危害，以論證從防沉迷層面對其進行規制的必要性，并且作為下文規制對策的理論基礎，以達到前瞻性應對風險挑戰②《新一代人工智能發展規劃》將“前瞻應對風險”作為指導思想的一部分。的目的。

（一）生成式人工智能沉迷導致思想自由惰化

人類過度依賴生成式人工智能進行決策、借助算法的力量“思考”，會剝奪身體原本應有的專注力、認知力和辨別力，導致思維能力的惰化，進一步限制思想自由。更為嚴重的是，人類如果缺少思考、缺乏創新，社會文明將會停滯不前。

人的思維活動主要依賴理性的運用。理性是一種無限的概念，是一種先驗的、追求無限的能力，“追求無限就是說，要把一個東西完全把握住”[3]45，運用理性的推演能力來“促進一切知識的最終意圖”[4]1。而“理性推演”實際上就是形式邏輯思維的運用。換言之，人們總是喜歡通過邏輯推演的方式把握“無限的東西”，追求知識的完整性——需要創新來完成。人類的創新離不開上述的思維活動。人通過對現象的觀察以及對現有知識的積累，可以在此基礎上完成形象思維到抽象思維的轉變。研究者首先需要進行大量的觀察，搜集足夠多的信息文獻，再結合自身的前理解與直觀感知，并采用上述兩種思維中所包含的歸納、對比、推理、判斷、想象等綜合思維方法對其進行整體上的把握。在這一過程中，僅僅依靠知性無法應對對象的豐富性，這就需要判斷力發揮作用。判斷力具有主體的主觀能動性，其將諸多復雜的規律統一于少數的規律之下，這會引發一種“愉悅感”，進而達到內心與外界的和諧狀態。這種狀態實際上是“自由狀態”，此時人們的思想可以天馬行空，思緒萬千，更容易產生“驚奇”。正是“驚奇”有助于形成突如其來的“靈感”，在此基礎上形成新的觀點和論證思路。但靈感非憑空產生，其穿插在抽象思維和形象思維之中，在經歷了大量的形象思維和抽象思維訓練后才能“頓悟”。這種“聯系和交錯”更多地依賴先驗的判斷力，這是生成式人工智能無法模仿和學習的。

生成式人工智能沉迷造成人類思維惰化的原因在于：人類思維保持“活性”的機理在于大量的抽象思維，而生成式人工智能不具備人類的思維模式，它以另一種方式幫助人們跳過了思維過程。

生成式人工智能具備像人一樣的普遍的自我學習能力，可以自我進化并廣泛適應各種傳統需要自然人才能從事的領域[5]。人們借助算法增強了對世界的掌握能力，但當人們越來越依賴生成式人工智能這種節省腦力和精力的工具之后，就會越來越離不開它。這一過程會存在算法黑箱，即無法得知生成式人工智能基于何種邏輯和思維方式得出這一答案。一方面，人類從這個“黑箱”中學不到任何東西，甚至可能出現“遇事不決，便問機器”的懶惰與“人假機威”的自大。另一方面，過分依賴技術將會部分或完全遮蔽人的能動性，誘使人們放棄思想的自由。在利用生成式人工智能直接得到“答案”的過程中，實際上是算法代替我們“思考”，這使人們迷惑于人工智能的強大功能而喪失必要的反思，從而放棄了對其他情形可能性的探尋，慢慢喪失自主思考的能力。如此限制了思路的多種可能性：思維的惰性會讓我們越來越不愿意走出知識的舒適區，從而扼殺創造力。而越是百家爭鳴、思想多元，越容易促進創新，促進學術盛世的形成；相反，過于強調“統一”“單一”“形式”反而會扼殺學術自由，扼殺人們創造的天賦。長期的沉迷與依賴使得人的思想能力逐漸陷入停滯，判斷能力下降，創新意識減退?！爱斘覀円挥袉栴}就習慣性地求助ChatGPT時，就會不自覺地將自己的思維能力降低到‘庸人’的平均水平，在潛意識里喪失了創新的欲望”[6]。這樣，人們由于缺少長期抽象的思維訓練而變得“遲鈍”，靈感和“驚奇”將與人們漸行漸遠，人們也將漸漸失去可領悟、可反思、可批判的思維過程，如此將嚴重削弱人應有的認知能力、創新能力和思辨能力。長此以往，人類那特有的如電光石火一般的靈光一閃將不復存在。

（二）生成式人工智能沉迷造成道德自由僵化

1.對形式邏輯的依賴導致道德自由僵化。從認識論角度來看，倫理道德與知識不能相提并論，倫理道德不能通過形式的邏輯推理得出，否則將引發道德僵化的倫理危機。在科學和知識的領域內，人類對客觀事物的認識過程的確可以總結為從個別到一般的歸納能力和從一般到個別的演繹能力，但在道德等價值評價方面，歸納和類推的適用范圍始終有限。這是因為道德評價標準因為無法量化，無法通過數學公式進行運算，自然也就無法通過算法的形式邏輯得出。如果想通過理性形式邏輯（演繹推理）去認識、把握它們，將會產生邏輯上的無限后退，最終形成二律背反。此外，人們對某件事物進行價值判斷時會運用一種“判斷力”，這種“判斷力”“按照某先天原則而與愉快或不愉快的情感有一種直接的關系”[4]3，其同樣不是來自邏輯上的判斷，“不能通過概念加以規定”[3]69-70的，因此無法將其通過形式理性的算法賦予生成式人工智能。

只有將個體意志的內部規定外部化，同時又表現為群體性、普遍的行為方式，也就是社會的整體道德風尚，才是真正的道德，這同時也是我們內心的道德律。生成式人工智能相當于一個超大型的數據庫，人們每次對它的“訓練”，都有可能使它下一次的回答產生相應的變化。進言之，生成式人工智能通過算法匯聚了人們大量的價值判斷標準，并且將之“融合”成一種新的道德標準反饋給人們。這樣看來，生成式人工智能似乎具備了價值判斷的能力。實際上并非如此。所謂生成式人工智能的“價值判斷”只是通過抓取“關鍵詞”的方式完成。當遇到類似的“關鍵詞”時，再賦予其相同或者類似的評價?，F實世界紛繁復雜，有時細微的差別可能會影響最終的價值判斷。而人類理性的有限性導致其不可能賦予生成式人工智能完全的“能力”，其只能是有限的、機械的、對影響較強的層級映射，不可能像人一樣從事物的不同狀態中準確提取出差異性與穩定性。因此，縱然是擁有強大算力的生成式人工智能也很難將這些細微差別窮盡。如果該細微的差別沒有被算法捕捉，那么其得出的價值判斷必然是機械和僵化的。并且，由于算法無法完全理解人們的道德標準，加之算法黑箱的存在，使得其再次輸出的價值評價未必完全符合人類的預期。如果人們產生了對生成式人工智能的過度沉迷或者依賴，將引發社會整體的道德風尚走向僵化。如果生成式人工智能通過理性的形式邏輯將道德評價標準一一演繹得出，整個社會將逐漸失去價值多元性，最終走向沉寂。此外，道德自律作為內心的強制，其與作為法律的外部強制并非完全割裂，作為外在強制性的法律，正是道德自律的外在化結果。換言之，對自由的這種強制本身就是自由所建立起來的。由此可見，隨著人們對生成式人工智能沉迷的加深，社會將由內（內心的道德律）而外（法律）地被生成式人工智能影響，成為“AI 帝國”，充滿著單一化與器械化，多元與生機將不復存在。

2.對機械化審美的沉迷導致道德自由僵化。馬克思指出，藝術產品也會影響到藝術生產的主體[7]。從人類審美的角度來看，人們對生成式人工智能的依賴將導向審美機械化，最終造成道德自由僵化。審美與人類的道德存在內在的聯系，人在欣賞美時會引發道德方面的思考，審美最終會引導一種共通感，進而引向道德并與道德相通[3]302。人們通過判斷力將原本“雜亂無章”的自然界假定為“合目的”。對于這種“合目的”的假定產生的愉悅感不同于思辨理性中的“先驗自由”，也不同于實踐理性中的“實踐自由”，而是表現為情感活動的自由感，此時人們發現自己是自由的，由此可以過渡到信仰、道德等物自體的部分，最終可能與道德目的相結合。在審美中，人們會意識到自己對自由與道德的接受性，在欣賞美的時候，可以帶來、引發道德方面的思考。所有人在審美情感上達到相通，也就預示著具有“普遍法則”的道德律的形成。美是德性的象征[4]154?？茖W和藝術，最終都要通向一個目的，那就是道德的人[3]148。即便是“非純粹美”的浪漫主義審美趣味，也能顯示出“對美的展望”，人們的道德感同樣會受到審美能力的影響。以上提及的鑒賞力對象為自然美，但作為人工產品的藝術品必須像自然那樣“渾然天成”“不留痕跡”才是最美的，這就意味著對于藝術品的鑒賞依然離不開對自然美的鑒賞。因此，美和藝術可以看作知識和道德的入門，審美是培養美德愛好的最佳途徑——席勒的“審美教育論”同樣持這一觀點。

馬克思認為，人有現實的、感性的對象作為自己本質的即自己生命表現的對象；人只有憑借現實的、感性的對象才能表現自己的生命[8]209-210。這說明人的活動不僅僅是一種現實活動，也是一種感性活動。這同時暗示了人通過審美感受生命活動的價值。通過探查生成式人工智能“制造”藝術品的運行機理，不難發現這類“作品”只是通過大量輸入人類的作品并對其進行對比、分類和歸納的結果，是機械、套路、形式化的，是不具備對生命意義的思考與人文情懷的。盡管算法可以模仿某位藝術家的風格生成“藝術作品”，但這并不是“自發的藝術品”，而是在構圖、線條等可以量化的要素的基礎上模仿而來。這只是通過將藝術作品“數據化”后機械模仿的結果。隨著人類對生成式人工智能的沉迷加深，理性邏輯的力量會消除藝術中的“偶然性”，進而將技術整合到必然性之中。如果過度沉迷于生成式人工智能產生的所謂“藝術品”，會使得人類的審美逐步算法化、計算化、規律化，導致人們的個性被機械化的“統一”所取代，這種套路化、機械化的審美會影響甚至控制人們的審美口味。

反映到倫理道德自由上，審美的對象是一種“象征”或“暗示”。如果審美變得形式化，那么算法機械、形式的“因果律”將替代人諸認識能力的自由協調，審美行為將難以達到“自由的愉悅”。長此以往，人們對生命活動思考的人文情懷亦喪失殆盡，人們的情感和倫理會被人工物所中介，“自由感”被“機械化”消磨殆盡。

（三）生成式人工智能沉迷加劇了地位不平等

表面上來看，生成式人工智能提供者與用戶之間基于意思自治原則成立了服務合同，生成式人工智能提供者提供相應的便捷服務，用戶根據合同條款承擔相應的義務。這本是市場主體的私法自治行為。私法何以“自治”？這是因為每個人都具有自由意志，在這一層面每個人都是天生的自由人，這種內在的平等的自由是每個人憑借自己的人性應當具有的法權。然而，前述所謂“平等的自由意志”僅僅是一種假設，在生成式人工智能提供者與用戶之間并不存在這種假設，面對生成式人工智能提供的服務，用戶通常不存在“自由意志的選擇空間”。這主要是因為用戶對生成式人工智能形成的沉迷導致其“自由意志”受到潛移默化的影響，以及用戶與生成式人工智能提供者之間的信息不對等。信息的不平等影響意思表示的真實性，一方無法有效作出判斷而引發不公平和低效率。

生成式人工智能提供者與用戶的平等關系實際上掩蓋了算法資本與用戶之間的不平等關系。算法的開發和應用需要投入大量人力和物力，這就使得生成式人工智能服務的提供不得不依賴資本力量。利益的追逐是資本的固然屬性。這就意味著，資本為了賺取利潤會盡可能提高用戶對產品的依賴，而生成式人工智能可以通過分析用戶的喜好，不斷優化算法推薦服務，使用戶無意中產生對生成式人工智能服務的沉迷。生成式人工智能的無意識沉迷改變了信息呈現模式，產生了信息不平等。這是因為，生成式人工智能推送服務背后必然包括那些自動匹配的“令人愉快的算法”，這就意味著生成式人工智能推薦服務的內容多為人們所希望看到的二次選擇內容；在其驅動下，人們自然而然地陷入“信息繭房”之中，難以完全掌握社會中的數據資源，由此導致信息呈現不平等與信息分布不平等。信息呈現不平等是指在算法信息過濾機制的影響下，人們發現相關數據的能力受到限制，進而導致信息呈現機會的不平等以及算法網絡空間的信息話語權不平等。當人們沉迷于生成式人工智能帶來的愉悅時，伴隨著判斷力與反思能力的惰化，其更加難以監視信息的過濾與呈現過程。更為嚴重的是，人們對生成式人工智能的沉迷加深了這種不平等。這是因為“信息繭房”效應會不斷加重，如此進一步擴大了用戶與生成式人工智能提供者之間的信息差。隨著人們判斷力、思維能力的弱化，人們的價值判斷標準會被生成式人工智能的“價值輸出”、推薦服務等干擾和控制，人的自由意志會逐漸被其侵蝕，導致原本就“不平等的自由意志”更加向生成式人工智能提供者傾斜，這進一步加劇了地位失衡，從而形成“惡性循環”。

（四）生成式人工智能沉迷導致主體地位虛化

生成式人工智能“工具沉迷”影響了社會共通感的形成，導致公眾的社會整體語境價值被算法干預，造成“自由人”主體地位的虛化。

社會價值語境的形成與人們的普遍共通感有關。共通感即共同的感覺，其“不是理性的抽象普遍性，而是表現一個集團、一個民族、一個國家或整個人類的共同性的具體普遍性”[9]。共通感并非純粹先天形成，而是借助后天經驗性的東西“教化”而成。通過教化可以使這種共通感指向民族或者公民的“共同品性”，最終同樣影響一個民族基本的道德共識?！敖袒钡倪^程其實是一個不斷影響的過程，它是把理性能力熔鑄到感覺當中，在彼此共同生活中潛移默化地受到影響，而生成式人工智能將成為引導人們共通感形成的因素之一，尤其是當人們沉迷其中時。生成式人工智能的“教化”體現在如下兩個方面。

在大數據時代，生成式人工智能的自動化算法可以通過對個人信息的分析評估個人的健康、收入、喜好等個人特征，精準化影響個人的“選擇”。有學者提出“輕推”這一概念，說明在不妨礙人們自由選擇的前提下同樣可以鼓勵或誘導人們決策，引導人們選擇特定的選項[10]。由于現在流行的算法越來越“親人”，其可以“對公眾認知態度的流變性塑造基于算法的數據監測評估系統對公眾的社會需求、政治偏好、價值立場、文化需求等進行預測”[11]，根據用戶興趣愛好、個人特征等為其打造獨一無二的智能化場景，滿足用戶信息需求和個性偏好，符合用戶之所想。這一整個過程是一種“由生理驅動且不斷自我強化的‘自反性沉迷’——它在根本上，是一種人的生物學弱點”[12]，在其驅動下，用戶審美體驗等更容易得到滿足，這就導致世人將如同魔法欣賞一般對生成式人工智能感到莫名的愉悅[13]。由此意味著人們容易陷入生成式人工智能沉迷，被生成式人工智能“引導”。

生成式人工智能的大語言模型具有吸引人的社交特點，長時間沉迷于生成式人工智能、過度依賴人工智能的回答或者推薦，將導致用戶的心智結構呈現為更具有形成性的“慣習”，進而形成算法對人的監視和控制，成為一種隱形的控制手段。這種機制下，生成式人工智能通過培養“慣習”進而構建出知識場域，影響人們對社會各個領域的認識與觀念。隨著人們對生成式人工智能的依賴甚至沉迷的加深，用戶的主動控制對人工智能的約束力將越來越弱，最終成為一種“虛假控制”——用戶對于這種監視、控制、灌輸仍在一定程度上處在一種不知情的狀態。有學者做過類似的研究，通過訪談發現，當用戶感覺可以控制他們的在線互動時，他們就不太會意識到生成式人工智能對自己行為潛移默化的干預，認為自己仍然是其主人，但實際上已經在無意中受其影響[14]。

馬克思主義實踐論將人的本體歸為社會性實踐活動?！巴ㄟ^實踐創造對象世界，改造無機界，人證明自己是有意識的類存在物”[8]162，而正是在對象性活動中，“人才真正地證明自己是類存在物”[8]163。包括生成式人工智能在內的科學技術作為人類實踐活動的產物，其本質是工具，是人的力量的對象化。但在生成式人工智能的“教化”下，人們會在無意識中“跟著AI走”，人的情感認知、倫理行為、價值信仰和整體行為等會潛移默化地受其影響，最終影響整個社會語境價值的形態。大眾的意識在算法個性化、價值分化和認知固化等作用下會影響社會整體共通感的形成，遮蔽國家主導意識形態的價值導向，消解國家倡導的價值信仰，蠶食主導意識形態的權威地位，導致公眾的價值取向成為可計算的“數字價值”，從而在無意識中被AI 所引導。換言之，一旦形成對算法的依賴，“實質上就是在以服從歷史模型的方式臣服于機器，機器便以尊重歷史經驗的表象實際統治了人類”[15]。

進言之，本應服務于人類社會的機器人反而“引導”人類，造成人機關系異化；生成式人工智能并非是膺服于人，而是主宰了人。正如有觀點所說，“當人工智能真的成為強人工智能或者超級智能時，或許人與機器的關系會顛倒過來”[16]，人最終被算法奴役，成為被AI 駕馭的機器，停止思辨，喪失靈性，作為人的思想自由與行為自主性將被機器剝奪。

綜上所述，生成式人工智能發展的技術邏輯在資本邏輯的作用下會形成技術奴隸社會[6]14。長此以往，人們的思想自由、行為自由將逐步被生成式人工智能侵蝕，人們與生成式人工智能提供者之間的不平等地位將進一步失衡，人類將逐步喪失主體性地位。隨著人們對生成式人工智能的沉迷不斷加深，上述影響會越來越嚴重。因此，無論從國家層面還是社會層面，這都是需要警惕的問題。

三、生成式人工智能沉迷的法律規制對策

習近平總書記指出，技術“一方面可以造福社會、造福人民，另一方面也可以被一些人用來損害社會公共利益和民眾利益[17]。面對生成式人工智能，我們應當“在充分放大和加速其正面效應的同時，把可能出現的負面影響降到最低”[18]。結合前文分析，本文認為，未來人工智能立法應當關注生成式人工智能沉迷問題，需要在立法中設置相應的防沉迷條款。

（一）防沉迷對象擴張：由未成年人擴展到成年人

生成式人工智能沉迷的法律規制不能忽視對成年人沉迷的預防，應當區分成年人與未成年人，要采取不同的規制沉迷手段。當下法律規范主要針對未成年人沉迷的防范與規制，立法者似乎認為，成年人具有完全民事行為能力，其自治空間應當受到最大程度的尊重，沉迷網絡可視為成年人的自主選擇，就如同選擇“垃圾食品”，國家最多只能倡導健康飲食，而不可斷然禁絕餐廳售賣合法商品。但實際上，生成式人工智能沉迷與選擇垃圾食品不可相提并論?，F代心理學表明，瀏覽社交媒體能刺激多巴胺甚至內啡肽分泌，有助于減輕壓力、釋放情緒。國際研究發現，網絡成癮與藥物成癮都會使上癮者控制力降低、獎賞尋求增加、耐受性增強，具有戒斷反應和精神以及軀體癥狀等臨床反應；我國有學者發現網癮患者內囊前枝、外囊等白質纖維束損傷的模式與毒品依賴患者非常類似，且左側外囊損傷程度與患者網癮嚴重程度顯著相關①彭錞教授指出，網絡成癮更接近于毒品和賭博成癮。參見彭錞：《“算法防沉迷”義務首次寫入我國法規，亦屬世界首創》，http：//m.legalweekly.cn/fzzg/2022-01/06/content_8653548.html，訪問日期：2023-10-01。。

相比傳統互聯網，生成式人工智能提供的服務對人們的吸引力更強，其誘導沉迷的可能性更大。不僅未成年人，生成式人工智能的強大功能和便捷的服務同樣吸引著成年人，即便是已經成年的大學生、參加工作的職場人士，在社會壓力下同樣可能將精神情感寄托于人工智能搭建的虛擬世界中，沉迷于生成式人工智能的算法推送，由此誘發沉迷風險②在算法推薦服務的影響下，人們對手機（如短視頻）的沉迷越來越明顯，尤其是算法使用水平較高的個體，感知到的個性化、響應性以及準社會互動對短視頻沉迷的正向影響更大。參見謝新洲，杜燕：《社會技術因素對短視頻沉迷影響的實證研究——算法推薦的調節作用》，《信息資源管理學報》2023年第1期。。

前文已述，生成式人工智能沉迷問題不僅是個人層面的問題，從整體層面來看，其涉及人類的思維能力、倫理道德、審美等深層次領域，與人的自由、主體地位等問題密切相關，而與沉迷主體是未成年人還是成年人關聯性不強。因此成年人的沉迷問題同樣不能忽視。根據馬克思的異化理論，生成式人工智能對于未成年人和成年人的吸引力、沉迷機理不盡相同；未成年人與成年人在自控能力、心智成熟程度、辨別能力方面亦不可相提并論。因此，在具體防沉迷設計上，應當要求生成式人工智能提供者對未成年人與成年人進行區分，二者應區別對待。

（二）防沉迷監管轉變：由后果發生到義務的履行

有關部門的監管應當重點關注生成式人工智能提供者是否履行了相關防沉迷義務，而非出現“用戶沉迷于生成式人工智能”這一后果。根據《管理暫行辦法》第10條規定，生成式人工智能提供者有義務采取有效措施防范未成年人用戶過度依賴或者沉迷生成式人工智能服務?！安扇∮行Т胧币馕吨鴮Τ撩越Y果的規制，其合理性有待商榷——只要出現了沉迷于生成式人工智能的后果，都可以歸責于生成人工智能提供者“沒有采取有效措施”，該條為生成式人工智能提供者施加了過嚴的責任。這種責任模式并不合理，有關部門的監管應當重點關注生成式人工智能提供者是否履行了相關防沉迷義務。

在利用生成式人工智能提供服務的領域，用戶與生成式人工智能提供者總體上具有合作關系。雖然需要關注生成式人工智能的防沉迷設計，但全面和不加區分過度防范亦不可取，因為這會破壞蓬勃發展的信息經濟，影響每個人的日常生活。因此必須在令人上癮的和吸引人之間劃清界限。不是所有提高用戶粘性的算法都是誘導沉迷。然而，我們對此很難做出具體的劃分，這是因為，與毒品成癮已經形成了廣為接受的測量標準不同，生成式人工智能成癮缺乏相關的標準和方法。此時如果針對算法模型建立一套鑒定成癮的辦法，并且要政府部門對不符合該標準的生成式人工智能算法模型全部禁止，既不合理也不可行。對于生成式人工智能防沉迷限度控制的思路，應當轉變為對生成式人工智能提供者防沉迷義務履行情況的監管。具體而言，政府部門應當對生成式人工智提供者是否設置了法律規定的防沉迷算法，以及該算法的運行情況等因素進行監管，并且要求生成式人工智能提供者從使用權限、內容限制、時間限制等因素進行事前評估。如果生成式人工智能提供者沒有履行相關的防沉迷義務，網信辦等有關部門可以對其進行行政處罰。

此外，行業協會的管理規范可以為企業自律提供柔和的外在監督。目前我國已經成立了上海市人工智能行業協會、深圳市人工智能行業協會等，上述協會一定程度上可以監管生成式人工智能提供者防沉迷義務的履行情況。隨著未來行業協會數量的進一步增加，其有助于進一步實現有關企業自律與政府強制監管之間的有效緩沖。如此形成了既依賴國家監管，又發揮企業自主管理、自我治理作用的“政府—企業—行業協會”協同參與防沉迷治理模式。該模式可以發揮政府管控與市場自治的優勢，一定程度上可以避免政府管控力度把握不到位的問題，更有利于從專業角度發現生成式人工智能服務企業內部存在的誘導沉迷風險，為算法市場提供更多自治空間，彌補政府規制面臨的執法能力有限等問題。因此，法律應當進一步明確生成式人工智能提供者的防沉迷義務、相關部門的監管義務，以及違反義務后的責任承擔。

（三）防沉迷領域擴展：由游戲及推送到其他服務

當下生成式人工智能防沉迷領域主要集中于網絡游戲以及算法推送服務領域，該防沉迷范圍過窄，應當予以擴展。前文已述，生成式人工智能使用范圍廣闊，其可以提供便捷的服務以簡化工作，還可以根據人們的指令生成成品，也可以根據用戶的喜好推送其想看到的內容，甚至能提供“陪聊”等情感服務。盡管生成式人工智能提供的服務對人們具有較強吸引力，但這并不意味著生成式人工智能的使用、提供的服務均需要考慮防沉迷問題。對于娛樂性服務（比如短視頻APP 中的推薦服務、網絡游戲等）當然需要考慮防沉迷問題，而對于生成式人工智能提供的便捷服務則不能一概而論。如果生成式人工智能的使用目的是替代人們思考、提供價值判斷、生成藝術品，對生成式人工智能的長期依賴會導致人們思想自由的惰化、道德自由的僵化；從人類整體來看，長期的沉迷和依賴甚至會逐步消減人的主體地位，人工智能將取而代之。因此，當生成式人工智能的使用領域、服務范圍涉及人的思維訓練、道德相關的判斷以及藝術品創作時，需要警惕沉迷問題。

（四）防沉迷義務明確：由單一化到場景化的思路

前文已述，生成式人工智能的使用、提供的服務并非都需要考慮沉迷問題，而是應當采取場景化的思路明確生成式人工智能提供者的防沉迷義務，根據不同服務的應用場景設置相應的防沉迷標準和措施。生成式人工智能的沉迷會導致人思維惰化，但并非所有類型的服務場景均容易導致思維惰化。比如一些文字校對、翻譯、文字潤色之類的工作通常不涉及理性思維問題，如果將這類工作交給生成式人工智能完成，可以把人們從繁瑣費時的工作中解脫出來，人們得以獲得更多的時間進行思考創新。因此，應提倡將生成式人工智能服務應用于這類工作中降低人們的工作量，無需擔心對其過度依賴導致思維惰化。在涉及道德價值判斷時，生成式人工智能應當謹慎回答甚至拒絕回答，并提醒用戶自己不具備價值評價的能力，從而避免頻繁價值輸出，以至于潛移默化影響人們的道德判斷。但即便如此也不應“一刀切”地設定統一的價值判斷標準，而是應促進多元價值判斷體系的生成。正如《關于加強科技倫理治理的意見》中提及“科技活動應尊重宗教信仰、文化傳統等方面的差異”。再如，在藝術創作過程中，生成式人工智能則可以輔助完成一些機械性、重復性、邏輯性的工作，應當允許用戶利用生成式人工智能進行潤色優化，而對于直接生成藝術品的請求則應當加以限制?？梢?，以上三種情形采取“限制使用時長”的方式并不能很好地實現防沉迷目的，因為此時關注的重點應當是“限制使用/使用頻次”而非使用時長?；诖?，不宜只采取“限制使用時間”這一種防沉迷方式，應當根據生成式人工智能的具體使用場景采取諸如“限制使用頻次”“禁止使用”“必要的提醒義務”等防沉迷手段。

《未成年人網絡保護條例》第43 條規定了“網絡游戲……在使用時段、時長、功能和內容等方面按照國家規定和標準提供服務”；第47條規定了“評估游戲產品的類型、內容與功能等要素，對游戲產品進行分類”，指出網絡游戲服務提供者應當根據游戲類型等要素明確適合不同年齡段的未成年人?？紤]到不同年齡段的未成年人的心智區別，其對網絡游戲的認識程度以及抵抗網絡游戲誘惑的能力有所不同，上述規定采取了網絡游戲分級的防沉迷理念，有利于讓未成年人根據自身的年齡和發展情況選擇適合自身的游戲。就網絡游戲防沉迷而言，以上規定根據未成年人的不同年齡段采取了產品類型化的規制思路，具有一定合理性。未來人工智能立法可以借鑒這種類型化思路模式明確生成式人工智能提供者的防沉迷義務。

國家標準化管理委員會、中央網信辦等部門聯合印發了《國家新一代人工智能標準體系建設指南》，那么在生成式人工智能防沉迷層面是否可以在使用場景化下構建一套防沉迷指標體系？本文認為該方案既不合理也不可行。第一，當下生成式人工智能的發展仍處于起步階段，對生成式人工智能防沉迷規制不宜走得太遠，應當采取“大膽展望、小心立法”的模式，促進科技發展與人文關懷的平衡。為此，對生成式人工智能提供者的防沉迷義務不宜過重。應當保持適當的開放性與模糊性，并且在實踐中不斷完善細化，在此基礎上再完成相關指標的建構。顯然，目前尚未達到這一階段。第二，前文已述，不同于網絡游戲沉迷，生成式人工智能沉迷的場景更為復雜，令人沉迷的原因也更加多樣；加之目前生成式人工智能使用領域并未全面鋪開，仍有相當一部分停留于理論設想層面①《科技部關于支持建設新一代人工智能示范應用場景的通知》首批支持建設十個示范應用場景。另外，也有學者對未來生成式人工智能的適用場景展開討論。參見張熙，楊小汕，徐常勝：《ChatGPT 及生成式人工智能現狀及未來發展方向》，《中國科學基金》2023年第5期。。在生成式人工智能應用剛剛落地之時，再要求更為具體化、細致化的指標更是難上加難。因此，該方案的可行性還需進一步考證。

此外，為了促進平等地位的維護，除了學者們廣為提及的加強政府干預和監管、通過法律限制算法偏好、加強算法倫理性等措施②相關論述較多，這里做簡要列舉。參見張愛軍，李圓：《人工智能時代的算法權力：邏輯、風險及規制》，《河海大學學報（哲學社會科學版）》2019 年第6 期；徐琳：《人工智能推算技術中的平等權問題之探討》，《法學評論》2019 年第3 期；匡文波：《對個性化算法推薦技術的倫理反思》，《上海師范大學學報（哲學社會科學版）》2021年第5期。外，生成式人工智能服務提供者應當有意識地采取措施弱化“信息繭房”效應，降低人們的過度依賴。生成式人工智能提供者需要在設置推送算法時適當拓寬用戶視野，增加同各種信息接觸的機會，注重多元化信息，均衡不同立場、地域、愛好、價值的觀點態度；同時加入多樣化的算法指標，通過信息物理方法、二次優化方法、社會化網絡方法和時間感知方法來提高推薦系統信息推薦的多樣性，從實際操作上對用戶接收內容進行糾偏[19]。此外，還應當提高算法的可解釋性，保障用戶的知情權；通過設置防沉迷提醒提高用戶對生成式人工智能系統的認知和信任，減少彼此之間的信息不對等。近年來可解釋的人工智能（XAI）已經成為計算科學研究的前沿主題，一些大型算法公司已經將XAI 用于實踐，通過提供相關開源工具箱來幫助開發者和普通公眾理解機器學習算法。該方法更偏向于技術層面，需要通過法律賦予其強制性與合法性。比較可行的辦法是，在法律上明確生成式人工智能提供者應當采取適當的技術手段削弱“信息繭房”效應。

結語

生成式人工智能沉迷的后果不僅是個體層面的問題，更涉及到人的思維自由惰化、倫理道德與行為自由的僵化、生成式人工智能提供者與用戶之間不平等地位的加劇、技術失控導致人類主體性的遮蔽等更深層次的問題，關系到智能AI 時代人與機器的關系以及人類文明發展。習近平總書記指出，要“加強人工智能相關法律、倫理、社會問題研究，建立健全保障人工智能健康發展的法律法規、制度體系、倫理道德”[2]。本文提出應當從法律層面對生成式人工智能的沉迷問題進行規制，拓展生成式人工智能防沉迷的對象和領域，明確生成式人工智能提供者的防沉迷義務，轉變監管方法，加大監管力度，發揮多元主體協同共治，確保生成式人工智能的使用符合人類整體利益。人應當被看作目的而不能僅僅作為手段，生成式人工智能只能作為工具而絕不能成為主體；只有保證人類作為“掌舵者”的角色，方能使智能技術的發展行穩致遠。因此不論將來人機關系發展如何，在技術不斷朝向“人化”方向發展時，人們都應提醒自己技術的根本目的在于實現人的自由全面發展，而不是將整個社會帶向幻想之外的“空中樓閣”。因此有必要建立完善生成式人工智能防沉迷體系，在特定情形中限制對生成式人工智能的使用，降低對其依賴，構建良好的人機關系，從而避免人類社會成為被AI 管理的“AI 帝國”。

從全球范圍來看，隨著歐盟《人工智能法》的不斷推進以及生成式人工智能的新一輪爆發，人工智能的治理已經邁入大規模立法的新階段?？紤]到人工智能的發展速度，對人工智能立法既需要立足于當下問題，更需要應對前瞻風險和挑戰。從國內看，2023 年8 月，在“全球治理話語競賽下人工智能立法的中國方案”研討會上，中國社會科學院國情調研重大項目《我國人工智能倫理審查和監管制度建設狀況調研》課題組正式發布《人工智能法示范法（專家建議稿）》?？傮w來看，該建議稿堅持發展與安全并行的中國式治理思路，提出了負面清單管理等治理制度，并對人工智能產業鏈條各主體責任義務分配等核心問題進行了回應。遺憾的是，該稿中并未涉及生成式人工智能防沉迷問題。本文認為，有關立法部門在未來人工智能立法中應當借鑒《未成年人網絡保護條例》將“生成式人工智能沉迷防治”作為專門一章加以規定。這為防治生成式人工智能沉迷提供了法治保障，也有利于生成式人工智能發揮更加正面而積極的作用。