論成癮性科技風險的法律規制

閆 海 王天依

(遼寧大學 a.法學院;b.國家治理與法治研究中心,沈陽 110136)

提要: 成癮性科技形成于注意力經濟背景之下,通過動機、能力、提示的習慣塑造機制的運用與算法科技的加持,幫助企業獲取用戶注意力、穩固用戶群體、實現經濟增長,但其隱蔽、深度控制用戶的特性應當受到法律規制的關注。成癮性科技運用成癮模型與算法誘導用戶成癮,會產生過度使用風險、個人信息濫用風險、科技倫理價值風險,具有風險影響的普遍性、形式的隱蔽性、趨勢的上升性、對象的不平等性等特征。我國針對成癮性科技應當采取多層級化的規制策略構建成癮性科技風險法律規制體系,建立以用戶防御機制為核心的嵌套式元規制體系,通過與硬件廠商、應用商店、戒癮軟件合作規制以提供加強和冗余的用戶保護,并對教育型助推、經濟型規制、科技倫理根源治理等外部規制工具進行創新改良,形成融貫元規制-合作規制-外部規制的三重規制體系。通過對成癮性科技風險的法律規制,實現家長主義、自由意志、商業自由三者之間的微妙平衡,使用戶在享受科技便利的同時免受成癮性科技風險的侵擾、危害。

“屏幕那邊有數千人在努力工作,為的就是破壞你的自律”[1]3——成癮性科技(Habit-Forming Technology),指有意識地運用基于行為經濟學構建的成癮模型與算法,誘導用戶形成心理甚至生理性依賴的應用軟件。成癮性科技產生于注意力經濟背景之下,信息曾經是稀缺資源,但進入后工業化特別是高度信息化社會后,數字信息豐富且漫灌[2],信息不再稀缺而是過載,人類處理數據信息的行為即注意力反而成為稀缺品[3]。人們的時間和精力都是有限的,諸如工作會消耗精力、休息會占用時間等等,能投入媒介上的時間和精力更為有限。因此,凝聚了受眾的時間和精力的注意力就顯得十分重要,媒介贏得的注意力越多,越能帶來較高的經濟收益。成癮性科技推動用戶養成定期、長期、自我強化的使用習慣,幫助企業贏得用戶的穩定使用時間、形成穩固用戶群體,使企業更有可能取得注意力的市場競爭優勢,因此備受青睞,近年來發展迅速。但是,成癮性科技深度控制用戶的精神世界,改變用戶行為模式,并且導致用戶合法權益受損的情況也引發關注。2022年《互聯網信息服務算法推薦管理規定》第8條規定,“算法推薦服務提供者應當定期審核、評估、驗證算法機制機理、模型、數據和應用結果等,不得設置誘導用戶沉迷、過度消費等違反法律法規或者違背倫理道德的算法模型”,標志我國認識到成癮性科技及其風險的存在并展開法律規制。目前,成癮性科技利用日漸成熟的成癮模型,依托于數據—算法—平臺構成的“三維體系”,被隱蔽而廣泛地應用于社交媒體、購物、游戲休閑、短視頻、直播視頻等眾多互聯網領域,僅從算法倫理單一維度出發進行規制顯然力有不逮,加之規制機關與企業之間的技術鴻溝致使條文虛置,迄今仍無適用案例出現?；ヂ摼W基礎設施的建立以及智能移動客戶端的普及使成癮性科技的受眾空前廣泛,成癮性科技帶來的風險亦隨之成倍增長,因此對成癮性科技風險的法律規制應當進行維度擴展,增強相關主體的規制參與度,探索新的規制進路,革新規制工具。

一、成癮性科技的習慣塑造機制

成癮性科技的本質在于有目的地植入了成癮模型。成癮模型也被稱為“黑暗模式”,亞當·奧爾特認為成癮模型由“誘人的目標”“不可抗拒的積極反饋”“毫不費力的進步”“逐漸升級的挑戰”“未完成的緊張感”“令人癡迷的社會活動”六大要素組成[1]64-163;尼爾·埃亞爾則提出“觸發—行動—多變的酬賞—投入”四階段模型[4]27-121。這些雖有助于理解成癮模型但未觸及根本,難以切實認識成癮性科技,更無法為法律規制提供有效指引。我們以行為經濟學視角,對成癮模型予以結構、原理的解析,達成對成癮性科技的正確認知,為法律規制的構建奠定理論基礎。

(一)習慣塑造機制的成癮模型

為幫助人們塑造良好的生活習慣、扭轉困境,福格基于行為科學提出“福格習慣塑造模型”。模型展現了習慣塑造的三個通用要素,即動機、能力、提示,當三要素齊備,行為便會發生[5]29。福格還以行動線圖形式進一步總結和展現習慣塑造的四原則(見圖1):(1)動機越強,行為就越有可能做到;(2)行為越容易就越可能成為習慣;(3)動機和能力要像隊友一樣密切配合;(4)沒有提示,任何行為都不會發生[5]34-40。申言之,只有在行動線之上的行為才能夠被完成,行為①具備了動機和能力,處于行動線之上,只要受到提示便能夠做出行為并逐漸養成習慣;而行為②③④則分別因能力不足、動機不足或能力動機都不足而無法達成,因此位于行動線以下,即使受到提示也無法成為習慣。

圖1 行動線示意圖[5]38

福格習慣塑造模型的三要素與四原則為成癮性科技奠定了理論基礎。企業為了在注意力競爭中取得優勢,運用福格習慣塑造模型結合互聯網環境以及智能移動客戶端的特點打造成癮模型:(1)以多變的酬賞和稟賦效應塑造用戶的強大穩定使用動機;(2)運用簡化式助推與默認設置,清除使用阻礙、降低摩擦成本,使用戶更加容易使用;(3)設置外部型與內源型觸發裝置,頻繁提示用戶進行使用。在三者聯合運用下,用戶被養成使用成癮性科技的習慣,形成生理、心理依賴,直至最終徹底成癮。

(二)以多變酬賞與稟賦效應形成動機

依據福格習慣塑造模型,動機是復雜多變、波動頻繁的,動機在高漲后往往還會迅速回落[5]57-60,因此成癮性科技運用多變的酬賞和稟賦效應為用戶創造穩定而強烈的動機。

1.多變酬賞

多變酬賞,指基于可變比率強化原理(Variable Ratio Reinforcement)為用戶設計可變獎勵計劃(Variable Reward Schedule),給予用戶隨機而非固定的酬賞。之所以提供隨機而非固定的酬賞,是因為一個人在隨機的時間間隔接受積極的刺激時,多巴胺會充斥大腦,此過程重復之后,就會產生依賴性[6]。盧克·克拉克對此解釋,“人類大腦的多巴胺系統對不可預測的獎勵非常感興趣。當存在最大不確定性時,多巴胺細胞最為活躍,即多巴胺系統對不確定獎勵的反應高于可預測的相同獎勵”[7]。質言之,如果獎勵總是固定的,用戶能夠預測下一步會發生什么,反而不會產生喜出望外的感覺[4]87-88。多變酬賞在早期通過機制設計而實現,例如淘寶、京東將各類商品的優惠、秒殺信息混雜在一起,用戶找到價格優惠的心儀商品時便會感到興奮,會重復刷新查看;又如門戶網站將各類新聞、信息放置在一起,用戶為了能夠找到有趣的信息只能長時間在網頁進行搜尋。近期的多變酬賞則運用算法工具進行更精細的操作,例如社交與拍照應用Instagram結合算法為特定用戶定制可變的獎勵時間表,當算法預測可以對用戶產生最大心理影響時,便會通知用戶已被其他人關注或點贊,使“獎勵”對用戶產生最大效用[6];又如原神、第五人格、明日方舟等網絡游戲采取所謂“氪金抽卡”①,用戶通過投入現實貨幣或虛擬幣以抽取裝備道具獎勵,抽獎結果名為隨機實則取決于算法,算法將最大化多巴胺的產生,誘導用戶大量充值。

2.稟賦效應

稟賦效應是一種廣泛存在于市場交易中的行為偏誤,通常表現為某物品的擁有者較非擁有者對此物品的評價更高[8],其本質之處在于效用與占有相關,即以某種方式獲得某物品的人,不管是購買抑或獲贈,對此物品的估價一般都要高于旁人的估價[9],因此擁有者損失已占有的物品時會感到極大的、超出理性的痛苦,而為了避免承受心理痛苦,擁有者通常采取能夠規避損失的策略。成癮性科技會向用戶授予某種獎勵,但在用戶中斷或停止使用時奪走它們,用戶為了規避“損失”,只能被迫持續使用。例如淘寶、京東設計了日常任務或連續簽到任務,達成一定要求的用戶將獲得獎勵,若是中斷便會損失當日獎勵甚至重新起算。又如,社交媒體應用軟件Snapchat設計了“連勝圖案”,當用戶通過平臺向其他人發送圖片時,他們就會開始積累由條紋構成的“連勝圖案”。每連續分享圖片一天,條紋會增加一個,但當用戶超過24小時未發送圖像時,就會失去所有條紋和標志榮譽的火焰表情符號。再如,外語學習軟件Duolingo不僅采取鼓勵連續使用的“打卡”設計,還設定“如果用戶錯過打卡,他們可以付費‘修復’”[10],加重了損失帶來的痛感。還有消除游戲開心消消樂則設計了簽到獲獎模式,每月簽到使用超過28天的用戶可以免費兌換獎品,“缺席”的天數需要支付虛擬幣進行“補簽”。

(三)以簡化式助推與默認設置強化能力

簡化式助推與默認設置幫助成癮性科技掃除了用戶使用成癮性科技過程中的操作障礙與法律障礙,用戶與成癮性科技之間再無任何阻隔,更加容易地使用成癮性科技——也就更容易成癮。

1.簡化式助推

依據福格習慣塑造模型,某種行為欲被塑造為習慣,則行為難度不宜過高,“讓行為簡單到隨時隨地都能做”[5]83。簡化助推通過減少摩擦成本或改變默認選項等方式,使事情變得更加簡單易行[11],這無疑與成癮性科技降低行為難度的目標契合。簡化式助推在早期被用于提升用戶體驗,例如Facebook設計簡易的注冊程序、谷歌清除了頁面的無關信息與廣告等[4]62-65,但其簡化的潛在成癮功能隨即被發現:(1)簡化式助推無形地消除了用戶選擇中途停止使用的機會,例如無盡卷軸(Infinite Scrolls),當用戶接近或到達網頁已加載內容的末尾時,便會自動加載額外內容;又如自動播放(Autoplay),當用戶結束當前播放的音樂或視頻后無需操作直接播放算法推薦內容。這兩類設計被認為將“鼓勵用戶的過度使用行為”,美國參議員喬?！せ衾?Josh Hawley)發起的《降低社交媒體成癮技術法案》(SMART Act)主張對它們進行禁止。(2)對于簡化式助推的正反雙向應用,正向使注冊、登錄、充值等行為都更加容易,反向則增加摩擦成本,將限制登錄和查看使用次數、限制使用時間、限制自動續期續費、注銷賬號等功能從主界面中隱藏起來,使用戶難以自主采用防止成癮和沉迷的措施,此類設計因其能夠令用戶“易進難出”而被稱為“蟑螂屋(Roach Motel)”[12]。(3)簡化式助推針對風險告知、知情同意等原本需要用戶深思熟慮的場景,這最具危險性,導致用戶在“系統1”主導狀態下倉促做出半意識的、自動的決定②,使之同意上傳個人隱私信息,接受算法推薦,乃至開通長期自動續費的網絡訂購、網絡充值等付費類服務,隱私的放開和持續的自動充值最終都會加深用戶與成癮性科技的綁定,使用戶更難放棄使用。

2.默認設置

默認設置是一種更為常用的簡化式助推。默認設置被企業濫用,設立于自己有益卻有害用戶的默認設置,例如企業為用戶提供的個人隱私設置、使用數據上傳設置、算法推薦設置名義上可以自由選擇、定制,但卻刻意使功能界面過于復雜或隱蔽,這時用戶便會選擇那些有害于他們的“壞默認(Bad Default)”[6]。美國消費者聯盟的報告指出,Facebook運用默認設置的方式助推用戶接受預設隱私條款,允許廣告商收集和訪問自己的個人信息,若是用戶接受默認隱私設置,注冊程序則非常簡單,但若是用戶選擇在注冊完成前修改預設隱私條款,就會被引導至一系列復雜的條款選擇界面,當其完成選擇,又會被引導至新界面——此界面顯示禁止用戶在注冊完成前修改Facebook提供的預設隱私條款[13],如此繁復又邏輯自相矛盾的流程,最終將迫使用戶接受對他們不利的“壞默認”?！皦哪J”掏空知情同意規則,使其徹底形式化、空洞化,令用戶“選擇”了更易成癮的服務條款:(1)“壞默認”使成癮性科技獲得多重權限,可以通過發送通知、短信、郵件等方式頻繁誘導用戶使用;(2)“壞默認”幫助成癮性科技獲取用戶的個人信息、隱私信息,這些信息將被用于誘導用戶成癮乃至售賣第三方;(3)“壞默認”還令用戶“合法自愿”地暴露于成癮性科技的成癮模型與算法之下,乃至淪為成癮實驗的對象,所得到的數據和結論還將被企業用于進一步完善成癮模型與算法,從而開啟下一個成癮循環;(4)“壞默認”為成癮性科技清除了法律上的障礙,成癮性科技可以依照條款推卸責任,拒絕對用戶的安全和健康承擔義務。

(四)以外部型和內源型觸發裝置設置提示

依據福格習慣塑造模型,提示是行為的第三要素,若是缺乏提示,即便存在動機和能力,行為也不會發生。企業設置外部型和內源型觸發裝置,使用戶在受到觸發后進行使用[4]33-40。

外部型觸發裝置包括以下方式:(1)經濟型觸發,通過經濟上的回饋吸引用戶,如周期性開啟秒殺活動、發送優惠券乃至直接發放現金等方式誘使用戶頻繁使用;(2)通知型觸發,通知用戶收到新信息、新評論或點贊,在用戶長時間不登錄時還會發送電子郵件或短信提示用戶進行登錄;(3)人際型觸發,如Facebook、QQ等軟件會自動生成好友生日通知,迫使收到通知的用戶進行生日祝福[14],又如備受厭惡的“好友垃圾郵件”(Friend Spam),以尋找現實好友為理由索取用戶的郵件或通訊錄,隨后向用戶的所有聯系人發送垃圾郵件,并聲稱郵件是用戶發送,脈脈軟件即曾因使用好友垃圾郵件,被法院認定為“侵擾私人生活的安寧,構成對隱私權的侵犯”③。

尼爾·埃亞爾指出,依賴外界條件刺激用戶感官的外部型觸發難以持久發揮作用,自動出現在用戶腦海中的內源型觸發才是控制用戶行為的關鍵[4]36,但使用內源型觸發也意味對用戶進行深度心理操控。內源型觸發可以來自積極情感,但恐懼、焦慮等負面情緒才是威力更加強大的內部觸發,更有助于使用戶成癮[15]。成癮性科技往往不惜將負面情緒以內源型觸發裝置加諸用戶,如Facebook濫用用戶對“錯過重要社交信息”的恐懼,一名用戶描述了他矛盾的心態,“我不喜歡Facebook。我覺得我必須擁有它只是因為其他人都擁有它。我覺得我會錯過什么——我甚至不知道我會錯過什么”[14]。比之濫用恐懼,制造對立情緒的內源型觸發裝置更為惡劣,例如社交機器人被用于偽造人類言論,導致用戶對對立觀點形成更強的敵意從而緊密抱團[16],借助對立甚至仇恨情緒觸發用戶的長時間與對立者進行“戰斗”。

二、成癮性科技風險的特征與類型

成癮模型發展以及數據算法科技的進步推動成癮性科技形態迭代。一代成癮性科技以谷歌、魔獸世界、Facebook、Twitter為代表,依賴成癮模型進行運作,并且通過成癮測試進行實證以加強產品的成癮性,其對由此帶來的用戶風險持放任態度,所以一代成癮性科技本質上是由私人主體進行的“惡意助推”。諸如微信、抖音、滴滴等二代成癮性科技則重點運用了數據采集和算法科技,通過后臺對用戶偏好進行個性化的分析,進而為用戶推送量身定做的產品,具有便攜性、個性化、自主性、鏈接性,全面入侵乃至掌控用戶日常生活,應當成為主要的規制對象。注意力競爭推動成癮性科技急速演化,法律規制卻長期滯后缺位,二者之間不對稱性形成的規制真空使成癮性科技的發展走向盲目無序,以致成癮性科技的研發、運營、操作層面產生各種類、各形態風險。成癮性科技風險包括過度使用相關風險、個人信息濫用風險、科技倫理價值風險,具有影響的普遍性、形式的隱蔽性、趨勢上升性、對象不平等性特征。

(一)成癮性科技風險的特征

1.風險影響的普遍性

成癮性科技已經滲入即時通信、綜合電商、支付結算、短視頻等幾乎所有互聯網經濟領域。在QUEST MOBILE發布的“App用戶規模億級玩家”榜單中,微信在國內用戶量最多的20款應用軟件中排行第1,用戶人數超過10億,淘寶、支付寶、抖音、拼多多等8款用戶人數超過5億,排行末位的今日頭條用戶也達到3.4億[17],這些均運用了成癮模型與算法,符合成癮性科技的特征,可見成癮性科技雖是新近提出的概念但已普遍存在。2022年8月中國互聯網絡信息中心《第50次中國互聯網絡發展狀況統計報告》顯示,截至2022年6月我國網民規模為10.51億,互聯網普及率達74.4%,網民中使用手機上網的比例為99.6%,網民年齡從10以下至60歲以上皆有分布[18],成癮性科技普遍性的運用與我國互聯網高普及率疊加,意味著我國公眾處于成癮性科技的影響之下,成癮性科技的風險將給整個社會帶來巨大負外部性。

2.風險形式的隱蔽性

成癮性科技所影響的用戶基數巨大,但長久以來卻流于法律規制之外,原因在于成癮性科技風險形式的隱蔽性。成癮模型與算法運行于黑箱之內天然隱蔽,其作用方式亦是暗中對用戶施加助推,誘使用戶“自主”決策,使用戶難以察覺自己受害的事實,即使發現自己已經成癮亦往往歸咎于自身意志力不足,無法認知到成癮性科技才是真正風險源頭。此外,成癮性科技造成的風險往往是長期的、潛移默化的,諸如身心健康、個人信息濫用等風險,都存在延時發生的特性,風險時空的不一致性使得用戶乃至規制機關難以將成癮性科技與具體危害后果之間建立因果聯系。

3.風險趨勢的上升性

處于注意力競爭中的企業試圖保有自身用戶、搶奪其他企業用戶,這使得市場競爭朝向高成癮性競爭發展,引發“成癮軍備競賽”。企業時刻關注其他競爭對手采取的成癮模型與算法,并試圖模仿和超越,再進入下一個循環,無休止的成癮競爭將導致成癮性科技不斷自我進化。成癮性的螺旋上升意味著對用戶操縱的不斷加深,用戶將為成癮性科技付出更多時間,也將自己暴露于更大的風險之下,成癮性科技風險不僅不會自行消弭,反而會隨時間上升,凸顯法律規制介入進行遏制的必要性。

4.風險對象的不平等性

成癮性科技給用戶帶來的風險并非均等,部分用戶將承受更嚴重風險。用戶技術能力差異引發的風險并不平等,具有技術能力的用戶不僅可以較早認識到成癮性科技帶來的影響,還可以對成癮性科技的默認設置進行修改,限制使用時間和花費金額,達成一定程度的自主防御,但缺乏技術能力的用戶甚至不會認識到自己正受成癮性科技影響,遑論采取防御措施。此外,用戶心理健康程度不一也造成成癮性科技風險的不平等,處于焦慮、抑郁或心理疾病狀態的用戶更容易受影響而成癮,心智處于發展中的未成年人亦容易遭遇風險,乃至近期研究發現,處于孤獨狀態的老人亦較容易成癮[19]。成癮性科技風險不平等性要求法律不僅要采取普適性規制措施,還需為弱勢群體提供更強保護。

(二)成癮性科技風險的類型

1.過度使用相關風險

成癮性科技旨在誘導用戶成癮,直接導致用戶不合理的過度使用,進而引發系列風險。過度使用在心理方面帶來自戀、低自信和自尊、注意力不集中、多動癥、批判性思維萎縮、情緒波動、焦慮和抑郁、心理壓力等[20],Andreassen等指出,注意力缺陷多動障礙、抑郁癥、焦慮和社交恐懼癥都與過度使用呈正相關[21]。過度使用在身體方面則帶來睡眠障礙,由分心駕駛、騎自行車和步行造成的事故,久坐不動的成癮生活方式的影響,例如肥胖、糖尿病等[20];在社會關系層面,過度使用會造成婚姻不和諧、社會孤立、工作表現下降和失業[22]以及親子關系問題[23],大學生群體成癮使用還會給學業與心理健康帶來負面影響[24]。

除共性的過度使用風險外,成癮性科技滲透至具體領域內,或是引發新風險,或是成為此領域內原有風險的“放大器”:(1)媒體型成癮性科技易誘發網絡極化風險。推薦算法預先過濾掉了與用戶認知不符的新聞、信息,用戶被置于網絡繭房之內卻不自知,用戶受成癮影響長時間停留其中,易受到極化影響,而極化又會衍生網絡各圈層嚴重對抗[25]、反主流情緒撕裂社會共識、破壞網絡生態[25]、誘發網絡暴力、極化行為延伸至現實生活[26]等一系列次生風險問題。(2)游戲型成癮性科技針對網絡游戲環境特點設計能夠令用戶不斷加大時間、金錢投入的“捕鯨策略”④,采用了與賭博高度類似的“氪金抽卡”機制,誘導用戶通過投入虛擬乃至現實貨幣獲取裝備物品,給用戶尤其是未成年人帶來誘發賭博風險[27]、財務風險[28]、霸凌風險[29],甚至可能引發未成年人早期犯罪行為。(3)購物型成癮性科技的市場操縱行為給用戶帶來財務風險、隱私風險和獨立決策能力損害[30]。購物型成癮性科技借助平臺優勢,為用戶設置網絡貸款入口并提供現金優惠誘導用戶使用,形成購物—貸款型成癮科技,其操作中的行為與掠奪性貸款的判定要件高度重合。在非必要的情況下,即用戶本可不使用貸款進行支付,誘使用戶使用符合構成服務濫用[31]。購物—貸款型成癮科技運用簡化的流程,放松對用戶還款能力的充分審查,屬于超越用戶能力的放貸行為[32]。在用戶初次使用后,購物—貸款型成癮科技在弱化對用戶的風險告知流程的前提下,不斷推薦延期還款、分期還款服務,使交易結構日趨復雜化進而推高利息,屬于濫用有利于貸款人的信息不對稱[31]和“向不知情或缺乏經驗的借款人隱瞞貸款義務或輔助產品的真實性質”[33],質言之,購物—貸款型成癮性科技符合掠奪性貸款認定的形式要件,會給客戶帶來掠奪性貸款風險。

2.個人信息濫用風險

成癮性科技具有強烈的獲取個人信息動因,成癮性科技需要收集信息進行習慣測試以完善成癮模型,為實現“注意力吸引—監控,數據收集和實驗—成癮—注意力吸引”的定制化成癮循環[6],對個人信息的渴求更強烈,無節制獲取和濫用信息行為更甚。成癮性科技收集的個人信息不僅限聯系電話、電子郵箱、身份證號碼等“原始信息”,更通過成癮測試窺探用戶的心理狀態與行為模式,這些信息是用戶本人亦不知曉的“深度信息”。

2021年《個人信息保護法》第3條將自然人有關的各種信息與“分析、評估境內自然人的行為”均納入法律適用范圍,亦即成癮性科技收集“原始信息”與“深度信息”的行為均應受到規制?！秱€人信息保護法》等多部法律對個人信息處理的原則、條件予以規定,諸如處理個人信息目的的正當性、收集個人信息的必要性以及個人的同意等構成合法收集、處理個人信息的基本準繩[34]。但是,貌似周全的個人信息法律保護框架,卻被成癮性科技以概念與技術的雙重鴻溝而突破。成癮性科技以概念鴻溝進行形式化合規博弈,例如以“提升服務質量和用戶體驗”作為目的正當性基礎,利用自身地位對必要信息做出單方解釋和定義,以及利用格式條款、默認選項乃至以停止服務為威脅獲取用戶的同意意思表示,形式上似具備了目的正當性、必要性、個人同意三個必要合法要件,但在實質上利用三要件法律規定的模糊性和相關案例暫付闕如的狀況進行了傾向于自己利益的解釋與操作。成癮性科技還借助技術鴻溝逃避維權與執法,相對于規制機關和用戶,具備壓倒性的技術優勢,在數據抓取和分析利用不透明的情況下,消費者的維權行為很難對其展開有效對抗,規制機關的執法檢查亦面臨技術與成本難題。

3.科技倫理失范風險

科技倫理價值的核心層面基于人類的核心價值,即建立在主體理性之上的人的尊嚴、幸福、自由、關愛等內在價值[35],亦應遵循不傷害、尊重人、受益和公平等生命倫理學基本原則[36]。成癮性科技的出現使科技倫理在互聯網經濟中遭遇失范危機:(1)成癮性科技通過技術控制手段對用戶的精神乃至身體進行規訓與操控而造成成癮,成癮會使用戶招致身體、精神、經濟、事業、學業等多方面傷害,因而違反不傷害原則,存在道德上錯誤[37]。(2)為加速成癮性科技演化,用戶被反復作為實驗對象進行所謂“習慣測試”[4]186,用戶不知情地淪落為試驗對象和數據資源[38]109。成癮性科技讓用戶參與其更容易上癮的研發過程中,并在無意識中貢獻了自己的數據與能力,“用戶被利用來對付自己”[37],這種行為將用戶尊嚴和利益視為無關緊要,是對用戶的不尊重和貶低[37],也構成對用戶利益的漠視。(3)成癮性科技不斷在習慣測試中運用數據與算法,窺探隱藏的人類思維和人類意圖的特征,但解讀卻顯非出于善意,而是為了探查用戶的脆弱性[38]109-111,再利用脆弱性使用戶成癮從而獲得經濟利益。這種利用對方弱點達到目的的行為足以構成剝削,是道德上特別令人反感的剝削形式[37]。(4)成癮性科技帶來的科技倫理失范,極易因模仿效應而產生擴散性風險,對其他科技領域尤其是方興未艾的元宇宙帶來負面影響。

三、成癮性科技風險的元規制

法律規制應當著眼用戶福祉,基于自由主義的溫和專制主義理念[39]5-7,設計用戶防御機制即不強制用戶停止使用,而是幫助其更好認識和改善使用行為,通過元規制推動用戶防御機制運行,以避免成癮性科技給用戶帶來風險。

(一)成癮性科技的嵌套式元規制體系

成癮性科技用戶防御機制的推行面臨雙重困境:一是企業自我規制動力不足困境。有足夠的技術能力設計防御機制,但成癮性降低顯然意味著市場競爭力削弱和盈利能力下降,因此完全寄望企業基于對用戶負責或社會責任感主動設計用戶防御機制是不現實的;二是外部規制機關能力不足困境,規制機關雖然具有強烈規制意愿但卻缺乏技術能力,無法直接介入成癮性科技的設計和運行為用戶配置防御機制。造成雙重困境的共同原因在于規制動機與規制能力不匹配,企業具備技術能力和便利卻缺乏實施動機,其商業模式與幫助用戶預防成癮、促進更安全使用之間存在矛盾,而規制機關則相反,雖有規制動機但掣肘于規制資源的限制。打破困境應當以規制譜系上位于二者之間的元規制為應因之道。元規制是指“對自我規制予以規制的過程”[40],采取雙層結構嵌套構建:第一層是市場主體自我規制,但元規制體系下的自我規制與“純粹的自我規制”不同,市場主體將受到規制機關在規制目標、規制措施等方面的指導;第二層是自我規制運行未能產生預期規制效果時,規制機關將介入并采取糾正措施。成癮性科技元規制亦應構建雙層嵌套模式,規制機關在第一層級為自我規制提出目標并列舉若干必要的用戶防御機制;規制機關在第二層級檢視自我規制的成效,若自我規制失敗則介入予以糾正。

(二)第一層級的用戶防御機制設置

成癮性科技元規制的自我規制目標是防止用戶過度使用引發各種風險危害,規制機關應提供更具體指引,以列舉式方法要求企業采取用戶防御機制,亦鼓勵企業自主研發新型防御機制。成癮性科技從創造動機、讓使用更加容易、設置觸發裝置三方面來塑造習慣、引導成癮,因此用戶防御機制亦應基于行為經濟學并采取相反邏輯運行,即削弱動機、限制能力、阻斷觸發,以防止用戶成癮。

1.以使用反饋機制削弱動機

幫助人們改進其行為的最好方法是提供反饋。設計精妙的反饋系統能夠提示人們的行為是否得當[39]107。用戶往往不知曉自己是否存在成癮問題,而使用反饋機制的設置能夠能幫助用戶認識到成癮程度與嚴重性,給用戶樹立限制使用、理性使用的目標,削弱無節制使用成癮性科技的動機。使用反饋機制亦能夠使用戶了解自己使用時間的增減趨勢從而輔助他們更加理性地進行使用。使用反饋機制主要分為兩類:一類是跟蹤型(Tracking),對于查看次數、使用時間、充值付費金額等數據追蹤調查;另一類是數據呈現型(Data Presentation),提供設備使用情況總結、應用軟件使用情況總結、日/周使用情況回顧、使用情況社會比較[41]。跟蹤型與數據展示型機制應當進行結合運用,由跟蹤型工具進行用戶原始使用數據的跟蹤調查,數據展示型工具則可以提供易于理解的圖表、畫面展示和用于個人與社會平均使用時間、建議使用時間的比較,二者協作預期能產生更好的助推作用。

2.以自主限制機制降低能力

自主限制機制能夠從根本上抑制用戶的成癮使用行為,起到釜底抽薪的作用,是用戶防御機制中最重要的一環:(1)身份驗證環節是自主限制機制的基礎,若缺乏實質性的身份驗證,用戶可以無限制地注冊新賬號,這將使自我限制機制形同虛設。此外,身份驗證環節還有助于保護弱勢群體尤其是未成年人的成癮風險。我國對游戲型成癮性科技較早設立身份驗證環節,但運行效果不盡如人意,屢次出現明顯漏洞⑤,依賴身份證信息的驗證極易被突破,因此應當推廣人臉識別驗證。(2)極限設定(Limit-setting),是國內外均被認為具有良好效果的防御機制,與有效運行的身份驗證結合能夠極好保護用戶。極限設定允許用戶為自己預設使用次數、使用時長、充值付費金額的極限數值,若超過預設數值則不再允許用戶使用。除用戶自主極限設定外,企業亦可參與到極限設定中,在用戶存在極端不合理的使用情況下,視情況可發出警示,暫停其使用,乃至暫時凍結該用戶的賬號。(3)人工智能保護系統是新近提出的防御機制,人工智能不再被用于使用戶成癮,而是用于識別和保護潛在的、可能過度使用的用戶。在理想狀態下,人工智能保護系統可以對用戶的不良行為進行事前預判,并且在識別后限制其注冊、登錄、使用,在用戶成癮前實現智能管控[42]。(4)自主注銷機制是嚴重成癮用戶的最后防線。目前成癮性科技的內置自主注銷機制設置過于隱蔽,并且允許用戶在注銷后立即重新注冊,以致形同虛設,法律應當要求企業將注銷流程規范化、明晰化,設置自主注銷后的“冷靜期”,即注銷后一段時間內禁止同一用戶的注冊和使用。為了更好保護未成年用戶和存在心理問題的用戶,還應設置監護人權限,賦予監護人暫時凍結賬號的權利。

3.以觸發限制機制阻止提示

提示是行為發生的決定性要素,沒有提示行為就不會發生[5]115。成癮性科技設計觸發機制不斷提示用戶進行使用,因此用戶的自我防御機制應幫助用戶過濾不必要的觸發。觸發限制機制包括以下兩部分:(1)優化默認設置?！皦哪J”允許無限制地向用戶發送軟件消息提醒、手機短信、電子郵件,使用戶隨時隨地收到提示,易誘發成癮使用,對默認設置優化,除好友間通信外,默認禁止對用戶發送提示行為,除非用戶因存在切實需要而自行設置準許接收。(2)設定免擾時間。即使用戶同意接受觸發,但亦應當為用戶設置合理的免擾時間,尤其是在深夜時段,學生用戶的上課時間亦應禁止一切的主動觸發行為。(3)禁止人工智能或社交機器人對用戶進行自動化的點贊、回復、評論等行為,防止人工智能的自動化回復與算法結合隨時對用戶進行提示。

(三)第二層級的糾正措施后置介入

糾正措施的后置介入是在第一層級預設的規制目標未達成時所采取的規制手段,糾正措施雖發生于事后,但其所蘊含的威懾力卻足以敦促企業主動達成規制目標以免受到懲戒。

糾正措施適用應當先建立對成癮性科技行政檢查。元規制中的行政檢查兼具執法行為與監督行為的雙重屬性,若預設規制目標已然達成,規制機關應選擇尊重現狀而非懲戒。質言之,行政檢查的根本目的在于檢驗規制目標是否被達成,以決定后續是否進行介入。成癮性科技數量龐大,因此行政檢查應當與分級分類監管、信用監管結合,著重將規制資源重點投入運營超大平臺的企業、存在違法或不良信用記錄的企業以及對未成年人影響較大的游戲型成癮性科技運營企業。

糾正措施應逐步搭建“執法金字塔”體系。在理想狀態情況下,規制機關應擁有從強到弱的多種懲戒工具,形成懲戒力度拾級而上的執法金字塔。但是,目前我國尚未建立成癮性科技法律規制的框架,亦未制定專門規范性文件,規制機關能夠尋求到的規制工具極其有限。規制機關在個案處理上應將行政約談為首要工具選項,發揮行政約談的威懾效力,解除迫在眉睫的嚴重風險。行政約談亦是一項靈活性較強的對話式規制工具,有助于規制機關建立與企業的互信基礎,為后續規制中的合作進行鋪墊。待成癮性科技的法律規制通過漸進優化走向成熟,則應開始豐富規制工具種類,制定由弱到強的完整金字塔式懲戒體系:首次犯錯且改正積極的企業予以低力度的警告、教育和約談;對屢教不改的企業則漸次加強懲戒力度,依次采取重點監管、負面信息公布、行政罰款、添加數字成癮標簽直至最嚴重的吊銷行政許可和全面下架[43]。唯如此,才能既幫助偶然違法者改正行為,又能夠對屢罰屢犯、拒絕改正者施加嚴厲的處罰。

四、成癮性科技風險的合作規制

成癮性科技的合作規制能夠提供自我規制與外部規制以外的資源。作為合作對象的硬件廠商、應用商店、第三方軟件皆為私主體,反而不必如規制機關般囿于法律授權,可以實施更強力度的措施。此外,合作規制還可以為用戶提供“冗余保護”,即合作規制提供的保護形式與自我規制、外部規制存在措施上或對象上的重疊[44]302-303,其優勢在于能夠大大提高規制容錯率,多重保護機制的任意一項都能起到保護作用。

(一)硬件廠商

硬件廠商在技術層面擁有較高優勢,通過自身掌握的系統與硬件權限能夠對用戶的各類成癮性科技使用情況進行監控和限制,并且硬件廠商還擁有較強的規制參與動機,硬件廠商能夠通過預防成癮風險、為用戶提供更好的注意力保護而提升自身市場競爭力,部分硬件廠商已經將預防成癮作為產品的獨特優勢⑥。硬件廠商在成癮性科技合作規制中,可以從以下方面發揮作用:(1)硬件廠商運用自身技術優勢和對數據、算法底層邏輯的深刻理解開發新型反成癮機制,例如小米公司開發的“空白通行證”,允許用戶以一個空白的虛擬身份使用成癮性科技,當成癮性科技試圖獲取用戶的個人信息或使用情況信息時,系統會自動反饋空白信息,“空白通行證”能夠有效防御用戶個人信息泄露和成癮算法影響,規制機關應鼓勵指引此類工具的開發。(2)硬件廠商掌握設備出場的默認設置和默認安裝軟件,規制機關可引導要求廠商將反成癮機制設置為默認開啟或預裝第三方的反成癮軟件應用;與之相對,規制機關亦可要求硬件廠商參與對違法劣跡成癮性科技的懲戒,不得將其作為預裝應用。(3)硬件廠商擁有較高設備權限,其設置的反成癮機制能夠全面監控硬件內每個成癮性科技的使用情況,掌握成癮性科技的通知次數、亮屏次數、使用時間、使用時間段等重要信息,這些信息可以作為規制機關認定成癮性程度的重要依據,更進一步,硬件廠商可以憑借信息優勢成為數字成癮標簽相關標準制定的重要參與者。

(二)應用商店

應用商店是用戶獲取各類應用軟件的主要渠道,是成癮性科技流入市場走向用戶的關鍵樞紐,具有強大的規制能力和規制資源,是合作規制中不可或缺的參與者。應用商店在成癮性科技合作規制中,可以從以下方面發揮作用:(1)應用商店是數字成癮標簽的有力推行者,可以在用戶獲取應用軟件這一關鍵節點提供具備及時性、吸引力的助推,幫助用戶遠離成癮性科技,倒逼企業控制、降低成癮性。(2)應用商店可以將成癮性納入應用軟件的質量評價體系中,高成癮性的應用軟件將被認定為低質量,進而降低其推薦指數和榜單排名,營造低成癮性競爭氛圍。(3)規制機關在當前法律框架下缺乏對成癮性科技采取規制行動的法律依據,對成癮性科技采取的懲戒極易構成行政行為違法,嚴重限制了規制力度,但應用商店作為私主體不受此限制,不僅可以添加數字成癮標簽和警示信息,對于一些對用戶造成嚴重風險的成癮性科技還可以直接將其下架,被應用商店下架的成癮性科技不僅失去推廣和下載渠道,還會被市場認為不值得信任。質言之,比之規制機關,應用商店擁有更多手段,能夠進行力度更強的懲戒。

規制實踐中應用商店的潛能尚未得到激發,應用商店為了獲取廣告費和利潤分成而為成癮性科技提供宣傳、下載、付費渠道,反而成為成癮性科技事實上的共謀者。規制機關應當重塑應用商店的規制角色,將其視為有潛力的規制合作者充分發揮其規制潛力。應用商店與成癮性科技存在商業利益上的捆綁,規制角色轉換不會自然生成,規制機關需要運用“蘿卜+大棒”的策略施加引導。應用商店平臺所提供的平臺服務具有公共面向,除非存在法定事由或者其他正當理由,平臺不應對入駐平臺的成癮性科技實施拒絕服務或者差別化對待[45],否則便有違反服務義務之風險。為了打消應用商店平臺的顧慮,規制機關應當承認應用商店平臺對成癮性科技采取管制行為的合法性,允許應用商店平臺根據具體情節對成癮性科技實施警告、添加數字成癮標簽、降低排名、屏蔽、下架等措施[46],保證應用商店平臺不會因此遭到來自反壟斷或反不正當競爭等方面的調查與處罰,并且對存在爭議的管制措施進行善意推定,肯定應用商店的規制治理權能,此乃規制機關提供的“蘿卜”。規制機關還應為應用商店劃定紅線,一方面防止應用商店出于經濟動因怠于對成癮性科技風險采取防范措施,另一方面亦預防應用商店以整治成癮性科技之名而打壓其他企業或對自身旗下的成癮性科技實施自我優待。若應用商店平臺明顯違背合理注意義務、采取明顯不合理的措施時,規制機關應進行介入并對應用商店平臺施加懲戒,措施包括但不限于傳統的警告、負面信息公布、財產罰,抑或對應用商店征收庇古稅,削弱應用商店濫用自身地位獲取經濟利益的動因,此乃對應用商店產生威懾的“大棒”。

(三)戒癮軟件

面對成癮模型與數據算法加持的成癮性科技,用戶即便認識到自己已經成癮亦難通過自主控制注意力形成有效對抗,因此需要求助于外力,戒癮軟件由此應運而生。戒癮軟件與用戶防御機制類似,通過與成癮模型逆向運行的方式,從動機、能力、提示方面著手幫助用戶實現戒癮目標,為用戶提供了更多選擇和額外保護。戒癮軟件主要包括如下類型:(1)動機激勵型戒癮軟件,成癮性科技運用稟賦效應使用戶成癮,動機激勵型戒癮軟件則將稟賦效應用于鼓勵用戶戒除成癮使用。此類軟件允許用戶制定戒除目標,當目標達成時會以游戲化的形式提供獎勵,例如虛擬的勛章、森林或城鎮,一旦用戶“違約”,便會受到帶有隱喻性質的懲罰,勛章會被剝奪、森林會枯萎、城鎮建筑會倒塌[47],通過獎懲帶來的稟賦效應用戶會被賦予戒除成癮使用動機,以抵消使用成癮性科技的影響。(2)障礙設置型戒癮軟件,與自主限制機制原理相同,通過限制用戶使用能力的方式防止用戶過度使用成癮性科技。在時間要素方面,這類軟件可以在用戶過度使用后,或達到臨界點前激活。在障礙要素方面,存在提示用戶已經或將要過度使用的弱障礙,在特定時間段或使用超時則禁止使用的強障礙,微交互(Microboundary Interactions)則是居于二者之間的新穎方式,通過在主界面上隱藏成癮性科技圖標,使其更難被用戶找到的方式增加使用中的摩擦成本[47]。(3)小組互助型戒癮軟件(Group-based Limiting Assistance App)[48],利用了社會性助推原理,將社會支持作為戒癮的動機和觸發[47],主要包含三項功能:一是戒癮榜單,群組成員可以相互查看手機使用情況、戒癮成就和戒癮排名,如戒癮軟件Hold為積分靠前用戶設置皇冠圖標,戒癮軟件Focus則為排名前三的用戶制定金銀銅牌。榜單的設置喚醒了團體內的競爭意識,將其塑造為團體成員的戒癮動機。二是群組限制模式,組員可以創建虛擬房間,進入房間內的組員在特定時間內禁止使用任何成癮性科技以專注于學業、社交、工作。三是協同定位功能,當兩名或以上好友處于同一地點,此功能便會觸發,鼓勵該地點附近的好友一同限制成癮性科技的使用,轉而專注于線下事務,此功能對在校學生群體極有助益,能夠幫助他們專心完成課程。

戒癮軟件和規制機關同樣具有強烈的幫助用戶防范成癮性科技風險的動機,但受經濟利益所驅動,戒癮軟件在專注度、技術能力、防御措施更新速度等方面高于規制機關,且更易接觸用戶,規制機關應發揮戒癮軟件的保護作用,對研發運營戒癮軟件的企業進行引導扶持。

五、成癮性科技風險外部規制的工具創新與改革

除了嵌入元規制與合作規制中的部分規制工具,規制機關針對成癮性科技風險實施的“純粹外部規制工具”應當進一步創新與改革,以數字成癮標簽工具實現助推規制治理,以經濟工具進行敏捷治理,以科技倫理治理尋求根源性規制治理。

(一)數字成癮標簽

標簽是助推規制體系中的重要工具,標簽提供者試圖以標簽鼓勵人們做出更好的選擇,但并不追求對人們施加強力控制,質言之,貼標簽是為了提高認識,實現認知和行為的改變的教育型助推工具[49]。標簽被廣泛應用于成癮性物質如藥物、煙草、酒精[50]的規制,成癮性科技的強制性標簽規定目前暫付闕如。數字成癮標簽能夠實現教育功能、分級分類功能、借由標簽解釋實現的信息傳遞功能、懲戒功能,是一項有潛力的教育型助推工具:(1)教育功能是數字成癮標簽的基礎功能。成癮性科技的概念尚未普及,用戶對此缺乏認識,數字成癮標簽的設立能夠在短時間內喚起社會共同體對成癮性科技的重視,為用戶樹立限制、戒除使用的目標。來自煙草研究的證據表明,描述消費不良后果的健康警告標簽改變了吸煙行為,其中圖文并茂(Image-and-text)的健康警告標簽最有效[50],數字成癮標簽的亦應采取此設計,標簽還應遵循助推的及時性原則,在“壞習慣發生前”對用戶進行教育,把握用戶的下載、首次使用、開啟軟件界面等關鍵時機展示標簽教育用戶。(2)數字成癮標簽的分級功能是教育功能的實現與延伸。若將所有成癮性科技“一視同仁”地打上完全相同的數字成癮標簽將會使用戶難以識別其中哪些成癮性更強,從而產生困惑,降低了標簽的教育功能。況且,被貼上數字成癮標簽的成癮性科技則可能更加毫無顧忌地提升成癮性,反而削弱標簽威懾力。因此,應按照成癮性強弱制定多層級的數字成癮標簽:首先,數字成癮標簽的分級可以使用戶更加直觀地認識每款成癮性科技的成癮風險高低,實現對用戶的有效教育、指引;其次,不同級別的成癮標簽應分別設置相應的推薦使用年齡段,實現對未成年人的重點保護;最后,標簽的分級能夠有效應對成癮性科技的頻繁變化特性,對于主動采取措施降低成癮性的成癮性科技可以降低其成癮等級,直至完全去除標簽,反之,成癮等級則將不斷升高,質言之,標簽等級的變化能夠向企業傳達激勵或警示,敦促其降低成癮性。(3)標簽解釋是數字成癮標簽的重要一環,用戶在看到標簽后會產生疑問與好奇,此時提供相關信息既符合助推規制的及時性原則,又可降低用戶獲取信息的摩擦成本,使用戶可以及時展開成癮性科技相關知識、信息的學習。標簽解釋向企業則會釋放規制信號和提供行動指南,使之有意識地降低成癮性以避免被打上數字成癮標簽。標簽解釋還能夠防止標簽被濫用、錯用,一定程度上預防標簽提供方的恣意行為。(4)標簽還附帶有懲戒功能。數字成癮標簽可以成為信息規制工具,對成癮性科技及其研發運營企業予以負面評價。在互聯網時代,負面評價更易傳播,對企業的潛在影響可能更甚于經濟處罰,足以形成有效的懲戒與威懾。

(二)庇古稅

命令—控制型工具祛魅化后,規制機關認識到經濟型規制工具能夠將外部成本內部化,并由此實現企業行為的矯正,因此對其日益重視[51]248-249。在成癮性科技的法律規制中,經濟型規制工具能夠影響企業的成本收益,實現對其行為的深層引導。

對成癮性科技而言,庇古稅(Pigouvian Taxation)是最佳的經濟型規制工具。市場配置資源失效的原因之一是經濟活動當事人的私人成本與社會成本不一致,致使私人的最優并非社會最優,“糾正外部性的方案便是政府通過征稅或者補貼來矯正經濟活動當事人的私人成本”[52],即庇古稅方案。庇古稅早期的治理對象是環境污染,亦可應用于成癮性科技的法律規制[42]。庇古稅的規制進路具有以下優勢:(1)成癮性科技使企業獲利頗豐,但其帶來的風險和治理成本卻由整個社會承擔,產生巨大的負外部性,征收庇古稅能夠在一定程度對負外部性進行抵消,降低成癮性科技帶來的隱形經濟損失。(2)庇古稅的征收會削弱企業濫用成癮性科技的經濟動因,促使其積極開創其他盈利模式而非基于商業慣性繼續展開無休止的成癮性競爭。(3)庇古稅具有較高靈活性,是實現敏捷治理的規制工具。規制機關可以通過調節庇古稅的稅率應對不同規制任務,若是為了彌補負外部性可以適用較低稅率,若有進一步的證據表明成癮性科技存在嚴重風險則可提升稅率直至企業不得不放棄成癮性科技的研發運營,在一些重點領域,例如游戲型成癮性科技,亦可采取更高的稅率以保護未成年人為主體的用戶。(4)庇古稅較之全面禁止等強硬措施而言,提供了緩和余地,體現了包容審慎的規制理念。成癮模型與算法已經深刻融入至各類應用軟件的底層設計邏輯中,要求短時間內禁止全部成癮性科技,或者將成癮模型與算法全部剝離,會給企業帶來巨大負擔,而庇古稅的征收既能夠表達我國治理成癮性科技的決心、敦促企業擺脫商業惰性,又為企業留足時間對應用軟件和盈利模式進行漸進性優化乃至實現轉型。在我國,庇古稅可以采取政府性基金模式,收取的資金進行?？顚Ｓ?投入對成癮性科技的風險研究、數字成癮標簽研究、用戶防御機制研究、科技倫理治理研究等方面。

(三)科技倫理治理

成癮性科技的法律規制若僅著眼于應對現有成癮模型與算法注定事倍功半。隨著行為經濟學與算法工具的不斷發展,企業可以輕而易舉地找到替代性的模型與算法,加之立法固有的滯后性,規制機關幾乎永遠無法趕上企業開發新型成癮性科技的步伐。規制機關應轉向根源治理,尋求從源頭遏制不負責任的成癮性科技研發行為,科技倫理治理是實現根源治理的可行路徑。

科技倫理治理架構在早期多屬指導性或者自律性。伴隨科學技術逐步深入地嵌入社會、經濟、政治和文化機理中,其對社會核心價值和利益分配機制的沖擊日益深遠,國家開始通過法律手段介入,科技倫理治理日漸與法律規制產生嵌合[53]。2021年修訂《科學技術進步法》第112條規定,對進行違背科技倫理的科學技術研究開發和應用活動的行為采取責令改正、追回財政性資金、沒收違法所得、公布違法行為等懲戒措施。2021年發布的《關于加強互聯網信息服務算法綜合治理的指導意見》以強化科技倫理意識作為算法治理基本原則,將科技倫理審查作為算法監管體系的重要一維,并規定企業建立科技倫理審查制度責任。2022年《互聯網信息服務算法推薦管理規定》第8條規定,“算法推薦服務提供者應當定期審核、評估、驗證算法機制機理、模型、數據和應用結果等,不得設置誘導用戶沉迷、過度消費等違反法律法規或者違背倫理道德的算法模型”,認定企業采取誘導用戶成癮行為系對倫理道德的違反。2022年中共中央辦公廳、國務院辦公廳印發《關于加強科技倫理治理的意見》明確了增進人類福祉、合理控制風險的科技倫理原則,提出倫理先行、敏捷治理的要求。

我國對成癮性科技進行科技倫理治理已經具備初步的法制基礎和法規依據,但仍須細化微觀倫理原則、構建科技倫理治理組織基礎、建立科技倫理責任制度,使科技倫理治理具備現實執行力:(1)構建以行政引導為主的倫理商談程序,確立秩序目標?？萍紓惱碇卫砩刑幟劝l階段,企業對科技倫理目標缺乏認知和重視,行政引導能夠短時間內自上而下地樹立以下三個層面的秩序性目標,一是反思性目標,通過交流辯論方式明晰各方價值主張的基礎與邏輯,傳達規制機關的科技倫理要求,亦聽取企業基于商業邏輯提出的合理主張;二是認知性目標,彌合規制機關—企業—行業—專家—公眾各方對于成癮性科技的認知差距,使各方在具備相對理性客觀認知的前提下展開價值交流探討;三是規劃性目標,規制機關在前兩個目標基礎上,對成癮性科技的價值理念做出指南,要求企業在研發過程中注入向善的價值理念[54]。(2)開展微觀倫理學研究,制定行為指南。徒有抽象的倫理原則難以有效指導企業,將抽象的倫理原則細化為行為指南,增強倫理原則的行為指引制度能力[54]。哈佛大學伯克曼互聯網與社會研究中心提出的“宏觀倫理原則—具體行為指引”的基本范式給成癮性科技的行為指南提供有益借鏡⑦,提供現階段的即時應對,隨著成癮性科技的認識加深,行為指南還將繼續細化完善。(3)建立科技倫理審查委員會,為科技倫理治理提供組織基礎。倫理審查委員會承擔著個案倫理審查、倫理研究、制定行為指南、組織公共倫理辯論、政策和決策咨詢等多項職能,在科技倫理治理中不可或缺。我國可借鑒目前較為完善的生命健康領域倫理委員會組建的經驗[55],建立互聯網經濟和應用軟件領域專門倫理審查委員會,將成癮性科技在內的應用軟件研發運營納入審查范圍。同時,我國應當鼓勵較大規模企業展開內部倫理審查信息化平臺建設,將之作為自我規制的重要組成部分。(4)建立科技倫理責任制度。規制機關囿于規制資源所限難以對大量涌現的應用軟件進行面面俱到的審查,故應強化企業的科技倫理責任,使之成為科技倫理的首道防線。針對企業科技倫理失范行為,除依據《科技進步法》責令改正、沒收違法所得、負面信息公布外,還可采取列入重點監管對象、失信懲戒等措施進一步加強懲戒力度,以及對技術直接負責的主管人員和其他直接責任人員進行個人責任追究。

六、結語

元規制—合作規制—外部規制三重體系能夠抵御成癮性科技風險,但這并不意味法律規制就此終結。成癮性科技在注意力競爭背景下滲透至各個領域,衍生出媒體型成癮性科技、游戲型成癮性科技、購物型成癮性科技等,這些具體類型成癮性科技在特定場景造成的風險危害尚有待進一步研究,元宇宙為代表的全新形態成癮性科技亦蓄勢待發。元宇宙是社會信息化和虛擬化的必然趨勢,被認為是互聯網發展的終極階段[56],也可能是成癮性科技的終極形態,在元宇宙的具身交互性、全息化沉浸性、虛擬補償性共同作用下,用戶在元宇宙中獲得多重感官體驗,收獲感官快感,更重要的是在“隨心所欲”的空間中,用戶會獲得極大的自我認同和心理滿足,由此產生媒介依賴和成癮行為[57]。元宇宙超真實、超沉浸的環境若融入已頗為成熟的成癮模型與算法,所誕生的新型成癮性科技將遠非前代成癮性科技所能企及。面對當下以及將來的挑戰,法律規制需要進行理念轉軌,尋求達到家長主義、自由意志、商業自由三者之間的微妙平衡,積極推動企業開創新型盈利模式,使用戶在享受科技便利的同時免受成癮性科技風險的侵擾、危害。

注 釋:

①“氪金”來源于我國游戲社區,是指網絡游戲的充值,“抽卡”則是指充值所獲得的物品并非固定,是根據游戲預設的算法被“隨機”抽取。目前,絕大多數氪金抽卡網游采取保底策略,即抽卡達到一定數量必定出現某特定等級的游戲角色、物品或裝備,所以抽卡的結果不是真正意義上的隨機而是由算法進行操控。

②行為經濟學認為人的大腦存在兩套系統,系統1的運行是無意識且快速的,處于自主運行狀態,容易犯邏輯上的錯誤;系統2負責復雜的運算和邏輯推理,其運行通常與行為、選擇和專注等主觀體驗相關聯(參見丹尼爾·卡尼曼:《思考,快與慢》,胡曉姣、李愛民、何夢瑩譯,中信出版社2012年版,第5-9頁)。

③參見王某與北京淘友天下科技發展有限公司隱私權糾紛案,北京市海淀區人民法院民事判決書,(2018)京0108民初25154號。

④捕鯨策略由鉤子(Hook)、習慣(Habit)、愛好(Hobby)三個階段組成,鉤子階段將為用戶提供廉價贈品,使用戶“上鉤”,養成充值付費習慣;習慣階段允許用戶通過充值獲得更快進度,因此更樂于游玩;愛好階段培養用戶將游戲作為日常生活的一部分,將充值金額不斷推高。See Mike Rose. Chasing the Whale: Examining the ethics of free-to-play game。https://www.gamedeveloper.com/business/chasing-the-whale-examining-the-ethics-of-free-to-play-games。

⑤例如被稱為史上最嚴禁令的《國家新聞出版署關于進一步嚴格管理切實防止未成年人沉迷網絡游戲的通知》出臺后不久,網上即盛傳“60歲花甲老太太,凌晨三點進行游戲,并17次通過人臉識別”,此事甚至還引起中宣部、國家新聞出版署對騰訊、網易進行約談。(參見杭州網. “60歲老太凌晨用趙云五殺”騰訊回應:人臉識別17次,認為確系“本人”在游戲。https://news.hangzhou.com.cn/shxw/content/2021-09/10/content_8051065.htm)

⑥例如奇虎 360集團旗下獨立業務公司北京安云世紀科技推出了基于安卓 11 系統的 360 OS手機,該手機以青少年防沉迷功能作為主要競爭優勢;華為、小米、OPPO三個手機品牌則各自研發了內置的反成癮機制。(參見三易生活. 360新機Q20 Pro現身,主打青少年防沉迷功能。 https://new.qq.com/rain/a/20220922A08BR000;中關村在線. 玩手機“成癮”得戒 華為小米OPPO防沉迷實測對比。https://mobile.zol.com.cn/778/7785006.html)

⑦在“宏觀倫理原則—具體行為指引”的基本范式可以推導出以下成癮性科技治理的行為指南:(1)不傷害原則,企業不應研發對用戶產生傷害的成癮模型與算法;(2)人類福祉原則,企業在成癮性科技運營前應進行社會影響評估;(3)透明與可解釋原則,企業應履行對成癮模型與算法的雙重解釋義務;(4)技術責任原則,企業及其技術人員在開發過程中應進行負責任的設計并承擔責任;(5)知情同意原則,進行成癮性科技“同意治理”,不得運用簡化和默認設置將知情同意空洞化。See Fjeld,Jessica,Nele Achten,et al:Principled Artificial Intelligence: Mapping Consensus in Ethical and Rights-based Approaches to Principles for AI,Berkman Klein Center for Internet &Society 5(2020)1-68.