人工智能算法歧視的法律治理

陳昕明,沈開舉

〔鄭州大學 法學院,河南 鄭州 450001〕

數字科技的核心是算法,數字治理的關鍵是算法治理,在這個意義上甚至可以說,數字治理歸根結底就是算法治理[1]。算法治理不僅是國家治理現代化的重要體現,也是全球數字科技治理規則制定的話語權競爭抓手。但隨著算法濫用的風險逐步增大,算法歧視、算法安全、算法黑箱等法律、倫理和社會問題促使社會重新思考算法技術。算法歧視可能導致各種各樣的不利后果,如損害公平機會、限制個人自由、損害公共利益等。2021年5月,Twitter的研究團隊發表了一篇論文,通過實驗證實了Twitter的縮略圖算法在裁剪圖片時更偏向白人以及女性,在裁剪多人照片時會更多裁掉黑人[2]。2022年4月,北京市消費者協會啟動了互聯網消費大數據價格歧視問題調查活動,其發布的報告顯示,76.77%的受訪者認為存在價格歧視現象,64.33%的受訪者表示有過被大數據歧視對待的經歷[3]。

一、算法歧視法律治理的問題緣起

1.算法決策中的歧視

算法歧視是指算法在分類、預測、決策等過程中對某些特定個人或群體產生不公平或不合理的影響。歧視行為主要有直接歧視和間接歧視兩種形式。當通過人為判斷做出決定時,可能會根據具體情況做出有偏見的決定,這種直接歧視可能是因為算法使用的數據存在偏差或偏見,也可能是因為算法本身存在漏洞或錯誤。數據挖掘和機器學習算法產生決策規則或決策模型,可能會使某些群體中的個體與其他群體相比處于劣勢地位,此時便產生了間接歧視。

行為是歧視的表現形式,情形是歧視的作用領域,歧視的理由描述了可能受到歧視對象的特征[4]。算法歧視并非都是有意為之,更多是基于無意識或錯誤而產生。機器學習基于數據挖掘,在理論設定中只要模型背后的假設與數據完全匹配,決策便與其構建的模型一樣客觀,但實踐中很少能夠完全相符。在基于數據的運算中,這種情況尤其明顯,二者的結合很可能會產生錯誤與偏見[5]。歷史數據中可能有偏見、不完整或記錄了過去的歧視性決策,往往會導致這些決策十分輕易地轉移到預測模型中,并在新的決策中得到強化[6]。這些未被發現和解決的潛在偏差可能會妨礙機器學習實現其提高自動化決策系統的準確性和公平性的初衷,它們還可能使這些系統的開發者和使用者因無意識的不當行為承擔法律責任。

2.算法歧視沖擊法律倫理秩序

平等、自由及尊嚴是法治社會價值的基礎。我國《憲法》第33條第2款規定:“中華人民共和國公民在法律面前一律平等”,體現了平等權在我國基本權利體系中的重要地位。作為一項基本人權,平等權可以在人權普遍性原則下尋找邏輯根源。人權普遍性之要旨是建立在人之為人的尊嚴與價值之上,建立在人類具有共同利益與共同道德之上。但是算法技術的產生使得這種平等理念受到了極大的挑戰。在算法治理的社會里,具有社會人文意味的價值被數字化程序化分類,技術的應用關系著每個人的命運[7]。例如,美國政府使用的一項自動化決策系統將公民任意排除在食品支持計劃之外,錯誤地減少了原本專屬于殘疾人的福利,以及毫無根據地指控他們欺詐[8]。這種不合理的差別對待已經造成了實質的不平等,受其影響的群體也更難以獲得權利救濟。此外,平等權作為憲法規定的基本權利,沒有自身的具體內容,只有在權利主體行使其他權利的過程中得以實現。在近年頻發的“大數據殺熟”案例中,算法所判別出的“高收入”群體要比其他普通用戶為相同商品或服務支付更多的溢價,技術鴻溝的設置使得歧視行為更加難以識別,此時便需要法律通過規制市場經濟領域的不平等或其他民生領域可能出現的歧視保障公民在憲法上的平等權[9]。

公正是法治的生命線,公正是法律的本質,法律是公正的外化[10]。算法歧視對于正義的妨礙主要體現在程序正義和實體正義兩方面。對于程序正義來說,在互聯網這一虛擬世界中,代碼意味著秩序,使法律具有了虛擬特質,法律思維范式正日益凸顯出虛擬性的層次和特點[11],算法正在演變為一種“執法者”的角色,對決策相對人進行判斷、評價甚至處以懲罰。伴隨人工智能技術快速發展而出現的網絡去中心化現象加強了歧視的隱秘性,也增強了算法對歧視監管的反制能力[12]。實體正義強調每個人都應享有平等的權利和機會,但算法歧視會導致某些群體被不公平地對待,例如美國司法部使用的預測聯邦拘留人員再犯風險的評估工具高估了一些有色人種的累犯風險,在一些暴力累犯評估上低估了一些有色人種的累犯風險[13]。此外,在具有歧視或偏見色彩的決策中,不能否認受到此種對待的相對人所面對的算法自身可能就被設定為非正義的,例如美國殘疾法律學生協會表示擔心由于殘疾人特定的訪問需求(例如需要更長的休息時間或使用屏幕閱讀器或聽寫軟件),遠程AI監控系統更有可能把他們標記為潛在作弊對象[14]。

3.算法歧視有違以人為本理念

算法歧視對知情權、隱私權和尊嚴權都有不同程度的威脅和侵害。

算法對知情權的威脅主要體現在“算法黑箱”的不可知性與“信息繭房”的信息窄化中,原因在于算法黑箱的運行過程隱蔽沒有公開。個人在算法邏輯的支配下,即進入擬態中某一種模式化的歸類。這種不透明性會導致用戶感到無法掌握自己的數據和個人信息,也無法有效地行使控制權和監督權。

個人信息作為隱私權的重要組成部分,其機密性、完整性和可控性必須受到保護,以維護人的自由和尊嚴?，F代科技發展使許多信息以數字化方式表現出來,成為信息財產。這種數字化個人信息或者隱私內容,更加容易被侵犯[ 15]。2012年,一位父親發現高中女兒的郵箱里收到了Target網站嬰兒用品的優惠券,投訴后得知網站部署的人工智能算法根據女兒的在線活動,比家人更早地得知了她懷孕的消息[16]。算法推薦技術涉及無法審查數據收集和使用的問題。信息收集的前提是蘊藏著豐富的財產屬性和商業價值的個人信息被曝光[ 17],但讓與隱私數據的尺度和使用并不是完全被知曉和控制。事實上,收集行為、收集范圍及使用范疇并不為用戶個人所了解,甚至用戶在使用前還會面臨界面提示“不授權讀取個人信息則不提供服務”的問題。另外,平臺對用戶個人信息的收集往往超出它們提供正常服務所調用的必要權限。數字技術成為社會控制的工具,在越來越不透明的虛擬世界中,個人越來越透明。

此外,算法歧視在一定程度上損害了尊嚴權。從人的尊嚴價值考察出發,算法歧視有將人類物化之嫌,弱化人的主體地位,偏離其價值內核、目的及意蘊。例如在英國實施的基于算法的自動化社會保障系統中,盡管支付系統的效率大大提高,但在公民所享受的社會保障方面設置了數字障礙,因此可能會排除掉科技素養低的申請人,影響弱勢群體的工作、食物和住房等基本人權[18]。用于兒童社會關懷的預測系統也存在意外納入和延續對少數群體的歧視風險[19]。在算法時代人類的“物化”凸顯為“數據化”,人和人的關系變成數據和代碼,數字演變成一種新規范。對算法決策過度依賴而忽視了人類的多樣性和復雜性,必然會削弱人的尊嚴價值。

二、算法歧視法律治理的學理基礎

1.算法歧視的成因分析

(1)設計者的歧視傾向。在算法的設計和開發中,設計者出于維持積極的自我認同及維護尊嚴的需要,將貶義的刻板印象賦予外群的行為是根深蒂固的[20]。在某些情況下,設計者的歧視可能是故意的,比如由個人來創建一個有歧視的算法。但有時設計者的歧視是無意的,由其本身無意識的成見和有限的觀點造成了歧視后果的產生。與主觀認知相比,被算法歧視的群體更有可能通過消費和其他行為突破識別障礙,這是算法設計者設計歧視性算法的主要目的之一。事實上,這是人類思維主導的算法歧視,而不是算法發展的必然結果[21]。當這些算法延續和擴大現有的偏見和歧視時,它們可能助長系統性歧視,從而加劇現有的權利失衡。

(2)數據來源的非中立性。算法受制于數據的輸入,當不具有代表性、缺乏有效信息、存在歷史偏見或是其他不良數據輸入時,固有的歧視通常被算法保留,甚至在輸出中延伸。數據既有真實的,也有虛假的,而且真實的也不等于是客觀的,即數據并不具有天然中立性[22]。目前算法的一個關鍵特征是能夠通過攝取用戶數據來學習和響應用戶,但其經驗和數據不能完全考慮到新環境下的突變性,出于算法系統的數學嚴謹性和高級建模完備性,“偏見進、偏見出”的現象無法避免[23]。即使算法能夠解決提高效率的問題,也不能避免歷史數據本身造成的缺陷[24]。這種習得性負面關聯進而會導致更嚴重的算法歧視問題。

(3)算法的不可解釋性。機器學習可以被簡化為單純的算法模型,雖然人們可以知曉一個算法模型的輸入和輸出,但深度學習的路徑卻無法加以預測。經過多層網絡和多個節點不斷的反饋和放大,深度學習的初始條件或權重即使微調幅度很小,也能對其未來狀態引發巨大的差異。這意味著,即便是開發者可能也難以理解他們所開發的人工智能系統。在這種運行模式下,人類無法有效地控制算法的每一個編譯步驟,也無法明確了解每個特征變量在系統中的作用,難以準確設置每個變量的權重,更無法理解成千上萬的連接值如何相互作用并構成決策樹的工作機制。此外,由于算法的動態性,變量之間的關系和權重會隨著輸入數據的變化而不斷變化,深度學習算法的運行已經完全脫離了人類的理解和控制。不同的個體是否受到不同的待遇是完全隨機的,因此無法預測算法歧視的產生[25]。

2.實現科技向善的理論關照

(1)國家保護義務的正當性。國家義務構造論認為,國家有尊重、保護、給付義務。我國憲法確認“國家尊重和保障人權”的原則,說明在人權保障的義務主體中,國家處于最重要且最優先的地位。這是國家存在的價值和合法性基礎,是國家制定各項立法和政策的出發點和歸宿[26]?！白鹬亍弊⒅貒覍λ饺松畹牟坏们趾?它是基本權利主觀防御功能和國家消極義務的反映;“保障”更加注重平等權客觀方面功能,突出了國家保護與給付義務。包括要求國家通過立法等公權力行為積極規制算法歧視行為,保護基本權利主體不受歧視性對待或者落入服務提供者所造成的風險或者危險之內。這兩類義務又可統攝于我國《憲法》第38條對公民的人格尊嚴保護中[27]。算法歧視侵犯了平等權等公民基本權利,進一步觸動了“人格尊嚴”這一共同的權利保障基礎,故國家保護義務理論能夠為算法歧視的綜合治理提供最根本的法理支持。

國家保護義務理論適配算法歧視治理的銜接橋梁為“社會契約”的失衡。通常來說,在基本權利的保護問題上,國家優先尊重“私人自治”,即私人在不受國家干預的情況下有權自主決定與其他社會個體之間關系的自由,在社會自身無法平衡相關利益時,公民才有要求國家介入的意愿[28]。在算法歧視這一狀態之下,算法服務提供者與算法使用者之間存在著實質上的勢力對比不平衡。服務條款的強勢地位和雙方在信息、資源等方面的差距,凸顯了“契約一方明顯表現出典型的結構性弱勢”“契約后果能夠使處于弱勢的一方承受極大的負擔?！盵29]而且已在一定程度上侵害了人格尊嚴,弱化了人的主體性地位。對于國家而言,被私有資本籠罩的數據信息的封閉性運行弱化了國家的數據汲取能力,私有算法控制權力植入算法,引發了算法歧視,導致社會公平正義缺失,進而對國家政治權力和政治生活加以滲透和干預[30]。從這一點上來說,國家也具有介入和干預的必要性。

(2)平臺經濟健康發展的可行性。算法可被視為平臺上主導價值生產的行為和機制,充分的競爭使得商品和服務價格越來越接近邊際成本,只有規模效應才能產生利潤。這時,基于數據的營銷競爭變得極其重要,之前深受托拉斯壟斷之苦的商家們被如今平臺把持的數據流量壟斷所壓迫。目前平臺已經不再扮演單純的網絡服務提供者角色,而是一個兼具多重角色的社會經濟組織概念。然而,似乎平臺的自動化不可避免地導致了更少的平臺主觀過失,因此也排除了更多的平臺責任。這樣一來,在人工智能時代,數字平臺基于其作為社會基礎設施的支配力,實施濫用其市場支配地位、排除競爭和妨害競爭等行為時,平臺的主觀過錯識別機制就顯得模糊不清[31]。

技術的應用是包含主觀意圖的,平臺在算法設計、部署、運行中包含的主觀意圖與平臺是否盡到合理的注意義務,是平臺算法追責的根本指向[32]。國家市場監督管理總局公布的《互聯網平臺市場主體責任指南(征求意見稿)》中明確提出應當遵循公平和非歧視原則,在算法歧視問題多元協同治理的背后,平臺參與越發顯得至關重要。

(3)捍衛人之主體地位的必要性。當下數字時代遇到了一個前所未有的問題,即人類法權體系的主體性條件正在通過網絡空間發生改變[33]。首先,算法的濫用容易導致人的主體功能的退化與消解。隨著技術的不斷發展,算法越來越多地取代了需要人工干預的工作,人類與機器成為競爭關系。也由于此種原因,人與各類應用深度綁定,使得自身也被數字技術構建的大網所籠罩。原本接收外部的感性信息需要理性思維的處理加工后才能轉變為對主體有用的信息內容,被數字洪流所裹挾,在接收信息時處于被動狀態,逐漸喪失獨立思考的能力,人的理性面臨被弱化的危險,人的主體性被物的主體性所反噬。其次,算法存在的歧視問題有去人性化的風險。生動的、鮮活的個體的人被作為冰冷的進制符號存在于計算機的數字世界當中,群體的人被放在可控制、分解、歸類、交易的數據庫中,被算法所物化。人也在此過程中從決策的主體,淪為被決策的客體[34]。馬克思認為,在人的社會實踐過程中,物質生產和精神生產出的產品成為了人類的異己力量,從有利于人類、為人類統治,反過來出現統治人類的趨勢[35]。

在數據的世界里,人的主觀能動性和人格性利益演變成了無盡的代碼,包含個人信息的數據成為商品,被市場流通、交易。算法的應用邏輯使得只需在人為定義的自洽系統內部運行演算,在“技術中立”“技術無罪”的保護傘下肆意橫行。但算法歧視等違背人類道德和倫理的問題一再出現,作為活動的主體,人們應該警惕自己的行為可能帶來的后果和必須承擔的代價。

三、算法歧視法律治理的路徑優化

1.推動國家保護義務的履行

如前所述,算法歧視行為是“社會契約”的失衡,損害了公民的平等權。在基本權利的國家保護義務學說中,立法者對保護義務的履行負有首要責任,即先由立法者就所要保護的情境制定保護規范,然后由行政部門具體執行該法律規范,以促成保護措施的落實,最終則由法院依一定標準判定行政權與立法權的作為或不作為是否符合保護義務作為末端控管的要求[36]。履行保護義務首當其沖的國家機關非立法機關莫屬,只有將國家意志轉化為立法權,才有開啟保護義務履行的可能[37]。明確算法治理的立法定位,是構建算法治理體系的關鍵,有助于將立法與整體治理相結合,發揮制度性規范的作用。算法規制的目標不在于手段方式、工具理性,而在于正當標準和價值理性[38]。算法規制的對象指向以算法歧視為代表的危害亂象,并非算法技術本身。2022年印發的《關于加強科技倫理治理的意見》是我國首個國家層面的科技倫理治理指導性文件,強調塑造科技向善的文化理念和保障機制[39]。其后,《互聯網信息服務算法推薦管理規定》《生成式人工智能服務管理暫行辦法》《互聯網信息服務深度合成管理規定》等一系列規范性文件的出臺,無一不承繼著“科技向善”的精神。隨著人工智能算法性能的提升,算法倫理可持續調整完善,或提升為效力更高的法律形式,以實現算法通行治理的有效性,并符合中國社會發展的戰略目標和應用邊界,建立國家發展利益優位的法律體系和規則[40]?，F有規則缺乏體系性,算法治理規范之間存在著銜接和適用的困難,仍需要進一步厘清。此外,《個人信息保護法》《電子商務法》《數據安全法》等單行法中也蘊藏著豐富的法律價值,算法立法與現行法律存在權利保護內容不同、規制對象不同、規制目的不同等原因,在平衡算法立法與數據信息等立法的異同基礎上,也需要未來立法與現行立法的銜接補強。

不同于立法權以制定抽象規范的模式履行其保護義務,行政權的履行手段則是將法律中所內含的抽象保護轉換為具體的行政行為,并確實執行保護任務。2017年,《新一代人工智能發展規劃》[41]在國家政策層面上明確了“全流程監管”的頂層設計。此外,行政權力的治理應側重于算法工具在對人們的公民權利和社會福祉中的影響。將注意力和治理目標集中在可能產生高風險決策后果的影響上,而不是集中在任何特定技術工具的某些細節上,既可以推進技術創新蓬勃發展,同時也保有能夠面向未來的必要保護措施。在算法開發及運行的前、中、后三個階段以及許多重要的算法使用場景中政府擁有巨大的市場影響力和控制力,能夠制定標準、提供指導,并強調減少算法歧視的實踐。公開披露哪些算法涉及重要決策,是政府實現有效治理和建立公眾信任的關鍵步驟。在算法部署之前,執法部門應做好備案與評估工作,并披露在影響個人的重大決策中使用算法的情況。例如在英國,執法部門有一個不可委托的職責,即在使用前記錄預期和潛在的算法歧視情況[42]。在算法運行階段,應做好監測和監督工作。監測算法歧視的工具在初期可以模擬其他行業,例如對于算法的合規性檢查,政府可以使用審計、認證和授權工具等方式,也應因行業和情境而異。執法部門必須將原則與規則的閾值精確結合,以避免極端的差異性影響。在歧視產生后的階段,應拓寬問責渠道。擴大算法歧視投訴渠道,重視受歧視群體的投訴與反饋,明確歧視的責任承擔主體和義務,遵循公平原則、合理原則和比例原則進行判定,建設完善算法歧視問責機制[43]。

司法權在國家保護義務履行過程中擔任末端控管工作,即對于履行保護義務的國家行為進行事后審查,透過對實定法的解釋與涵攝,確保行政權是否確實發揮其執行保護措施的任務。我國目前并沒有針對公民平等權利救濟的特定情況、途徑、程度等作出明確的規定,司法救濟手段方面有所缺失。算法決策差異性結果的產出并不能完全歸咎于歧視傾向,不能否認在市場交易行為中存在的競爭和策略浮動的正常商業行為。因此,在司法實踐中應當引入差別性影響審查標準,在審查歧視后果時,注重合理性、合比例性差異原則,這也是維護公平正義的體現。另外,可探索建立算法侵權公益訴訟制度,充分發揮公益訴訟制度的優勢。

2.促進平臺運營規范化的實現

為了避免技術失序及歧視性后果的產生,應結合具體的使用目的和規范,對算法運行進行合理限制。算法能否被用于特定的決策領域,必須考慮此領域的決策在多大程度上依賴于人的理性判斷,區分原則的適用必不可少。從公正、合理、高效的角度來看,算法存在歧視缺陷,價值扭曲風險大,可限制某些類型算法的使用?？紤]到算法所產生的積極影響及其引發的質疑和挑戰,有必要引入并構建算法影響評估機制。其作為一種強制性風險評估工具,在算法決策作出前依據特定的評價標準完成,降低算法決策系統相關的風險,并提供治理、監督和報告或審計要求[44]。算法影響評估機制貫穿算法運行全過程,有利于預測算法歧視的風險可能,增強算法的可解釋性。

2022年國務院印發的《“十四五”數字經濟發展規劃》中提出應推進建設行業服務標準和行業自律,為引導企業在法律合規、數據管理、算法應用等領域完善自律機制,《算法推薦管理規定》第五條也提出鼓勵算法行業組織加強行業自律,依法接受社會監督,算法治理應當充分發揮行業自律的作用[45]。因此,為了防止算法歧視帶來的負面影響,不僅需要對算法進行外部監管,還需要加強算法服務行業的內部自律水平。涉及算法與人工智能技術的企業需要初步建設和完善算法與人工智能倫理體系,同時需要厘清在相關高風險人工智能技術應用中企業所承擔的“研究開發、設計制造、部署應用和使用”四個維度下的具體角色和職責。為了確保企業的穩健運營,需在識別相關高風險算法技術應用場景的基礎上,進一步深入開展自評估和備案工作。

3.加強公民個體權利的保障

技術產生于人的需要,人是技術的發明者和創新者[46]。人民性高于商業性是算法邏輯必須要堅持的頂層設計。雖然在算法的設計、編寫和應用過程中需要注重效率,也要允許算法進行自主學習和優化,但必須強調堅持“以人為本”的價值立場,確立人的價值主體地位,維護人的本質、利益、人格和尊嚴始終處于優先考量。算法的設計、編寫、應用和升級,都要以此為基礎,嚴格依法依規,忠實履行職業道德,盡可能限制并最終消除算法歧視,確保算法技術始終為人類福祉服務,為人類的自由平等發展創造條件。算法運行結果必須經過人為審查與綜合價值判斷,方能作為決策正當性、合理性的證成基礎得到使用。運行算法并不能取代人的自主判斷與分析,更不允許算法的結論被自動實現。要靠決策環節中體現“人”因素中“職責—權利”的法律機制彌補算法技術的不足,用法律價值修正算法的工具價值。

習近平總書記指出要“不斷增強意識形態領域主導權和話語權,更好構筑中國精神、中國價值、中國力量,為人民提供精神指引”[47]。來自算法決策中的歧視風險是意識形態的重要表現場域,在信息中夾帶偏見歧視并通過算法進行傳達正在成為現實[48]。因此,注重主流意識形態話語供給與傳播,是克服算法歧視風險的有效路徑。應以正確的價值取向控制和引導算法邏輯,將主流價值滲透到算法的運行邏輯中。要增強我國主流意識形態話語傳播的廣度與深度,也需要鼓勵生產優質內容,創新傳播話語[49]。平等是社會主義的本質要求,也是社會主義的理想價值,更是衡量人類文明進步的重要標準。提倡工具理性與價值理性相結合的技術理性、算法理性和算法倫理,以適應法律和社會治理體系中的歧視挑戰是當前人類自身面臨算法時代的必要升級。

四、余論

人工智能技術的發展將改變人們對法律的認知,重塑法律的規則形態,乃至法律的價值導向[50]。算法治理不僅是國家治理現代化的重要體現,也是全球數字科技治理規則制定的話語權競爭抓手。從目前全球各國政府、企業、研究機構以及社會組織的實踐探索來看,算法治理正在走向國家、行業、用戶與法律、倫理、技術協作互動的路徑。推動法律與技術的融合,回應人工智能時代面臨的全新挑戰,確保公平正義、科技向善,以促進我國人工智能法治體系的完善構建,并進一步探索和揭示我國數字法治建設的未來趨勢。