性別視角下算法權力異化的治理路徑

董少平,馬麗欣

(1.中南財經政法大學 國家治理學院，湖北 武漢 430073 2.中南財經政法大學 法學院，湖北 武漢 430073)

數字時代,數據成為社會生產要素,而算法決定了數據的價值[1]。算法在一定程度上替代了傳統的決策模式,通過指令、學習即可在短時間內做出相應的決策,給社會治理結構帶來了影響。針對此,有學者提出了“算法權力(algorithmic power)”的概念?！八惴嗔Α辈煌凇皣夜珯嗔Α?是擁有算法技術的主體利用自身的技術優勢與海量數據收集,最后指引或直接代替主體做決策[2]。通過條件套入式的自動化決策,將“人”作為客體,對人進行“預測”“畫像”“評估”。在就業過程中,算法自動化決策會對勞動者進行畫像,構建出“完美勞動者”的形象,然而數據模型難以依據特定人進行變化,算法決策也往往會在這種模型構建中嵌入無意識的性別歧視[3]。這樣的歧視隱藏于算法之中,難以通過傳統的判斷方式或者識別手段進行認定。

算法權力的出現打破了原有“權利”制約“權力”的平衡,使得公私二元界限變得更加模糊。從“權力-權利”的失衡出發,以算法決策帶來的女性在勞動與就業中的性別歧視現象為視角,以“權力-權利”的再平衡為基本路徑,堅持算法技術的蓬勃發展與權利平衡的雙重驅動,從而實現算法權力異化的有效治理。

一、算法性別歧視視角下勞動就業領域法律保護的失靈

人類社會最初的勞動分工就具有很強的性別分工態勢,女性負責生育、照顧家庭成員,男性則負責為家庭提供物質來源,從而形成了“男主外女主內”的最初分工印象[4]。隨著工業革命的到來,男人成為工廠、礦山、鐵路等社會生產空間內的主要勞動力, 進一步加深了社會對性別認知的刻板印象。這樣的性別畫像認知長期主導了勞動就業市場,并且由于生理原因,女性不得不擔負一定的生育孩童的社會職能,這就導致女性很容易遭遇“職場天花板”。以往的性別歧視是顯形的,通過在就業時招聘公司以性別為篩選標準等方式呈現,當前算法智能決策下的性別歧視則更加隱蔽。

(一)勞動就業領域算法性別歧視的形成機制

算法決策即以算法作為運行工具展開的智能化自動化決策。算法在勞動就業領域中的自動化決策主要包括三個階段,一是數字化處理勞動者的基本信息;二是根據勞動者的信息分析、預測其個人特征,即畫像預測;三是評估結果,對其是否滿足該崗位的需要進行匹配或薪酬劃定。勞動者獲得的就業機會、薪酬標準等都依賴于算法自動化決策。在理想情況下,算法應當具備技術中立性,但事實是算法不僅沒有中立理性地做出決策,反而加劇了隱蔽的性別歧視。

算法從開發到投入使用需要經歷錄入需求、數據處理、數據集構建、模型設計、模型訓練、測試、部署應用等步驟[5]。雖然算法技術是中立的,但是人工智能在運行之前依賴于人的設定與制造,即代碼需要人編寫,而算法的數據也來源于現實社會。在算法設計至產出結果的周期之中,蘊含著性別歧視的風險。筆者將企業依靠算法自動化決策進行用工決策的過程劃分為兩個階段,一是“完美勞動者”形象的生成階段,二是將應聘者的“畫像”與“完美勞動者”形象進行匹配的階段。

首先,算法對“完美勞動者”進行塑造的過程需要借助現有的數據集以及模型,其前提就是擁有足夠龐大且客觀的數據集。由于數據集的缺失,目前算法訓練開始使用合成數據,合成數據的使用在很大程度上彌補了邊緣群體不被記錄的問題。從底層運行邏輯來看,合成數據仍需借助原始數據,原始數據之中反映的過去社會的價值也依然嵌入于合成數據之中。長期以來存在男性主導工作領域的現象,依據“成功人士”的標準所收集到的數據集及構建的標準并不完善,表現為女性相關數據缺失。訓練數據或饋入系統的數據存在偏見,系統輸出的結果也不客觀,當決策結果作用于被缺失數據所代表的個體時,就會對之造成不公[6]。若某一群體長期處于弱勢,即便數據是客觀的、準確的,并且算法架構并無異常,自動化分析系統也會產生甚至擴大偏見。

其次,招聘階段的又一重要步驟即將應聘者的“畫像”與“完美勞動者”形象進行匹配,這就需要算法對求職者的個人特質及行為進行深度學習形成“數字畫像”。對企業而言,求職者已成為“透明人”,算法對求職者行為的預測可以直接影響其未來可預期的工作機會與獲得更高薪酬的可能性。這就使得一個“處于適孕年齡”的女性首先成為被重點關注的對象,并處于資源分配中的劣勢。算法的自動化決策無需通過勞動者所提供的信息而是通過其他數據進行預測與推斷,而企業借此規避被判定為性別歧視甚至是違反法律的風險。

(二)算法決策下性別歧視法律規制的困境

各國對反對性別歧視、爭取平等的勞動權進行了相應的立法規制。我國《憲法》《勞動法》《就業促進法》《婦女權益保障法》等法律規范也通過成文法的形式確認了對于勞動關系中性別歧視的基本態度與法律規制措施,主要包括三個方面:招錄階段的錄用標準及行為、勞動階段薪酬及資源保障方面的基本要求、發生歧視后的制裁。

首先,在錄用標準方面,我國法律禁止以歧視因素作為拒絕錄用的理由。例如,《勞動法》第十二條、第十三條規定了性別不得成為影響就業的因素,《就業促進法》第二十七條規定了不得以性別為理由提高錄用標準或者拒絕對婦女的錄用,《婦女權益保障法》規定了不得在招聘錄用中規定男性優先。我國法律規定,在招用過程中不得詢問求職者與工作無關的隱私情況?！秼D女權益保障法》明確提出,“不得進一步詢問調查女性求職者的婚育情況”。其次,我國法律關注女性在勞動過程中是否受到公正對待?！秳趧臃ā返谒氖鶙l規定,工資分配應當遵循按勞分配的原則,實行同工同酬?！巴ね辍笔瞧降仍瓌t在勞動條件與勞動報酬方面的基本要求。根據《女職工勞動保護特別規定》,企業應當為女性提供相應的基礎性保障,不得因女職工懷孕、生育、哺乳降低其工資、予以辭退、與其解除勞動或者聘用合同。最后,從救濟與制裁措施方面來看,我國法律通過事后制裁的方式來對違反規定的用人企業進行規制?！毒蜆I促進法》第六十二條規定對于實施就業歧視的用人單位,勞動者可以向人民法院提起訴訟。在舉證責任方面,《勞動爭議調解仲裁法》規定,發生勞動爭議,當事人對自己提出的主張有責任提供證據。若在招聘信息發布過程中構成性別歧視,用人單位也需要承擔行政責任。

我國現有的法律體系與規章制度,雖然對于算法的應用做了一定的基礎性規定,但是仍存在較大的局限性。算法自動化決策具有隱蔽式、嵌入式、不可解釋性等特點,這些特點改變了原有用工與招聘方式下的法律規制模式,使得法律規制存在失靈的風險。首先,隱蔽式、大規模的數據收集與提取是進行算法決策的前提,也是實現算法創新的核心[7]。數字時代,人們的一言一行都會通過數字化的形式記錄于網絡空間,這就使得數據主體對許多算法自動化決策所分析的數據何時產生并不知情。對于女性來說,其在不經意間瀏覽購物端的“母嬰用品”專欄,將可能成為被算法判定為“具有離職風險”的依據。算法將此類數據運用于招聘決策后,無需“詢問”即可推算求職者的婚育情況,直接規避“不得進一步詢問調查女性求職者的婚育情況”的法律約束。這種隱蔽式的算法決策使得歧視更難以被發覺,即便在實踐中被大量的求職者或勞動者所感知,也難以獲得證據。其次,算法嵌入式的特點就在于其在網絡處理平臺的實時數據收集中進行無意識的歧視嵌入。算法嵌入勞動就業的決策中,使得其可以借助自有的決策力與約束力干預企業的決策行為。企業往往會通過對員工的勞動成果進行績效評估,從而決定未來的資源配置與工作機會,算法決策的全過程嵌入使得數字化逐漸成為評定的依據,甚至唯一的依據。這種資源分配在目前互聯網靈活用工平臺上更加突出,在企業自由用工環節中優先將有限的工作機會交于男性。這表面上看似符合了我國《勞動法》第四十六條的規定,即“按勞分配”“同工同酬”,但實際上將女性群體逐漸邊緣化,使女性難以獲得同等的工作機會與勞動機會,“同工同酬”亦無從談起。最后,算法的不可解釋性是企業通過算法自動化決策規避因用工歧視行為導致的風險的有效抗辯,然而目前設立算法解釋權仍然有很大難度。其一,算法架構與運用是一項高科技,無論是數據的處理還是結果的生成都無法輕易接觸,即形成不可回溯的“算法黑箱”,即便是賦予公民要求網絡平臺進行算法解釋的權利,其往往也難以充分理解與運用。其二,互聯網平臺收集用戶數據往往是以“用戶協議”的方式進行,通過“協議”展示,以知情同意的通行說辭,規避平臺運營風險[8],從而基于算法自動化決策對用戶產生侵害也無需承擔責任。其三,算法具體的運算架構仍屬于互聯網平臺的核心機密,因此,自動化決策的設計平臺或是使用單位都可以以“商業秘密”為由拒絕公開決策內容與條件。

二、算法性別歧視視角下算法權力與勞動權利的互動失衡

隨著大數據技術的迭代,算法技術逐漸演變為具有智能化決策能力的力量,應用者往往是掌握了海量數據要素的主體?；谒惴ǖ淖灾鳑Q策能力,可以逐步影響甚至操控人們的行為。海量的數據資源使這種決策能力處于一定的支配地位,于是算法具備了一定的權力外觀,即“算法權力”,算法權力的形成使得權利與權力的關系呈現新的態勢。

(一)緣起:算法權力與勞動權利的失衡

大多數情況下權力被視為某個主體所產生的影響力或者支配力,通說認為應將權力與統治力視為一體,權力應當作為某一主體成為該領域的中心。在?？碌臋嗔τ^中,權力并不必然具備公共調動等范式要求。如果一項技術能夠改變決策走向乃至對個人利益產生直接影響,其就失去了中立性從而具備了權力屬性[9]。因此,算法決策作為權力而存在,打破了原有的個人權利與國家權力二元結構基礎上的理論范式。即在權利本位范式中,權力來源于權利,服務于權利,應以權利為界限,必須由權利制約[10]。算法的介入將權力引入了私人場域,算法歧視語境下的勞動就業,破壞了公民獲得勞動權與國家保障公民勞動義務的平衡。勞動權不僅表現為勞動者可以通過勞動報酬維持基本生活,還表現為國家與社會應當承擔為勞動者提供就業機會的義務[11]。從性別角度出發,實現勞動就業權是女性獲得經濟獨立、獲取社會地位的重要手段和重要指標[12]。

權利與權力之間可以相互轉換,即“通過權力來確認、保護權利,使得權利得以實現和不受侵犯”[13]。算法權力在勞動領域的應用,體現出基本權利在私人間的效力。算法權力的出現,并且將算法自動化決策應用于勞動權的行使之中時,事實上就已經實現了基本權利在私人間效力的推進。進而言之,公權力主體成為基于個體讓與的權利的集合,即共同體權力。這種結構向我們展示了權力與權利的動態平衡規律:權利需要賦予主體足夠的權力以保障權利,同時,也應當對權力進行必要的約束,以控制權力行使的范圍[14]。在勞動關系領域,當權力行使涉及勞動權時,應當以法規進行侵害救濟,加以權力主體以積極給付義務。在公權力與個體權利的平衡狀態下,以第三方力量為主體加入原有的“權力”與“權利”的互動之中,從而改變原有的格局[15]。算法自動化決策應用于勞動就業領域,改變了“公權力”與“權利”的二元平衡結構,算法權力的異軍突起在權力(利)博弈中逐漸占據了優勢地位[16]。由此,權力與權利互動下的算法權力異化,不僅打破了權利與權力的平衡,還對其他權力(利)的行使造成壓迫。

(二)焦點:規制語境下的算法權力制約

算法權力的異化在一定程度上將會引發社會的變革,應當意識到算法權力異化語境下應當將算法作為一項“權力”而非“技術”進行規制[16]。目前算法規制可以分為人防、權防、責防、技防幾類。人防即以人工審查的方式進行算法評估,例如,歐盟《通用數據保護條例》中對數據保護專員的職責規定:數據保護專員在履職時需要考慮通過算法而實現的數據處理是否具有法律風險[17]。權防是運用最廣泛的算法規制路徑,即通過設置算法基礎權利的方式進行算法規制。責防即以算法責任的制度性安排進行算法規制,而法律責任的分配在法律制度安排中的重要地位也成為理論界的共識。算法責任的分配主要在算法設計者、應用開發者、算法平臺、監管人員之間展開。其中,監管人員的責任伴隨著權責統一的原則在法律法規中進行了同步設置。在我國,《網絡安全法》《電子商務法》《密碼法》《電信條例》等都有關于監管部門或監管人員法律責任的專門規定。技防主要是以算法設計的方式對算法本身進行技術性防范,通過深入算法架構層面,從算法設計的源頭防范算法風險。

隨著算法技術的發展,算法權力在我國的公私場域之中帶來多維度的復雜性影響,傳統的算法規制機制陷入困境。無論是賦權還是賦責,在人工智能算法階段,均有可能因主體受制于信息繭房,而無法實現在算法全生命周期的權利。目前的算法規制已不同于互聯網規制,以《網絡安全法》《數據安全法》《電子商務法》為代表的互聯網法律規制框架的最終路徑仍然是對行為的規制。然而,很多產生算法權力異化的行為本身是合法的,單純地以行為為約束對象的規制思維難以適應當下算法發展的現狀。同時,目前算法規制的主體主要為負有監管職責的公權力機關,但算法技術的普及意味著簡單依靠公權力機關一方力量客觀上已無法滿足目前發展的需要。

(三)進路:由規制理念向治理理念的過渡

剛性的規制目前難以適用于蓬勃發展的算法技術,“算法權力”作為一項獨立于傳統二元規制結構的準公權力,其實現資源配置的主體不再是公權力機關,更多資源配置的主體甚至不具有目前法律關系體系中的主體屬性。從共同行動的角度出發,先進算法技術主要由各互聯網頭部企業所開發,算法在勞動就業領域的自動化決策主要應用于第三方有用人需求的企業單位,而現有的監管主體主要是以網信辦為中心的行政機關。算法異化風險的主體及責任復合性,需要各主體以共同體的形式承擔責任。面對算法風險的不確定性和算法技術與運用的復雜性,若仍以傳統的壓制為實現規制的路徑,則會出現“剛而無力”的現象。從法律制度規范體系建構來看,目前的算法立法規范仍散見于其他法律制度之中,從而出現了體系性不足以及碎片化的現象,難以發揮法律規范的規制功能。因此,治理理念的嵌入,無疑是面對算法自動化決策與法律管控之間互動的優化選擇?，F代治理更多將視角放置于多元主體并存的條件下,討論公權力主體與其他社會主體在公共事務管理中的分工,引導不同主體展開協同治理。而在處理社會分工這種復雜的網絡關系時,社會主體之間通過相互適應,達成彼此固定的關系,形成一定的社會規范。規范不僅僅是一種習慣上的行為模式,而是一種義務上的行為模式,即在某種程度上不允許個人任意行使[18]。同時,道德規范與法律制度在本質上表達了自我同一性的要求。應建立多元主體參與公共事務治理的系統,并通過一定的規范體系約束合作的形式及內容,即走社會治理法治化道路。

算法在應用于人們的生產生活的同時基于互聯網頭部企業所擁有及衍生的信息構建了人類社會的權力關系。由于支配性權力的存在,算法自動化決策瓦解了勞動就業中勞動者獲得更多工作機會與資源的自由,簡歷信息篩選也在一定程度上瓦解了勞動者信息獲取的自由。許多學者從算法生命周期的視角討論算法對于社會的影響,認為有效解決算法權力異化的關鍵就在于在不同周期從算法的主體性與人行為的社會性的互動關系中獲得平衡。實現權力的規制需要依靠向公民賦權的方式,由于算法應用場景的不同,不同層次的規制力度也各有不同。權利規制都會在一定程度上造成效率的犧牲,限制技術的發展。因此,以多層次、多領域、多主體、多方式為特征的治理路徑則能適應目前算法權力擴張的現狀。

三、權力與權利的再平衡:勞動就業領域中算法性別歧視的治理路徑

目前,大多數網絡社會治理學派的學者都認同社會治理的先進經驗同樣可以應用到網絡社會。但是,對治理理念作用于算法權力異化泛泛而談難以產生實質性意義,也無益于算法技術創新與算法治理之間的平衡。從現階段來看,若想在實現算法權力與公民權利的平衡的同時促進算法技術的創新,需要構建算法權力異化的治理路徑。

(一)外部:用于勞動的自動化決策三方對話機制的搭建

算法權力的生成包含三方主體,一是代表原始權力所有者的公權力機關,二是掌握海量數據資源與算法技術的互聯網企業,三是勞動權的所有者,即勞動者。目前的治理實踐中,大部分國家也都關注到多元主體的參與。美國《算法問責法案》開創了對公共事業機構領域算法進行問責的先河,建立了以自動化決策工作組為核心的算法問責實施主體。該主體不僅包括各領域的專業人士,也包括一線工作人員。加拿大《自動化決策指令》也以外部加內部的方式搭建了算法問責機制。然而,在實際治理中,建立三方對話機制仍然受制于算法黑箱等抗辯理由,技術鴻溝未得到根本解決。除此之外,公眾所關注或討論的往往已是算法所控制的,充分的參與機制最終仍然演變為受制于算法的控制形式。

算法治理中多元主體的對話機制仍然需要解決算法技術本身所帶來的治理困境,而在勞動就業領域,這種多元主體的共存則更為突出?；诖?應當基于對話機制逐步推進建立治理路徑。首先,應當建立可供多元主體對話的制度空間。對話機制的構建已在多國的算法實踐中踐行,我國在網絡領域立法與治理中也同樣廣泛征求專家學者與社會公眾的意見,即積極搭建協同治理模式。例如,在“快播案”中,技術中立成為技術開發方的一項重要抗辯理由,但是技術人員進行算法模型搭建、數據訓練等無疑是推動科技創新與產業發展的重要方式,其正當性不應受到質疑。這種抗辯理由的正當性旨在讓“技術歸技術、市場歸市場、法律歸法律”[19]。話語平臺的搭建應當以主體的準確溝通為目的,打破不同主體的認知壁壘,改變不同利益視角驅使下的主體在算法治理中的相互不理解與自說自話現象。認知壁壘的打破可以從三個方面展開,一是提高算法的可解釋性;二是通過向公民賦權的方式提高民眾意識;三是通過場景化的方式提升公民對算法的認知與理解,并在此基礎上進一步展開分級精細化管理。

(二)內部:反算法性別歧視規范體系的結構性擴容

各國的算法治理制度設計難以形成長效機制,無法將制度優勢轉化為治理效能,其中,監管力量不足的問題凸顯。筆者并不認同以單一的立法論的視角審視每一次科技創新。面對勞動就業領域的算法歧視等,從長遠來看,需要從多領域實現對算法性別歧視規范體系的結構性擴容。我國算法治理體系呈現出國家管制與平臺責任、個體賦權的復合性治理模式,但算法治理的精細化程度仍有很大的提升空間。以我國2019年發布的《數據安全管理辦法(征求意見稿)》第11條為例,該條例在發布后受到社會各界的廣泛關注,其回應了長期以來社會公眾廣泛討論的“App違規收集信息”“大數據殺熟”問題,打破了傳統格式條款授權模式,給予用戶與服務提供者協商的空間,規定了若對格式條款中涉及“收集個人信息”的條款不予認同,服務提供者則需要提供其他版本的可供使用的產品的相關條款。然而,該條款對行為模式的規定欠完整,對于不同應用服務中“核心業務功能”與“收集個人信息”之間的必要性并未進行不同場景下的規定,落地難度較大。同樣,民眾參與算法治理雖然體現了立法與監管程序的合理性,但難以避免地出現輿情裹挾立法與監管的方向的現象。例如,目前涉及算法相關的立法中,部分場景化立法更多著力于民眾輿論所關注的“大數據殺熟”“算法監控”上面,并未對公民勞動就業中基礎權利的維護進行規范化設計。因此,應當積極推進算法的分級監管機制,將涉及重大民生利益、試錯成本極高的情形進行嚴格管制,以立法的方式進行場景化、精細化管控,而對相對來說并不涉及最緊急的民生利益、不會危害公共利益的情形,則可以輔之以其他治理手段。例如,歐盟即將頒布的《人工智能法案》,將運用AI的場景進行風險等級劃定,從而劃定出“禁止類AI”與“八個高風險類AI”,并以法律的確定性,促進人工智能的投資與創新。因此,面對越來越廣泛應用于不同領域的算法決策治理,不同類型以及不同場景的算法類型決定了算法治理的規則設定不應為單一的標準,單一的賦權路徑或單一的監管路徑都無法滿足算法治理的需要。應在建立多方對話機制的基礎上,將真正涉及重大公共利益的領域進行場景化規制,并將監管主體設定為更具有專業性的主體及公權力主體。同時,為了克服單一賦權路徑下個體行動存在困境的問題,可以將并未直接對公共利益造成重大風險的領域交由行業協會等私權利主體監管,從而搭建以精細化、場景化治理為內核,以個體賦權與外部監管為路徑的多方對話機制。

(三)展望:人的主體性與算法信任的搭建

任何治理路徑都需要進行不斷迭代升級從而持續釋放治理效能,因此,應當從根本上擺脫算法以權力的形式對社會的控制,從而構建不受算法自動化決策控制的治理體系。與其說是算法權力的異化操控了人的行為,不如說是擁有相當數據資源與資本的個體操控了個人的行為,從而形成了“個體屈服于技術”的陷阱。這種技術與數據不僅可以用于傳統觀念中的核心服務的改善,還能通過用戶數量的累積與行為的收集,創造一個符合商品化需求的海量數據庫,進而通過數據庫開展算法訓練以預測甚至操控用戶行為,即“監視資本主義”。正如希爾德·布蘭特所指出的,這個世界具有雙重的面貌:“一個前端(我們看到并主導的世界)和一個后端(為前端提供支持與信息的基本上不可見的計算架構)?！盵8]通過后端的運行,可以做出有關于價值衡量、利益選擇、可預測的決策,從而主導前端,建立分配特權。隨著算法自動化決策在社會生活中的運用更加廣泛,平臺的自動化決策將對人類社會深度嵌入,產生人的主體性與自治性的難題。

算法治理中人的主體性的建立,需要對算法的角色進行明確的定位,算法技術目前仍無法做到人機共生,因此人機共生的治理主體無從談起?；诖?從目前來看,發揮算法治理中人的主體性需要對算法應用的界限進行規定,搭建可信賴的算法應用模式[20]。例如,歐盟人工智能高級別專家組起草了《可信賴人工智能倫理準則》,列出了“可信賴人工智能”的7個關鍵條件。這樣倫理底線的設立,強調了人的中心地位,同時將公平正義的理念融入了算法的架構之中?！芭械奈淦鞑荒艽嫖淦鞯呐小?同樣,算法信任的建立與人的主體性在算法時代的重塑,仍然需要將完善國家制度作為保障人的主體地位與人類自治的基礎路徑。在算法權力異化時代,資本對勞動的異化是進一步加劇還是消失,不同的政治制度選擇也許會導致截然相反的結果。只有通過人民民主制度以及堅持人民治理主體中的人的地位,以人民作為國家的主體,將公共權力始終掌握在人民的手中而非受資本裹挾的算法技術之下,才能避免資本權力與算法權力異化合謀從而形成的“技術利維坦”。

四、結語

人類歷史上一次次文明的創造都帶來了對現有制度規范的沖擊與重塑,算法權力異化帶來了原有的權力-權利結構的失衡,同時在一定程度上沖擊了社會生活原本的穩定性,也驗證了原有規制語境在算法風險中的失靈。面對算法權力的異化,如何尋找到科技創新與算法治理的“平衡點”,是目前算法治理的焦點。本文從“權力-權利”的失衡出發,以算法自動化決策在勞動就業領域的性別歧視為視角,提出治理語境如何應用于算法權力異化之中,從而實現算法時代“權力-權利”的再平衡。本文研究的對象主要為算法自動化決策,或許在不久的將來,人類社會將踏入強人工智能時代,此時,“技術”的主體性是否會進一步增強,社會又將以何種治理方式應對,這都是亟待各方探討的話題。