基于區塊鏈共識激勵機制的新型聯邦學習系統

米 波,翁 淵, 黃大榮, 劉 洋

基于區塊鏈共識激勵機制的新型聯邦學習系統

米 波1,翁 淵1, 黃大榮1, 劉 洋1

1重慶交通大學 信息科學與工程學院 重慶 中國 400074

隨著云存儲、人工智能等技術的發展, 數據的價值已獲得顯著增長。但由于昂貴的通信代價和難以承受的數據泄露風險迫使各機構間產生了“數據孤島”問題, 大量數據無法發揮它的經濟價值。雖然將區塊鏈作為承載聯邦學習的平臺能夠在一定程度上解決該問題, 但也帶來了三個重要的缺陷: 1) 工作量證明(Proof of Work, POW)、權益證明(Proof of Stake, POS)等共識過程與聯邦學習訓練過程并無關聯, 共識將浪費大量算力和帶寬; 2) 節點會因為利益的考量而拒絕或消極參與訓練過程, 甚至因競爭關系干擾訓練過程; 3) 在公開的環境下, 模型訓練過程的數據難以溯源, 也降低了攻擊者的投毒成本。研究發現, 不依靠工作量證明、權益證明等傳統共識機制而將聯邦學習與模型水印技術予以結合來構造全新的共識激勵機制, 能夠很好地避免聯邦學習在區塊鏈平臺上運用時所產生的算力浪費及獎勵不均衡等情況?；谶@種共識所設計的區塊鏈系統不僅仍然滿足不可篡改、去中心化、49%拜占庭容錯等屬性, 還天然地擁有49%投毒攻擊防御、數據非獨立同分布(Not Identically and Independently Distributed, Non-IID)適應以及模型產權保護的能力。實驗與論證結果都表明, 本文所提出的方案非常適用于非信任的機構間利用大量本地數據進行商業聯邦學習的場景, 具有較高的實際價值。

聯邦學習; 區塊鏈; 共識算法; 模型產權保護; 投毒攻擊

1 引言

大數據驅動的人工智能技術有助于在整體上生成高精度泛化模型, 但在實際應用過程中卻往往存在著數據來源不足的狀況[1-2]。作為一種新興的機器學習框架, 聯邦學習(Federated Learning, FL)可以在節點數據孤立的情況下實現分布式模型訓練, 在一定程度上解決機器學習過程中的數據稀缺問題。此外, 由于這種方案[3]能夠在人工智能模型的訓練過程中將數據離線, 因而也具有數據隱私保護和節省帶寬的能力。隨著智能邊緣設備的普及和性能提升, 移動網絡的計算能力不斷增強, 聯邦學習在智慧交通[4]、智慧城市[5]、商業數據挖掘[6-7]等領域都得到了廣泛的應用。目前聯邦學習已經與很多行業相融合, 且在區塊鏈、模型水印等技術的促進下不斷賦予新的功能[8], 對實際生活產生了良好的經濟效益和社會價值。

在信息化時代, 大數據背景下的數據隱私問題愈來愈受到人們的關注。由于數據與生活、生產的關聯性日益增強, 隱私泄露問題必然會遭到社會的廣泛抵制, 信息價值開發和敏感數據保護之間的矛盾正不斷顯現[9]。例如, 2020年12月, “明星健康寶照片泄露”事件中大量用戶個人數據被非法販賣, 引起我國公安機關的高度警覺和公眾的廣泛討論。2017年6月1日起實施的《中華人民共和國網絡安全法》指出不得泄露、篡改用戶數據, 且自2020年以來《數據安全法》、《個人信息保護法》相繼出臺, 這也充分說明了國家對數據隱私保護的重視。

針對機器學習中存在的數據安全風險, 學者提出了一系列的隱私保護方案, 主要包括聯邦學習、多方安全計算(Secure multiparty computation, SMPC)[10-11]、同態加密(Homomorphic encryption, HE)[12-13]和差分隱私(Differential privacy, DP)[14-15]這幾類主流技術, 其中聯邦學習采用的分布式離線訓練方法能夠在隱私保護的同時有效節省通信及計算資源, 非常適用于數據量大、數據源分布廣、信息敏感度高的場景。

聯邦學習的概念最初出現于文獻[16], 逐步演化為縱向聯邦學習[17]、橫向聯邦學習[18]和聯邦遷移學習[19]三種基本框架。其中, 縱向聯邦學習主要適用于參與方數據記錄大量重合的場景, 而橫向聯邦學習主要考慮節點間數據特征基本相同的情況, 當參與方的樣本空間有部分重疊但特征不盡相同時聯邦遷移學習則更為適合。在算力不均衡的可信任環境中, 上述三類方案往往采用C/S(客戶/服務器, Client/ Server)模式予以實現。正是因為充分利用了吞吐量高、性能優異的設備作為中心節點, C/S模式相較于分布式學習具有訓練效率更高、利益分配更均衡、本地數據更安全等優勢。然而, 在非信任環境下, C/S模式的聯邦學習方法極易遭受身份偽造、數據篡改、拒絕服務(Denial of Service, DoS)等攻擊的威脅。為解決這些信任問題, 文獻[20]提出一種基于區塊鏈的聯邦學習方案, 將抽象的可信服務節點實例化為分布式的共識激勵機制; 文獻[21]將聯邦學習中的梯度作為一部分貢獻, 結合Algorand共識協議提升了激勵的公平性。文獻[22]中通過降低聯邦學習中的交互參數以保證用戶的匿名性從而降低收到攻擊的風險。

圖1展示了基于鏈上共識的聯邦學習整體框架。該框架中的節點可同時或分別扮演數據提供者和區塊挖掘者兩種角色。所有參與者在本地數據集上完成子模型的訓練, 隨后將其上傳至隨機選擇或投票選舉出來的礦工。礦工負責對所有本地模型進行驗證與融合, 然后根據PoW或PoS共識機制產生新的區塊。這些區塊要負責記錄礦工的挖礦獎勵和數據提供者的貢獻獎勵, 并存儲模型更新后的參數。隨后, 參與者將聚合后的模型再次下載, 不斷地重復上述過程直至得到滿意的全局機器學習模型。由此可見, 這種機器學習方法的本質在于間接的數據共享和有效的合作激勵, 因此共識算法的可靠性和獎勵機制的公平性會直接影響整個系統的性能。

圖1 基于區塊鏈的聯邦學習框架

Figure 1 A federated learning framework based on blockchain

盡管基于共識的聯邦學習方法有助于建立起參與節點間的廣泛信任, 但現有方案仍普遍存在著以下三方面的缺陷:

1) 資源浪費問題。文獻[23]指出, 將區塊鏈作為聯邦學習過程中數據和模型的載體, 主要是為了保證相關信息能夠被可靠地記錄及追溯。然而, 由于PoW[24]、PoS[25]等“挖礦”行為與聯邦學習過程的收斂性并無直接關聯, 共識機制的引入會直接導致大量算力和帶寬被浪費。

2) 節點活性問題。在實際生產環境中, 節點數據和計算資源都是具有一定經濟價值的。在某一節點發起聯邦學習的模型訓練后, 其他節點可能會因為利益的考量而拒絕或消極合作, 甚至會因為競爭關系投入虛假數據對模型進行干擾, 最終導致全局模型無法使用或訓練過程無法收斂。

3) 攻擊手段的多樣性問題。盡管聯邦學習領域正不斷引入各種新的機制來對抗日益多樣化的攻擊手段, 但大都針對片面的安全目標[26]。與傳統機器學習所面臨的威脅類似, 模型攻擊[27]、投毒攻擊[28]、后門攻擊[29]、推理攻擊[30]等方法在聯邦學習中也主要是對數據隱私和全局模型進行破壞。事實上, 聯邦學習在一定程度上具有數據隱私保護的特性。因此, 安全機制的實現不應當以攻擊手段為驅動, 而需要將數據保密性和模型準確性作為根本目的。

聯邦學習的商業場景往往具有參與節點數量少、合作關系松散耦合的特點。此外, 非信任分布式環境的物理脆弱性和攻擊來源的多樣性極有可帶來節點丟失、數據污染、模型篡改等隱患, 從而導致訓練過程因無法準確收斂而失敗。為此, 本文將針對節點數量有限、數據吞吐量大、互信程度低的跨企業分布式場景, 結合區塊鏈及水印技術來構造一種全新的共識激勵機制, 從而解決聯邦學習中算力浪費、獎勵不均以及魯棒性弱的問題?？傮w而言, 其基本思想是借助區塊鏈的一致性記錄能力以及模型水印的版權保護機制, 將模型訓練分發到多個節點上并行執行, 每輪結束后多個礦工將分別對收集到的本地模型進行聚合, 并根據評價準則在鏈上達成模型準確度和參與者貢獻度的共識, 由此產生新的區塊, 不斷迭代直至獲得期望的全局模型。在具體的實施過程中, 參與訓練的節點會將自身的水印嵌入到梯度模型中用于證明所做出的貢獻。為了爭奪寫入權限, 所有融合節點將利用所接收到的梯度構造一個能夠讓大多數節點都認可的全局模型。最終, 達成共識的全局模型將會由它的創造者寫入區塊?；谏鲜霾呗? 本文將Paxos共識協議[31]中的投票理念與聯邦學習相結合, 構造出一種新型共識協議Paxos Federated Consensue(PFconsensue), 并通過高魯棒性水印融合算法的設計, 最終形成一套可證明完備的聯邦學習共識激勵機制。

本文的貢獻主要在以下幾個方面:

1) 基于聯邦學習的共識協議。將聯邦學習的訓練過程作為節點“挖礦”環節, 使消耗的資源轉換成具有經濟價值的人工智能模型。同時, 模型聚合采用去中心化與性能投票的方式進行, 克服了聯邦學習中Non-IID[32]與投毒攻擊所造成的全局模型性能下降的缺點, 實現了聯邦學習與區塊鏈技術的優勢互補。

2) 公平的區塊鏈共識激勵機制。為提高聯合訓練的參與度, 依靠高魯棒性模型水印技術和參數距離算法, 實現了公平的節點貢獻度分配, 可以更好地刺激節點參與模型訓練過程。在模型聚合環節, 將區塊的寫入權獎勵給最優模型的創造者, 也能夠充分地保證節點積極參與模型聚合?？梢? 該區塊鏈系統在本地訓練和模型聚合兩方面均保證了參與節點的活性。

3) 系統的整體完備性證明。從理論上了證明了共識算法的正確性, 并通過形式化方式分析了共識算法在拜占庭環境下的容錯能力。同時, 通過實際數據的分布情況抽象出相應的約束條件, 分別討論了該系統組成部分在實際環境中運行的有效性與穩定性。此外, 對系統的整體安全性也進行了充分的證明。

4) 實驗仿真及分析。利用計算機模擬驗證了共識協議的有效性。根據實際采集的“重慶市實時交通流”數據在多臺設備間部署共識決策環境, 驗證了本方案在現實環境中的可行性及準確性。此外, 基于系統性的區塊鏈仿真, 進一步展示了本方案對聯邦學習中潛在威脅的抵抗力。

2 系統整體模型

由于區塊鏈具有不可篡改、易追溯和去中心化等優勢, 與聯邦學習相結合能夠極大程度地克服聯邦學習中所潛在的風險。對此, 本章節將基于PFconsensue協議、模型水印等技術構造整體的區塊鏈系統, 并給出實際環境中的安全性形式化定義。

2.1 系統框架設計

當前已有部分研究人員將區塊鏈用于解決聯邦學習在非信任環境中的安全協同訓練問題。文獻[33]中選取區塊鏈上的可靠節點來參與聯邦學習, 并通過差分隱私技術以保證訓練數據的安全。文獻[34]則將聯邦學習過程中的全局數據組織成“全局模型狀態樹”, 作為交易內容存儲到區塊鏈中。而文獻[35]也類似地利用區塊鏈存儲聯邦學習過程中的各種模型參數, 該方案還可以借助其他邊緣設備來分擔訓練能耗。然而, 由于以上方案皆未考慮模型所具有的知識產權特性, 可能產生模型盜用現象, 也將導致參與方發生產權糾紛。另一方面, 依附于區塊鏈的聯邦學習會因為共識過程而造成大量的資源浪費, 導致節點參與度下降。為了解決上述兩個問題, 本文設計了圖2所示的聯邦區塊鏈結構。在該結構中, 鏈上記錄的數據主要包括: (1) 上一個區塊的Hash; (2) 融合后的模型參數; (3) 構造融合模型所使用的局部梯度集合; (4) 基于評價準則的產權獎勵; (5) 下一輪訓練的優化目標。

圖2 本文區塊鏈系統結構

Figure 2 The structure of the blockchain system in this paper

在協議開始時, 參與節點將會從區塊鏈上獲取公開發布的初始模型及訓練目標, 并在本地訓練出包含水印的梯度模型。隨后, 節點會將梯度模型通過Gossip協議[36]進行廣播, 并在收到足夠的梯度信息后嘗試通過聚合算法得到聚合模型。最后, 聚合模型會傳送至各個節點進行評測, 投票產生的最優模型和下一輪協議的優化目標將被同時寫入新的區塊?？紤]到數據的防篡改問題, 除分布式存儲外還將借助Hash鏈式結構和最長鏈原則[37]來確保區塊鏈的持久性。值得一提的是, 本方案在設計區塊數據結構時將各個節點的梯度模型一并記錄在區塊上,這樣可以確保聚合模型的可信度。

就節點活性而言, 由于區塊鏈上的聚合模型保留有各參與方的梯度模型水印, 他們可以據此對調用該模型的第三方收取知識產權費。與此同時, 高魯棒水印融合技術的使用還能夠有效防止公開模型被盜用?？梢? 該方案能夠充分激勵各個節點參與聯邦學習過程。

更進一步地, 本文對上述區塊鏈的整體構架進行如圖3所示的邏輯刻畫和分層設計。節點之間主要負責構造區塊鏈數據服務, 而第三方只需通過API接口發布模型需求或對模型進行調用。

圖3 本文區塊鏈框架設計

Figure 3 The blockchain framework of this paper

2.2 攻擊模型及安全定義

區塊鏈能夠解決聯邦學習的中心化問題, 聯邦學習則實現了區塊鏈上的數據隱私保護。為確保本文設計的方案能夠可靠運行, 首先對其性能與安全進行形式化定義, 后面章節也將圍繞這些定義進行闡述及論證。

本文提出的聯邦學習共識算法PFconsensus主要用于解決分布式環境下的數據一致性問題。PFconsensus協議的攻擊環境和安全性定義如下。

定義1. 拜占庭攻擊環境.

定義2.待融合梯度模型.

這四個條件能夠保證在拜占庭環境下至少存在一個誠實節點正確地執行共識, 從而避免因性能差異或共謀等原因將所有誠實節點排除在共識過程之外。其中, 式(2)能夠保證誠實節點在承諾打分階段至少接收到個正確的梯度模型, 而式(3)保證了聚合后的模型集合中必然包含一個正常的聚合模型。具體分析將在后面給出。

定義3.拜占庭環境下共識協議的安全性.

本文將聯邦學習算法作為模型訓練的基本框架, 但為保證去中心化后仍然能夠正常工作, 還需考慮如下額外因素及需求。

定義4.投毒攻擊節點.

定義5.去中心化環境中聯邦學習算法的有效性.

針對區塊鏈上聯邦學習算法的有效性問題, 本文方案需滿足以下性質:

(2) 最終上鏈的聚合模型與中心化聯邦學習方案在準確性方面的差異可忽略。

最后, 對區塊鏈的整體安全性做如下定義:

定義6.拜占庭環境下區塊鏈的整體安全性.

3 基于區塊鏈的聯邦學習共識激勵機制

針對上述對拜占庭攻擊環境的定義, 本章節將先引入模型水印技術來保證聯邦學習過程中的模型產權證明。進一步的, 將詳細介紹PFconsensue協議的運行過程。最終, 通過上鏈模型數據和模型水印設計了一種公平的激勵機制。該機制能夠在保證節點數據隱私的同時維持參與節點的訓練積極性。

3.1 FedIPR模型水印

在設計PFconsensue共識算法時, 需確保網絡中數據傳輸的可靠性, 并維護模型版權對融合過程的魯棒性, 為此需要構造適應的數字簽名和模型水印方案。由于在共識激勵的過程中需要對聯邦學習產生的梯度模型進行交叉驗證, 本文考慮結合FedIPR模型水印與數字簽名算法來保證模型的唯一性。此外, 在對聚合模型進行產權證明時, FedIPR算法也能提供一個可信的結果來保證激勵機制的公平。FedIPR算法最初由Fan等人[38]提出, 它能夠通過調整模型的目標函數, 同時植入白盒水印與黑盒水印, 本文構造類似的水印植入過程如下:

(3) 模型聚合算法將采用梯度平均策略(Federated Averaging):

上述算法的正確性與魯棒性已經在文獻[38]中得到了驗證。本文中實驗也表明該算法在分布式聯邦學習環境下具有很好的魯棒性, 能夠滿足定義1中對簽名算法的要求。

3.2 PFconsensus聯邦共識算法

最早提出的聯邦學習算法是一種基于C/S框架的中心化服務, 每個用戶需要傳輸各自的梯度模型給服務器, 而服務器會利用他們的梯度模型進行聚合并返回給客戶端進行迭代訓練。該結構極易導致拒絕服務攻擊, 因而有學者通過結合區塊鏈中的智能合約, 將其改造為去中心化方案。為避免無謂的能耗, 本文將聯邦學習算法本身作為共識, 并結合區塊鏈與水印技術在一定程度上解決聯邦學習中的Non-IID及投毒問題。該算法的核心在于通過對比聚合模型的性能來達成一致, 主要可以概括為模型性能篩選和共識寫入兩個部分。

本文將參與共識過程的角色分為三種: proposer、acceptor以及learner(acceptor和learner的角色互斥)。其中, proposer是數據的產生和發送者, acceptor表示數據的接收者和模型性能的裁決者, learner作為數據的最終寫入者。

1) 模型篩選階段:

a. 本地模型訓練: proposer會發布模型的基本結構, 并初始化參數。隨后, acceptor會利用本地數據對proposer的初始模型進行訓練并在植入模型水印后將其廣播。

b. 模型聚合: proposer在收集到梯度模型后, 利用Federated Averaging算法對模型進行聚合并微調, 得到聚合模型后將其廣播。

2) 共識階段:

本文所提出的PFconsensus協議利用了聚合模型的性能優劣來選取最終的共識內容, 聚合過程的隨機性與模型性能的有界性使得一段時間內只存在一個proposer。相比于原始paxos協議中產生多個proposer的現象, 本文方案避免了活鎖的出現。此外, 在保證去中心化特性的同時, 該算法也高效地利用了分布式設備的資源來優化訓練及驗證過程。各個節點利用本地數據集對聚合模型進行性能評測的方式, 促使被投毒、普適性弱的聚合模型難以被大多節點所接受, 在一定程度上解決了Non-IID問題及模型投毒問題。

以上述方案為基礎, 下面進一步對PFconsensus協議在區塊鏈環境中的實現進行了更為詳細的設計。首先, 為了保證PFconsensus正常運行, 需根據區塊鏈應用的實際情況定義以下函數(1表示是, 0表示否):

根據PFconsensus協議, 區塊鏈的運行主要包括模型生成和競爭寫入算法兩個部分。首先對模型的生成算法進行設計:

15 END FOR

在梯度模型生成后, 各個節點需要對網絡中的聚合模型進行評價, 并篩選出全局性能最好的模型。最終, 生成該最優聚合模型的節點將指定下一輪協議的模型初始參數。算法2a、2b將具體描述如何實現篩選并達成共識。

算法2a.模型評價及寫入權限爭奪。

18END FOR

算法2a表明當節點作為一個proposer時, 會進行對聚合模型的評價并爭奪區塊的寫入權限。算法2a可以與算法1在節點上并發執行, 當proposer在算法2a中轉換為learner角色后, 將停止執行這兩個, 其目的在于確保模型數據寫入區塊時唯一。

算法2b.共識及區塊寫入算法。

8 END FOR

算法2b的目的是確定大多數節點皆認為是最優模型并已做好寫入區塊鏈中的準備。從算法2a、2b可以發現, 若節點由proposer轉化成learner角色, 將會失去發布新模型和競爭寫入權限的能力, 可能因時延而導致模型無法得到一半以上節點的認定, 從而協議失敗。為此, 需要設計活性算法以解決該問題。

算法3.活性算法。

5 END FOR

8 END FOR

當節點轉換成一個learner角色后將運行算法3, 這可以防止由于大部分節點被激發成為learner后所出現的死鎖現象。

3.3 參與者貢獻度評價算法

通常評價聯邦學習中梯度模型對最終模型的貢獻度時, 往往會將其梯度模型從最終模型中剔除, 將剔除后模型在測試集上的性能差異作為貢獻值。然而, 由于在分布式的競爭環境下往往不存在普遍認可的測試集, 因此本文將設計一種利用梯度模型和最終模型參數距離來換算貢獻度的方法。該方法能夠在各節點數據隱私得到保護的同時獲取一個令人信服的貢獻度指標。

通過計算聚合模型和不同梯度模型之間的夾角大小即可衡量它對整體的貢獻度。

4 系統正確性及安全性分析

如果上文所設計的系統能夠滿足2.2節中所給出的安全性和有效性定義, 則說明本文的整體系統在實際運行中是安全有效的。在本章節中, 將先結合共識協議的活性對第三章中所設計的PFconsensus協議進行正確性分析。此后, 將圍繞2.2節中的攻擊模型和安全性定義對本文所設計的區塊鏈系統進行安全性和有效性的形式化證明。

4.1 PFconsensus協議正確性分析

PFconsensus協議在本質上是基于聚合模型的性能來爭奪寫入權, 主要包括模型性能篩選和共識達成兩方面的內容。下面將圍繞該協議在攻擊環境下的節點活性及共識結果的唯一性來進行討論。

顯然算法2a、2b可滿足以上設定, 但為了保證在當前輪得到唯一的聚合模型, 需要在PFconsensus協議中引入下面的約束條件:

約束1.任意learner節點只能認定唯一的聚合模型。

斷言1.在約束條件1下, 每一輪協議中不存在兩個不同的。

證明. 假設某一輪協議未產生出任何的, 則存在一半以上的節點選擇了不同的性能最優模型, 這與約束1a矛盾, 因此斷言3成立。

由此得證。

當模型被第二個節點(記為)進行評價, 由于梯度模型的選取方式要求評價結果與前一個節點相關, 因此得到:

假設梯度模型的選取方式已知, 相應地在算法1中引入如下設定。

進一步可以得到:

至此, 證明完成了協議的正確性并推導出協議執行的通信復雜度。

4.2 PFconsensus安全性分析

為便于討論, 下面將拜占庭節點從整體上劃分為宕機節點與惡意擾亂節點兩種身份。顯然, 某一節點不可能扮演兩種身份。

定義7.宕機節點.

斷言4.在拜占庭節點扮演宕機身份時, PFconsensus協議滿足安全性。

在實際情況下, 拜占庭節點更可能扮演惡意擾亂節點。因此, 下面將考慮拜占庭節點扮演惡意擾亂節點時的安全問題。

定義8.惡意擾亂節點.

斷言5.在拜占庭節點扮演惡意擾亂身份時, PFconsensus協議滿足安全性。

在上面的論證中, 拜占庭環境中的節點被分割成兩種互補類型進行論證, 且已證明本文協議在這兩種條件下皆滿足定義6。結合這兩種攻擊情況, 可以得到如下結論。

斷言6.在任意拜占庭環境下, PFconsensus協議能滿足定義6中的安全性要求。

4.3 聯邦學習算法有效性分析

聯邦學習算法在嵌入到PFconsensus協議后, 應保證模型性能不低于對應的中心化方案, 并確保去中心化場景下抵抗投毒攻擊的能力。因此, 下面將對本文聯邦學習算法在去中心化環境中的有效性進行分析和論證。

為降低上述概率, 下面在算法1的基礎上引入額外的約束條件。

就模型性能而言, 本文在協議設計的過程中采用式(9)作為聚合算法, 該算法與常用的聯邦學習算法[1]相同。因此, 在FedIPR水印的使用不影響全局模型性能的條件下, 本文方案能夠在去中心化環境中滿足聯邦學習算法的準確性要求。

4.4 聯邦學習區塊鏈系統安全性分析

(1) 上一個區塊的哈希;

下面首先對區塊的合法性判斷進行定義。

定義9.合法區塊.

(5) 所在鏈滿足最長鏈原則。

從系統的整體結構而言, 所采用的簽名機制、散列算法、水印技術必然要滿足以下給定的幾個條件:

圖4 區塊數據

Figure 4 Data on the block

條件3.本系統采用的模型水印算法具有較高的魯棒性, 強行去除后會損壞模型的保真度。

為清晰描述拜占庭環境下聯邦學習區塊鏈的整體安全性要求, 文中方案的安全性將被拆分為下面幾個斷言來進行論證。

5 仿真結果

表1 關鍵詞說明

圖5 不同數據分布下z與G對P的影響

Figure 5 The influence ofandonby different data distribution

將同樣的評價函數用于計算機器學習模型的精確度指標(ACC與F1的加權和), 可以進一步分析該系統在實際應用中的節點打包情況。

圖6 在實際模型性能對比條件下節點產生NB的情況

Figure 6 The situation of any node generatingNin the case of actual model performance comparison

通過觀察圖7可以發現, 區塊鏈出塊所需通信次數符合式(27)的規律。以上結論反映了第四章理論分析的正確性, 但不足以說明本文聯邦學習區塊鏈的可行性能。

圖7 產生新區塊的通信次數變化情況

Figure 7 The times of communications required to generate a new block

圖8描述了各個節點模型在共同測試集下準確率與F1的加權和變化情況?？梢园l現在同一段時間內, 爭奪到上鏈權限的聚合模型性能表現最為優秀。該實驗結果說明本方案在實際運行過程中符合PFconsensus協議中對上鏈模型的性能假設與協議的正確性。

圖8 各節點產生模型性能對比(全黑表示上鏈模型)

Figure 8 Performance comparison of models generated by each node (The all black bar indicate winding models)

進一步的, 本文對比了本方案中聯邦學習的效率性能與C/S方案下的效率性能。得到圖9所示的模型性能情況。

圖9中分別記錄了PFconsensus協議方案與C/S模式方案下的聯邦學習在準確率和F1上的差別, 其中PFconsensus協議方案針對統一個目標任務連續迭代了9次模型, 而C/S模式方案下同樣也持續迭代了9次模型。從圖9中可以看出本文方案與基于C/S模式的聯邦學習方法在性能上相近, 符合本文對區塊鏈模式下的訓練性能要求。同時, 為了證明本文區塊鏈方案能夠符合定義5, 本文測試了其在投毒節點個數為0到/2條件下的性能變化, 并對比在C/S方案下的表現。

圖9 本文方案與C/S方案下聯邦學習過程的性能變化對比

Figure 9 The performance change of the federated learning process under the scheme in this paper and the C/S scheme

圖10表明了本文的模型投票篩選機制在投毒節點少于/2時依然能夠得到不包含投毒梯度的聚合模型, 而在C/S方案下的聚合模型性能則會受投毒節點個數的增長導致性能直線下降。

圖11表示該卷積模型在應對投毒攻擊時, 其協議在迭代后依然能夠完成收斂, 并能夠得到與無投毒環境下相近的準確率。在投毒攻擊下, 該方案比文獻[20]中的方案具有更強抵御能力, 并在能源的利用上更為環保。

圖10 本文方案與C/S方案下聚合模型性能受投毒節點個數的影響(其中G=16)

Figure 10 The performance of the aggregation model under this scheme and the C/S scheme is affected by the number of poisoned nodes (=16)

圖11 本文方案在投毒環境下與無毒環境下訓練MNIST數據模型的情況

Figure 11 The situation of training the MNIST data model in the poisoning environment and the non-toxic environment

表2 本文方案與文獻[20]方案對比

通過仿真實驗可以看到, 本文所提出的聯邦學習共識激勵機制比直接將區塊鏈作為聯邦學習平臺資源利用率更高?；诒镜財祿M行全局模型的性能進行評測不僅能夠有效保護參與者的數據隱私性, 也能夠更好地解決聯邦學習中的Non-IID問題。此外, 本文所采用的水印融合方案能夠使模型在上鏈后幫助完成節點的行為追溯和貢獻度分配, 充分激勵不同的數據持有者參與訓練。將聯邦學習本身融入區塊鏈共識激勵機制可以獲得眾多優勢, 包括: (1) 去中心化架構能夠有效地保證聯邦訓練過程的穩健性; (2) 基于本地數據的模型性能評價能夠很地解決Non-IID問題; (3) 模型水印技術能夠有效地對節點行為和貢獻進行記錄; (4) 利用模型訓練替代傳統挖礦算法能夠充分緩解資源浪費的問題; (5) 對上鏈模型采用協同性能篩選的方式可以抵御包括投毒攻擊在內的各種聯邦學習威脅。

6 結論

本文為商業領域普遍存在的“數據孤島”問題提供了一個完備的解決方案。聯邦學習雖然能夠在一定程度上保證商業數據的隱私性與可用性, 但采用中心化的架構極易招致拒絕服務、推理攻擊、模型投毒等威脅。本文將聯邦學習嵌入到區塊鏈共識協議當中, 并借助水印融合技術, 克服了模型協同訓練過程中所存在的資源浪費與消極產與等問題。為驗證本文方案的可行性及安全性, 專門針對分布式聯邦學習場景下的數據分布和系統規模進行了理論分析, 其結果也通過了以最優模型產生概率、共識難度、模型性能、通信復雜度以及知識產權配額等為指標的實驗驗證。

后續研究將針對實驗過程中所發現的缺陷進行, 包括: (1) 由于各個節點都會參加訓練過程, 而只有一半節點能夠得到最終模型的知識產權, 因而需要進一步優化該系統的獎勵制度; (2) 針對推理攻擊, 如果在訓練過程中對模型梯度進行差分隱私保護可能會影響傳輸效率及最終模型的準確率, 所以有必要更進一步引入梯度隱私保護機制, 并在解決鏈上數據可追溯性與機密性之間的矛盾。

[1] Yang Q A, Liu Y, Cheng Y, et al. Federated Learning[J]., 2019, 13(3): 1-207.

[2] Li W, Chai Y B, Khan F, et al. A Comprehensive Survey on Machine Learning-Based Big Data Analytics for IoT-Enabled Smart Healthcare System[J]., 2021, 26(1): 234-252.

[3] Rathore M M, Shah S A, Shukla D, et al. The Role of AI, Machine Learning, and Big Data in Digital Twinning: A Systematic Literature Review, Challenges, and Opportunities[J]., 2021, 9: 32030-32052.

[4] Yuan H T, Li G L. A Survey of Traffic Prediction: From Spatio-Temporal Data to Intelligent Transportation[J]., 2021, 6(1): 63-85.

[5] Jiang J C, Kantarci B, Oktug S, et al. Federated Learning in Smart City Sensing: Challenges and Opportunities[J]., 2020, 20(21): 6230.

[6] Hosseini S, Sardo S R. Data Mining Tools -a Case Study for Network Intrusion Detection[J]., 2021, 80(4): 4999-5019.

[7] Lee E, Jang Y, Yoon D M, et al. Game Data Mining Competition on Churn Prediction and Survival Analysis Using Commercial Game Log Data[J]., 2019, 11(3): 215-226.

[8] Zeng S Q, Huo R, Huang T, et al. Survey of Blockchain: Principle, Progress and Application[J]., 2020, 41(1): 134-151. (曾詩欽, 霍如, 黃韜, 等. 區塊鏈技術研究綜述: 原理、進展與應用[J]., 2020, 41(1): 134-151.)

[9] Papadimitriou P, Garcia-Molina H. Data Leakage Detection[J]., 2011, 23(1): 51-63.

[10] Bogetoft P, Christensen D L, Damg?rd I, et al. Secure Multiparty Computation Goes Live[C]., 2009: 325-343.

[11] Evans D, Kolesnikov V, Rosulek M. A Pragmatic Introduction to Secure Multi-Party Computation[J]., 2018, 2(2/3): 70-246.

[12] Wood A, Najarian K, Kahrobaei D. Homomorphic encryption for machine learning in medicine and bioinfor-matics[J]., 2020, 53(4): 1-35.

[13] Kuang F, Mi B, Li Y, et al. Multiparty Homomorphic Machine Learning with Data Security and Model Preservation[J]., 2021, 2021: 166-179.

[14] Hassan M U, Rehmani M H, Chen J J. Differential Privacy Techniques for Cyber Physical Systems: A Survey[J]., 2020, 22(1): 746-789.

[15] Sen A A A, Eassa F A, Jambi K, et al. Preserving Privacy in Internet of Things: A Survey[J]., 2018, 10(2): 189-200.

[16] Kairouz P, McMahan H B, Avent B, et al. Advances and Open Problems in Federated Learning[J]., 2021, 14(1/2): 1-210.

[17] Liu Y, Kang Y, Xing C P, et al. A Secure Federated Transfer Learning Framework[J]., 2020, 35(4): 70-82.

[18] Huang Y T, Chu L Y, Zhou Z R, et al. Personalized Cross-Silo Federated Learning on Non-IID Data[EB/OL]. 2020: arXiv: 2007.03797. https://arxiv.org/abs/2007.03797.pdf

[19] Zhu H Y, Zhang H Y, Jin Y C. From Federated Learning to Federated Neural Architecture Search: A Survey[J]., 2021, 7(2): 639-657.

[20] Zhu J M, Zhang Q N, Gao S, et al. Privacy Preserving and Trustworthy Federated Learning Model Based on Blockchain[J]., 2021, 44(12): 2464-2484. (朱建明, 張沁楠, 高勝, 等. 基于區塊鏈的隱私保護可信聯邦學習模型[J]., 2021, 44(12): 2464-2484.)

[21] Zhang J H, Li X W, Zeng X, et al. Cross Domain Authentication and Key Agreement Protocol Based on Blockchain in Edge Computing Environment[J]., 2021, 6(1): 54-61. (張金花, 李曉偉, 曾新, 等. 邊緣計算環境下基于區塊鏈的跨域認證與密鑰協商協議[J]., 2021, 6(1): 54-61.)

[22] Zhao B, Fan K, Yang K, et al. Anonymous and Privacy-Preserving Federated Learning with Industrial Big Data[J]., 2021, 17(9): 6314-6323.

[23] Pokhrel S R, Choi J. Federated Learning with Blockchain for Autonomous Vehicles: Analysis and Design Challenges[J]., 2020, 68(8): 4734-4746.

[24] Qu X D, Wang S L, Hu Q, et al. Proof of Federated Learning: A Novel Energy-Recycling Consensus Algorithm[J]., 2021, 32(8): 2074-2085.

[25] Li Y Z, Chen C, Liu N, et al. A Blockchain-Based Decentralized Federated Learning Framework with Committee Consensus[J]., 2021, 35(1): 234-241.

[26] Wang Y C, Tian Y Y, Yin X Y, et al. A Trusted Recommendation Scheme for Privacy Protection Based on Federated Learning[J]., 2020, 3(3): 218-228.

[27] Luo Z P, Zhao S Q, Lu Z, et al. Adversarial Machine Learning Based Partial-Model Attack in IoT[C]., 2020: 13-18.

[28] Chacon H, Silva S, Rad P. Deep Learning Poison Data Attack Detection[C]., 2020: 971-978.

[29] Liu Y F, Ma X J, Bailey J, et al. Reflection Backdoor: A Natural Backdoor Attack on Deep Neural Networks[EB/OL]. 2020: arXiv: 2007.02343. https://arxiv.org/abs/2007.02343.pdf

[30] Rahman M A, Rahman T, Laganière R, et al. Membership Inference Attack Against Differentially Private Deep Learning Model[J]., 2018, 11: 61-79.

[31] Lamport L. Paxos Made Simple[J]., 2001, 32(4): 51-58.

[32] Sattler F, Wiedemann S, Müller K R, et al. Robust and Communication-Efficient Federated Learning from Non-I.i.d. Data[J]., 2019, 31(9): 3400-3413.

[33] Lu Y L, Huang X H, Dai Y Y, et al. Blockchain and Federated Learning for Privacy-Preserved Data Sharing in Industrial IoT[J]., 2020, 16(6): 4177-4186.

[34] Majeed U, Hong C S. FLchain: Federated Learning via MEC-Enabled Blockchain Network[C]., 2019: 1-4.

[35] Peng Z, Xu J L, Chu X W, et al. VFChain: Enabling Verifiable and Auditable Federated Learning via Blockchain Systems[J]., 2022, 9(1): 173-186.

[36] Handelman D. Gossip in encounters: The transmission of information in a bounded social setting[J]., 1973, 8(2): 210-227.

[37] Bonneau J, Miller A, Clark J, et al. SoK: Research Perspectives and Challenges for Bitcoin and Cryptocurrencies[C]., 2015: 104-121.

[38] Fam L, Li B, Gu H, et al. FedIPR: Ownership verification for federated deep neural network models[EB/OL]. 2021: ArXiv Preprint ArXiv:2109.13236.

[39] Zhu H Y, Jin Y C. Multi-Objective Evolutionary Federated Learning[J]., 2020, 31(4): 1310-1322.

[40] Li X C, Zhan D C. FedRS: Federated Learning with Restricted Softmax for Label Distribution Non-IID Data[C]., 2021: 995-1005.

[41] Poupard G, Stern J. Security Analysis of a Practical “on the Fly” Authentication and Signature Generation[M].. Berlin, Heidelberg: Springer Berlin Heidelberg, 1998: 422-436.

A Novel FL System Based on Consensus Motivated Blockchain

MI Bo1, WENG Yuan1, HUANG Darong1, LIU Yang1

1School of Information and Engineering, Chongqing Jiaotong University, Chongqing 400074, China

With the advancement of technologies such as cloud storage and AI (artificial intelligence) in recent years, the value of data has experienced significant growth. However, the exorbitant costs associated with communication and the intolerable risks of data leakage have given rise to a pervasive issue of “data isolation” among institutions, rendering a substantial portion of data unable to realize its full economic potential. Although using blockchain as a platform for federated learning can solve this problem to a certain extent, it also brings three primary shortcomings: 1) traditional consensus processes like PoW (proof of work) and PoS (proof of stake) remain largely disconnected from the federated learning training process, resulting in substantial wastage of computational power and bandwidth; 2) nodes may decline to participate actively in the training process or even disrupt it due to self-interest considerations, driven by competitive dynamics; 3) in open environments, data traceability during the model training process is challenging to establish, consequently diminishing the cost of attack for potential malevolent actors. Our study manifested that, instead of relying on traditional consensus mechanisms such as PoW and PoS, combining federated learning and model watermarking technology can make the consensus algorithm more fair and reliable. It can avoid the waste of computing power and unbalanced rewards thanks to federated learning, and the innovative consensus mechanism not only retained the properties of immutability, decentralization, and 49% byzantine fault tolerance but also naturally resisted 49% poisoning attack, adapted Non-IID (not independent and identically distributed) dataset and protected intellectual property. Both experimental and empirical evidence unequivocally demonstrate that the proposed solution in this study is exceptionally well-suited for scenarios involving non-trusting institutions collaboratively leveraging large volumes of local data for commercial federated learning, thereby holding substantial practical value.

federated learning; blockchain; consensus algorithm; intellectual property protection; poison attack

TP309.2

10.19363/J.cnki.cn10-1380/tn.2024.01.02

翁淵, Email: wengyuan980930@mails.cqjtu.edu.cn。

本課題得到中國國家自然基金(No.61903053), 重慶市科教委項目(No. KJCX2020033), 上海市信息安全綜合管理技術重點實驗室開放課題(No. AGK2020006)資助。

2022-05-05;

2022-08-20;

2023-09-26

米波 博士, 重慶交通大學信息科學與工程學院教授, 博士生導師。研究領域包括密碼學、區塊鏈、智能交通、車載自主式網絡等。Email: mi_bo@163.com

翁淵 于2019年在重慶交通大學計算機通信專業獲得學士學位?，F在重慶交通學校計算機與科學專業攻讀碩士學位。研究領域為密碼學、人工智能。研究興趣包括區塊鏈、同態加密。Email: wengyuan980930@mails.cqjtu.edu.cn

黃大榮 博士, 重慶交通大學信息科學與工程學院教授, 博士生導師。研究領域包括車聯網安全容錯控制、交通系統可靠性控制。Email: drhuang@cqjtu.edu.cn

劉洋 博士, 重慶交通大學信息科學與工程學院副教授, 研究生導師。研究領域包括形式化驗證、信息安全和數據處理等。Email: liuyang13@cqjtu.edu.cn