基于多目標優化的聯邦學習進化算法

胡智勇 于千城 王之賜 張麗絲

收稿日期：2023-05-28；修回日期：2023-07-21? 基金項目：寧夏重點研發計劃（引才專項）項目（2022YCZX0013）；寧夏重點研發計劃（重點）項目（2023BDE02001）；銀川市校企聯合創新項目（2022XQZD009）；北方民族大學2022年校級科研平臺《數字化農業賦能寧夏鄉村振興創新團隊》項目（2022PT_S10）；“圖像與智能信息處理創新團隊”國家民委創新團隊資助項目

作者簡介：胡智勇（1998—），男，河南駐馬店人，碩士研究生，CCF會員，主要研究方向為聯邦學習、多目標優化、隱私保護；于千城（1976—），男（通信作者），寧夏人，副教授，碩導，博士，主要研究方向為社會感知計算、社交網絡分析、機器學習（1999019@nmu.edu.cn）；王之賜（1999—），男，河南濮陽人，碩士，主要研究方向為自然語言處理；張麗絲（1999—），女，云南曲靖人，碩士，主要研究方向為機器學習、深度學習．

摘? 要：傳統聯邦學習存在通信成本高、結構異構、隱私保護力度不足的問題，為此提出了一種聯邦學習進化算法。應用稀疏進化訓練算法降低通信成本，結合本地化差分隱私保護參與方隱私，同時采用NSGA-Ⅲ算法優化聯邦學習全局模型的網絡結構、稀疏性，調整數據可用性與隱私保護之間的關系，實現聯邦學習全局模型有效性、通信成本和隱私性的均衡。不穩定通信環境下的實驗結果表明，在MNIST和CIFAR-10數據集上，與FNSGA-Ⅲ算法錯誤率最低的解相比，該算法所得解的通信效率分別提高57.19%和52.17%，并且參與方實現了（3.46，10-4）和（6.52，10-4）-本地化差分隱私。在不嚴重影響全局模型準確率的前提下，該算法有效降低了聯邦學習的通信成本并保護了參與方隱私。

關鍵詞：聯邦學習；多目標優化；NSGA-Ⅲ算法；本地化差分隱私；參數優化

中圖分類號：TP301.6??? 文獻標志碼：A

文章編號：1001-3695（2024）02-014-0415-06

doi：10.19734/j.issn.1001-3695.2023.05.0235

Federated learning evolutionary algorithm based on multi-objective optimization

Hu Zhiyonga，Yu Qianchenga，b，Wang Zhicia，Zhang Lisia

（a.School of Computer Science & Engineering，b.The Key Laboratory of Images & Graphics Intelligent Processing of State Ethnic Affairs Commission，North Minzu University，Yinchuan 750021，China）

Abstract：Traditional federated learning faces challenges such as high communication costs，structural heterogeneity，and insufficient privacy protection.To address these issues，this paper proposed a federated learning evolutionary algorithm.It applied sparse evolutionary training algorithm to reduce communication costs and integrated local differential privacy protection for participants privacy.Additionally，it utilized the NSGA-Ⅲ algorithm to optimize the network structure and sparsity of the global federated learning model，adjusting the relationship between data availability and privacy protection.This achieved a balance between the effectiveness，communication costs，and privacy of the global federated learning model.Experimental results under unstable communication environments demonstrate that，on the MNIST and CIFAR-10 datasets，compared to the solution with the lowest error rate using the FNSGA-Ⅲ algorithm，the proposed algorithm improves communication efficiency by 57.19% and 52.17%，respectively.The participants also achieve （3.46，10-4） and （6.52，10-4） -local differential privacy.This algorithm can effectively reduce communication costs and protect participant privacy without significantly compromising the accuracy of the global model.

Key words：federated learning；multi-objective optimization；NSGA-Ⅲ algorithm；local differential privacy；parameters optimization

0? 引言

隨著現代信息技術的飛速發展，移動終端設備快速普及，為機器學習模型的訓練提供了數以億計的數據支持。然而，傳統的集中式機器學習方法需要聚集參與方的本地數據來訓練模型，在數據傳輸和訓練的過程中可能會遭到惡意攻擊者的攻擊，從而導致個人隱私的泄露。此外，國家層面對于個人數據的保護力度日益加強［1～3］，在保護隱私的同時進一步加劇了數據孤島問題。隱私泄露和數據孤島是傳統的集中式機器學習方法面臨的兩大嚴峻挑戰。

聯邦學習［4］是一種旨在解決隱私泄露和數據孤島問題的分布式機器學習技術，實現了“數據不動，模型動”。通過避免參與方上傳本地數據的方式，有效防止了隱私泄露，打破了數據孤島現象。

傳統的聯邦學習仍然存在通信成本高、結構異構、隱私保護力度不足的問題［5］。高通信成本是限制聯邦學習發展的關鍵瓶頸［6］，由于中央服務器和各個參與方之間頻繁地傳輸模型，聯邦學習需要大量的通信資源。結構異構主要表現在兩方面：一方面，移動終端設備的計算能力和存儲能力的不同導致各參與方訓練子模型的時間不平衡；另一方面，中央服務器和參與方的通信過程中，參與方受到網絡波動的影響，可能會在訓練中途退出，使得部分子模型參數丟失，進而影響聯邦學習的效率、準確率［7］。聯邦學習在參與方本地訓練子模型，個人數據始終保存在本地移動終端設備上，從而保護參與方的數據不被隱藏的對手竊聽。盡管如此，中央服務器和參與方仍需要進行頻繁的模型交互，梯度和部分參數的傳輸可能間接導致隱私泄露［8］。例如Song等人［9］在不影響聯邦學習訓練過程的情況下，通過生成對抗網絡重構出實際的訓練樣本，對參與方的隱私構成了威脅。

針對上述三個問題，本文提出了一種在聯邦學習中優化神經網絡模型結構并保護參與方隱私的進化算法。該算法在聯邦平均算法（federated averaging，FedAvg）［4］中應用稀疏進化訓練算法（sparse evolutionary training，SET）［10］，將神經網絡模型的全連接層轉換為稀疏連接，降低了通信成本。同時，參與方在本地訓練過程中對梯度添加噪聲，使得本地模型參數滿足本地化差分隱私，進一步保護了參與方的隱私。然而，以上的兩種做法會影響全局模型的準確率，因此將神經網絡模型的超參數、SET算法的連通性參數和噪聲尺度等作為決策變量，采用第三代非支配排序遺傳算法（non-dominated sorted genetic algorithm-Ⅲ，NSGA-Ⅲ）平衡全局模型的性能、通信成本、隱私性，并優化了神經網絡模型結構，緩解了結構異構問題。本文的主要貢獻如下：

a）通過采用智能優化算法動態調整差分隱私所添加的噪聲大小，解決了應用差分隱私技術時存在的難以權衡隱私保護與數據可用性之間關系的問題。

b）將聯邦學習表述為一個三目標優化問題，通過優化全局模型錯誤率、通信成本和隱私預算三個目標函數，平衡了聯邦學習全局模型的準確性、通信成本和隱私性。

c）在MNIST和CIFAR-10數據集上進行了兩組實驗。第一組實驗在MNIST數據集上對比了加入不同噪聲尺度的FedAvg算法的性能，驗證了使用智能優化算法調整隱私保護力度的可行性。第二組實驗使用NSGA-Ⅲ算法求出Pareto最優解，并選擇部分Pareto解進行增強實驗，驗證了本文算法的有效性。

1? 相關研究

FedAvg算法是最先提出的解決聯邦學習高通信成本的方案［11］，參與方在本地設備上計算梯度并更新本地模型，中央服務器只對本地模型進行聚合，不參與梯度的計算，通過這種方式將計算量轉移到了參與方本地，減少了通信輪次。然而，對于大型模型，在每輪的通信中仍具有較大的通信成本，Gao等人［12］提出一種具有梯度壓縮的本地隨機梯度下降算法，對聯邦學習通信中的所有梯度進行壓縮，并通過全精度梯度和壓縮梯度之間的殘差來補償壓縮梯度，減少了梯度壓縮帶來的誤差，降低了聯邦學習每輪通信的通信成本，但梯度壓縮會影響模型的準確率。

自從Abadi等人［13］提出用于學習算法的差分隱私概念，確保學習模型不會揭示訓練過程中是否使用了某條數據之后，在聯邦學習隱私保護領域，差分隱私引起了廣泛的關注。Geyer等人［14］首先將差分隱私應用到聯邦學習的訓練過程中，中央服務器對每輪通信后的全局模型添加高斯分布的噪聲，隱藏了參與方是否參與該輪訓練，使用矩累計［13］獲得隱私邊界損失，當隱私邊界損失大于設定的閾值時結束訓練，確保參與方的隱私邊界損失在可控范圍內。中心化差分隱私由中央服務器添加噪聲，有效防止了參與方對全局模型的推斷攻擊，但是“誠實且好奇”的中央服務器是不可信的甚至是惡意的。相比之下，本地化差分隱私由參與方在本地添加噪聲，再將加噪后的數據發送到中央服務器聚合，從而能夠更好地保護數據隱私。Wei等人［15］設計了一種基于本地化差分隱私概念的聯邦學習方法NbAFL，參與方和中央服務器分別對模型添加噪聲，使得上傳和下載的模型均滿足差分隱私，并對具有隱私保護噪聲擾動的聯邦學習收斂行為進行了理論分析?？岛Ｑ嗟热耍?6］根據聯邦學習參與方的參與率和通信輪次，提出了一種本地化差分隱私的聯邦學習機制和性能損失更小的估計機制，減少了模型添加噪聲所造成的性能損失。差分隱私應用于聯邦學習隱私保護領域的一個核心難點是平衡模型的準確性與隱私性［17］，加入噪聲過大將會影響模型的準確率和收斂性，加入噪聲太小又無法達到保護參與方隱私的目的，人工確定噪聲尺度的方法在實際應用中難以保證其準確性，因此需要更為科學、可靠的方法來確定添加的噪聲尺度。

一些研究者嘗試將粒子群算法、多目標遺傳算法等智能優化算法與聯邦學習相結合，以提高模型的準確性、降低通信成本，進一步推動了聯邦學習的發展。Qolomany等人［18］從提高參與方本地模型訓練效率的角度出發，使用粒子群算法優化神經網絡的隱藏層數量、每層隱藏層神經元數量以及每一輪參與方的訓練時期（epoch），大幅度地減少了通信輪次，但該方法僅考慮了單一目標，導致優化結果不夠全面。Zhu等人［19］將聯邦學習表述為最小化聯邦學習全局模型錯誤率和通信成本的雙目標優化問題，將改進的SET算法與FedAvg算法相結合，采用第二代非支配排序遺傳算法（non-dominated sorted genetic algorithm-Ⅱ，NSGA-Ⅱ）［20］優化神經網絡的超參數和SET算法中的連通性參數，在提高聯邦學習全局模型性能的同時降低了模型的參數量和通信成本。但是NSGA-Ⅱ算法求解高維多目標優化問題時效果不理想，并且不利于多目標聯邦學習模型的擴展。因此，鐘佳淋等人［21］使用快速貪婪初始化的NSGA-Ⅲ算法求解多目標優化聯邦學習問題，并且為了防止參與方之間準確率差距過大，在優化目標中加入參與方的公平性［22］，將目標空間擴展到了三維，實現了全局模型準確性、通信成本和公平性的平衡，然而，該算法未考慮到聯邦學習過程中存在的隱私泄露問題。

本文綜合考慮了聯邦學習全局模型的準確性、通信成本、隱私性，解決了聯邦學習進化算法未考慮到參與方隱私安全的問題，同時智能優化算法又可以對模型超參數、連通性和噪聲尺度進行更為精細的調整，使聯邦學習全局模型達到更好的平衡。

2? 背景知識

2.1? 聯邦學習

在聯邦學習框架下，參與方在本地對模型進行訓練，只將更新后的子模型發送給中央服務器，本地數據始終保留在本地設備上，中央服務器將子模型進行聚合，生成下一輪通信的全局模型，數據隱私得到了保護，聯邦學習的訓練旨在最小化損失函數：

minθ L（θ）=∑Kk=1nknLk（θ） where Lk（θ）=1nk∑i∈Euclid Math OneDApkli（θ）（1）

其中：Lk（θ）是第k個參與方的損失函數；nk是參與方k的數據集Euclid Math OneDApk的大??；n為K個參與方的總數據樣本大??；li（θ）是數據樣本i上的損失函數。

聯邦學習的每輪訓練過程分為四步，如圖1所示。首先，中央服務器在第t輪訓練前，向K個參與方下發全局模型θt；其次，第k個參與者使用本地數據集Dk對全局模型θt進行訓練，得到子模型；然后，參與方將子模型θkt上傳至中央服務器；最后，服務器對上傳的所有子模型進行聚合，得到下一輪通信的全局模型θt+1。通信一定輪次后獲得訓練好的全局模型。

2.2? SET算法

SET算法首先使用Erdos Rènyi隨機圖［23］替代深度神經網絡中的全連接層的拓撲結構，將全連接變為稀疏連接，兩層之間的連接概率如式（2）所示。

P（Wkij）=α（nk+nk-1）nknk-1

nW=nknk-1P（Wkij）（2）

其中：Wkij是兩層之間稀疏權重矩陣；α是控制連接稀疏性的參數；nk和nk-1是第k層和第k-1層的神經元個數；nW是兩層之間總的連接數。然而，隨機生成的拓撲結構不適合神經網絡模型學習特定的數據，Mocanu等人［10］建議在每個epoch中移除ξ部分更新量最小的權重，并隨機添加與移除量相同個數的隨機權重，這可以視為進化算法的選擇操作。

Zhu等人［19］將SET與FedAvg算法相結合，但在聯邦學習的訓練過程中，移除更新量最小的權重會導致結果的嚴重波動，因此對SET算法進行改進，僅在最后一個epoch移除ξ部分更新量最小的權重，改進的SET算法的偽代碼如算法1所示。

算法1? 改進SET算法

輸入：全連接的神經網絡，連通性參數α和ξ。

輸出：稀疏神經網絡。

a） for each fully-connected layer do

b）? 將全連接層替換為由α和式（2）給出的Erdos Rènyi拓撲的稀疏連接層

c） end for

d） 初始化權重

e） 開始訓練

f） for each epoch do

g）? 訓練并且更新相應權重

h） end for

i） for each weight matrix do

j）? 移除ξ部分更新量最小的權重

k） end for

2.3? 差分隱私

差分隱私是一種輕量級的隱私保護技術［24］，旨在保護數據中的敏感信息，通過在處理數據前，向其添加一些拉普拉斯分布、高斯分布、隨機數等噪聲來實現隱私保護，添加噪聲的目的是使得相鄰的數據集之間查詢結果的差異被掩蓋，使得攻擊者無法通過結果來推斷原始數據中的個人信息，從而提高隱私保護的強度。在深度學習中松弛差分隱私最為常用，定義為（ε，δ）-松弛差分隱私，即

如果一個定義域為Euclid Math OneXAp，值域為Euclid Math OneRAp的隨機化隱私機制Euclid Math OneMAp：Euclid Math OneXAp→Euclid Math OneRAp，在兩個相鄰數據庫Euclid Math OneDApi，Euclid Math OneDAp′i（Euclid Math OneDApi，Euclid Math OneDAp′i∈Euclid Math OneXAp）上得到的所有輸出結果Euclid Math OneSAp（Euclid Math OneSApEuclid Math OneRAp）滿足式（3），則其滿足（ε，δ）-松弛差分隱私。

Pr［Euclid Math OneMAp（Euclid Math OneDApi）∈Euclid Math OneSAp］≤eεPr［Euclid Math OneMAp（Euclid Math OneDAp′i）∈Euclid Math OneSAp］+δ（3）

高斯機制［25］給輸出結果f（t）添加高斯分布的噪聲n～Euclid Math OneNAp（0，σ2），即Euclid Math OneMAp（t）=f（t）+Euclid Math OneMAp（0，σ2I），函數f（t）的L2敏感度為Δs=maxEuclid Math OneDApi，Euclid Math OneDAp′i‖f（Euclid Math OneDApi）-f（Euclid Math OneDAp′i）‖2，高斯分布的標準差只需滿足σ≥cΔs/ε，在ε∈（0，1）的情況下，常數c≥2 ln （1.25/δ），就可以實現（ε，δ）-松弛差分隱私。

2.4? 第三代非支配排序遺傳算法（NSGA-Ⅲ）

NSGA-Ⅲ算法是由Deb等人［26］提出的一種多目標優化算法，旨在解決前兩代NSGA算法在處理高維多目標（目標維度大于3）問題時面臨的挑戰?？傮w來說，NSGA-Ⅲ與NSGA-Ⅱ算法具有類似的框架，兩者的主要區別在于同一非支配層內個體的排序方式。NSGA-Ⅱ算法通過擁擠度進行排序，擁擠度排序需要計算個體之間距離，而在高維目標空間中距離計算復雜度高，導致算法的計算開銷大、作用不明顯；而NSGA-Ⅲ算法使用廣泛分布的參考點進行排序，有效地提高了種群的多樣性，有利于找到全局最優解，也可以更加靈活地適應不同的目標空間和問題類型。NSGA-Ⅲ算法的步驟總結如下：

a）在超平面上生成H個參考點，并隨機生成個體數為M的父代種群Pn。

b）對父代種群Pn執行交叉、變異操作，生成子代種群Qn（|Qn|=M）。然后將父代種群與子代種群合并為Rn，并計算出Rn中每個個體的目標函數值。

c）首先，對目標函數值進行非支配排序，將Rn分為多個非支配層（F1，F2，F3，…）。其次，從F1開始構造一個新的種群Sn，直到其大小首次等于或超過M，假設最后一層為l層，l層之后的個體將會被舍棄。如果|Sn|=M，令Pn+1=Sn并轉至步驟e），否則轉至步驟d）。

d）令Pn+1=Sn/Fl，將Sn的目標函數值使用理想點和極端點進行標準化后，通過計算垂直距離將個體與參考點相聯系，并統計每個參考點所聯系的Pn+1中個體的數目。從聯系個體最少的參考點開始，若聯系個體最少的參考點數不唯一，則從中隨機選擇一個，然后執行下面兩種情況，直到|Pn+1|=M。

（a）Fl層有個體與該參考點相聯系：如果該參考點已聯系的個體數為0，則將Fl層與該參考點相聯系個體中距離最短的個體添加到Pn+1，并將參考點所聯系的個體數目加1；如果該參考點已聯系的個體數大于0，則從Fl層與該參考點相聯系的個體中隨機選擇一個添加到Pn+1，并將參考點所聯系的個體數目加1。

（b）Fl層沒有個體與該參考點相聯系：排除該參考點。

e）轉至步驟b），重復該過程，達到最大迭代次數后算法結束。

3? 方法設計

3.1? 問題描述

本文將聯邦學習表述為三目標優化問題，總體目標為使用多目標進化算法優化聯邦學習中的神經網絡結構、隱私保護力度，平衡聯邦學習全局模型的準確性、通信成本、隱私性。由于部分優化目標存在相互沖突的情況，無法找到一種解決方案可以同時最小化多個目標函數，需要在不同的目標之間進行折中取舍，以得到一組折中解（Pareto最優解集），問題的形式化定義如下：

min f（x）s.t.x∈R=min（f1（x），f2（x），f3（x））T（4）

其中：x為模型的決策變量；R為決策變量的可行解空間；f（x）是總體優化目標；fi（x）是第i個目標函數。

NSGA-Ⅱ、強度Pareto進化（SPEA2）等多目標進化算法，雖然可以用于解決聯邦學習的多目標優化問題，但是大多數該類算法在求解高維多目標優化問題時，效果變得不理想。NSGA-Ⅲ算法適用于具有2～15個目標的多目標優化問題［26］，具有良好的可擴展性，因此，本文選用NSGA-Ⅲ算法求解聯邦學習的三目標優化問題。

3.2? 目標函數

本文有三個目標函數，分別為最小化全局模型錯誤率f1、最小化通信成本f2和最小化參與方隱私預算f3。首先，使用種群中的個體作為模型的超參數，結合SET算法生成稀疏連接的全局神經網絡模型；其次，對稀疏神經網絡使用FedAvg算法進行若干通信輪次的訓練，得到最終的全局模型；最后，使用全局模型對所有參與方的測試集分別進行測試，求出每個參與方的準確率{a1，a2，a3，…，aK}。模型的全局準確率計算公式為

A=∑Kk=1akK（5）

目標函數f1為最小化全局模型錯誤率，計算公式為

f1=1-A=1-∑Kk=1akK（6）

目標函數f2為最小化通信成本，聯邦學習的通信成本由中央服務器和參與方之間的模型交互產生，當全局模型的網絡結構確定后，通信成本只與模型的參數量Ω和每輪參與方參與比例C相關，由此可以得出目標函數f2為

f2=Ω×Κ×CK=Ω×C（7）

目標函數f3為最小化隱私預算，在本地化差分隱私中，隱私預算ε與添加的噪聲呈負相關，隱私預算越小，添加的噪聲越大，對參與方的隱私保護程度越高。目標函數f3借鑒了文獻［16］提出的聯邦學習本地化差分隱私方法，計算公式為

f3=ε=Δs2CT ln （1δ）σ（8）

其中：Δs為敏感度；C為參與方的參與比例；T為總的通信輪次；δ為差分隱私的松弛項；σ為高斯分布的標準差。每個參與方上傳的模型都可以實現（ε，δ）-本地化松弛差分隱私。

第k個參與方訓練過程中的敏感度如式（9）所示。

ΔsEuclid Math OneDApk=maxEuclid Math OneDApk，Euclid Math OneDApk′‖Lk（θ）Euclid Math OneDApk-Lk（θ）Euclid Math OneDApk′‖=

maxEuclid Math OneDApk，Euclid Math OneDApk′‖1|Euclid Math OneDApk|∑i∈Euclid Math OneDApkli（θ）-1|Euclid Math OneDApk′|∑i∈Euclid Math OneDApk′li（θ）‖=2S|Euclid Math OneDApk|（9）

其中：S為梯度裁剪的閾值。因此，每輪訓練的全局敏感度Δs=max{ΔsDk}，為了最小化全局敏感度，理想條件是所有參與方都使用足夠的本地數據集進行訓練［15］，假設本地數據集的最小為m，則Δs=2S/m。

3.3? 決策變量及編碼

決策變量由神經網絡的超參數、參與者的參與比例C、SET算法中的連通性參數α和ξ、高斯分布的標準差σ組成，其中神經網絡的超參數決定了神經網絡的結構，參與者參與比例影響了模型的總參數量和隱私預算，兩個連通性參數決定了神經網絡的稀疏度和模型參數量，高斯分布的標準差決定了本地模型的隱私預算。神經網絡選擇多層感知機（multilayer perceptron，MLP）和卷積神經網絡（convolutional neural network，CNN），超參數如表1所示。MLP的決策變量為x={L，N，lr，C，α，ξ，σ}，CNN的決策變量為x={conv，kc，ks，L，N，lr，C，α，ξ，σ}。

在MLP和CNN中，均有實數和整數兩種類型的決策變量，采用混合編碼的方式對兩種決策變量類型分別進行實值編碼和二進制編碼。圖2為CNN的個體編碼示例，在二進制解碼時，防止出現值為0的情況，自動對解碼后的數值加1。

3.4? 算法流程

首先，隨機生成大小為M的初代種群，并生成參考點，使用二元錦標賽選擇出兩個父代個體進行交叉變異操作，產生兩個子代個體，循環若干次，產生M個子代個體組成子代種群。

其次，將父子代種群合并，合并后種群中的個體在參與方設備上使用結合改進SET算法的FedAvg算法進行本地訓練，訓練過程中采用隨機梯度下降法計算出模型的梯度值，并對梯度進行裁剪，限制訓練樣本對模型參數的影響。梯度裁剪閾值S選取在訓練過程中未裁剪梯度范數的中位數，根據梯度值更新子模型并添加高斯分布N（0，σ2）的噪聲，訓練結束后將子模型上傳給中央服務器。中央服務器接收到參與方上傳的模型后進行聚合，生成下一輪通信的全局模型。若干輪通信后，生成最終的全局模型，使用全局模型計算出三個目標函數的值。

最后，對產生2M組目標函數值進行非支配排序，并根據參考點選擇出M個個體組成新的父代種群，進入下一輪迭代，直到達到最大迭代次數為止。使用NSGA-Ⅲ算法求解聯邦學習三目標問題和參與方本地訓練過程的偽代碼分別如算法2、3所示。

算法2? 聯邦學習進化算法

輸入：交叉和變異概率pc、pm，參與方總數K。

輸出：一組Pareto最優解。

初始化個體數為M的初代種群Pn，并生成參考點

for each generation n←1 to N do

對Pn進行交叉和變異產生子代種群Qn，|Qn|=M

父子代種群合并，Rn=Pn+Qn，|Rn|=2M

for each individual i∈Rn do

根據個體i中的決策變量初始化全局稀疏模型θit

for each communication round t←1 to T do

隨機選擇p=max （Ci×K，1）個參與方

for each client k∈p in parallel do

通過算法3得出kt

end for

θit+1=1p∑pk=1kt

end for

使用全局模型θiT+1計算出目標函數fi←（fi1，fi2，fi3）

end for

f=∪2Mi=1fi

對f中的解進行非支配排序

根據非支配排序等級和參考點選擇出M個個體組成Pn+1

end for

算法3? 參與方本地訓練

輸入：第t輪的全局模型θt，本地模型迭代次數E，連通性參數ξi，批量大小B。

輸出：第k個參與方第t通信輪次訓練后的模型。

for e←1 to E do

批量大小B中的每個數據對b

梯度大小g←L（θkt，b）

梯度裁剪g←gmax（1，‖g‖2S）

更新模型θkt←θkt-g

添加噪聲θ～kt←θkt+Euclid Math OneNAp（0，σ2i）

end for

移除θ～kt中ξi部分更新量最小的權重

return θ～kt

4? 實驗分析

4.1? 實驗設置

本實驗開發語言為Python 3.8，開發環境為PyCharm，使用PyTorch 1.11.0訓練神經網絡，硬件設施為Intel Xeon Gold 6154，12 GB顯存的NVIDIA TITAN V，操作系統為CentOS 7。

神經網絡選擇MLP和CNN，使用學習率為0.1，批量大小為64的隨機梯度下降法對神經網絡進行優化，其中原始的MLP包含2個隱藏層，每層有200個神經元，激活函數為ReLU函數。CNN設置兩個5×5的卷積層，分別是32和64個通道，卷積層后是一個2×2的最大池化層，然后是一個具有ReLU激活函數的128個神經元的全連接層，以及一個10類的softmax輸出層。

參與方總數K和參與方參與比例C設置為100和1，即每輪通信中使用100×1個參與方進行訓練，參與方本地epoch設置5。對MNIST和CIFAR-10數據集使用兩種方式劃分，一種為獨立同分布（independent identically distribution，IID），將數據集隨機打亂，在MNIST數據集下，每個參與方包含600條訓練數據，在CIFAR-10數據集下，每個參與方包含500條訓練數據；另一種為非獨立同分布（non-independent identically distribution，non-IID），使用文獻［4］中的分割方法，先按照標簽對MNIST數據集進行排序，將訓練集分為200個大小為300的片段，為每個參與方分配2個訓練集片段，CIFAR-10數據集的non-IID劃分方法與MNIST數據集類似。在實驗過程中，為了模擬聯邦學習在真實環境中由于網絡波動而產生的結構異構問題，設置參與方上傳的子模型有30%的概率丟失。

參與方的隱私保護程度由隱私預算ε、高斯分布標準差σ和松弛項δ三個參數控制。其中ε為目標函數f3，由式（8）計算；σ為決策變量參數；松弛項δ通常要小于訓練集大小的倒數，根據本文的數據集分割方法，每個參與方本地最多有600條訓練數據，因此δ統一設置為10-4。

NSGA-Ⅲ算法使用二輪錦標賽作為選擇算子，交叉變異算子和相應的概率依據文獻［7，19］的參數設置，如表2所示。

4.2? 隱私保護有效性驗證

本節使用MLP和CNN兩種神經網絡在以IID方式劃分的MNIST數據集上驗證通過改變決策變量σ可以有效控制參與方的隱私保護等級。聯邦學習的通信輪次為150次，參與方總數為100，參與方參與比例為1，將高斯分布的標準差分別設置為σ=0.05、σ=0.1、σ=0.2，兩種神經網絡的實驗結果如圖3所示。

觀察圖3可以發現，隨著σ的增大，兩種神經網絡的全局準確率都在降低，說明通過調整σ能夠實現不同的隱私保護級別；同時，經過100輪迭代左右，模型的全局準確率達到穩定，表明在參與方本地加入適量的噪聲，不會嚴重影響模型的收斂性。進一步證明了將σ作為決策變量參數，使用智能優化算法平衡聯邦學習模型準確率和隱私性之間的關系是可行的。

4.3? 聯邦學習進化模型

實驗的參數如表3所示。由于受到計算資源的限制，導致本文無法進行大規模的迭代訓練，種群大小和迭代次數均設置為20，本地epoch和通信輪次均設置為5。為了保證聯邦學習全局模型的收斂性，學習率設置為0.01～0.2，參與方參與比例的最小值設置為0.1。連通性參數α和ξ參考了文獻［19］，分別設置為1～128和0.01～0.55。在綜合考慮了參與方的隱私保護程度和全局模型性能的情況下，高斯分布標準差設置為0.001～0.5，過小的值無法達到保護參與方隱私的目的，過大的值將嚴重影響全局模型的性能。

在MNIST和CIFAR-10數據集上使用NSGA-Ⅲ算法，求出IID和non-IID分布下MLP和CNN模型的Pareto最優解分布，如圖4所示，其中的每個點代表著一個聯邦學習中神經網絡模型的特定結構的解決方案。表4展示了Pareto最優解中三個目標函數的最小值和平均值。

在進化過程中，考慮到了時間成本，種群中個體的通信輪次設置為了5次，但這不符合聯邦學習實際的應用場景，并且未能夠充分表現進化得出的Pareto解的性能。因此，本文在MNIST和CIFAR-10數據集的MLP、non-IID解中分別選擇兩個全局測試誤差低的解（記作解1、解2）和一個邊界拐點解（記作解3），將通信輪次設置為150輪，進行了增強實驗，并與完全連接且未保護參與方隱私的聯邦學習標準解和FNSGA-Ⅲ算法［21］所得的測試錯誤率很小的解（記作解F）進行對比，用于驗證聯邦學習進化模型的多目標均衡和參數尋優能力。實驗結果如表5和6所示。

根據表5和6可以得到以下結論：

a）在兩個數據集上，所選取的Pareto解的通信成本均低于聯邦學習標準解和解F。在MNIST數據集上的通信成本只占到標準解的7.98%～13.03%，占到解F的27.62%～45.13%；在CIFAR-10數據集上只占標準解的13.55%～21.38%，占到解F的30.33%～47.83%。說明本文提出的聯邦學習進化算法可以有效地降低通信成本。

b）相比未保護參與方隱私的標準解和解F，所選取的Pareto解在MNIST數據集上平均實現了（2.31，10-4）-本地化差分隱私；在CIFAR-10數據集上平均實現了（6.06，10-4）-本地化差分隱私，有效地保護了參與方的隱私。

c）選取的兩組Pareto解的準確率均低于標準解和解F，在MNIST數據集上最高達到了標準解的96.71%和解F的95.22%；在CIFAR-10數據集上最高達到了標準解的95.02%和解F的90.50%，并未嚴重影響全局模型的準確率。

d）準確率高的解，其通信成本和隱私預算都相對較大，說明所得到的Pareto解實現了三個目標的均衡。

5? 結束語

針對傳統聯邦學習存在高通信成本、結構異構、隱私保護力度不足的問題，本文提出一種基于多目標優化的聯邦學習進化算法。構建了聯邦學習三目標優化數學模型，三個目標函數為最小化全局模型錯誤率、通信成本、參與方隱私預算；使用NSGA-Ⅲ算法進行求解，用于優化聯邦學習模型的結構、稀疏度和對參與方的隱私保護力度；，最后，在不穩定的通信環境下進行了實驗。實驗結果表明，聯邦學習進化算法在不嚴重影響全局模型準確率的前提下有效降低了聯邦學習通信成本并保護參與方隱私，實現了三個目標的均衡。

本文將差分隱私引入到聯邦學習進化算法中以保護參與方的隱私，但未考慮到統計異構問題和惡意參與方的投毒攻擊。在參與方本地數據是non-IID，或者惡意參與方竄改本地數據的情況下，如何提高全局模型的性能和魯棒性，仍是聯邦學習進化算法值得深入研究的方向。

參考文獻：

［1］Chik W B.The Singapore personal data protection act and an assessment of future trends in data privacy reform［J］.Computer Law & Security Review，2013，29（5）：554-575.

［2］Regulation G D P.Regulation EU 2016/679 of the European parliament and of the council of 27 April 2016［J］.Official Journal of the European Union，2016（59）：1-88.

［3］孫佑海.網絡安全法：保障網絡安全的根本舉措——學習貫徹《中華人民共和國網絡安全法》［J］.中國信息安全，2016（12）：30-33.（Sun Youhai.Cybersecurity law：the fundamental measures to ensure cybersecurity——study and implement the “Network Security Law of the Peoples Republic of China”［J］.China Information Security，2016（12）：30-33.）

［4］McMahan B，Moore E，Ramage D，et al.Communication-efficient learning of deep networks from decentralized data［C］//Proc of the 20th International Conference on Artificial Intelligence and Statistics.2017：1273-1282.

［5］Li Li，Fan Yuxi，Tse M，et al.A review of applications in federated learning［J］.Computers & Industrial Engineering，2020，149：106854.

［6］Yang Wensi，Zhang Yuhang，Ye Kejiang，et al.FFD：a federated lear-ning based method for credit card fraud detection［C］//Proc of International Conference on Big Data.Cham：Springer，2019：18-32.

［7］Zhong Jialin，Wu Yahui，Ma Wubin，et al.Optimizing multi-objective federated learning on non-IID data with improved NSGA-Ⅲ and hie-rarchical clustering［J］.Symmetry，2022，14（5）：1070.

［8］Bos J W，Lauter K，Naehrig M.Private predictive analysis on encryp-ted medical data［J］.Journal of Biomedical Informatics，2014，50：234-243.

［9］Song Mengkai，Wang Zhibo，Zhang Zhifei，et al.Analyzing user-level privacy attack against federated learning［J］.IEEE Journal on Selected Areas in Communications，2020，38（10）：2430-2444.

［10］Mocanu D C，Mocanu E，Stone P，et al.Scalable training of artificial neural networks with adaptive sparse connectivity inspired by network science［J］.Nature Communications，2018，9（1）：2383.

［11］王惜民，范睿.基于類別不平衡數據聯邦學習的設備選擇算法［J］.計算機應用研究，2021，38（10）：2968-2973.（Wang Ximin，Fan Rui.Device selection in federated learning under class imbalance［J］.Application Research of Computers，2021，38（10）：2968-2973.）

［12］Gao Hongchang，Xu An，Huang Heng.On the convergence of communication-efficient local SGD for federated learning［C］//Proc of AAAI Conference on Artificial Intelligence.2021：7510-7518.

［13］Abadi M，Chu A，Goodfellow I，et al.Deep learning with differential privacy［C］//Proc of ACM SIGSAC Conference on Computer and Communications Security.New York：ACM Press，2016：308-318.

［14］Geyer R C，Klein T，Nabi M.Differentially private federated learning：a client level perspective［EB/OL］.（2017）.https：//arxiv.org/abs/1712.07557.

［15］Wei Kang，Li Jun，Ding Ming，et al.Federated learning with differen-tial privacy：algorithms and performance analysis［J］.IEEE Trans on Information Forensics and Security，2020，15：3454-3469.

［16］康海燕，冀源蕊.基于本地化差分隱私的聯邦學習方法研究［J］.通信學報，2022，43（10）：94-105.（Kang Haiyan，Ji Yuanrui.Research on federated learning approach based on local differential privacy［J］.Journal on Communications，2022，43（10）：94-105.）

［17］湯凌韜，陳左寧，張魯飛，等.聯邦學習中的隱私問題研究進展［J］.軟件學報，2023，34（1）：197-229.（Tang Lingtao，Chen Zuo-ning，Zhang Lufei，et al.Research progress of privacy issues in federated learning［J］.Journal of Software，2023，34（1）：197-229.）

［18］Qolomany B，Ahmad K，Al-Fuqaha A，et al.Particle swarm optimized federated learning for industrial IoT and smart city services［C］//Proc of IEEE Global Communications Conference.Piscataway，NJ：IEEE Press，2020：1-6.

［19］Zhu Hangyu，Jin Yaochu.Multi-objective evolutionary federated lear-ning［J］.IEEE Trans on Neural Networks and Learning Systems，2019，31（4）：1310-1322.

［20］Deb K，Pratap A，Agarwal S，et al.A fast and elitist multi-objective genetic algorithm：NSGA-Ⅱ［J］.IEEE Trans on Evolutionary Computation，2002，6（2）：182-197.

［21］鐘佳淋，吳亞輝，鄧蘇，等.基于改進NSGA-Ⅲ的多目標聯邦學習進化算法［J］.計算機科學，2023，50（4）：333-342.（Zhong Jialin，Wu Yahui，Deng Su，et al.Multi-objective federated learning evolutionary algorithm based on improved NGSA-Ⅲ［J］.Computer Science，2023，50（4）：333-342.）

［22］Li Tian，Sanjabi M，Beirami A，et al.Fair resource allocation in fede-rated learning［EB/OL］.（2019）.https：//arxiv.org/abs/1905.10497.

［23］Erdos P，Rényi A.On the evolution of random graphs［J］.Trans of the American Mathematical Society，1960，5（1）：17-60.

［24］Dwork C.Differential privacy［C］//Proc of International Colloquium on Automata，Languages and Programming.Berlin：Springer，2006：1-12.

［25］Dwork C，Roth A.The algorithmic foundations of differential privacy［J］.Foundations and Trends in Theoretical Computer Science，2014，9（3-4）：211-407.

［26］Deb K，Jain H.An evolutionary many-objective optimization algorithm using reference-point-based nondominated sorting approach，part I：solving problems with box constraints［J］.IEEE Trans on Evolutio-nary Computation，2013，18（4）：577-601.