基于個性化聯邦學習的無線通信流量預測

林尚靜，馬 冀，李月穎，莊 琲，李 鐵，李子怡，田 錦

(1. 北京郵電大學安全生產智能監控北京市重點實驗室 北京 海淀區 100876；2. 金陵科技學院網絡與通信工程學院 南京 211169)

精準預測城市全域尺度通信網絡流量能夠輔助運營商進行精細化運營、高效配備與部署基站資源，從而滿足涌現的各種業務需求。

然而，城市全域尺度的通信流量預測面臨3 方面困難。1) 預測模型的復雜性?，F有的單個或局部范圍的流量預測模型，由于數據體量不大，通常是集中式算法模型。如果直接擴展到城市全域范圍，必然導致在模型訓練過程中的復雜度急劇擴張。2) 預測模型的時效性。在模型持續運行過程中，分散在城市全域范圍的各個基站的實時流量數據需要全部匯聚到部署了全域流量預測模型的中心節點上進行演算，這不僅導致通信負載的增加，還導致預測模型的時效性較低。3) 預測模型的準確性。城市尺度的流量特征是高度差異化，與城市的規劃、城市居民生活習慣、通信設施部署息息相關。城市尺度的流量預測模型需要準確性以刻畫本城市的流量特征。

本文的主要貢獻體現在以下兩個方面。

1) 提出了基于聯邦學習的城市全域流量預測框架。首先，各個邊緣計算服務器采集相應區域內的流量數據，并在本地流量預測模型訓練；其次，各個邊緣計算服務器將本地流量預測模型的模型參數上傳給中心云服務器，由中心云服務器對模型參數進行融合，并將融合后的模型參數下發給各個邊緣計算服務器；最后，各個邊緣計算服務器在融合后的模型參數基礎上繼續進行本地模型訓練，直至訓練結束，形成通用流量預測模型?，F有流量預測方案普遍采用集中式訓練框架，需要將城域級流量數據匯聚到一臺中心服務器上進行模型訓練，通信開銷大，模型復雜度高。本文所提的模型是一種分布式訓練框架，各邊緣計算服務器只需采集區域級的流量數據進行模型訓練，因此，通信開銷較小，模型復雜度較低。此外，聯邦訓練預測框架通過融合各區域的模型參數，間接地擴大了各個邊緣計算服務器上的流量訓練集，從而提高了區域級流量預測的準確性。

2) 提出了基于合作博弈的個性化聯邦流量預測模型。各個邊緣計算服務器在執行完上述聯邦訓練過程形成通用流量預測模型之后，各自獨立訓練出反應本地區特征的個性化的流量預測模型。具體地，各個邊緣計算服務器將本地區的各個區域性特征作為合作博弈的參與者，通過合作博弈的超可加性準則，比較不同特征組合對流量預測產生的收益，根據收益進行本地區特征的篩選。對比現有多源流量預測模型，通常將流量數據和所有的多源特征數據直接融合在一起，以提升模型預測準確度。但是，融合的多源特征過多會加深模型訓練的復雜度，導致預測效果變差。而本文所提的基于合作博弈的區域個性化特征篩選方法，能夠為每個區域引入合適的多源特征數據，從而達到提升模型預測效果的目的。

1 相關研究

針對蜂窩流量預測問題，國內外已涌現大量的相關研究。傳統算法普遍采用統計概率模型或者時間序列預測模型進行流量預測[1-2]。預測算法都是針對每個小區進行單獨建模，無法直接適用于所有小區。在實際應用中，對千萬數量級別小區流量進行并行化建模非常困難。

隨著深度學習算法在各領域取得突破進展的同時，能夠捕獲空間相關性的卷積神經網絡(convolutional neural network, CNN)以及能夠捕獲時間相關性的長短時記憶(long short-term memory,LSTM)網絡被逐步應用到通信流量預測領域。深度學習模型由于具有擬合復雜非線性的特點，通常將多個小區的流量數據整體作為訓練集進行訓練并產生統一模型用于多個小區的預測。然而，隨著流量預測范圍擴大到城市全域尺度，導致預測模型的復雜度提高，實際預測效果不理想。

為了解決以上問題，本文在模型中引入聯邦學習的思想。聯邦學習是一種具有隱私保護的分布式機器學習訓練框架，多個客戶端在一個中心服務器的協同之下共同訓練一個模型[3-4]。分布式算法模型可以大范圍地進行流量預測，數據集增多可提高模型預測精度，同時也不會出現復雜度高、實時性低的問題。

但在聯邦學習的研究過程中，還面臨著一個問題，常見數據集大多都是獨立同分布(independent identically distribution, IID)，但在現實場景中，不同邊緣計算服務器面對的數據質和量都不盡相同，很難滿足IID 的假設，而在模型訓練時non-IID 數據往往比IID 數據表現差。為了解決這一問題，文獻[5]針對non-IID 數據根據每個客戶機的貢獻確定其參與訓練的權重，模型性能有很大提升。其中對貢獻的定義分為兩類：一是根據每個客戶機上不同類別數據的數量；另一類是根據本地模型在驗證集上的準確性。文獻[6]根據客戶機的數據分布的相似性確定客戶機集群，改進了模型的個性化與泛化性能。

通信流量數據大多為non-IID 數據，也同樣面臨上述問題。為了解決該問題，本文在挑選出流量分布相似的區域中引入聯邦平均算法，提高模型的泛化性能，引入合作博弈對各區域的本地特征進行篩選，提高模型的個性化。

2 蜂窩流量特征分析

結合“意大利電信大數據挑戰賽”中所提供的開源數據集，分析蜂窩流量的在時空范圍的相關性和分布特性。該數據集將整個米蘭市以235 m×235 m 的地理粒度劃分為100×100 個柵格(柵格標號從左下角開始到右上角結束，從左至右、從下至上，依次為1～10000，且定義左下角柵格(編號為1)的中心坐標是(0, 0) km，右上角柵格(編號為10000 的中心坐標是(23.265, 23.265) km)，并且統計了柵格內用戶的語音、短信以及上網流量。統一以柵格內每小時短消息業務流量為例進行數據分析。

2.1 蜂窩流量的相關性

蜂窩流量在時間和空間兩個維度都具有相關性。蜂窩流量是人群活動的反映。人群活動相似性決定了蜂窩流量具有相似性。人群的自然屬性(每天的活動規律：早起晚睡)決定了蜂窩流量在時間維度具有相關性，人群的社會屬性(工作日往返于家和辦公地點，每周末往返于家和公共娛樂場所)導致了流量都具有空間相關性。

隨機選擇3 個不同地區的柵格，處于米蘭市中心的柵格(ID=5051)、處于市區的柵格(ID=3439)以及郊區柵格(ID=444)。首先，通過自相關系數衡量蜂窩流量的時間相關性，如圖1a 所示。3 個柵格的負載時間序列的業務流量，與1 階滯后和2 階滯后流量的相關性均較高。這表明相鄰時刻業務流量有極大相關性。其次，3 個柵格的負載時間序列均存在以天為單位的周期性，并且時間間隔越短，周期性規律越顯著。通過皮爾遜相關系數(pearson correlation coefficient, PCC)衡量蜂窩流量的空間相關性，如圖1b 所示。以3 個柵格(ID=5051、ID=3439、ID=444)為目標柵格，以空間范圍(2.115×2.115) km來計算其與臨近柵格流量的PCC 相關系數?？梢钥闯?，蜂窩流量具有一定的空間相關性，且相關性依賴于與目標小區的空間距離。

圖1 短消息業務流量在時空維度上的相關性

2.2 蜂窩流量的分布性

大量個體的社會化活動聚集起來形成群體的社會化活動導致在地理空間上形成功能區域(商業區、大學、辦公區、公交樞紐)。功能區域反向影響了人群的活動特性，導致不同功能區域的蜂窩流量又呈現出差異性。

本文統計了中心柵格(ID=5051)、市區柵格(ID=3439)以及郊區柵格(ID=444)每小時短消息業務的分布，如圖2 所示?？梢钥闯?，中心柵格業務量最大，市區柵格業務量次之且拖尾較長，而郊區柵格業務量最低。此外，不同柵格的短消息業務分布也不盡相同。

圖2 短消息業務流量的分布

2.3 蜂窩流量特征對流量預測模型的影響

一方面，蜂窩流量在全市范圍內都存在時間、空間兩個維度，且都具有相關性。因此，各區域可采用相同的流量預測模型以捕獲共同的時空相關性。另一方面，全市不同區域的蜂窩流量具有相關性(非獨立)且具有不同的分布，即non-IID。因此，流量預測模型又需要體現出地區的差異性。

3 基于個性化聯邦學習的城市全域尺度流量預測模型

本文提出了基于個性化聯邦學習的城市全域通信流量預測模型(personalized-Fed-DenseNet, p-Fed-DenseNet)。首先，各個移動邊緣計算服務器采集本地的流量數據，在本地訓練DenseNet 模型，然后在中心服務器的協同下，基于聯邦平均算法將多個移動邊緣計算服務器本地訓練的DenseNet 模型融合一個通用的流量預測模型Fed-DenseNet，如圖3a 所示；其次，在Fed-DenseNet 的全局模型上，結合本地區的區域性數據(天氣氣候、基站分布密度、地理功能區域、社交節日活動等)，將本地區的各個區域性數據特征作為合作博弈的參與者，通過合作博弈的超可加性準則，篩選區域數據，如圖3b 所示。最終每個區域結合篩選出的區域數據訓練出p-Fed-DenseNet 模型，如圖3c 所示。

圖3 基于個性化聯邦學習的全域流量預測模型p-Fed-DenseNet 形成過程

本章詳細介紹了部署在邊緣計算服務器端的時空流量預測DenseNet 模型、云服務器端聯邦平均算法形成Fed-DenseNet 以及邊緣端的個性化聯邦模型p-Fed-DenseNet 訓練過程，分析了模型的復雜度和預測的時效性。

3.1 時空流量預測模型

另一方面，在空間維度上，地理上相鄰的地區業務流量也具有相關性。因此，采用密集卷積操作以充分捕獲區域之間的空間依賴性。具體地，采用密集連接神經網絡訓練參數，將輸入送入相互獨立的神經網絡單元DenseUnit，進行時空維度特征的提取。DenseUnit 依次包含3×3 卷積層、DenseBlock 架構和1×1 卷積層，其中，第一層3×3 卷積層能夠遍歷并融合所覆蓋區域的流量數據，提取出該區域的抽象特征；DenseBlock 架構以L層全連接層構成，對特征進行非線性函數的復合計算；1×1 卷積層對DenseBlock 的輸出再次提取特征與降低維度，得到每個DenseUnit 的輸出結果。

最后，將臨近層和以天為單位的周期層所提取到的時間相關性特征結果分別定義為Fc和Fp，以不同的權重 αc和 αp(αc,αp∈ [0,1])對兩個時間層的結果進行基于參數矩陣的融合，得到融合結果為：

式中， ?表示哈達瑪乘積，權重矩陣與特征輸出矩陣相同位置分別相乘。

通過Sigmoid 激活函數，將Yg映 射到[0,1]，從而保證與真實流量標簽范圍一致，得到時空流量預測模型在t時刻的輸出，定義為：

3.2 個性化聯邦學習算法

通過2.2 節分析可知，不同區域的蜂窩流量具有相關性(非獨立)且具有不同的分布，即non-IID。城市全域范圍內蜂窩流量non-IID 問題會導致本地訓練的流量預測模型之間出現較大差異性，如果直接采用聯邦平均融合算法，融合后的全局模型性能并不佳。針對移動邊緣計算服務器上區域流量預測模型差異性導致融合模型性能變差的問題，提出了基于合作博弈的個性化聯邦學習算法。

1) 全局模型統一訓練過程

① 初始化。在中心云服務器，隨機生成一個初始化全局模型參數 ω，并將該全局模型推送至各個參與聯邦訓練的區域。

② 中心融合過程。區域r接收到 ω后，根據本地流量數據訓練全局模型并更新參數，得到更新后的本地模型參數 ωrt。所有區域同步訓練，將模型參數上傳至中心云服務器后，中心云服務器根據聯邦平均算法對全局模型進行一次融合更新：

式中， ωt表示更新后的全局模型。

③ 本地迭代過程。將本地模型的一次參數更新稱為一次迭代，設定聯邦訓練迭代次數，達到次數后停止參數更新。從訓練樣本中選取b表示一個批量，本地模型根據梯度下降法進行參數更新，以使得損失函數最小化，即：

式中，Yt表示流量真實值。

2) 本地模型個性化訓練過程

為了捕捉特定區域的通信流量需求，每個移動邊緣計算服務器都基于全局模型和本地個性化數據(基站分布、工作日、節假日、天氣等)進行訓練，根據訓練的結果選擇合適的本地特征，建立一個最優的本地化流量預測模型。本地模型的訓練過程如下。

將臨近層和周期層融合后的輸出矩陣與本地化特征輸出矩陣做一個拼接操作，得出模型t時刻的預測輸出：

式中， ⊕表示拼接操作； σ(·)表示Sigmoid 激活函數。輸入數據已經過Min-Max 歸一化處理為[0,1]，但在通過模型的復雜運算后，輸出預測數據的范圍產生了變化，而真實流量標簽的范圍為[0,1]，為方便利用預測數據與真實數據進行誤差計算，需要選取Sigmoid 激活函數將預測結果對應映射到[0,1]。

根據預測結果與真實結果，可利用L2范數來表示損失函數，對整個模型進行訓練過程中的參數更新：

式中， θ指模型所訓練的使得損失函數最小的參數集合；Yt表示真實值。

3) 個性化特征選擇過程

為了對每個邊緣服務器建立最優的本地化流量預測模型，在全局模型基礎上，結合本地進行個性化特征的選擇，進一步訓練本地化模型。原因有如下兩方面：一方面，不同的區域之間存在各種差異，如基站數量、興趣點(points of interest, POI)數量、天氣等，不同的區域特征對各個區域流量的影響不同。另一方面，同時引入多個特征會增加模型處理的復雜度，不能提高預測精度。因此，為每個邊緣服務器選擇合適的本地特征就顯得尤為重要。

合作博弈[7-8]研究多個個體如何達成合作，以及達成合作后的收益分配問題。本文所提的個性化特征選擇過程，同樣可以看成是各個特征的合作問題。將各個本地特征(基站數量、POI 數量、天氣等)視為合作博弈的參與人，這些本地特征相互合作共同完成流量預測的目標，并以預測誤差作為評價這些本地特征共同合作的收益。

本文定義本地個性化特征的合作博弈如下：G=[F,V]是N個本地特征合作博弈，其中，F={f1,f2,···,fN}表 示N個本地特征的全集，S={f1,f2,···,fn} (n≤N)是 隸屬于F的 子集S?F，表示一個聯盟。V(S)是 聯盟S的特征函數，表示n個本地特征合作所獲得的收益。在流量預測問題中，收益為預測的均方根誤差(root mean squared error, RMSE)。

本地個性化特征合作博弈G要 解決的首要問題是合作的參與者(本地特征)如何結成穩定的合作聯盟。本文引入合作博弈中超可加性以解決合作博弈G的穩定性問題。超可加性表示兩個互不相交的聯盟合作之后獲得的收益要大于這兩個聯盟各自收益之和，即對于任意聯盟S和T，S、T?F且S∩T=?， 有V(S∪T)≥V(S)+V(T)。由于本文是以預測誤差表示多個特征的合作收益，即RMSE(S∪T)≤RMSE(S)+RMSE(T)。因此，在本地個性化特征篩選中，多個本地特征只有滿足超可加性，其結成的合作聯盟才是穩定的。

對n個本地特征所結成的合作聯盟的滿足超可加性的判斷過程如算法1 所示。

在所有穩定聯盟的集合S中選擇RMSE 最小的聯盟，該聯盟中的本地特征即是每個區域的最優特征。

3.3 模型復雜度與時效性分析

本文所提模型訓練過程包括3 個階段。

1)各個邊緣計算服務器收集區域內流量數據進行本地模型訓練。在該階段，各個服務器只需采集本區域的流量數據，相較集中式算法，通信開銷少，時效性高。

2)各個邊緣計算服務器在中心云服務器的協同下進行聯邦訓練。聯邦訓練框架采用的基模型為DenseNet?；诼摪钣柧?，各個邊緣計算服務器形成通用流量預測模型Fed-DenseNet。分布式Fed-DenseNet 模型僅需要負責區域級流量特征捕獲，集中式DenseNet 模型需要負責城域級流量特征捕獲。流量特征越復雜多變，就要求DenseNet 模型的網絡深度越深。因此，分布式Fed-DenseNet模型比集中式DenseNet 模型復雜度低。

3)各個邊緣計算服務器在通用流量預測模型的基礎上，基于合作博弈的超可加性，對本區域多源特征進行篩選，形成個性化流量預測模型?；诤献鞑┺闹械某杉有詫^域級的多源特征進行篩選，算法復雜度為O(N2) ，N為區域級的多源特征總數。由于區域級的多源特征數量有限，所以，基于合作博弈搜索穩定的特征聯盟過程的時間復雜度在可接受的范圍之內。

綜上分析，相比集中式模型，本文提出的模型復雜度更低，通信開銷更低。

4 模型性能分析

從4 個方面展開實驗對比。1) 在個性化聯邦學習中選擇不同本地特征進行訓練的結果對比，驗證了本地特征對流量預測的影響以及進行特征選擇的必要性。2) 將本文所提p-Fed-DenseNet 與傳統Fed-DenseNet、DenseNet 進行對比，驗證了個性化聯邦學習性能優于傳統聯邦學習。3) 將p-Fed-DenseNet 與現有流量預測模型進行對比，驗證了聯邦所代表的分布式學習優于傳統集中式學習。4) 選取一個區域對比不同算法絕對預測誤差的分布函數圖，具體展現了本文所提的p-Fed-DenseNet 模型的預測性能。

4.1 數據集描述

在原數據集將米蘭市劃分成100×100 個柵格的基礎上，再進一步將米蘭市按郊區、市區和市中心劃分為25 個區域，每個區域由20×20 個柵格組成，區域編號信息如圖4 所示。

圖4 米蘭市區域信息

基于上述劃分，整個米蘭市被劃分為3 個行政區：市中心(區域13)、市區(區域7、8、9、12、14、17、18、19)以及郊區(剩余的16 個區域)。各個行政區中區域流量比較接近，使用聯邦平均算法訓練全局模型。

4.2 參數設置和實驗環境

在訓練模型過程中，先從訓練集中取出 10%作為驗證集，剩下的 90%用以初次訓練模型。在訓練過程中逐步調整參數達到最優模型，最終參數設置為：以小時和天為單位的歷史數據序列長度取3，訓練過程中學習率取0.001，Batch size 設為32，Epoch size 設為300。

實驗環境的硬件配置為：Intel(R)Core(TM) i5-8250U CPU @ 1.60 (8 CPUs)～1.8 GHz，128 G 內存，Intel(R) UHD Graphics 620，GPU 數量為2。軟件配置為：Python3.7.1，Pytorch1.8.1，CUDA11.3，cuDNN8.1.1。

4.3 個性化聯邦學習中本地特征選擇

挑選米蘭市區中流量分布相近的7、8、9、12、17 這5 個區域，對這5 個區域進行全局模型訓練，在形成的全局模型基礎上，在不同的本地特征組合下進行訓練，依據合作博弈的超可加性進行特征篩選。訓練結果如表1 所示。

表1 不同本地化特征組合下個性化聯邦學習模型預測誤差(RMSE)

觀察表1，大多數區域在全局預測模型的基礎上融合本地特征(節假日、天氣(氣溫和降雨)和基站密度)后，流量預測的精度都得到提高。但是，不同的本地特征對不同區域流量的影響程度各不相同，如區域7 的流量僅受天氣和基站密度的影響，區域8 的流量不受任何本地特征的影響。

通過3.2 和3.3 節超可加性的判定方法，就可確定：區域7 選擇融合天氣和基站密度特征，區域8 不融合任何特征，區域9 和區域12 融合基站密度特征，對于區域17，“天氣＋基站密度”和“工作日/節假日＋基站密度”均滿足超可加性，但“工作日/節假日＋基站密度”的誤差更小，故選擇融合工作日/節假日和基站密度特征。由此可建立最優的個性化流量預測模型，達到最佳的流量預測精度。

4.4 集中式學習、聯邦學習與個性化聯邦學習對比

為驗證本文個性化聯邦學習的有效性，分別對集中式學習、普通聯邦學習與個性化聯邦學習在相同的區域上(米蘭市區中流量分布相近的7、8、9、12、17 這5 個區域)進行預測性能對比。其中，集中式學習為5 個區域的流量匯聚起來，采用一個全局的DenseNet 模型進行整體流量預測；普通聯邦學習為5 個區域各自訓練自己的DenseNet，并通過聯邦平均學習框架進行模型參數融合，形成Fed-DenseNet；個性化聯邦學習為在Fed-DenseNet 的全局模型上，進一步結合本地特征，訓練出p-Fed-DenseNet。

如圖5 所示，可以看出p-Fed-DenseNet 預測效果最好，Fed-DenseNet 其次，DenseNet 最差。相比集中式DenseNet 學習，個性化聯邦學習后，5 個區域的RMSE 都呈下降趨勢，區域7 下降了9.1%，區域8 下降了3.8%，區域9 下降了4%，市區12 下降了9.5%，市區17 下降了9.1%。原因是，多區域聯邦學習的訓練樣本數據量增加，能夠更準確地捕獲各區域共有流量的時空特性，在聯邦學習的基礎上進行個性化學習，能夠更準確地為每個區域引入與流量相關的外部特征。

圖5 預測效果對比

另外，市區區域12 相比其他區域，誤差較高，由于RMSE 描述的是一種離散程度，因此可能是因為市區12 的流量還受到除基站密度、氣象條件以外的其他未知因素影響，導致個別預測值與真實值有較大出入，RMSE 也會更高，而其他區域預測結果則比較穩定，RMSE 較低。

4.5 聯邦學習與集中式學習算法對比

本文對比了個性化聯邦學習算法與其他常用集中式學習算法的性能。將LSTM[9]、ConvLSTM[10]、DenseNet[11]模型在相同數據集下的預測效果與本文提出的Fed-DenseNet 和p-Fed-DenseNet 的預測誤差進行對比，對所有個性化模型的均方誤差取平均值，再利用均方根誤差與均方誤差的關系，得到p-Fed-DenseNet 的預測誤差，如圖6 所示。

圖6 不同模型短消息業務流量誤差對比

在短消息業務流量數據集上，Fed-DenseNet 的性能相較于ConvLSTM 模型提升了17.1%，比LSTM模型提升10.7%，比DenseNet 模型提升了1.7%。相對于已有模型，本文提出的p-Fed-DenseNet 性能最好。首先，DenseNet 是時空流量預測模型，有利于捕捉各區域中流量的共性時空特征，預測性能優于現有集中式模型。其次，Fed-DenseNet 是分布式模型，通過提升訓練樣本數據，性能優于集中式DenseNet 算法。最后，本文所提p-Fed-DenseNet在Fed-DenseNet 基礎上，又引入了本地化特征，因此，預測性能進一步得到提升。

4.6 真實值與預測值對比

圖7 展現了隨機挑選的一個區域在不同算法的絕對預測誤差的累積分布函數圖。本文的個性化聯邦學習模型在短消息流量數據集上的預測性能最好，預測誤差較小。

圖7 短消息業務流量真實值和預測值對比

5 結 束 語

本文提出了基于聯邦學習的城市全域流量預測模型Fed-DenseNet 和基于合作博弈的個性化聯邦流量預測模型p-Fed-DenseNet。前者將各個邊緣服務器端時空流量預測的結果上傳至中心服務器，在中心服務器的協同下訓練出能夠反映各區域流量共性特征的全局模型，解決了“城市全域尺度”的通信流量預測復雜性、時效性問題。后者在前者的全局模型上，引入符合條件的本地區域性數據，在全局模型泛化性的基礎上保留各區域模型差異性，解決了“城市全域尺度”的通信流量預測準確性問題。