基于聯邦學習的分布式電采暖互動模式設計與展望

李彬，白雪峰*，李志超，王仕俊，劉淳，程紫運

（1.華北電力大學 電氣與電子工程學院，北京 102206； 2.國網甘肅省電力公司發展事業部（經濟技術研究院），蘭州 730050）

0 引言

一直以來煤炭在我國能源結構中占比較大，為實現碳達峰、碳中和的目標，推動能源清潔低碳轉型是當今能源領域發展的當務之急［1-2］。傳統的電力系統以同步電源為主，電源少負荷多，呈現“源隨荷動”的整體特征，導致“源側”調節資源緊缺，電網的調節能力下降，然而大規模儲能裝置的成本居高不下［3］，這使電網在冬季時調峰、備用能力不足，無法經濟地解決風光出力波動帶來的調節壓力。

目前挖掘負荷側的可調節潛力使其參與電網運行已成為提高電網調節能力的新途徑［4］。自《北方地區冬季清潔取暖規劃（2017—2021 年）》［5］發布以來，各省市加快推進了“煤改電”工程，大量電采暖設備取代傳統的燃煤取暖，投入運行并接入電網。2019 年年底，天津“煤改電”用戶達46 萬戶［6］，年用電約1 700 GW·h。2020年年底，北京“煤改電”用戶突破130 萬戶［7］。北京通州區通過“煤改電”熱泵智能監測系統可實時掌握用戶的用能數據，有利于實現用戶參與需求響應互動［8］。2021 年，河北省對所轄區域內13.3萬戶居民開展“電代煤”補貼，逐步通過綠色低碳能源取代傳統燃煤的能源方式［9］。未來隨著推廣規模的進一步擴大，勢必會成為體量可觀的負荷側調節資源［10］。

作為重要的負荷側可調節資源，分布式電采暖的缺點在于所處地理區域分散，數目多且單體容量小，難以集群控制管理［11］，容易形成數據孤島，將分散在各個終端的數據進行整合所需成本巨大。在傳統云計算模式下，分布式電采暖收集的數據直接傳送到云計算中心進行數據處理，再回傳到終端設備［12］，這樣大量的數據在傳輸過程中效率低下且隱私安全問題無法得到保證。隨著人工智能技術的進一步發展，各國都在加強對數據安全和隱私的保護，對用戶數據隱私和安全管理將日趨嚴格。

針對數據孤島和數據隱私的問題，“聯邦學習”（Federated Learning）應運而生。聯邦學習是利用分散在各終端的數據資源，通過隱私保護技術融合多方數據信息，協同構建全局模型的一種分布式訓練方式。在模型訓練過程中，模型的相關信息能夠在各個電采暖設備之間交換或上傳至聚合商，本地訓練數據無須上傳，因此可降低數據泄露的風險。在滿足數據隱私、安全和監管要求的前提下，可以利用聯邦學習框架，使中心服務器更加高效、準確地使用來自終端設備的數據。

綜上所述，挖掘分布式電采暖負荷的調節潛力，對促進源網荷協調互動，對保障電力系統安全、穩定、經濟運行具有重要的現實意義。本文從分布式電采暖互動需求出發，分析了聯邦學習中邊緣緩存、強化隱私安全、通信傳輸優化、異構融合與公平激勵等方面的關鍵技術在支撐分布式電采暖靈活互動中的應用與展望。相關研究將對推進電力需求側管理的發展，對促進“煤改電”的推進具有一定參考價值。

1 基于聯邦學習的分布式電采暖互動適用性分析

1.1 聯邦學習技術原理及分類

聯邦學習本質上是一種分布式的機器學習技術，在分布式電采暖參與電網供需互動的系統中，主要包括客戶端（分布式電采暖設備）和中心服務器（聚合商）?？蛻舳嗽谥行姆掌鞯膮f調下共同訓練模型，其中客戶端負責訓練本地數據得到本地模型，中心服務器可通過加權聚合本地模型，得到全局模型，經過多輪迭代后最終得到一個趨近于集中式機器學習結果的模型。在滿足數據隱私安全和監管要求的前提下，使各用戶有效地利用其本地模型參數獲得高質量的聯邦學習模型。在聯邦學習的實際應用場景中，由于數據的特征以及不同數據孤島有各自的特點，將聯邦學習分為3類：橫向聯邦學習、縱向聯邦學習、聯邦遷移學習［13］。

（1）橫向聯邦學習也稱特征對齊聯邦學習，指的是在參與聯邦學習的數據集中，數據的特征重復較多而用戶重疊較少。比如不同小區的電采暖用戶存在差異，但是電采暖數據的特征都很相似。如圖1a所示，這種情況下，可以把數據集橫向切分，并取出數據集中特征相同的數據，將用戶不一樣的數據進行訓練得到模型。

圖1 聯邦學習分類（以電采暖為例）Fig.1 Federated learning classification （taking electric heating as an example）

（2）縱向聯邦學習也稱樣本對齊的聯邦學習，如圖1b 所示?？v向聯邦學習指的是在參與聯邦學習的數據集中，用戶重疊較多而其特征重復較少。比如對于同一個小區，用戶相同，但是負荷聚合商與設備供應商有著不同的數據類型，可以把數據集縱向切分，并取出數據集中用戶相同但特征不完全相同的數據進行訓練。

（3）聯邦遷移學習指的是在參與聯邦學習的數據集中，用戶和數據特征重疊都很少。比如負荷聚合商有著電采暖用戶大量的用電信息，一家保溫建材制造商有著不同用戶的房屋熱力學信息，所屬數據的用戶與特征都不重合，在這種情況使用遷移學習技術克服數據和標簽不等的問題，如圖1c所示。

1.2 互動需求分析

分析分布式電采暖響應潛力，首先要了解電采暖在室內的負荷特性。目前對于電采暖負荷特性的分析主要有2 種方式：簡化熱力學模型［14］和統計模型。目前的研究大多采用一階熱力學模型，模型準確度不夠，增加模型階數又會大大增加求解復雜度。隨著機器學習技術的發展，基于歷史數據的統計模型逐漸成為研究重點，大多采用神經網絡、支持向量機（SVM）等機器學習方法對電采暖負荷特性進行模擬。文獻［15］采用長短期記憶（LSTM）網絡分析電采暖負荷特性并進行負荷預測。

然而面對點多面廣的分布式電采暖的互動需求，各地區及各類廠商電采暖云平臺之間交互困難，容易形成數據孤島。同時，部分用戶將分布式電采暖設備的用電數據視為隱私，電采暖設備也往往分屬于不同廠商，大量數據聚合到服務端進行模型訓練有信息泄露的風險。隨著能源控制器等邊緣設備的計算能力加強，本地進行機器學習成為可能。根據前文分析，基于聯邦學習的分布式電采暖可以有效解決電采暖在實現靈活互動時傳統云計算易形成數據孤島與隱私泄露的問題。

其次基于機器學習的電采暖特性分析，大多是將用戶的所有數據采集到服務器端，但對于分布式電采暖設備而言，由于受限于傳統的電網需求側信息化系統和通信網絡資源限制［16］，云端獲取終端采集海量數據的能力受限，沒有足夠的數據駐留在服務器端，難以在云端實現大規模的機器學習計算。而若以傳統聯邦學習框架，會造成大量通信消耗。同時，實際中電采暖設備多以樓宇、小區為單位進行聚合，該特點也有助于云邊協同架構的引入，因此可采用基于云邊架構的聯邦學習。

2 基于聯邦學習的分布式電采暖互動關鍵技術

聯邦學習架構相比于一般的分布式架構可以更好地保護用戶隱私，但是聯邦學習的傳統架構不能直接應用于分布式電采暖，需要針對電采暖的運行特點進行相應改進。首先，分布式電采暖的終端設備通常算力小、通信速率慢，基于此特點，邊緣緩存技術、聯合加密技術、通信傳輸優化技術可在一定限度上彌補電采暖的不足。其次，分布式電采暖廠家不一，型號各異，需要異構融合技術對其進行統一管理，保證聯邦學習的運行效率。最后，為了讓更多電采暖用戶參與模型構建，需要合理的激勵方式?；诼摪顚W習的分布式電采暖互動關鍵技術如圖2所示。

圖2 基于聯邦學習的分布式電采暖互動關鍵技術Fig.2 Key technologies of distributed electric heating interaction based on federated learning

2.1 邊緣緩存技術

對于大量的分布式電采暖設備而言，通常參與互動的設備在區域范圍內可實現一定程度的非隱私信息共享，如溫度、濕度等環境參量，通過部分設備單獨配置傳感器，便可實現本地范圍內共享，如圖3 所示。同時每個電采暖設備，根據自身在參與電網互動過程中的執行情況，可以選擇本地區域范圍內向其他設備通告其自身剩余響應能力，從而支撐區域范圍內的分布式電采暖設備的分布式協作。在分布式電采暖設備的邊緣數據共享域，通過鍵值表、熱度表對分布式電采暖的緩存數據標簽鏈表進行管理，對于具有熱度管理的數據建議采用哈希表結合平衡二叉樹的方式進行管理，其中熱度表根據數據訪問頻次實時更新，既可選擇按照最近訪問時間排序，也可選擇按照訪問頻度排序［17］。

圖3 分布式電采暖非隱私邊緣數據共享Fig.3 Non private edge data sharing of distributed electric heating

緩存區寫入：考慮到每個分布式電采暖設備的存儲容量通常不會很大，因此對于邊緣緩存的內容選取尤為重要，通常會根據緩存數據的匹配度、用戶訪問特征、用戶喜好等因素進行選擇。通常本地的環境參量、電網側下發的價格及激勵互動信號與上級節點的通道連接情況等數據熱度較高，而每個電采暖設備所處房屋面積、朝向、等效熱參數（Equivalent Thermal Parameter，ETP）模型反推值、阻容時間常數等廠家設備數據的熱度則較低，通常無須參與緩存共享管理。本地緩存的內容可以通過邊緣設備推送到云端，也可根據區域范圍內其他分布式電采暖設備，按需訪問從而最大限度減少通過末端接入回傳網絡的流量。

緩存數據訪問：在區域范圍內，其他分布式電采暖設備進行緩存數據訪問時，將首先通過本地索引查詢獲知相關數據。對于目前在緩沖區且還沒過時的數據，可以進行提取。每個分布式電采暖設備可以根據緩存的信息使用度和延時減少效應量化具體的收益值，并作出相應的決策。

緩存區數據移除：在緩存區存儲一定時長，但訪問熱度較低的數據可以根據實際應用情況進行清理。通常在需求響應執行期間和執行后，所關注的數據項是不一樣的，因此在緩存區動態優化和管理過程中，需要考慮不同類型的數據熱度，且需要匹配當前需求響應執行過程中的信號發布情況，從而決定是否進行電采暖設備緩存區數據的替換。通常需要在緩存數據的準確度和網絡更新開銷方面進行權衡。

2.2 隱私防護技術

聯邦學習作為一種分布式學習架構，通過共享模型而不共享數據的方式，可在一定程度上保護分布式電采暖設備的隱私。但是隨著相關隱私技術的研究，發現在終端與服務器直接交互模型參數時仍然有數據泄露的風險［18］。文獻［19］通過4個實例說明惡意節點可通過小部分的梯度信息獲取原始信息。文獻［20］采用白盒推理攻擊，使得局部參與者僅通過觀察參數服務器的聚合更新，便能推導出大部分原始數據。目前聯邦學習都在求取或發送參數時采用加密技術，較多采用的加密技術包括差分隱私、同態加密、秘密共享［21-22］等?？紤]到電采暖的算力較小，在保證安全性的同時，需要選擇算力負擔較小的加密方式。

差分隱私技術［23］通過添加擾動噪聲數據，使得輸出的結果對數據集中任何特定記錄不敏感。差分隱私技術可分為2 類：中心化差分隱私［24］和本地化差分隱私［25］。中心化差分隱私需要將數據發送到可信的第三方進行差分隱私處理，但是這有違聯邦學習的安全架構。而本地化差分隱私是客戶端在本地進行差分隱私處理，處理后再發給第三方進行后續數據分析。文獻［26］提出了一種名為Latent的局部差分隱私算法，將卷積神經網絡算法中的卷積和池化步驟在物聯網終端計算并添加隨機噪聲之后，發送到云端卷積神經網絡的全連接層。但是差分隱私算法所添加的噪聲會影響機器學習模型的性能，降低噪聲又會影響原始數據的安全性，所以針對不同環境加入合適的噪聲是差分隱私技術的關鍵。

同態加密是可以直接對密文進行計算操作，并使得到的計算結果與明文計算結果相同的加密算法。文獻［27］通過同態加密的方式進行SVM 算法訓練，這樣既可保護用戶數據隱私，又可在中心服務器進行分類樣本。但是由該加密算法的加密方式所決定，其加密效率很難提升［28］。文獻［29］提出影響全同態加密算法的主要原因是自舉技術和密文膨脹。因此考慮到電采暖終端的算力壓力，仍需考慮其他加密算法。

秘密共享算法通過拉格朗日插值法和多維空間點的性質為基礎，將秘密分為多個部分，只有獲得滿足門限個數的秘密碎片時才能獲取所有信息［30］。這種加密算法可以使得即使一部分秘密碎片損壞或丟失，仍能獲得完整秘密內容。攻擊者也只有獲得滿足門限個數的碎片才能獲得密鑰。文獻［31］提出了基于秘密共享的聚合機制，用于保護橫向聯邦學習中梯度和模型的參數信息。但是秘密共享算法需要耗費較高的通信量，且對于終端離線十分敏感。

由此可見，上述聯邦學習隱私保護技術在使用同態加密算法時會延長模型收斂的時間。所以，電采暖在與邊緣服務器交互時可采用差分隱私的方式，減輕電采暖相關參數的計算難度。而在邊緣服務器與云端服務器交互時可采用同態加密，最大限度保證數據安全性，如圖4所示。

圖4 分層電采暖安全防護架構Fig.4 Layered electric heating safety protection architecture

2.3 通信傳輸優化技術

傳統電采暖設備在進行可調潛力預測時，要將所有數據上傳至中心服務器，隨著越來越多電采暖設備的使用，造成終端與中心服務器大量的通信壓力。而基于聯邦學習的電采暖架構只需要在特定時間傳送網絡參數，就會減少一定的通信壓力。但是當神經網絡模型層數較多時，傳輸模型參數所占的通信帶寬依舊不容忽視，迫切需要提高基于聯邦學習的物聯網設備通信效率。本文重點分析了2類提高聯邦學習通信效率的代表性方法。

2.3.1 自適應傳輸技術

針對不同終端計算能力，以犧牲終端計算能力為代價，適當增加模型在終端的迭代次數，可以增加通信效率［32-33］，并能加速模型收斂，如在本地模型單次迭代時間耗費約幾百毫秒，而與服務器通信卻需要十幾秒的情況下，頻繁地與中心服務器交換模型反而會降低全局模型收斂的速度。根據文獻［34］在橫向聯邦學習場景中所研究的數據可知，增加本地迭代次數和減少全局通信次數，不僅對于全局模型的影響較小，而且可以有效地縮短模型收斂時間。然而上述文獻在面對獨立同分布（IID）的數據源時可以大幅減少開銷，面對非獨立同分布（Non-IID）數據時對開銷的減少并不明顯，針對此類數據源的處理將在下一小節討論。所以電采暖設備可根據具體的通信鏈路情況，采用合適的通信頻率與服務器更新參數。

2.3.2 稀疏化模型壓縮技術

模型壓縮是通過減少所通信的參數數量來實現更快的通信效率。常見的壓縮辦法有模型參數隨機稀疏化［35］、參數量化［36］、知識蒸餾［37］等。聯邦學習時的模型訓練與集中學習類似，模型參數有諸多冗余。因此傳統神經網絡模型壓縮的辦法也可以應用到聯邦學習的場景中。文獻［38］利用參數稀疏化等方法對模型進行壓縮，刪除冗余的神經元參數，使得通信回合次數與傳統聯邦學習相比下降2 個數量級?；陔姴膳Ｐ拖∈杌幚淼氖疽馊鐖D5 所示。文獻［39］提出了壓縮聯邦蒸餾（Compressed Federated Distillation，CFD），將實現固定性能目標所耗費的通信需求降低5個量級。不過知識蒸餾的方法有增加隱私泄露的風險，對于其通信性能與安全性能的平衡還有待研究。

圖5 電采暖模型稀疏化處理Fig.5 Sparse treatment of electric heating model

2.4 異構資源融合管理技術

聯邦學習其特有的分布式模型訓練方式，使得聯邦學習面臨以下異構性挑戰。

（1）統計異構性：由于分布式電采暖的分散性導致用戶端設備處在不同分布式網絡環境下，生成和收集的往往是Non-IID 數據，從而導致統計異構性［40］。

（2）設備異構性：參與訓練的各個分布式電采暖設備因其計算能力、硬件條件（中央處理器（CPU）、內存）、網絡連接（4G/5G，WiFi）等方面的差異而導致的設備異構性［41］。

（3）模型異構性：由于各個分布式電采暖設備不同應用場景下所需模型不同或設備因為網絡故障、算力問題等中途退出訓練而導致的模型異構性［42］。

對于異構資源融合方法，文獻［43］提出可以通過多任務學習框架同時學習不同的局部模型來解決統計異構性的問題。多任務學習由于對個性化和特定于設備建模的支持，可以有效地平衡Non-IID數據偏差，目前已經成為解決數據統計異構性的主流方法。文獻［44］提出可采用“深度強化學習+聯邦學習”的方式，減少上傳模型的數量，能較好地解決設備異構性的問題，同時提高模型訓練的效率。文獻［45-46］提出可采用云端-邊緣端個性化聯邦學習和知識蒸餾的方法解決模型異構性的問題，允許參與者獨立設計其模型，局部模型性能顯著提高。

基于現有研究，未來可采取支撐電采暖異構融合技術的聯邦學習框架，如圖6 所示。在前文所述的云邊協同框架下，為了滿足個人需求，邊緣服務器可為其轄區內每臺電采暖設備基于全局模型和本地數據訓練個性化模型，通過對某一類電采暖的數據執行一步或幾步梯度下降，可以很容易地適應本地數據集，即“聯邦訓練+本地適應”的方法。此階段具體的學習操作取決于所采用的個性化聯邦學習機制，如聯邦遷移學習［47］、聯邦元學習［48］等。通過執行個性化處理，可以在一些資源有限的終端上部署輕量級的個性化模型，有助于緩解由各種異構性產生的模型精度下降，因為該框架可以根據不同電采暖設備的本地數據特性和部署場景訓練個性化的模型和機制。

圖6 支撐電采暖異構融合技術的聯邦學習框架Fig.6 Federated learning framework supporting heterogeneous fusion technology of electric heating

2.5 公平激勵機制

電采暖在進行聯邦學習機制下互動時，會消耗自身算力資源，上述文獻大多假設所有終端設備是積極無條件參與互動。然而，現實情況下用戶很難愿意在無激勵的環境下參與聯邦學習互動［49］。激勵機制要滿足個人理性與激勵相容，以確保參與的終端得到充分激勵［50］。當前研究大多通過博弈論［51-52］進行獎勵分配。文獻［51］提出了依據斯塔克爾伯格博弈論（Stackelberg Game）對服務器和參與聯邦學習的設備之間的激勵機制。該機制將終端設備CPU 工作頻率與回報率掛鉤，促進終端設備積極參與聯邦學習。也有研究將博弈論與區塊鏈［53-55］相結合，文獻［54］通過識別終端上傳的參數對模型的貢獻引入區塊鏈，根據各自貢獻分配信譽度，并對相應的獎勵信息進行存儲。

在電采暖參與互動時可以借鑒上述激勵機制并與電采暖參與需求響應時的激勵相結合，綜合考慮電采暖參與需求響應調節容量與聯邦學習的貢獻對其發放激勵，促進更多電采暖參與聯邦學習之中。

3 結束語

針對目前分布式電采暖的數據集中處理中的不足，本文研究了基于聯邦學習的分布式電采暖互動的可行性。分析了基于聯邦學習電采暖互動在邊緣緩存、隱私保護、通信傳輸效率、異構資源融合、公平激勵等方面的關鍵技術應用方式。未來，隨著需求側互動需求的進一步提升，還可以結合分布式電采暖設備參與電網的不同互動場景進行分析，通過引入聯邦學習分布式智能技術手段，進一步提升大規模分布式電采暖的自動化、智能化水平，從而更好地支撐我國“雙碳”戰略目標的實現。