基于改進子任務門控網絡的非侵入居民負荷分解

郭艷霞，徐正一，琚 赟

（華北電力大學，北京 102200）

0 引言

非侵入式負荷監測技術（non-intrusive load monitoring，NILM）指通過在用戶進戶總線處設置傳感器，獲取家用電器的聚合信息，然后計算得到目標電器的負荷電量以及負荷模式，有利于用戶合理規劃資源，節約用電，同時幫助電力公司規劃電源建設，優化能源結構［1—3］。

NILM最早的方法是基于組合優化的解聚技術，采用諸如進化算法、線性和非線性整數規劃等方法進行非侵入負荷分解［4—6］。但是，組合優化方法在任一時刻均獨立執行功率分解，不考慮負荷隨時間的變化。這些算法對噪音非常敏感，只對安裝少量電器的用戶分解準確。因此，此類方法不適合應用于現實生活場景。

隨著研究的深入，機器學習被證明是解決NILM問題的關鍵技術，例如K-近鄰、支持向量機、決策樹等分類器［7—8］。文獻［9］為了減少模型計算學習的時間，提高分類性能，提出了一種改進的K-最近鄰算法，提高了對于不同類別電器之間的辨別能力。但是，機器學習方法適用于淺層網絡和小批量數據，隨著電器設備數量和類別的增加，這些方法會遇到可擴展性問題，阻礙模型的性能。

2015 年開始，深度學習模型被應用到NILM 領域中。文獻［10］首次基于序列到序列和神經網絡來建模，利用滑動窗口解決功率序列數據訓練問題，嘗試使用遞歸神經網絡［11］和去噪自動編碼器［12］在輸入序列和輸出序列之間進行映射，取得了先進的成果。此后，很多學者基于序列到序列進行改進［13—14］。文獻［15］提出了一種基于互感器雙向編碼器表示和改進目標函數的結構，性能優于其他序列到序列模型。然而，當輸入和輸出序列的長度變長時，應用序列到序列學習使訓練過程難以收斂。針對此難題，文獻［16］提出了序列到點模型，在輸入序列和輸出序列中點之間進行映射，解決了輸出信號的每個元素被預測多次，從而平滑邊緣的問題。在此基礎上，眾多研究進行了網絡結構的優化［17—19］。文獻［20］利用時域卷積網絡訓練負荷分解模型，并用激活函數Gelu 代替傳統的激活函數Relu，有效提高了分解精度。但是，序列到點方法的每個正向過程只產生一個輸出信號，因此在推斷期間引入了太多的計算量。文獻［21］權衡了序列到序列和序列到點兩種方法的利弊，提出序列到子序列的方法。此外，目前非侵入負荷分解模型均只利用負荷數據的時間序列信息，將NILM問題定義為回歸任務。文獻［22］為了將時間序列功率信息和開∕關狀態信息進行結合，基于多任務學習的思想，提出了子任務門控網絡（subtask gated networks，SGN），同時進行回歸任務和分類任務，有效提高分解效率。但是這項研究中的回歸和分類網絡均基于序列到序列方法，處理長時間序列數據時模型收斂困難。

針對以上問題，文中提出了基于序列到子序列和SGN的非侵入負荷分解模型，并嘗試在SGN的兩個分支網絡中添加空間注意力和通道注意力模塊。本文主要研究內容如下:

（1）采用序列到子序列方法構建網絡模型，實現電源主序列到目標電器子序列中間較短部分的映射，減小模型收斂的困難度和推理周期的計算量。

（2）基于多任務學習的思想，構建回歸子網絡和分類子網絡，利用目標電器開∕關狀態分類任務降低功率分解回歸任務的誤差，提高功率分解精度。

（3）在回歸子網絡和分類子網絡中添加通道注意力機制和空間注意力機制，混合注意力機制考慮到卷積層輸出對各通道的依賴性，選擇性地增強信息量最大的特征，減少特征學習過程中其他電器的噪聲干擾。

1 非侵入負荷分解模型

1.1 非侵入負荷分解概念

非侵入負荷分解指在家庭電力入口處安裝傳感裝置采集總負荷數據，然后進行分析，得到各用電設備的用電量以及用電模式。

文中的分解信號為采集到的功率數據。假設Y(t)為t時刻某一家庭的主電源讀數，Xi(t)為t時刻設備i的電源讀數，則可表示如下

式中:T為采集功率數據的時間段；m為家庭中被觀測電器的總個數；ε為當平均值為0、方差為σ2時的高斯噪聲因子，即為家庭中未被觀測到的電器設備的干擾讀數。非侵入負荷分解的任務則是根據Y(t)得到Xi(t)。

1.2 序列到子序列方法

1.3 通道注意力與空間注意力

將文獻［23］提出的卷積塊注意模塊應用到NILM任務中，可提高模型的特征表達能力。若給定的輸入特征圖為F，卷積塊注意模塊首先通過式（3）得到維度為1的通道注意圖Mc，然后通過式（4）得到二維空間注意圖Ms，兩者表示如下

式中:?為兩個特征映射逐元素相乘；F′為通道注意特征圖與輸入特征圖相乘得到的特征映射；F″為經過空間注意模塊調整得到的最終特征映射。

1.3.1 通道注意力

普通的卷積層沒有考慮每個通道之間的依賴程度，每一個卷積層的卷積核可以視為一個特征通道。通道注意力模塊首先同時進行最大池化和均值池化，得到平均池特征和最大池特征，然后分別由多層感知器（multi-layer perceptron，MLP）和一個隱藏層組成的共享網絡計算兩個特征，輸出結果直接求和，最終使用sigmoid函數獲得通道注意特征圖Mc∈RC×1×1。結構圖如圖1所示，其過程表達如下

圖1 通道注意力模塊Fig.1 Channel attention module

式中:σ為sigmoid 函數；W0、W1為權重參數，W0∈RC r×C，W1∈RC×C r；WLP為多層感知器模型函數；MaxPool為最大池化函數。

1.3.2 空間注意力

空間注意力關注“哪里”是重要信息，與通道注意力互補。如公式（6）所示，通道注意模塊和初始特征圖計算得到的F′在通道軸上進行平均池和最大池操作，分別得到∈R1×H×W和∈R1×H×W，然后將其連接成一個二維特征圖，輸入到卷積核為7×7 的隱藏層進行卷積得到與輸入特征圖維度一致的二維特征映射，最終使用sigmoid函數獲得空間注意特征圖Ms∈R1×H×W?？臻g注意力模塊結構圖如圖2所示，其過程表達如下

圖2 空間注意力模塊Fig.2 Spatial attention module

式中:AvgPool為平均池化函數。

2 基于改進SGN的非侵入負荷分解模型

2.1 模型整體架構

文中將電器開∕關狀態作為門控機制，為其添加門控損失，使得模型可以直接從門控分類子網進行學習，并且與主回歸任務結合共同形成模型的最終輸出，分解模型如圖3所示。

圖3 基于序列到子序列和SGN的整體結構圖Fig.3 Schematic based on sequnce-to-subsequnce and SGN

式中:?為兩個輸出結果逐元素相乘，不同于文獻［22］的計算方式，文中不再是將回歸網絡輸出的功率值直接乘以電器開∕關的概率值，而是乘以0或者1，函數H直接將小于0.5的概率值轉換為0，反之，轉換為1。

在整個模型架構中，我們分別利用以下損失函數進行優化

2.2 子網絡架構

結合通道注意力機制和空間注意力機制的子網絡架構如圖4 所示。首先通過5 層基本卷積學習特征；然后經過通道注意力和空間注意力模塊細化特征；最后全連接層實現線性映射，得到輸出結果。

圖4 分支網絡模型Fig.4 Branch network model

3 實驗分析與結果

3.1 性能指標

兩個性能指標用于評估提出的模型，分別為平均絕對誤差（mean absolute error，MAE）和均方根誤差（root-mean-square error，RMSE）。根據1.1 節的定義，Xt為t時刻設備的真實讀數，為t時刻本文模型的預測輸出讀數，MAE顯示每個時刻真實值和預測值的平均差，表示為，RMSE 顯 示每個時刻預測值與真實值偏差的平方與總觀測時間T比值的平方根，表示為。

3.2 數據分析與處理

3.2.1 數據集及電器分析

本文使用文獻［24］公布的UK-dale 數據集進行實驗。數據采樣時間周期為2012年11月到2015年1 月，每個家庭的數據包括一個主電源功率讀數和其對應的每個電器的單獨功率讀數。

文獻［25］根據工作模式將電器分為4類，分別為開∕關兩狀態電器、多狀態電器、連續變化型電器和持續工作型電器。開∕關兩狀態電器工作模式單一，運行期間功率恒定；多狀態電器的多種工作模式是相對固定的，每個工作模式每次運行時功率值較穩定，而且一種模式切換到另一種模式時，功率的變化過程也較穩定。文中主要以這兩種電器類型為研究對象，通過對5個家庭的電器種類進行統計，發現家庭1、2、5均包含5種電器，文中采用家庭1、2進行實驗。

3.2.2 數據處理

在數據采集過程中，由于設備原因，很多采樣點缺失數據，本文利用NILMTK［26—27］工具包中的預處理方式進行了數據分割，當任意兩個連續數據樣本間的時間間隔大于3 min，則將其刪除。另外，我們對數據進行了歸一化和標準化處理。

3.3 結果分析與可視化

文中選取家庭1 中2013 年5—12 月的數據和2014年1—8月的數據作為訓練集，其中20%劃分為驗證集，家庭1 中2014 年8—12 月的數據作為測試集，故測試集與訓練集相互獨立，無重疊部分。在實驗過程中，聚合功率窗口長度為200，對應1 200 s的連續樣本；目標電器窗口長度為32，對應192 s的連續樣本；聚合功率窗口兩側增加的額外時間序列長度為32，對應192 s的連續樣本。

為了驗證文中序列到子序列模式相較于序列到序列和序列到點收斂速度快、模型推理計算量小的優勢，我們首先將SGN 網絡分別構建為以上3 種模式，以洗碗機的訓練結果為例，迭代次數對比如圖5所示，模型訓練結果如表1所示。

由表1可知，在序列到子序列模式下，參數量和訓練時間兩個指標優于序列到序列，計算量優于序列到點。由圖5可知，序列到點和序列到子序列的第1次和第2次訓練大幅度降低了loss值，在第13次訓練時達到了基本穩定；但是序列到序列模式在第8次訓練才達到前兩種方法第2次的訓練效果，并且最終達到模型性能穩定時，訓練次數為21，由此看出序列到子序列模式改進了序列到序列方式模型收斂速度慢的問題，并且大幅減小了序列到點的計算量。

表1 洗碗機3種構建模式性能對比Table 1 Comparison of metrics of three construction modes of dishwasher

圖5 不同訓練次數的損失值Fig.5 Loss values of different epochs

為了驗證文中添加的通道注意力和空間注意力的有效性，以冰箱為例，圖6 顯示了訓練過程中，模型有∕無注意力模塊的迭代過程中損失值的變化。結果顯示，兩個注意力模塊對于回歸子網和分類子網的性能提升均有幫助，尤其是很大程度上降低了分類網絡的損失值，更大程度上發揮了分類門控子網對于非侵入負荷分解任務的修正作用。

圖6 有無注意力模塊的損失值的對比Fig.6 Comparison of loss value with and without attention module

為了驗證模型的分解性能，我們在相同的實驗環境下，將提出的模型與其他模型進行對比，結果如表2 所示。結果顯示，文獻［22］提出的SGN 模型相較于DAE和序列到點模型，在運行時間長的電器上表現出優勢，但是在水壺和微波爐這種運行時間短的電器上性能反而降低，這是因為這兩種電器運行時功率變化快，SGN 模型難以學習到特征。相較于SGN模型，文中的模型在大部分電器上的性能表現優異，水壺和微波爐的效果最為明顯，水壺的平均絕對誤差降低了87%，均方根誤差降低了67%，微波爐的平均絕對誤差降低了62%，均方根誤差基本持平，說明文中添加的混合注意力機制改進了短時間運行電器信息難以提取的問題并且增強了長時間運行電器的特征提取能力，減少了噪聲的影響。相較于文獻［28］提出的模型，本文模型在開∕關狀態電器上分解效果具有優勢，在多狀態長時間運行的電器上分解精度略差，說明本文模型在提取多狀態變化特征時具有困難，但是文獻［28］提出的多頭概率稀疏自注意機制擴展了模型集中于不同位置的能力，能夠更好地擬合多種特征。

表2 模型分解結果對比Table 2 Comparison of model disaggregation results

圖7 給出了5 種電器局部分解效果對比實驗結果，由圖7可知文中的模型有效提高了5種電器的分解精度。對于小功率電器冰箱而言，文中模型幾乎擬合了真實分解值，但是對比模型存在較大波動；對于水壺和微波爐這兩種運行時間短、功率變化為瞬時狀態的電器，文中模型可以精準地捕獲到特征變化，但是SGN模型很難學習到突變的特征，分解值幾乎為一條平滑的直線，文獻［28］提出的模型分解精度基本與本文持平，但是在功率突變時，分解值與真實值差距較大；對于運行時間長的大功率電器，文中提出的模型在電器開啟時功率分解精度略勝于SGN模型，分解值更加接近于真實值，功率變化情況捕獲更加準確，但是與文獻［28］相比，本文模型在多狀態功率峰值分解精度不佳，與真實值有一定差距。

圖7 電器分解效果對比Fig.7 Comparison of decomposition effects of electrical appliances

4 結束語

本文提出了基于序列到子序列和SGN 的非侵入負荷分解模型，以序列到子序列的模式構建網絡，解決了序列到序列中模型收斂困難以及序列到點計算量大的問題，在兩者之間進行了平衡；且將負荷分解任務同時定義為回歸任務和分類任務，構建了多任務框架，在每個子任務網絡中添加了通道注意力機制和空間注意力機制，有效提高了模型提取特征的能力。實驗結果表明，本文提出的模型不僅減小了模型收斂的困難度和推理周期的計算量，而且減小了平均絕對誤差和均方根誤差，提高了分解精度，未來可以進一步調整網絡結構，增強網絡的泛化性，并將網絡部署到實際場景中，提高其實用性。D