考慮樣本加權的遷移學習暫態穩定評估模型更新方法

方熙, 王懷遠, 黨然, 溫步瀛

(1. 福州大學電氣工程與自動化學院, 新能源發電與電能變換重點實驗室, 福建 福州 350108; 2. 陜西飛機工業有限責任公司, 陜西 漢中 723000)

0 引言

隨著交直流混聯電網的形成、 電力電子技術的發展和具有波動性新能源設備的大規模接入, 對電力系統的暫態穩定性進行分析的難度也在不斷增加[1]. 人工智能技術的發展促使學者們探究故障樣本特征量和系統暫態穩定性之間的映射關系, 并憑借訓練好的機器學習模型進行快速準確的暫態穩定評估[2-3]. 但是, 訓練模型的故障樣本集僅涵蓋有限故障情況, 所得模型無法有效評估某些意料之外的潛在故障. 為了解決上述問題, 遷移學習將訓練模型的故障樣本和潛在故障分別定義為源域和目標域, 通過提取兩者的共同特征并進行知識經驗遷移, 達到更新模型的目的[4-6]. 然而, 遷移學習過程并不穩定. 如果兩個領域存在較大差異, 難以挖掘相似特征, 模型更新效果就會受到影響[7].

目前, 改善遷移效果的方法主要分為3類[8]. 1) 增加有效源域知識數量. 如, 文獻[9]提出一種多源域遷移方法, 利用多重相似性理論與平滑性流形假設, 實現對源域有效數據的擴充. 2) 增加目標領域的樣本數量. 如, 文獻[10]提出兩種基于對抗思想的遷移學習方法. 其中, 基于殘差的對抗遷移算法(RAN)對齊不同領域特征并構造自適應分類器, 增強特征的區分性; 基于特征和標簽的聯合分布對抗遷移算法(FLAN)通過匹配不同領域樣本的聯合分布, 凸顯樣本信息的特點. 3) 減少遷移雙方數據分布的差異. 如, 文獻[11]提出一種基于圖形正則化的遷移算法(GTL). 該方法將數據的統計信息和幾何信息相結合, 提高潛在因子的平滑性, 改善領域之間數據分布的情況.

在電力系統中, 增加有效源域知識數量會依照擴充規模增大相應的計算量, 與暫態穩定評估的響應需求相悖. 而在實際情況下, 目標域難以獲取歷史故障數據, 無法有效對該領域內的樣本進行補充. 因此, 本研究擬從減小領域之間數據分布差異的角度, 探索改善模型更新效果的方法. 考慮到不同失穩情況所對應的線路故障相似程度均有所不同, 總是存在與目標域相關性較低的源域樣本影響知識遷移效果的情況. 本研究通過表征并利用故障之間原始特征的相似性, 提出一種考慮樣本加權的遷移學習暫態穩定評估模型更新方法. 該方法既不改變模型更新的遷移過程, 又能對源域的所有故障進行加權, 很好地區分其在遷移過程中的重要程度. 經實驗證明, 所提方法是有效的.

1 研究整體思路

在本研究中, 由實驗仿真或歷史數據庫獲取的故障情況被稱為預期故障. 其為帶標注樣本, 所構成的源域是知識遷移的主體. 未曾預料到或還未發生過的故障情況被視為潛在故障. 僅少數為帶標注樣本, 所構成的目標域是遷移學習目標. 在傳統遷移學習方法的基礎上, 本方法通過樣本加權方式對預期故障進行篩選, 改善知識遷移的效果. 所有預期故障相對于潛在故障的原始特征分布差異, 先由一個獨立的域判別器進行衡量. 再利用該差異所執行的密度比估計賦予源域中各樣本合適的權重,以辨識其在知識遷移中的重要程度. 在遷移學習的過程中, 權重較高源域樣本的知識經驗會更多遷移至目標域, 使更新后的模型能更好地適應目標域的數據分布. 由源域加權遷移至目標域的評估情況如圖1所示.

圖1 樣本加權遷移學習的適用場景Fig.1 Applicable scenario of sample-weighted transfer learning

由圖1可知, 在遷移學習前, 源域和目標域數據分布情況存在明顯差異. 由預期故障直接訓練模型生成的分類邊界經過適當延伸后, 仍會對潛在故障造成較多誤判. 在直接進行遷移學習后, 故障樣本的數據分布會趨于一致, 提高了模型對潛在故障的評估能力. 然而, 部分預期故障和潛在故障的數據分布差異過大, 若同樣重視遷移此類故障的知識經驗, 將對整體的遷移效果產生影響. 因此, 本研究依據源域各樣本和目標域之間的相關程度進行適當加權, 權重較高的預期故障與潛在故障更為相似,蘊含的知識經驗會更多遷移至目標域, 從根本上減小不同領域之間數據分布的差異, 進而改善更新后模型的評估性能.

2 建模過程

2.1 長短期記憶網絡

長短期記憶網絡(LSTM)是循環神經網絡(RNN)的一種改進形式[12]. 與RNN相比較, LSTM同時學習時間序列中長期依賴和短期依賴的信息, 可以解決“梯度消失”和“梯度爆炸”等問題. 考慮到故障樣本的采樣特征與時間序列高度相關, 選用LSTM作為模型框架來深入探索時序特性和暫態穩定性之間的聯系.

2.2 最大均值差異

最大均值差異(lMMD)是遷移學習中使用最廣泛的一種度量[13]. 與參數準則相比, 最大均值差異計算非參數距離, 避免了昂貴的分布計算代價, 且能夠準確衡量兩個不同但相關分布之間的差異. 假設p1和p2分別為源域和目標域中樣本特征Xs和Xt的概率分布,lMMD的定義式為

(1)

式中:F被定義為一般再生希爾伯特空間中的一系列映射函數f; sup( )是求取上界的函數, 用于探索不同領域之間最大數據分布差異的上界.

利用再生希爾伯特空間的再生性和內積運算性質, 作為期望無偏估計的均值可以將上式轉化為便于計算的一般經驗方程. 假設ns和nt分別為源域和目標域的樣本數目,lMMD的經驗方程為

(2)

式中:φ:X→H代表從原始樣本空間轉移至一般再生核希爾伯特空間的映射關系.

在此基礎上, 通過核技巧可以無需顯式地表征映射函數φ(x)來求解向量之間的內積, 進一步簡化最大均值差異的計算過程. 最終, 對其取平方后, 推導獲得的核化方程為

(3)

式中:k(xi,xj)為所有可能的核函數. 由于高斯核函數具有良好泛化能力, 將其選作式(3)的內核參與計算.

綜上所述, 相較于其他度量準則,lMMD不僅能夠在內積完備的再生核希爾伯特空間中準確反映數據真實分布的差異, 同時也具有計算簡單的優勢. 因此, 選用lMMD來度量故障樣本之間的特征分布差異.

2.3 改進的加權遷移模型更新方法

2.3.1方法背景

在遷移學習的過程中, 源域和目標域之間的相似程度會從源頭上影響模型的更新效果. 面對龐大且復雜的預期故障樣本集, 傳統遷移學習方法默認它們的知識經驗同等重要, 而忽視了其中與潛在故障數據分布差異過大的部分樣本在遷移中所產生的負面影響. 因此, 本研究通過對預期故障賦予合適的權重, 進一步改善遷移學習更新評估模型的效果.

2.3.2具體實現

本研究采用基于領域自適應的深度遷移學習思想, 通過減小源域和目標域之間數據分布的差異實現知識的遷移. 具體而言, 通過LSTM提取樣本特征之后, 源域和目標域會被映射至一個共享的特征空間. 在此空間中, 兩個領域的數據分布近乎相同, 并且具有足夠的區分性來評估故障的暫態穩定情況. 假設Xs和Ys分別為源域故障的樣本特征和實際標簽,Xt, l和Yt, l分別為帶有標注的少量目標域故障的樣本特征和實際標簽, 未經加權更新評估模型的目標函數定義為

ltotal=lClassifier+λ·LMMD

(4)

lClassifier=lCLF(C(F(Xs)),Ys)+lCLF(C(F(Xt, l)),Yt, l)

(5)

(6)

(7)

式中:ltotal為模型更新的總目標函數;lClassifier為源域和目標域中帶有標簽樣本的總交叉熵損失;λ為平衡標簽分類損失和特征分布差異的超參數;LMMD為預期故障和潛在故障之間特征分布的差異大小;lCLF為交叉熵損失函數;C( )為生成預測分類標簽過程;F( )為特征提取過程;y和x分別為故障樣本的實際標簽以及經過非線性映射后每個標簽類別的預測概率.

圖2 模型更新的整體架構Fig.2 Overall architecture of model updating

為了凸顯與目標域相似的預期故障, 在進行知識遷移前, 各源域樣本相對于目標域的相似程度需先通過一個獨立的域判別器D進行評估. 考慮到樣本的聯合特征分布情況更能體現出預期故障和潛在故障之間的差異[7], 該判別器將原始特征X和對應的實際暫態穩定標簽Y均作為輸入, 嘗試區分輸入樣本是來自源域(域標簽為0)還是目標域(域標簽為1).假設PS(X,Y)和PT(X,Y)分別代表源域和目標域中故障樣本的聯合分布, 則該域判別過程可表示為

(8)

(9)

最終, 源域樣本經過加權之后, 更新模型的目標函數(4)和(5)可以修改為

(10)

(11)

與等式(4)和(5)相比, 修改后的目標函數在源域的交叉熵損失部分對各預期故障樣本進行適當加權. 在更新模型的過程中, 與目標域相似程度較高的源域知識會更加得到重視. 如此能夠提高評估模型對潛在故障的適應能力, 改善遷移學習的效果.

3 實驗過程與結果分析

選擇IEEE-39節點電力系統和華東某地區的實際電力系統進行測試. 為驗證所提方法的有效性, 采用4種評價指標對實驗結果進行分析. 即

(12)

式中:PACC為模型預測的整體準確率;NTP和NTN分別代表穩定樣本和失穩樣本正確預測的數目;NFN和NFP分別表示穩定樣本以及失穩樣本錯誤評估的數目;PFN為穩定樣本的評估錯誤率;PFP為失穩樣本的評估錯誤率;F1為評價模型性能的一個重要全局指標.

3.1 IEEE-39節點電力系統

3.1.1樣本集的構建

選用IEEE-39節點系統進行測試, 并通過PSD-BPA仿真軟件對12 375種故障情況進行模擬, 共生成7 010例穩定樣本和5 365例失穩樣本. 在仿真過程中, 系統的運行狀態存在90%、 95%、 100%、 105%和110%這5種負荷水平; 故障發生的地點分別位于單條線路全長的10%、 50%和90%處; 故障的類型均為永久性三相短路; 故障的持續時間為100～300 ms, 共有10個故障清除時刻. 為滿足暫態穩定評估的時間需求, 僅選擇故障發生瞬間、 故障清除瞬間以及故障清除后0.05和0.10 s對應時段的采樣數據作為故障樣本的原始特征. 其中, 每個采樣周期內原始特征的種類和個數均相同.

3.1.2加權遷移的有效性分析

所有的電力系統都可以將輸電線路劃分為源域和目標域兩個類別. 源域線路經常發生故障, 具有大量的歷史故障數據, 可以涵蓋此類線路中發生的各種故障情況. 目標域線路難以獲取故障信息, 只有少數帶有實際標簽的故障樣本, 不能很好地表征此類線路中剩余的潛在故障情況. 本實驗隨機抽取6條線路共計2 250個帶有實際標簽的預期故障作為源域, 并從剩余的線路中隨機選取2條線路共計750個故障樣本作為目標域. 假設在目標域中僅有25個帶有實際標簽的故障樣本可以參與模型更新, 剩余潛在故障均作為測試集衡量評估模型性能. 表1給出多種試驗情況下暫態穩定評估模型的測試結果.

表1 不同試驗情況下的評估結果Tab.1 Evaluation results under different test cases

如表1所示, 在均以LSTM為模型框架的基礎上, 情況1～3對應行分別表示3種隨機抽取且不重復樣本情況下評估模型的測試結果. 從中可見, 在多種樣本情況下, 遷移學習均能在訓練模型的同時令源域和目標域內故障樣本的特征分布趨近于一致, 提高模型的評估性能. 在此基礎上, 所提方法通過樣本加權的方式在遷移過程中對與目標域相關性較高的預期故障進行強調, 與直接遷移方法相比, 進一步提高了評估模型的整體預測準確率, 有效改善模型更新的遷移效果.

此外, 在保證源域和目標域均為情況1的抽樣條件下, 為了展示所提加權遷移方法的普適性, 本研究還將其引入深度神經網絡(DNN)和卷積神經網絡(CNN)中進行了相同測試. 從橫向對比測試結果可以看出, 所提方法在遷移學習前先對所有預期故障進行加權篩選, 避免其中一些特征分布與目標域相差過大的故障樣本對知識遷移產生負面影響, 使得不同框架下的模型均能對潛在故障達到更好的評估效果, 具有良好的普適性. 另一方面, 從縱向對比測試結果可以看出, 相比于DNN和CNN, LSTM在相同條件下擁有更高的PACC和F1指標. 這種現象表明, LSTM能夠更好地發掘樣本時序特征和暫態穩定性之間的聯系, 更適合作為評估模型的基礎框架, 對故障樣本的原始特征量進行提取與映射.

3.1.3不同失穩故障對加權遷移的影響

不同輸電線路的故障情況存在差異, 對應故障樣本的特征分布也各不相同. 然而, 由線路故障所導致的暫態失穩類型卻十分有限. 因此, 本實驗擬從系統的暫態失穩情況出發, 探究其對加權遷移所產生的影響.

在IEEE-39節點電力系統中, 由線路故障所引發的暫態失穩現象可以大致歸納為38號母線單機失穩、 37和38號母線兩機失穩以及30～38號母線多機失穩這3種情況. 本實驗從各失穩情況中分別選取1條線路共計1 125個預期故障構成源域, 并從剩余的線路中挑選1條線路共計375個故障作為目標域. 假設只有25個目標域樣本帶有實際的暫態穩定標簽, 剩余的潛在故障均作為測試集來衡量評估模型的性能. 目標域線路處于3種不同的失穩情況下, 評估模型的測試結果如圖3所示.

圖3 不同失穩情況的測試結果Fig.3 Test results of different instability cases

由圖3可知, 通過本方法對源域樣本進行適當加權之后, 在穩步提升預測模型整體準確率的同時,穩定樣本和失穩樣本各自的評估錯誤率均有所下降, 改善了遷移學習的效果. 此外, 本研究還對加權遷移過程中各暫態失穩情況下源域線路的權重賦予情況進行考察. 以所有線路的平均權重之和作為基準, 各失穩情況所對應線路的平均權重標幺值的分布情況如表2所示.

表2 源域各線路的權重分布情況Tab.2 Weight distribution of each line in source domain

從表2所列的實驗結果可以看出, 與目標域線路擁有相同暫態失穩情況的源域線路被賦予較高的權重. 這種現象表明, 引發相同失穩情況的線路故障之間相似程度較高, 樣本特征的分布情況也比較類似, 更適合進行知識經驗的遷移. 因此, 故障樣本的暫態失穩情況是影響遷移效果的一個重要因素. 在更新評估模型的過程中, 若選用與目標域具有相同暫態失穩情況的線路故障作為源域, 源域樣本的整體權重就會得到提升, 相當于擴充有效的源域知識數量, 可以達到更好的遷移效果.

3.2 大規模實際電力系統

為了驗證所提方法在實際應用中的適用性, 以華東某地區的實際電力系統為例進行測試. 該系統共包含705臺發電機組, 帶有6 040條母線和5 599條輸電線路. 在運行過程中, 系統的工作頻率始終維持在50 Hz, 且處于100%系統容量的負荷水平. 在此情況下, 輸電線路所發生故障的詳細情況如表3所示.

表3 輸電線路故障的詳細情況Tab.3 Details of faults in transmission lines

本實驗將150條輸電線路的所有故障情況均視為源域, 并從剩余的輸電線路中挑選20條線路作為目標域. 假設目標域中只有10%的少量故障帶有實際標簽, 剩余90%的潛在故障均用于評估模型性能. 在該實際系統下, 本方法對知識遷移的改善效果如表4所示.

表4 不同更新方法的測試結果Tab.4 Test results of different updating methods

由表4可以看出, 在實際系統下, 源域中潛在有害的預期故障會對知識遷移的效果產生影響. 相比于將源域樣本的知識經驗直接遷移至目標域, 本方法在遷移之前先對源域樣本賦予適當的權重進行篩選, 有效地提高了模型的評估能力.

4 結語

由預期故障和潛在故障之間的相關程度, 提出一種考慮樣本加權的遷移學習暫態穩定評估模型更新方法. 在衡量源域和目標域之間故障樣本的原始特征分布差異后, 結合兩個領域之間的聯合概率密度比, 對源域各樣本進行適當地加權來過濾潛在有害的預期故障, 以達到改善遷移學習效果的目的. 在IEEE-39節點系統和華東某地區的實際系統中, 對于不同的源域和目標域樣本集, 本方法均能有效改善知識遷移的效果, 讓更新后的模型具備更好的暫態穩定評估性能.