基于知識圖譜的電力通信設備故障智能診斷方法

崔鳴石, 鄔雪陽, 朱宏偉, 王 沖, 粘中元, 王 蕾, 楊 莎

(1.國網內蒙古東部電力有限公司, 呼和浩特 010020; 2.東北電力大學計算機學院, 吉林 吉林 132012)

電力通信系統是電網穩定運行的重要基礎,隨著電力通信設備運行情況的復雜化,其發生故障之后的處置難度也在不斷增大,越來越難以應對復雜的電力通信設備故障[1]。而且當前的故障處置工作主要依賴相關工作人員的主觀性決策,只能人工將離散的各類故障信息進行整合、分類并查找故障規律,從而獲取故障產生的原因并指定相應的處置措施[2]。然而電力通信設備的數據系統中積累了大量本身就具有邏輯關系的故障產生及處理方法的文本數據,因此,利用知識圖譜的圖結構對本身就具有邏輯關系的文本數據進行組織和管理,進而解決電力通信設備故障智能診斷問題。

隨著機器學習與人工智能技術的不斷發展,學者們將電網故障診斷與前沿人工智能技術相結合[3],開展了大量先進技術與電網背景相融合的相關研究。余建明等[4]構建了針對線路故障處置相關的知識圖譜,使線路故障的處置流程自動化。張曉華等[5]提出了調度自動化系統知識圖譜的構建及應用方法,幫助相關工作人員深入了解和學習調度自動化系統內部結構并進行輔助性的故障分析。高澤璞等[6]針對低壓配電網拓撲結構頻繁變化的問題,提出一種基于知識圖譜的低壓配電網拓撲結構辨識方法,整合挖掘多個低壓配電網信息系統數據,識別系統中低壓配電網戶間的關系。王駿東等[7]提出一種基于知識圖譜的配電網故障輔助決策研究方法,使用電網調度規則和故障預案等知識建立配電網故障調度知識圖譜,基于配電網的拓撲結構形成知識表示。此外,學者們將故障預案和故障處理案例與相關的事件簇聯系起來,并結合人工智能相關技術和圖算法實現配電網調度故障輔助問答系統。鞏宇等[8]結合故障模式及其影響分析構建電力設備故障知識圖譜,并在此基礎上開發了電力設備知識庫管理工具,從而實現了對電力設備故障知識的有效管理和應用。Zhang等[9]改進了圖搜索算法以更好地展示檢索結果的期望信息,并構建了面對多源異類電力設備數據的設備缺陷知識圖譜。Shao等[10]利用本體構建電力系統的知識庫,通過規則推理實現電力系統故障的診斷和定位,提高電力系統的安全性和可靠性。Wang等[11]提出了一種基于知識圖譜的電力系統狀態評估方法,通過將電力系統的狀態信息表示為本體概念,實現電力系統狀態的智能化評估。Feng等[12]構建了一個基于知識圖譜的故障診斷模型。通過將電力系統的相關知識和數據表示為知識圖譜中的實體和關系,實現了對電力系統故障的自動化診斷和快速定位。Zhang等[13]提出了一種基于知識圖譜的電力系統狀態評估方法,通過構建電力系統狀態知識圖譜,將不同類型的數據信息進行統一表示和管理,實現了對電力系統狀態的全面評估和智能化決策。

由于電力通信設備故障形態日益復雜,故障處理對工作人員綜合業務能力的要求不斷提高。當電力通信設備發生故障時,要求工作人員能夠及時分析設備運行中的薄弱環節,準確快速判斷故障原因并采取相信的故障處置措施[14]。傳統的設備故障診斷方法往往需要借助人工經驗,無法高效地處理大量故障信息。本文旨在利用知識圖譜技術將電力通信設備故障直觀地展現出來,并進行電力通信設備故障的診斷工作。在知識圖譜的基礎上,通過智能診斷技術解決工作人員知識儲備差異造成的對于電力通信設備故障的處理精度較低、時效性較差的問題,保證電力通信設備的穩定運行。這對于保障電力通信網絡的穩定運行具有重要的意義。

本文的主要貢獻有:①構建了電力通信設備故障知識圖譜,將各種故障信息、設備信息、維護記錄等數據進行整合,并結合知識圖譜的關聯和推理功能,對電力通信設備故障進行自動分析和診斷;②設計了一種基于加權雙邊拉普拉斯算法(weighted bilateral laplacian algorithm,WBLA)的電力通信設備故障嚴重性等級識別模型,方便判斷故障的嚴重性程度,規劃故障的治理順序;③提出一種基于詞頻-逆文檔頻率余弦相似性方法 (term frequency-inverse document frequency cosine similarity,TFIDF-COS)的電力通信設備故障智能診斷方法,對嚴重性等級較高的故障信息進行及時處置,實現對電力通信設備故障的智能診斷工作。

1 電力通信設備故障知識圖譜的構建

電力通信設備故障知識圖譜的構建主要分為3個部分工作:實體抽取、關系抽取、知識存儲。首先,設計基于轉換器的雙向編碼器-雙向門控遞歸單元-條件隨機場(bidirectional encoder representations from transformers-bidirectional gated recurrent unit-conditional random fiel,BERT-BiGRU-CRF)的電力通信設備故障實體識別模型,從而完成實體抽取的構建工作,可以有效獲取故障文本的關鍵實體信息;然后,基于已獲取的實體信息和原始數據特點,提出一種基于人工規則的電力通信設備故障關系抽取方法,完成對故障文本關系集的構建工作;最后,將獲取的實體、關系信息構建實體關系三元組,使用Neo4j圖數據庫技術實現對三元組知識的存儲與圖譜的可視化展示,進而完成電力通信設備故障知識圖譜的構建。具體流程如圖1所示。

圖1 電力通信設備故障知識圖譜的構建流程

1.1 基于BERT-BiGRU-CRF的電力通信設備故障實體識別模型

為了解決傳統模型無法充分結合故障文本上下文信息進行實體識別的問題,設計一種基于BERT-BiGRU-CRF的電力通信設備故障實體識別模型。首先,對預處理之后的文本進行文本標注,完成模型所需訓練數據的構建。其次,將訓練數據通過BERT預訓練語言模型進行詞向量轉化,利用BiGRU網絡對故障文本進一步特征編碼,然后將BiGRU的輸出傳入CRF中進行標簽約束,從而獲取全局最優序列。模型結構如圖2所示。

圖2 基于BERT-BiGRU-CRF的電力通信 設備故障實體識別模型

1.1.1 基于BERT的故障文本動態詞向量轉化

BERT是一種自然語言處理技術,是基于Transformer模型實現的深度雙向語言表征模型。該模型的一個特點是能夠根據上下文語境進行預訓練,從而提高語言理解能力[15]。BERT模型的預訓練過程由掩碼語言模型和下一句預測兩個任務組成。掩碼語言模型是一種常用的預訓練模型,在電力通信設備故障文本中隨機屏蔽一些詞匯(一般默認15%),然后使用Transformer模型來預測這些被屏蔽的詞匯。這種方式可以幫助BERT模型結合上下文語境,從而更好地理解電力通信設備故障文本。在電力通信設備故障文本的實體識別任務中,BERT模型不僅需要考慮字詞之間的上下文信息,還需要考慮句子之間的關系,因此它構建了一個下一句預測任務。該任務是二分類任務,具體步驟是從電力通信設備故障文本中隨機選擇相應的故障句子a和故障句子b,其中50%是正確的故障句子,另外50%是隨機抽取的一個故障句子。通過提取兩個句子的語義特征,BERT模型可以預測它們是否為相鄰的句子。

BERT模型的核心組成部分是雙向Transformer編碼結構。Transformer編碼單元的具體結構如圖3所示。它由多個編碼單元組成,每個編碼單元中包含一個自注意力(Self-Attention)機制[16],如式(1)所示,用于在輸入序列中找到相關的信息并加以加權。自注意力機制能夠幫助模型捕捉輸入序列中的長距離依賴關系,從而提高模型的語言理解能力。在BERT模型中,每個編碼單元通過多頭注意力機制來同時考慮不同的語義特征,從而進一步提高模型的性能。除了使用Transformer編碼單元,BERT模型還采用了預訓練和微調的方法來優化模型的性能。

X1代表位置的嵌入向量;X2代表每一個字的輸入向量

(1)

式中:Q、K、V為輸入的向量矩陣;dk為輸入向量的維度。

首先計算每個詞與所有其他詞之間的相關性,然后使用這些相關性來調整每個詞的重要性,從而生成新的語義特征表達。

為了擴展模型的表達能力,Transformer模型采用了多頭注意力模式,增加了注意力機制的表示子空間,如式(2)、式(3)所示。

MultHead(Q,K,V)= Concat (head1,head2,…,headh)Wo

(2)

式中:MultHead(Q,K,V)為多頭注意力機制;Concat()為向量的拼接;Wo為權重矩陣。

(3)

在對于故障文本的處理過程中,不同位置的詞匯在句子中的含義也會不同,如“備用時鐘板無法鎖定主用時鐘板時鐘”,為了在Transformer模型中引入單詞在句子中的位置信息,使用了位置嵌入技術,如式(4)、式(5)所示。

(4)

(5)

式中:pos為字的位置索引;i為第i個字;dmodel為輸入模型可變的長度;PE(pos,2i+1)為偶數位索引的字的位置向量;PE(pos,2i+1)為奇數位索引的字的位置向量。

1.1.2 基于BiGRU-CRF的故障文本特征序列獲取

利用具有門控機制的GRU模型對輸入的故障文本向量進行深層次特征的提取工作。門控制循環單元是由長短記憶神經網絡中簡化起來的,將遺忘門與輸入門結合的一種更新門,相對于長短期記憶(long short term memory,LSTM)來說,其構造更為簡潔,參數也更簡單[17],可以更加有效地完成對于故障文本的語義編碼工作。GRU模型結構如圖4所示。

Xt為t時刻的輸入;Zt為更新門;rt為重置門;tanh代表將向量分部映射到0～1之間;σ為激活函數;ht、ht-1分別為隱藏層狀態t和t-1時刻

GRU模型中的更新門與重置門用來調整前一時刻的狀態信息在當前時間上的貢獻范圍。更新門的值越大,則前一時刻的狀態信息對當前狀態的貢獻范圍越大;而重置門的值越小,則前一時刻的狀態信息對當前狀態的貢獻越小。

標準的GRU只能考慮到前面的文本信息,而無法處理后面的文本信息。為了解決這個問題,雙向門控制循環單元網絡(BiGRU)包含正向和反向的GRU網絡,可以同時考慮前面和后面的文本信息,從而提取雙向的語義特征,如式(6)所示。BiGRU的輸出結果是由這兩個GRU網絡共同作用得到的。

(6)

由于BiGRU不能充分考慮故障實體標簽之間的依賴關系。因此,結合CRF充分考慮故障實體之間的相連關系,從而獲取全局最優序列,提高實體識別的準確率。

1.2 基于人工規則的電力通信設備故障關系抽取

通過觀察電力通信設備故障數據本身的結構特點并結合已經抽取的實體信息,采用基于人工規則的電力通信設備故障關系抽取方法,主要是通過定義關系集來進行。本文人工定義了3類關系,可將實體連接起來形成三元組信息。關系定義分別是故障部位點產生的故障信息、故障信息產生的原因、故障原因對應的解決方法,具體定義見表1。

表1 電力通信設備故障關系定義

1.3 電力通信設備故障知識圖譜的構建

在電力通信設備故障知識圖譜構建過程中,主要采用自頂向下的本體構建方法[18]。Neo4j是一種基于圖的數據庫,它使用圖形結構存儲數據,使得數據處理更加直觀和易于理解。電力通信設備故障知識圖譜構建的流程如圖5所示。具體步驟如下。

圖5 電力通信設備故障知識圖譜構建流程

(1)對獲取的電力通信設備故障數據進行整理并標注,建立電力通信設備故障數據集。

(2)利用 BERT-BiGRU-CRF 模型進行實體識別,并針對電力通信設備故障文本本身特點,通過基于人工規則的關系抽取方法進行關系抽取。

(3)利用 Protégé 本體構建工具完成電力通信設備故障實體間關系的構建,以建立電力通信設備故障知識圖譜本體模型[18],如圖6所示。

圖6 電力通信設備故障知識圖譜本體模型

使用Neo4j對獲取的三元組知識進行存儲并進行可視化展示,完成電力通信設備故障知識圖譜的構建。部分知識圖譜如圖7所示。

圖7 部分電力通信設備故障知識圖譜

2 電力通信設備故障智能診斷方法

結合所建的知識圖譜,為了有效地識別出電力通信設備在運行過程中產生的不同嚴重性等級的故障信息,設計基于知識圖譜的電力通信設備故障智能診斷模型。該方法主要分為兩部分工作:首先,設計一種基于 WBLA 的電力通信設備故障嚴重性等級識別模型;其次,提出一種基于 TFIDF-COS 的電力通信設備故障智能診斷方法,實現對電力通信設備故障的智能處置。具體流程如圖8所示。

圖8 基于知識圖譜的電力通信設備故障智能診斷流程

2.1 基于 WBLA 的電力通信設備故障嚴重性等級識別模型

為了推理電力通信設備故障可能存在的嚴重性等級,進而規劃故障的治理順序,設計基于WBLA的電力通信設備故障嚴重性等級識別模型,將故障產生的告警信息利用 Word2vec 算法[19]進行詞嵌入向量表征后作為 BiLSTM (BidirectionalLongShort-TermMemory) 層輸入,進行雙向編碼訓練;然后通過 Attention 增強故障告警中的相關特征,最后利用 Softmax 函數實現對故障嚴重性等級的識別。具體故障嚴重性等級識別模型如圖9所示。

圖9 基于WBLA的電力通信設備故障嚴重性等級識別模型

2.1.1 Word2vec詞嵌入層

采用Word2vec作為詞嵌入方法,將獲取到的故障告警信息形式化表示定義為

Sf={x1,x2,…,xn}

(7)

式中:xi為文本S中的第i個詞匯。

對于每個詞xi來說,在訓練過程中,在輸入BiLSTM層之前需要對故障告警信息進行預處理操作。其過程主要是利用詞向量矩陣對故障告警信息進行詞向量表征,即

embs={e1,e2,…,en}

(8)

那么,將故障告警信息的句子Sf轉換為一個實數矩陣,并在其中添加故障等級信息,將獲取的實數矩陣embs={e1,e2,…,en}傳遞到下一層模型中。

2.1.2 特征提取層

BiLSTM是由前向長短期網絡和后向長短期網絡組成,其中長短期網絡主要利用遺忘門、輸入門和輸出門來保護和控制輸入信息[20]。在前向網絡中,通過將輸入的分析特征向量xt與前一時刻的狀態ht-1一起計算,來計算當前時刻的狀態ht,公式為

it=δ(Wwiwt+Whiht-1+Wcict-1+bi)

(9)

ft=δ(Wwfwt+Whfht-1+Wcfct-1+bf)

(10)

Zt=tanh(Wwcwt+Whcht-1+bc)

(11)

ct=+ftct-1+itz

(12)

ot=δ(Wwowt+Whoht-1+Wcoct+bo)

(13)

ht=ottanh(ct)

(14)

式中:t為時間步長;ht為隱藏狀態;i為輸入門;f為遺忘門;o為輸出門;b為偏置項;w為參數矩陣。

前向長短期網絡主要是處理前文的故障告警信息來對輸入的分詞向量x1～xt,結合xt的前文信息來對xt進行語義編碼,輸出信息為ht。同樣反向長短期網絡通過處理后文的故障告警信息來對輸入的分詞特征向量xn～xt,結合xt的后文信息來對xt進行語義編碼,輸出信息為ht。最后,用獲取到的ht和ht來表征第t個分詞編碼后的信息,公式為

ht=[ht⊕ht]∈R2de

(15)

式中:⊕為向量聯結;de為單向長短期網絡維度;H為輸出向量集合,作為下一層的輸入:R2de代表所得向量屬于實數空間,其維度是2de。

H=(h1,h2,…hn)∈R2den

(16)

式中:R2den代表所得向量屬于實數空間,其維度是2den。

2.1.3 注意力機制

在Attention中,n時刻由雙向長短期網絡輸出的故障告警信息文本中故障等級特征向量對最后狀態的注意力概率分布an的計算過程如式(17)所示。

(17)

式中:N為輸入的故障告警信息文本序列的個數;h′n為第n時刻故障告警信息的完整隱狀態序列;h′j為第n時刻故障告警信息中第j個隱狀態向量;an為第n時刻隱狀態h′n對于h′j的注意力分布。

基于Attention的故障告警信息文本在n時刻最終特征的計算過程如式(18)所示。其中,當an、hn的值越高,相應的動詞所嵌入的表征能力也就越高,從注意力機制中得到的故障以及重要的判別信息也就越多。

(18)

式中:F為信息文本在n時刻的最終特征。

最后,通過輸出層的Softmax計算,得到故障等級類型標簽維度為1×4,其概率分布如式(19)～式(20)所示。

(19)

F′=VF

(20)

式中:T為故障等級標簽數,T=4,包括Minor、Warning、Major、Critical;V為故障告警信息在訓練過程中產生的權重。

2.2 基于TFIDF-cos的電力通信設備故障智能診斷方法

規劃出故障的治理順序還需診斷出故障原因并對嚴重等級較高的故障信息進行及時處置,提出基于TFIDF-cos的電力通信設備故障智能診斷方法,可以有效縮短故障的影響時間,保證電力通信網絡的運行安全。具體故障智能診斷方法如圖10所示。具體步驟為:①通過向量空間模型將預處理之后的故障文本特征項向量化表示;②使用TFIDF因子進行特征項加權;③利用余弦相似度函數進行故障文本相似度計算[21],從而獲取可靠度較高的故障診斷結果,進而完成故障處置措施的制定。

圖10 基于TFIDF-cos的電力通信設備 故障智能診斷方法

在向量空間模型中,每一個故障文本dj映射為一個特征向量,即

V(dj)=(t1j,w1j;t2j,w2j;…;tnj,wnj)

(21)

式中:tij(i=1,2,…,n)為文檔dj對應的特征項;wij(i=1,2,…,n)為tij在dj中對應的權重。

Wij定義為TFIDF因子,其計算方法為

(22)

式中:tfij為第j個文檔第i特征項在故障文本中出現的次數;dfij為第j文檔第i特征項在所有故障文本中出現的次數。

故障文本di和dj的相似度使用余弦相似度公式計算,如式(23)所示。余弦值越接近1,故障診斷結果的可信度越高,余弦值越接近0,故障診斷的可信度越低。

(23)

3 實驗與結果分析

3.1 實驗設計

3.1.1 實驗數據

使用的實驗數據主要來源于國網某信通公司,其中主要記錄了該公司中電力通信設備故障信息及故障處置措施。主要故障文本內容描述見表2。

表2 故障文本內容描述

3.1.2 評價指標

分別采用精度(P)、召回率(R)、F1-Score(F1)等作為衡量電力通信設備故障嚴重性等級識別算法的性能指標。各指標的計算公式為

(24)

(25)

(26)

式中:TP為正確的實體識別個數;FP為識別到的不相關實體個數;FN為沒有檢測到的實體個數。

3.1.3 實驗設置

Windows11,CPU型號為12th Gen Intel(R) Core(TM) i7-12700H 2.30 GHz,16GB內存,Python3.6,使用Keras平臺對模型進行模型驗證。

3.2 實驗結果

3.2.1 電力通信設備故障嚴重性等級識別實驗

選取3 696條故障告警信息及對應的故障等級,按照3:1的比例劃分訓練集和測試集,從表3對于不同故障嚴重性等級的識別結果準確率來看,對比 SVM、LSTM、BiLSTM、CNN-BiLSTM 各模型的F1值可得設計的WBLA模型具有較好的故障嚴重性等級識別效果。通過圖11可以很明顯地看出,WBLA模型對于故障嚴重性等級識別結果的P、R、F1值以及準確率(ACC)分別94.9%、95.41%、95.15%、95.98%,與其他模型相比各個指標均為最高,而且最后的識別準確率可達95.98%,取得了較為不錯的實驗效果,充分證明了該模型的有效性。

表3 各模型識別不同故障嚴重性等級F1值效果對比

圖11 不同模型故障嚴重性等級識別效果對比

將電力通信設備在運行過程中產生的故障告警信息輸入到WBLA模型中,從而實現故障嚴重性等級的識別。具體效果如圖12所示。

圖12 故障嚴重性等級識別舉例

3.2.2 電力通信設備故障智能診斷實驗

使用TFIDF-cos模型來實現電力通信設備故障的智能診斷,通過余弦相似度計算出故障診斷結果的可信度值,從而獲取可靠度較高的故障診斷結果。選取1 000個不同的電力通信設備故障樣本數據,對TFIDF-cos模型進行診斷準確率及處置措施制定準確率的計算。具體實驗結果見表4。其中故障智能診斷結合了故障等級識別算法,全面分析故障信息及故障嚴重性等級,從而方便故障治理順序的劃分。具體診斷結果示例如圖13所示。完成故障的智能診斷之后,可以根據診斷出的故障原因進一步進行故障處置措施的制定,示例如圖14所示。

表4 TFIDF-cos模型性能分析

圖13 故障智能診斷示例

圖14 故障處置措施制定示例

4 結論

提出了一種基于知識圖譜的電力通信設備故障智能診斷方法。

(1)通過構建的基于WBLA的電力通信設備故障嚴重性等級識別模型,可以有效地劃分出故障的治理順序。

(2)結合基于TFIDF-COS的電力通信設備故障智能診斷方法,可以有效地實現故障的診斷,通過所提算法對選取樣本的診斷準確率的展示,證明了診斷結果的可靠性,保障了電力通信設備的穩定運行。

然而,為了更深層次的故障診斷推理,還需要深入研究深度學習與知識圖譜相結合的方法。同時,應進一步擴充電力通信設備故障文本數據,以使診斷結果更加全面和可靠。