應用改進卷積神經網絡的客戶服務業務中臺資源異常信息主動報警

丁穎, 邱偉, 熊偉光

(國家電網有限公司客戶服務中心,天津 300309)

0 引 言

近年來,隨著傳感檢測技術、數據存取技術以及大數據分析技術的快速發展,傳統的信號處理有了進一步的發展,機器學習和深度學習的方法越來越多地應用到故障分析領域。文獻[1]將卷積神經網絡用于軸承故障診斷,運用機器視覺辨識不同狀態下的軸承損耗情況,取得了很好的效果,但是存在超參數設置困難的問題。文獻[2]把這一技術應用到人類自己身上,根據不同人臉所表現的圖像特征,提取特征值進行圖像識別,但是準確率不高。采用人工干預的方式不僅耗費人力,而且不能對異常情況進行及時、準確的判斷反饋。文獻[3]提出利用物聯網來解決財務數據源傳輸的問題,此方案雖然能夠全面快速地達到數據傳輸的效果,但是在學會用過程中,存在安全性不穩定,容易造成數據丟失等情況,不利于系統的穩定和安全。對于電力系統中臺信息而言,基于各種傳感器數據轉碼成圖形并進行目標檢測,是一種能夠體現卷積神經網絡優勢的方法,該方法提高故障判斷準確率的同時,減少了對先驗知識和專家知識的依賴,成為了故障診斷行業的普遍訴求。

1 數據預處理

1.1 傳感器數據提取

本文采用基于格拉姆矩陣的差值圖像編碼方式[3],格拉姆矩陣具有易于實施并且能很好地復現原始數據特征的優點。假如在t時刻,電力運維現場采集到的傳感器數據V={v1,v2,v3,…,vm}。其中:vi為第i個電力在線測試傳感器的數值;m為檢測傳感器的總數。由于不同傳感器具有不同的量綱,因此需要將這些傳感器數據進行歸一化,本文采用z-scores法對傳感器數據進行歸一化處理,這里給出格拉姆矩陣如式(1)所示。

(1)

式中:A為實矩陣;vi,j為兩個不同電力系統傳感器在數據歸一化后的差值。格拉姆矩陣在其對角線上復現了原始的傳感器數據,而除了對角線之外的地方,記錄了當前傳感器與其他所有傳感器的差值特征。當電力中臺信息資源故障發生時,可以通過某些傳感器的數值表現出來,而這些數據又通過格拉姆矩陣表現出來。

1.2 數據編碼

根據前文得到的數據格拉姆矩陣,將數據信息轉換成卷積神經網絡易于處理的圖像數據,對數據進行0～255的縮放,縮放公式如式(2)所示。

(2)

式中:Amax、Amin為矩陣A的最大值和最小值;I為單位陣。得到的數據經過差值編碼后即可轉化成對應的色度圖像。

1.3 數據增強

本文采用的數據增強方法主要有兩種:第一種是對訓練集圖片進行幾何變換,比如隨機裁剪、隨機旋轉某個角度和對稱或者水平左右翻轉等;第二種是基于噪聲的數據增強,就是在原來圖片的基礎上,隨機疊加上高斯噪聲。本文采用第一種數據增強方式,具體的實例如圖1所示。

圖1 數據增強對比圖

通過圖1可以看到,本文研究方法被優化處理后,數據信息明顯增強,具有突出的技術效果。

2 經典卷積神經網絡

卷積神經網絡中卷積層和池化層兩者可以交替設置,通常進行多個“卷積+池化”單元提取對象的多種數據圖像特征[4]。

卷積運算的數學表達式如式(3)所示。

(3)

池化層通常對特征面進行采樣操作,主要起到對特征信息的整合和降維作用,可以減小輸入特征的大小,簡化過程,加快進程。

全連接層可以將提取到的特征進行分類,一般情況下在神經網絡的最后。全連接層數學表達式如式(4)所示。

(4)

3 改進的卷積神經網絡模型

具體改進邏輯如圖2所示。

圖2 改進邏輯架構圖

3.1 S-ReLU函數

式(3)中,卷積運算通過乘法和加法來完成圖像數據的線性變換,但對于非線性變換,卷積運算本身無法做到,因此,需要加入激活函數。目前最常用激活是ReLU函數,但是對于電力傳感器而言,數據集中很可能出現負值或者零值,而對于零和負分布的數據,ReLU函數無法對其進行非線性擬合處理。因此,本文對ReLU函數進行改進,運用S-ReLU函數作為激活函數[5],其表達式如式(5)所示。式(5)為改進后的激活函數。

(5)

式中:f(x)為一個以x為自變量的函數;ex為指數函數;ln(1+ex)為自然對數以1+ex為底數的對數。S-ReLU函數圖像如圖3所示。

圖3 S-ReLU函數圖像

由圖3可知,改進后的激活函數在x≤0時,均存在非負函數值(零點除外),并且在x=0處的導數值也存在。不僅解決了負值沒有非線性擬合能力的問題,還使得函數在整個區間內可導。

3.2 批量歸一化層

通過不斷調整神經網絡的中間輸出,從而使得神經網絡的數據更加穩定[6]。具體方法如式(6)～式(9)所示。

(6)

式中:μ為一組數據的平均值;m為標準化樣本的數量;Xi為每組標準數據。通過式(6)提高了數據信息的計算能力,進而提高神經網絡計算效率。

(7)

式中:σ2為方差;Xi為每組標準數據;μ為一組數據的平均值。通過式(7)提高了數據計算能力。

(8)

式中:Zi為原始數據的標準差;ξ為常數;Xi為每組標準數據;μ為一組數據的平均值。通過式(8)提高數據信息計算能力。

(9)

式中:Zi為原始數據的標準差;α、β為卷積神經網絡學習參數。由卷積神經網絡訓練得出,用來代替偏置。

3.3 Dropout層

為了緩解電力系統傳感器數據的過擬合問題,本文采用在全連接層前加Dropout函數的優化方法。Dropout層圖解如圖4所示。

圖4 Dropout層圖解

通過圖4可以看到,將中臺資源數據信息融入到Dropout層圖能夠提高中臺數據信息的計算能力。

3.4 超參數尋優

灰狼算法中,狼群分為四個梯隊:第一層α層狼群,負責帶領整個狼群狩獵,即優化算法中的最優解;第二層β層狼群,負責協助α層狼群,為次優解;第三層為δ層狼群,聽從α層狼群和β層狼群的命令;第四層為ω層群狼,跟隨以上三層狼群。本文中α層狼群、β層狼群、δ層狼群均設置為一只,模仿本文最好的三種超參數設置,ω層狼群根據客戶服務業務中臺資源異常信息需要設置若干只,模仿大量超參數設置。本文中,每只狼的位置與卷積神經網絡所有超參數構成一個向量pij,其中:i為第i只狼;j為超參數的個數。在進行一次新的狩獵之前,狼群中每只狼首先計算自己與α、β、δ狼的距離,如式(10)所示。

(10)

式中:Dα、Dβ、Dδ為每只狼離α、β、δ狼的距離;X為每只狼的當前位置;t為迭代次數。一次狩獵包圍結束,狼群按照式(11)更新位置。

(11)

式中:X1、X2、X3為受α、β、δ狼的影響,狼群需要移動的距離;A和C為確定的系數。其表達式如式(12)所示。

(12)

式中:a為收斂因子,從2線性降到0;r1、r2為隨機數。

為了達到提高超參數對于卷積神經網絡的準確度這一目的,設定灰狼適應度函數如式(13)所示。

(13)

圖5 GWO算法融入后的尋優特征圖

由圖5可知,GWO算法模擬了自然界灰狼的領導層級和狩獵機制,利用卷積神經網絡前向計算灰狼對應的輸出,并根據式(13)更新適應度值,然后根據適應度值不斷迭代。GWO算法融入后得出最優參數,在此最優超參數下,改進后的卷積神經網絡模型歸于客戶中臺信息故障的識別準確率是最高的。

4 試驗與結果分析

4.1 試驗數據集

本文通過數據集傳感器(A類、B類、C類)來訓練和測試上文的模型,本文試驗所用數據集如表1所示。

表1 試驗數據集描述

表1中列出了A、B、C三種傳感器是一種傳遞感覺的機器。三種傳感器表示的是正常狀態下和異常狀態下的數據,并將其分類后上標簽供卷積神經網絡識別。

4.2 試驗卷積神經網絡模型

本文試驗環境為Windows10,Pytorch平臺,Pycharm編譯環境,所用深度卷積模型如圖6所示。

圖6 卷積神經網絡結構圖

圖5網絡搭建了5層卷積層,3層最大池化層來提取圖片特征和減少參數量,以及一層dropout層來丟棄一定的神經元,一定程度上防止過擬合各層的具體參數如下。

輸入層:輸入尺寸為100×100的圖片數據,數據集為灰度圖像,可以當做RGB圖像,當作100×100×3的圖片處理;卷積層 1,擁有96個卷積核,卷積核大小為11×11,步長為4,激活函數是S-ReLU函數;池化層 1,窗口大小為2,步長為4;卷積層 2,擁有256個卷積核,卷積核大小為5×5,激活函數是S-ReLU函數;池化層2,窗口大小為3,步長為1;卷積層 3,包括384個卷積核,卷積核大小為3×3,激活函數是S-ReLU函數;卷積層 4,包括384個卷積核,卷積核大小為3×3,激活函數是S-ReLU函數;卷積層 5,包括256個卷積核,卷積核大小為3×3,激活函數是S-ReLU函數;池化層 3,窗口大小為3×3,步長為1;全連接層1,擁有1 024個神經元節點;Dropout層,0.5; 全連接層2,擁有1 024 個神經元節點;Dropout層,0.5;輸出層,使用Softmax激活函數對圖像進行分類,包括10個神經元節點。引入激活函數S-ReLU后,使本文研究系統獲取數據特征呈線性增長,仿真圖如圖7所示。

圖7 數據增長特征仿真圖

由圖7可知,在引入S-ReLU后的數據獲取中,數據的輸入和呈線性關系,使數據的處理更容易簡便。

Dropout層對本文系統輸入輸出的數據進行標準化處理,使得數據分布更加平穩,有利于網絡訓練的穩定性和泛化能力。仿真模型如圖8所示。將離散的數據泛化后,得出分布平穩的數據特征。

圖8 歸一化作用仿真

4.3 超參數設置

模型搭建完成之后,用訓練集進行模型訓練,初始化灰狼個數為80,迭代次數為60,初始權重采用隨機函數進行賦值,進行三次試驗,三次試驗結果如圖9所示。從中取最好效果的test3的超參數如表2所示。從圖9可以看出,三次優化試驗結果中,第三次效果最好,見表2。三次基于灰狼算法得出的最優曲線時超參數的設置。

表2 超參數尋優結果

圖9 三次優化效果圖

4.4 試驗結果分析

本文分別進行兩組對照試驗:第一組為經典卷積神經網絡模型;第二組采用改進后的卷積神經網絡模型對數據加強后的訓練集進行仿真。訓練輪數設置為100輪,訓練輪結束后,分別對同一測試集進行測試訓練,同時得出訓練集和測試集的正確率,如圖10和圖11所示。

圖10 經典卷積神經網絡仿真圖

圖11 改進卷積神經網絡仿真圖

圖10訓練集的正確率在85%左右,測試集的正確率也在85%左右。

圖11測試集的正確率也有94%左右,說明客戶服務業務中臺資源異常信息診斷和計算能力較好。本文研究方法為提高客戶服務業務中臺資源異常信息診斷提供了新型思路。

5 結束語

對客戶服務業務中臺信息故障進行數據編碼和數據增強,基于經典卷積神經網絡,通過優化激活函數S-ReLU函數使其能對所有負無窮到正無窮的數據進行擬合、增加批量歸一化層增加迭代速度以及在全連接層加入Droupout函數來抑制過擬合問題,最終引入灰狼算法對卷積神經網絡超參數進行啟發式搜索尋優。

由仿真結果可以看出,改進后的卷積神經網絡對于故障判斷的準確率從85%左右提高到94%左右,說明本文設計具有明顯的優勢,具有推廣前景。