基于mRMR 和BiLSTM 的腦電信號情緒識別

朱以帥， 甘良志， 王 順

（江蘇師范大學 電氣工程及自動化學院， 江蘇 徐州 221116）

0 引 言

情感的表達是人類生活的一個重要方面［1］。表情描繪了對事件、人類互動、決策和智能的感知。情緒表達一個人的心理、生理和心理狀態［2］。 人的情緒狀態對人的心理健康有重要影響，通過腦電信號，可以識別這些情緒并對其進行分類［3］。 情緒的概念在幾十年前就已經形成，但至今還沒有得到心理學家認可的標準思想。 研究者將情緒的分類描述為兩種方法：

（1）情緒分成離散的類別；

（2）使用多個維度來識別情緒［4］。 根據喚醒和效價狀態導出的量表可以對情緒進行多維分類［5］。喚醒維度從未喚起到興奮狀態，而效價維度則表現為積極情緒或消極情緒。

腦電信號是一組包含冗余信息的離散時間序列，特征提取的目的是消除冗余，提取最能反映腦電信號本質的特征［6］。 近年來，隨著特征提取方法的發展與完善，單一的特征提取方法已經不能滿足目前的研究需要，研究者們開始提出一些基于組合策略的特征提取方法，如將時頻分析方法與非線性方法相結合，實現更好的識別效果。 Duan 等［7］提出微分熵（Differential Entropy，DE）特征對腦電信號進行情緒識別，識別準確率得到顯著提升；苗敏敏等［8］提出一種新的自適應優化空頻微分熵特征，通過稀疏回歸算法對多重局部空間-頻域內的微分熵特征進行優化選擇；Zhong 等［9］提出用滑動平均技術來平滑短期波動，突出長期趨勢或周期，利用Gamma頻段進行情緒識別。

上述的熵特征值只對小樣本效果顯著，且需要一個匹配的模板，常規微分熵雖然對情緒有較好識別，但其在不同腦電信號頻段中特征不同，且在不同通道電極間特征數不同。 針對以上問題，本文提出了一種基于最小冗余最大相關的多頻段腦電信號特征提取方法，針對腦電信號在不同通道電極間特征數不同，利用最小冗余最大相關性算法自適應選取空點通道集，根據空間導聯電極與特征頻段分布不同，選擇與情緒特性關聯較大的空間電極并提出多頻段融合算法，對提取微分熵特征進行優化；通過提取不同頻段的腦電信號特征，更好的保留具有區分度的關鍵信息，可以有效提高情感腦電識別的精度。

1 特征提取與模型設計

1.1 微分熵特征

微分熵（Differential Entropy，DE）是香農信息熵在連續變量上的推廣形式，式（1）：

其中，p（x） 為連續腦電信號的概率密度函數。

[a，b] 為腦電信號的數據區間。 對于任意長度的一段近似服從高斯分布N（μ，σ2i） 的腦電信號，利用FFT 切片分段后其微分熵如式（2）所示：

由式（2）可知，對于常規腦電信號的微分熵，只需要分析σ2就可以得到其微分熵特征，常規正態分布N（μ，σ2i） 的方差計算如式（3）所示：

通常定義離散信號的頻譜能量p，式（4）：

由式（4）可知在不同頻段腦電信號的方差為該頻段上平均能量值的數倍，即由此可以得出對于某一頻段微分熵特征，如式（5）所示：

由式（5）可知，在頻譜能量計算中i一定的情況下，腦電信號在不同頻段上微分熵為該頻段平均能量值數倍，此時利用微分熵特征可以有效減小在特征提取計算時產生的誤差，從而提高特征提取的精度。

1.2 通道特征提取

空間導聯電極腦電信號包含情緒特征數目具有明顯差異，不同信號頻段情緒特征也不相同，本文自適應選取18 個空間電極導聯處的腦電信號進行分析處理。

結合自適應選取的腦電通道，將腦電信號分解至theta、alpha、beta 、gamma 4 個頻段，分別對每一個頻段內的信號，進行微分熵特征提取。

最小冗余最大相關性（mRMR）是一種濾波式的特征選擇方法，最大化特征與分類變量之間的相關度，可以有效對空間導聯電極間進行互信息交換，尋找有利于情緒識別相關通道電極。 為了提高空間導聯電極相關性對于情緒識別的準確性，本文基于mRMR 對腦電信號通道相關性進行優化。

mRMR 方法的通道集合的相關性由情緒特征與通道電極間的信息增益均值計算得出。 結合不同通道間的特征數量，利用通道電極間的互信息量，求取不同通道間的特征冗余。 互信息量為式（6）：

其中，x，y為隨機數，p（x）、p（y）、p（x，y） 為概率密度函數。

本文用增量搜索方法尋找最優的通道特征集合。 根據已有通道集Sm-1，從剩下的特征X - Sm-1中找到第m個特征，使用mRMR 進行通道特征選擇后，會得到一個重要性排名。

最終結合交叉驗證來選擇結果性能最好的通道集，根據排名對特征子集從高優先級至低優先級逐次交叉驗證測試，選擇結果最好的一組通道集合。通道特征優化條件為式（7）：

根據mRMR 選取通道集后，利用多頻段融合進行特征提取，多頻段融合為4-8 Hz、9-14 Hz、14-24 Hz、25-31 Hz、32-45 Hz，由于beta 頻段產生本文將其分解為high-beta（25-31Hz）和low-beta（14-24Hz）兩部分進行特征提取，可以有效去除特征中冗余信息，提升分類準確性。

本文采用DEAP 數據集32 腦電通道以及由mRMR 選取用于情緒識別18 通道集合，如圖1 所示。

圖1 腦電通道地形圖Fig.1 Topographic map of EEG channel

1.3 模型設計與分析

針對腦電信號特征在時間序列上的特殊性，使用LSTM 可以避免特征丟失等情況發生，可以有效對腦電信號的時間序列上的特征信息進行傳遞分析。

本文采用具有BiLSTM 層的LSTM 模型進行特征訓練，利用正向和反向LSTM 的輸出結合以提供給后續的網絡模塊作為輸入；結合一個雙向循環的LSTM 模型，利用過去的和未來的輸入特征；結合本文特征提取算法進行情緒識別，有效提高識別精確度。

含有雙向循環的LSTM 層可以通過正向和逆向對輸入序列進行特征提取，并將兩個輸出向量進行拼接作為該特征的最終向量表達。 利用BiLSTM 對輸入熵特征進行訓練，使訓練速度更快、訓練效果更好。

BiLSTM 中兩個LSTM 網絡單元是相互獨立的，可以讓模型運行更加穩定。 BiLSTM 模型基本結構如圖2 所示。

圖2 BiLSTM 模型基本結構Fig.2 Basic Structure of BiLSTM model

在第一層Dense 層之后應用一個ReLU 激活函數，將函數的非線性和稀疏性加入LSTM 網絡訓練中，從而得到更加精確的結果。 ReLU 定義如式（8）所示：

本文中情緒分類采用激活函數為Softmax，是常見的歸一化函數，與交叉熵損失函數一起使用，可以達到很好的分類效果。 因此在最后的1 個Dense 層使用Softmax 函數，其定義如式（9）所示。

本文提出的情緒識別BiLSTM 模型體系結構如圖3 所示，用于特征分類的結構包括1 個BiLSTM層、4 個LSTM 層和2 個Dense 層。 合理設置參數可以達到更好的使用效果，其基本設置見表1。

表1 LSTM 層基本設置Tab.1 Basic settings of LSTM layer

圖3 情緒識別模型基本結構Fig.3 Basic structure of emotion recognition model

對于4 層LSTM 層每層Dropout 設置為0.5，選擇控制輸入線性變換的神經元斷開比例，在訓練過程中可以有效避免過擬合情況產生。

4 層LSTM 層神經元個數units 分別設置為128、64、64、32，合理遞減每層神經元個數，可以充分對輸入特征進行降維，最終利用Dense 層進行分類。

2 實驗數據預處理

DEAP（Database for Emotion Analysis using Physi-ological Signals） 數據集包含32 組腦電數據，由16名男性數據和16 名女性數據構成，保證進行數據采集過程中每人身體狀況都處在健康狀態［10］。 利用32 個傳感器在每個人不同腦區進行信號采集，腦電信號采集過程中，讓每位實驗者分別觀看時間為60 s的40 段不同視頻，針對去除眼電信號等干擾，并將原始數據降采樣至128 Hz。

研究表明，腦電的主要頻段delta （1-3 Hz）、theta（4-7 Hz）、alpha （8-12 Hz）、beta（13-30 Hz）和gamma（31-45 Hz）等5 個節律與人的生理活動有著密切的聯系，并發現在不同頻帶內包含不同比例的情緒特征［11］。

本文利用快速傅里葉變換（Fast Fourier Transform， FFT）對原始腦電信號進行預處理及切片操作，分頻段進行腦電信號分析和特征提取。

DEAP 數據集中，每個通道的腦電信號都由40種不同情緒腦電信號組合而成，為防止在特征提取過程中產出過度的特征冗余，對腦電信號進行數據切片。 如圖4 所示腦電信號單通道數據構成為1*40*8 064（40 min 數據）個數據點，首先將其分解成40 個1*8 064 的數據段，針對每段信號前3 s 都會有靜默階段，剔除掉前3 s（384 個數據點）的基線信號，將剩余60 s 腦電信號切片分為30 個2 s（256 個數據點）的信號進行FFT，將其分解為theta、alpha、beta 和gamma 這4 個頻段上的頻域信號，可以達到最好的特征提取效果。

圖4 FFT 數據切片流程Fig.4 FFT data slicing process

3 實驗與分析

實驗進行多次分類驗證并計算分類均值用來評估情緒分類過程中采用不同頻段特征對分類準確率的影響，分別對Arousal 和Valence 兩種特征進行分類驗證，不通頻段特征分類準確率見表2 和表3。

表2 不同頻段特征分類準確率對比（Arousal）Tab.2 Comparison of feature classification accuracy in different frequency bands （Arousal）

表3 不同頻段特征分類準確率對比（Valence）Tab.3 Comparison of feature classification accuracy in different frequency bands （Valence）

特征提取均采用設定的18 導聯集合，分析了beta、gamma 和多頻段融合共3 個頻段，其中多頻段融合為4-8 Hz、9-14 Hz、14-24 Hz、25-31 Hz、32-45 Hz。 從表2 和表3 可知，多頻段融合后利用mRMR 改進的熵特征分類效果優于常規beta 頻段和gamma 頻段特征，使用BiLSTM 網絡模型，利用多頻段特征融合后分類正確率也遠高于單頻段的特征分類。

與常規32 通道導聯的識別方法進行對比，本文選取與情緒相關性較大的18 通道導聯集合在特征提取及情緒分類方面有更高的準確率。

為了全方位評估本文提出算法，將本文提出mRMR 通道特征選取算法與常見微分熵特征和差分不對稱熵特征算法進行對比實驗，結果見表4，可見本文引入的BiLSTM 網絡模型結構，對比常見算法在情緒識別準確率方面有了明顯提升。

表4 算法分類準確率對比（Arousal）Tab.4 Comparison of algorithm classification accuracy （Arousal）

4 結束語

針對現有情感腦電特征提取算法存在特征冗余及對相關通道電極特征分類不明確的情況，本文提出了基于mRMR 優化通道的熵特征提取并用于情緒分類，同時根據空間導聯重要性進行通道電極選擇。 本 文 使 用DEAP 數 據 集， 針 對Arousal 和Valence 兩種不同情緒模式進行分析研究，實驗結果表明本文采用的基于mRMR 消除冗余改進微分熵特征在Arousal 和Valence 兩種情緒模式下達到了96.23%和93.16%的識別準確率，高于單個頻段的識別準確率。 此外，本文在常規LSTM 網絡中引入BiLSTM 層，輸入情緒特征訓練速度更快、更加穩定。未來可以聯合腦電通道間影響進行時-空-頻域融合算法研究，進一步提高分類準確率。