跨被試運動想象腦電信號的卷積神經網絡識別方法

魏明樺

（福州職業技術學院信息工程系，福建福州 350108）

0 引言

運動想象（Motor imagery，MI）是基于腦電圖（EEG）的腦接機口（Brain-computer interface，BCI）中的關鍵技術之一，旨在通過被試者自主運動想象過程編碼指令，并通過機器學習和模式識別方法解碼指令，達到繞過肌肉系統從而直接控制外部設備［1］.人類在自主運動想象過程中（如：想象左手、右手、雙腳或舌頭），將會造成大腦對側的電信號節律能量降低，同側電信號節律的能量升高現象，即為事件相關去同步/同步現象（ERD/ERS）［2］.由于不同的MI任務可以產生不同的ERD/ERS 現象，因此對記錄在MI-EEG 中的ERD/ERS 進行分類，即可解碼出被試者的不同運動想象任務，從而進行輔助康復或腦感游戲等應用場景.因此，構建MI-BCI 的關鍵在于對EEG信號的分類與識別［3］.

針對MI-EEG 樣本的識別算法主要包含兩個分支，經典的方法基于信號處理方法，將EEG看作是多維時間序列，通過空域濾波器提取其中的空域特征，并直接使用分類器完成對空域特征的分類.經典的空域濾波器為共同空間模式（Common spatial pattern，CSP）特征［4］.該特征以二分類為目標，通過最優變換保證兩個MI 類別差異最大化，將提取到的CSP 特征輸入至線性判別分析（Linear discriminant analysis，LDA）模型中進行分類，從而完成MI-BCI 的識別過程.在此基礎上，出現了一系列基于CSP 的特征提取方法，包括濾波器組CSP 特征（FBCSP），在空域濾波的同時保證不同頻段［5］；約束CSP 特征（RCSP），在空域濾波的同時添加正則項，約束最優變換過程中的復雜性，提升空域特征性能［6］；復雜CSP特征（CCSP），在空域濾波時考慮時域、頻域多種特征，構建出高性能、高魯棒性的組合特征［7］.

經典空濾波特征提取受限于分類器的瓶頸，近年來，隨著深度神經網絡的發展，另一個MI-EEG 樣本識別的分支為卷積神經網絡（Convolutional neural network，CNN）.卷積神經網絡在計算機視覺、自然語言處理中取得了顯著的成就.文獻［8］最早將CNN 應用至MI-EEG 的識別中，并證明了越簡單的CNN 架構對EEG 的分類效果越好.通過所提出的ShallowNet 顯著提升了，超越了經典的FBCSP 方法.在此基礎上，研究者提出了諸多CNN 變種的算法，用于提升MI-BCI 的分類性能.主要包括：EEGNet 模型［9］首先進行濾波器組預處理后，再將不同頻段的EEG 樣本輸入CNN 進行識別.MMCNN 模型［10］采用多分支結構提取不同時間尺度的MI-EEG特征，其性能比單一尺度的效果更好.

然而，EEG樣本的獲取成本較高，無論是經典的CSP特征提取方法，還是CNN模型方法，都無法應對MI-EEG的非線性、非平穩特性，導致被試間的樣本無法一起使用.針對這個問題，一些研究者采用遷移學習的方法，從樣本級或特征級進行跨被試遷移，從而提升被試間MI-EEG樣本的泛化性，對抗不同被試者采集到的EEG 信號的非線性、非平穩特性.文獻［11］最早將MI-EEG 樣本投影至黎曼空間，并計算黎曼協方差矩陣均值（Riemannian alignment，RA），通過協方差矩陣的均值對齊不同樣本，然后使用最短距離分類跨被試的MI-EEG樣本.由于該方法對齊后的樣本只有協方差特性，無法進一步提取有效特征，同時黎曼空間上的協方差矩陣的均值計算時間復雜度高.為了解決這些問題，文獻［12］提出直接在歐式空間上計算協方差矩陣的均值（Euclidean Alignment，EA），從而提升跨被試MI-EEG 樣本遷移的性能.在此基礎上，文獻［13］首先使用EA 方法對齊MI-EEG 樣本，隨后提取對齊后樣本的CSP 特征，然后采用不同的域對齊方法進一步提升跨被試的MI-EEG識別性能.

實際上，現有的跨被試運動想象腦電識別方法，主要采用傳統的樣本或特征對齊方法，無法借助于深度神經網絡高性能的特點，因此造就了實際MI-BCI 應用時的瓶頸.為了解決這個問題，本文提出一種全新的跨被試運動想象腦電信號的深度神經網絡識別方法.該方法首先使用樣本對齊方法，然后將對齊后的樣本輸入至卷積神經網絡中，利用卷積神經網絡的性能進一步提升MI-EEG樣本識別效果，構建跨被試的MI-BCI應用.

1 跨被試運動想象腦電信號識別方法

1.1 基于協方差質心的跨被試樣本對齊

在MI-EEG 信號跨被試者的遷移學習領域，目前主要存在三個層次的方法，包括樣本級、特征級和模型級.在樣本級遷移學習中，針對各個被試者的MI-EEG 樣本，通過計算樣本集的協方差矩陣來實現跨被試遷移.其中，協方差矩陣質心對齊算法（Covariance matrix centroid alignment，CMCA）是目前最為經典的無監督樣本級遷移方法之一［12］.該方法的基本原理是通過使來自不同被試者的樣本分布更加相似，從而在所有被試者的樣本中訓練出合適的分類模型.由于該方法具有無監督特性，因此可以將針對新被試者的樣本集直接遷移至與訓練集相似的分布，并使用已經訓練好的模型來完成跨被試運動想象任務的識別.

假設來自被試者j的第i個MI-EEG 樣本為sij∈RC*T，其中C為通道數，T為樣本時域采樣點.CMCA方法將EEG樣本看作多維時間序列樣本，首先通過下式計算其協方差矩陣均值：

其中，m表示第j個被試者的樣本數量.Cˉj表示第j個被試者EEG樣本協方差矩陣的算術平均值.平均值的計算可以有多種方式，一般可采用歐式距離、黎曼距離以及對數歐氏距離.我們將獲得的矩陣稱為協方差矩陣質心，并使用該矩陣對各個被試者的樣本分布進行遷移對齊：

1.2 基于卷積神經網絡模型的MI-EEG識別

經過上述的協方差矩陣對齊計算后，每個被試者樣本的協方差矩陣都相同.由于協方差矩陣可以作為MI-EEG 樣本的統計分布，因此可以在所有被試者的樣本上構建卷積神經網絡模型.為了提升CNN 模型的時頻域特性，并降低模型的復雜度，使其能夠應用至在線的MIBCI中，我們選擇EEGNet模型［9］，該模型能夠提取到時頻域特性，保證所提取到的特征泛化性，而其又不會像如今復雜大模型那樣，無法應用至實際的MI-BCI系統.

EEGNet 的網絡結構如圖1 所示.該網絡包含三個卷積層，分別是時域、空域和分離卷積層，以及一個分類層.EEGNet 使用濾波器組將原始EEG 信號劃分為不同的頻帶，同時進行三個卷積層的操作.如圖所示，EEGNet 模型首先采用64*1 的1D 卷積核對時域采樣點進行時域卷積操作，隨后同樣采用C*1的1D卷積核對所有通道進行空域卷積操作.接下來，針對各個特征圖采用16*1 的1D 卷積核進行分離卷積操作，各個頻帶特征提取完成后進行連接；最終，所有頻帶的輸出特征傳遞相連，采用SoftMax給出分類結果.

圖1 EEGNet模型結構Fig.1 EEGNet model structure

針對EEGNet 模型，在訓練過程中將對所有參數進行聯合訓練.在有監督的 EEG 信號模式識別過程中，EEGNet模型的訓練就是找到一個高維映射函數，該函數能夠提取輸入 EEG 信號中特定類別的穩定特征，并將其映射到相應的類別.假設高維映射函數為f(xC*T；ξ) →yk，其中ξ表示待學習的網絡參數，k表示可能存在的輸出標簽類別.在對MI-EEG 的識別中，通過深度神經網絡對給定樣本x提取運動想象的特征圖，并采用SoftMax 函數給出特征圖關于運動想象類別y的條件概率：

深度神經網絡的訓練目標是通過最小化所有訓練樣本的誤差和，以確保測試樣本集能夠最大概率地獲得正確的標簽：

其中，損失函數采用對類別y的負對數似然損失（Negative log likely-hood loss，NLLLoss）：

可采用標簽y的負對數似然估計形式：

1.3 EEGNet模型的訓練設置

在跨被試的運動想象識別時，一般包含多被試者到單被試者的遷移方式，以及單被試者到單被試者的遷移方式.由于本文所構建的方法面向在線的MI-BCI 應用，我們選擇多被試者到單被試者的遷移方式，該方式采用留一個被試者交叉驗證的方式進行模型的訓練和測試.具體地，每次選擇一個被試者作為目標域被試者，將余下的所有被試者作為源域被試者.同時，將源域被試者所有樣本進行訓練，并在目標域被試者上進行測試.這樣一來，針對m個被試者，一共進行m次訓練和測試任務，并將m次測試的平均結果作為最終的識別準確率.

在EEGNet模型的訓練時，采用Adam優化器，同時對于其中存在的卷積層和批量歸一化層的參數采用均勻分布的方式初始化權重.按照常見關于MI-BCI 的CNN 模型訓練設置，將每次訓練的批次數量設置為64，將學習率設置為0.001，并構建了學習率衰減策略，訓練輪數設置為200 次.當訓練遭遇瓶頸時及時降低學習率，并重新調整訓練和測試誤差.同時，為了應對MIEEG 造成的過擬合現象，在訓練過程中添加了dropout=0.5以及early stopping 策略.本文的硬件平臺為：Intel i7-9700CPU，16 GB內存，以及RTX1080 GPU；軟件平臺為：Windows 10操作系統，加上的Python3.7搭配Tensorflow 2.1+Keras2.3.1的深度神經網絡平臺.

2 實驗與結果分析

2.1 實驗數據集

為了驗證所提出方法的可行性與有效性，本文選擇BCI Competition IV 2b數據集進行實驗驗證［14］.該數據集包括五個階段，1-2階段無視覺反饋，各包含120個帶標簽樣本，階段3有視覺反饋，包含160個帶標簽樣本，4-5階段無視覺反饋，各包含160個帶標簽樣本.在本文的實驗中，選擇1-3階段共計400個樣本進行跨被試運動想象識別實驗.在該數據集中一共包含9個被試者，我們采用留一被試交叉法完成實驗驗證.因此，每個跨被試MI-EEG識別實驗中，一共包含400*8=3 200個訓練樣本，400個測試樣本.在EEGNet模型訓練時，按照8：2比例劃分訓練集和驗證集.因此，訓練集包含2 560個樣本，驗證集包含640個樣本，測試集包含400個樣本.

具體運動想象實驗流程如下圖2所示.每次實驗（Trial）開始時，通過聲音提示受試者做好準備.緊接著，屏幕會出現持續2 s的十字架，受試者需要注視十字架以集中注意力.隨后，屏幕會隨機出現提示運動想象的箭頭，持續1.25 s.指示箭頭出現1 s后，受試者開始運動想象，持續3 s.完成運動想象后，會給出大約1 s的隨機休息時間，以便受試者調整狀態并進入下一個實驗（Trial）.

圖2 BCI Competition IV 2b數據集的運動想象實驗流程Fig.2 Experimental flow of motor imagery for the BCI Competition IV 2b dataset

2.2 對比方法

為了驗證所提出方法的可行性與有效性，實驗中選擇近年來流行的跨被試運動想象腦電信號識別方法作為對比，具體如下：

（1）EA-CSP［12］：首先使用EA 方法對齊MI-EEG 樣本，隨后提取樣本的CSP 特征，最后使用LDA 模型完成運動想象分類.

（2）RA-MDM［11］：首先將MI-EEG樣本投影至黎曼空間，然后計算協方差均值并對齊每個樣本，最后在協方差的形態下，計算最短距離作為樣本分類依據.

（3）TS-CORAL［15］：這些方法首先使用EA 方法對齊MI-EEG 樣本，隨后提取樣本的切空間特征，并使用相關對齊（Correlation alignment，CORAL）方法進一步對齊，隨后使用LDA 模型完成運動想象分類.

（4）TS-JDA［16］：這些方法首先使用CMCA 方法對齊MI-EEG 樣本，隨后提取樣本的切空間特征，并使用聯合分布適應（Joint distribution adaptation，JDA）方法進一步對齊，隨后使用LDA模型完成運動想象分類.

2.3 跨被試運動想象分類結果

表1給出了在BCI Competition IV 2b數據集上進行跨被試運動想象腦電信號分類的性能對比結果，其中采用協方差矩陣對數歐式均值進行對齊.從表1 中的結果可以看出，本文構建的方法取得了68.97%的平均準確率，高于所對比的四種方法.在測試過程中，本文采用留一被試交叉驗證法，因此平均值表達出了最終的平均識別結果均高于對比方法，因此取得了更高的跨被試運動想象識別性能.

表1 跨被試者運動想象分類性能對比結果Tab.1 Comparison of classification performance across subjects

表2給出了在BCI Competition IV 2b數據集上進行跨被試運動想象腦電信號分類的效率對比結果.從表2中的結果可以看出，經典方法采用訓練和測試的方式，因此沒有驗證時間消耗，而本文采用EEGNet 模型，在每輪訓練過程中增加驗證過程，因此包含訓練時間復雜度和驗證時間復雜度.相比于傳統的非深度學習方法，EEGNet模型訓練需要較多的迭代次數，因此需要更高的時間復雜度.然而，深度學習模型的優勢在于僅需訓練一次，即可在測試過程中多次使用.對比表2中的測試階段可以發現，本文提出的方法與對比方法在測試時間上差別不大.因此，在實際使用時，本文所提出的方法并沒有效率上的劣勢，但是從表1 中可知該方法具有更高的識別性能.

表2 跨被試者運動想象分類效率對比結果Tab.2 The comparative results of the classification efficiency of motor imagery across subjects

2.4 消融實驗

為了進一步進行本文所提出方法的分析，給出了兩個消融實驗，分別是不同協方差均值對齊的效果對比，以及迭代收斂情況，圖3 給出了本文的消融實驗結果.圖3（a）給出了EA-CSP、RA-MDM 和本文方法在歐式均值、黎曼均值和對數歐式均值上的對比結果.從圖中的結果可以看出，無論是在哪種均值下進行樣本對齊時，本文所提出的方法均能夠獲得更高的性能，同時對數歐式均值對齊方式能夠獲得最高的跨被試運動想象識別性能.

圖3 消融實驗結果Fig.3.Results of the ablation experiment

在迭代收斂情況分析中，選擇B04被試者作為目標域，余下的8個被試者作為源域，將對齊后的MI-EEG樣本訓練EEGNet模型.從圖中的結果可知，經過有限輪數的迭代，訓練誤差和驗證誤差均獲得了不同程度的降低，測試誤差的降低趨勢與訓練誤差和驗證誤差相同.同時，由于本文構建EEGNet 模型時采用了學習率調整策略，每次學習率調整時都需要回調誤差，因此出現不同程度的波動.最終，通過early stopping策略停止了訓練，獲得了誤差最低的最佳模型，用于跨被試運動想象識別的測試.

3 總結

針對運動想象腦電信號分類的性能瓶頸，本文結合協方差均值樣本對齊方法與卷積神經網絡模型，提出了一種新的方法.該方法能夠通過協方差均值對齊降低不同被試者樣本之間的分布差異性，提升MI-EEG 樣本在被試間的泛化性.針對對齊后的樣本，本文構建了能夠提取時頻特征的EEGNet模型，用于跨被試的運動想象分類，該模型吸收了卷積神經網絡的優點.在BCI Competition IV dataset 2b數據集上的實驗結果表明，本文所提出方法能的性能夠超越現有經典方法，在跨被試運動想象腦電分類上取得了最高的性能，同時在測試場景中的時間復雜度與現有方法在相同數量級.今后的工作包含兩部分，其一是尋找性能更高、更簡潔的CNN模型，其二是將所提出的模型應用至在線的MI-BCI中，構建被試間可泛化的腦機接口應用.