基于深度卷積網絡的運動想象腦電信號模式識別

霍首君，郝 琰，石慧宇，董艷清，曹 銳

（太原理工大學軟件學院，山西晉中 030600）

0 引言

腦機接口（Brain-Computer Interface，BCI）是不依賴于肌肉組織和外圍神經，在大腦與外部電子設備之間建立的一種新型信息傳輸通道的裝置。頭皮腦電信號（ElectroEncephaloGram，EEG）因其具有較高的時間分辨率、較好的便攜性以及非侵入式的優勢，現已成為解碼大腦認知活動最有效的數據來源之一?；贓EG 的運動想象腦機接口（Motor Imagery Brain-Computer Interface，MI-BCI）屬于自發型腦機接口類別，其目的在于準確地辨認出用戶的肢體運動意圖，常見的包括左手、右手、雙腳以及舌頭運動的想象［1-2］，這對于醫療康復［3］、休閑娛樂［4］等領域具有重要意義。

運動想象腦電信號識別任務的傳統研究方法首先需要對EEG 信號進行預處理，隨后選擇合適的方法提取不同認知狀態下的腦電特征并挑選出最具識別性的特征子集［5-6］，最后通過機器學習方法完成對運動想象腦電信號的識別工作。比如Kevric 等［7］利用小波包分解子帶中提取的高階統計特征結合多尺度主成成分分析（Multiscale Principal Component Analysis，MSPCA）的降噪方法，在BCI Competition ⅢdatasetⅣa 數據集上得到了92.8%的平均識別準確率。Baig 等［8］首先利用公共空間模式（Common Spatial Pattern，CSP）算法提取出左右手運動想象狀態下的特征集合，然后使用差分進化的優化算法提取各個被試的最優特征子集，最后送入支持向量機（Support Vector Machine，SVM）中構建分類模型，在BCI Competition Ⅲdataset Ⅳa數據集上得到了95%以上的平均分類準確率。傳統的機器學習和統計方法面對復雜且往往是非結構化的數據時常常要求一定的特征工程能力，以提取更為有效的特征或者選擇更加合適的模型參數，而深度學習可以訓練出更抽象也更有效的特征來完成端到端［9］的學習任務。

近年來深度學習方法在機器視覺［10-11］和語音識別［12-13］等領域取得了巨大成功，證明深度學習方法可以很好地找出高維數據中隱藏的復雜結構。Tabar 等［14］利用短時傅里葉變換（Short-Time Fourier Transform，STFT）提取出各通道中μ 和β節律的時頻信息，并將它們組合成2D 信息作為網絡的輸入，該網絡是由卷積神經網絡（Convolutional Neural Network，CNN）和堆棧自編碼器（Stacked AutoEncoder，SAE）相結合形成的深層網絡，并通過SAE 對CNN 提取到的特征進行分類，所提出的方法在BCI Competition Ⅳdataset 2b 數據集上的Kappa 值為0.547，相較于競賽第一名有9%的改進。Tang等［15］提出了一種新型卷積神經網絡用于運動想象EEG 的模式識別，該網絡設置了2 層卷積層分別負責提取信號序列中的空間域特征和時間域特征。該文中使用的數據源自浙江大學自行設計的運動想象實驗，每個被試執行左、右手運動想象任務各230 次，實驗結果表明使用本文提出的新型CNN 方法可以獲得比傳統方法更高的分類精度。

綜上所述：1）卷積神經網絡避免了復雜的特征提取過程，且因其具有權值共享和稀疏連接等特性［16］，有效地降低了模型的復雜程度，因此，本文考慮將卷積神經網絡引入到運動想象腦電信號的識別任務當中。2）以經驗風險最小化原則［17］（Empirical Risk Minimization，ERM）作為學習規則的網絡模型，鼓勵網絡記憶而不是泛化訓練數據，特別是當網絡在處理小樣本問題時，僅從模型結構上做調整來避免過擬合往往是不夠的，還需要在數據層面作進一步處理。3）深層的網絡模型會構成一個龐大的超參數集合，一直以來由于缺乏求解超參集最優組合的理論支撐以及足夠窮舉所有組合的計算資源，因此需要根據訓練樣本的特性從不同的角度對超參數的組合進行嘗試，以求達到最優的泛化效果。

1 數據準備和分類方法

1.1 數據集

本文選用BCI Competition Ⅱdataset Ⅲ運動想象數據集，該數據集記錄了一位正常女性被試共280 次隨機的左右手運動想象實驗，以隨機的方式挑選出140 次實驗作為訓練集，剩余的140 次實驗作為測試集，其中訓練集包括70 次左手想象和70 次右手想象。整個采集過程以128 Hz 采樣頻率記錄腦電信號，并進行0.5～30 Hz帶通濾波。數據采集過程中每單次實驗的時間流程如圖1所示。

圖1 單次運動想象任務時序圖Fig.1 Sequence diagram of single motor imagery task

每次實驗持續時間共9 s，實驗開始之后會有2 s 準備時間，在第3 秒開始時會有短暫的聲音提示被試即將執行運動想象任務，同時屏幕顯示一個交叉十字“+”持續時間為1 s，從第4 秒開始屏幕會出現一個箭頭，被試通過運動想象拖動反饋條向箭頭指示方向移動，并保持至第9秒結束。

1.2 數據預處理

人在進行肢體運動想象時大腦的運動感覺皮層中的特定位置會發生規律性的電位變化［18］，當被試進行單側肢體運動想象時，大腦對側皮層中μ 節律（8～12 Hz）的強度減小，同側皮層中β 節律（12～25 Hz）的強度增加，稱為事件相關去同步（Event Related Desynchronization，ERD）和事件相關同步（Event Related Synchronization，ERS）現象［19］。這兩種現象是判別不同類型腦電信號的重要依據，其中時頻域分析法是最為高效的分析方法之一［20］。

1.2.1 短時距傅里葉變換

短時距傅里葉變換先將整段時間序列切分成若干等長的時間片段，再通過傅里葉變換計算出各個時間片段當中的頻譜信息，從而獲得各頻率成分關于時間的變化。其計算公式如下：

其中：S(n)代表腦電信號的時間序列；W(n)表窗口函數；N代表記錄的時間點總數；k表示不同時間窗的索引；f代表信號中的頻率成分；n代表時間點。公式中要求劃分的時間窗口長度相同，決定了該算法在測量高頻成分時表現良好，而在測量低頻成分時往往會伴有失真現象。為有效測量信號中μ節律和β 節律的變化趨勢，本文選用長度為0.5 s 的時間窗口配合Hamming 窗口函數得到的時頻矩陣如圖2 所示。最后將C3、C4 兩個通道上的時頻矩陣進行組合，得到33×35×2 大小的三維張量作為后續卷積神經網絡的輸入。

1.2.2 連續Morlet小波變換

Morlet 小波變換屬于連續型小波變換（Continuous Wavelet Transform，CWT），它以有限長度且會衰減的小波作為基底來測量信號中各個頻率成分強度隨時間的變化，其公式如下：

其中：x(t)代表信號序列；ψ(t)代表小波基底；t代表時間點；參數a控制小波函數的伸縮，當a從小到大取值時，小波函數逐漸變寬，于是可以更好地對低頻成分作出測量，并且通過對參數b的調整控制小波函數的平移進而得到不同時域位置上各個頻帶的強度信息。Morlet 小波中心時間和時域跨度的計算公式如下：

其中：Ψ(ω)是ψ(t)經過傅里葉變換以后得到的頻率成分信息。由式（3）～（7）可知，小波變換在測量高頻成分時，由于使用的小波較窄，可以獲得較小的時域跨度，但相應地會使頻域跨度變大，因此在輸出的時頻矩陣中，高頻部分頻率維度的解析度相對偏低，低頻部分則正好相反。本文使用Morlet 小波變換得到的結果如圖3 所示。同樣地，將C3、C4 通道位置信息進行整合，得到大小為35×1 152×2 的樣本矩陣作為神經網絡的輸入。

圖2 STFT運動想象時頻圖Fig.2 STFT motor imagery time-frequency map

圖3 CWT運動想象時頻圖Fig.3 CWT motor imagery time-frequency map

2 卷積神經網絡的構建

2.1 網絡拓撲結構

為了能夠訓練出同時間、頻率和空間三個維度均相關的高階特征，構建出的CNN 模型如圖4 所示。為方便后續討論稱該網絡為MixedCNN。

具體的拓撲描述如下：

Input輸入層接收的樣本尺寸為F×T×C。

C1 卷積層使用的卷積核大小為3×3×2，經該層卷積運算后共向外輸出64個特征矩陣。

C2 卷積層使用的卷積核大小為3×3×64，并向后輸出64個特征矩陣。

Pool 池化層用于對C2 層的輸出進行降采樣操作以縮減模型的計算規模，池化窗口大小為2×2。

FC1 和FC2 全連接層分別包含600 和300 個神經元，為避免出現過擬合現象，引入50%的Dropout 策略，使用的激活函數為ReLu。

Output層僅共包含2個神經元，代表網絡的2類輸出結果（左手運動想象、右手運動想象）。

為了避免在同一個卷積核內混入不同維度的信息，本文另外設計了一套可以依次對空、時、頻三個維度的特征進行提取的網絡模型如圖5 所示。為方便后續討論將該網絡記作StepByStepCNN。

具體的網絡拓撲描述如下：

Input輸入層接收的樣本尺寸為F×T×C。

C1卷積層使用大小為1×1×2的卷積核對C3、C4通道的空間信息進行整合，并向后層輸出4個特征矩陣。

C2卷積層針對C1層輸出的每一個特征矩陣設計了16個大小為F×1的卷積核以提取其頻域特征，

共得到64個1×T大小的特征矩陣。

C3 卷積層使用16 個大小為1×6 的卷積核對輸入的每張特征矩陣進行時域上的特征提取。

FC1 和FC2 分別包含500 個和200 個神經元，激活函數選用ReLU，且引入了50%的Dropout 機制并最終配合輸出層完成對樣本的識別工作。

Output層僅共包含2個神經元，代表網絡的2類輸出結果（左手運動想象、右手運動想象）。

為方便后續討論將該網絡記作StepByStepCNN。

圖4 MixedCNN拓撲結構Fig.4 MixedCNN topology structure

圖5 StepByStepCNN拓撲結構Fig.5 StepByStepCNN topology structure

2.2 CNN的學習過程

在MixingCNN 網絡中將F×T×C的輸入張量記作a(0)，網絡中各層的計算描述如下：

Convolution1：對輸入張量執行卷積操作。

其中：上標代表層數；下標s和i分別代表該卷積層內卷積核的個數和卷積操作執行的次數分別表示第s個卷積核的權重和偏置均為3×3×2 大小的矩陣；f(x)選擇ReLU 激活函數，輸出的每個特征矩陣的維度為F×T。

Convolution2：對C1層的輸出數據進行卷積計算：

Pool1：對C2的輸出執行最大池化操作，最大子采樣函數取區域內所有輸出的最大值（max-pooling），輸出矩陣的大小npool可以由式（12）計算：

其中：n為特征矩陣的原始尺寸；p為邊緣填充數量；f為池化窗口的大??；s代表步長；池化層的輸出記為a(3)。

FC1：該層中每一個神經元均與前一層所有神經元相連接，負責對訓練得到的特征進行分類。

其中：p(4)為Dropout 比例，且該操作僅在訓練過程中執行［21］；分別代表輸入權重和偏置。

FC2：由于深層結構的網絡比相同神經元數量的淺層網絡具有更好的表達非線性關系的能力，為此增加了FC2 全連接層，其計算過程和FC1完全相同：

同樣地，在StepByStepCNN網絡中將輸入張量記作a(0)，網絡中各層的計算描述如下：

Convolution1：對輸入張量做空間域卷積，

為確保上述兩種網絡可以得到有效的訓練，采用在期望為0，方差為2/nl正態分布中隨機采樣的方式對各層神經元的權重進行初始化，其中nl為第l層神經元的個數，以避免損失函數全程不下降問題。網絡采用帶有動量的梯度下降算法對損失函數進行優化，學習率設置為0.001，最大迭代次數設置為300。

2.3 分類

本文根據EEG 信號的時-頻-空特性，設計了兩種不同卷積策略的網絡模型；然后將STFT 和CWT 預處理得到的樣本分別放入MixedCNN 和StepByStepCNN 進行訓練，最終得到四組模型；接著，使用準確率、精確率、靈敏度、特異性以及ROC曲線下面積（Area Under Curve，AUC）對其進行評估，并同時與CSP+SVM［22］、自適應自回歸模型（Adaptive Autoregressive Modeling，AAR）+LDA［23］、離散小波變換（Discrete Wavelet Transform，DWT）+長短時記憶網絡（Long Short-Term Memory，LSTM［24］）和STFT+SAE［14］四種方法相比較；最后，挑選出識別性能最佳的模型并以此作為baseline 探討mixup 數據增強對模型泛化性能的影響。

3 mixup數據增強

不同于翻轉、平移、高斯噪聲等通用數據增強方法，mixup［25］采用對不同類別之間進行建模的方式實現數據增強。mixup 數據增強受鄰域風險最小化策略［26］啟發構建出一種通用的鄰域分布來近似真實分布，不同于Chapelle 等［26］提出的高斯鄰域，mixup鄰域的數學表示如下：

其中：λ～Beta(α，α)，α∈(0，∞)；mixup 使用從該鄰域采樣得到的虛擬樣本-標簽對構成新的訓練數據，并以最小化式（28）對網絡參數進行調整。

其中：f()表示模型函數；?()表示損失函數；m表示虛擬樣本的數量。Zhang 等［25］指出當α在區間［0.1，0.4］內取值時可以獲得比ERM學習規則更好的泛化性能。在實驗中將超參數α分別設置為0.1、0.2、0.3、0.4 并在每個batch 范圍內將訓練數據和標簽分別做加權求和組成新的虛擬樣本集合。在損失函數構建方面，需要將輸出的預測值分別與兩組標簽求出損失，并與之前真實樣本分配的權重進行加權求和。

4 實驗與結果分析

4.1 模型分析及對比

本文提出的4 種分類模型：CWT+MixedCNN、CWT+StepByStepCNN、STFT+MixedCNN、STFT+StepByStepCNN 在測試集上計算出的評價指標如表1所示。

表1 實驗組模型的評價指標Tab.1 Evaluation indeces of models in experimental group

對于當前被試的運動想象腦電數據，在相同預處理方式下，選擇MixedCNN 比選擇StepByStepCNN 訓練出的分類模型具有更好的識別準確率，且使用CWT 預處理方法配合MixedCNN 訓練得到的模型準確率最高，達到了92.14%。另一方面，相較于CWT，STFT 預處理方法得到的樣本在StepByStepCNN 上訓練出的模型在準確率指標上更好。在使用相同卷積網絡模型的前提下，采用STFT預處理方式得到的模型在精確率指標上表現更加突出。STFT+MixedCNN 和CWT+StepByStepCNN 兩種方案在靈敏度指標上保持一致，CWT 配合MixedCNN 方法在靈敏度指標上相較于其他3 種方法至少提升了超過4 個百分點。在采用相同卷積策略的條件下，預處理方式選擇STFT 相較于CWT 訓練出的模型在特異性指標上表現更好，其中采用STFT+StepByStepCNN 方案所得到的特異性指標最高，達到了95.71%。最后，采用MixedCNN結構的網絡訓練出的模型在AUC 指標上略優于StepByStepCNN訓練出的模型。

為與以上方法相比較，本文在BCI Competition ⅡdatasetⅢ數據集合上復現了另外4 種分析方法（CSP+SVM、AAR+LDA、DWT+LSTM、STFT+SAE），并在測試集上得到其評價指標如表2 所示。其中STFT+SVM 方法在準確率指標上高于本文提出的CWT+StepByStepCNN、STFT+MixedCNN、STFT+StepByStepCNN 方法，以及另外3 種對比方法。在特異性指標上STFT+SAE 方法和STFT+StepByStepCNN 方法保持一致，且在精確率指標上高于STFT+StepByStepCNN 方法。CWT+MixedCNN 方法在準確率、靈敏度和AUC 三種指標上分別高出STFT+SAE 方法0.71個百分點，4.29個百分點和0.69個百分點。

表2 對照組模型的評價指標Tab.2 Evaluation indeces of models in control group

4.2 mixup數據增強分析

本文選用準確率最高的CWT+MixedCNN 方法作為mixup數據增強策略的baseline，其訓練損失和測試損失如圖6 所示，當迭代訓練達到500 次左右時模型基本處于收斂狀態，此后驗證損失保持在0.6左右上下浮動。

圖6 CWT+MixingCNN 損失曲線Fig.6 Loss curves of CWT+MixedCNN

樣本經mixup 數據增強處理之后，送入MixedCNN 訓練過程中模型在測試集上的損失曲線如圖7所示。當α=0.1、0.2、0.4時其測試損失相較于baseline 均無明顯改善；當α=0.3，且模型處收斂狀態時，測試損失穩定在0.5 上下，相較于baseline降低了0.1左右。

圖7 四種α取值下的模型測試損失Fig.7 Model test loss under four α values

α取值對模型準確率的影響如表3 所示，當α=0.1、0.2時，相較于baseline 方法準確率降低了0.71 個百分點；當α=0.3、0.4 時，模型的準確率分別提高了1.43 個百分點和0.71個百分點。

表3 α對模型準確率的影響Tab.3 Influence of α on accuracy

5 結語

本文創新性地將深度學習框架引入對運動想象EEG 信號的識別任務當中。首先，利用STFT 和CWT 獲得EEG 信號的時頻信息，并將其與電極通道的位置信息相結合構成樣本數據，然后針對所構建樣本數據的特性分別設計了兩種基于不同卷積策略的CNN，并在10折交叉驗證過程中完成最優超參數的選擇。其次，在Competition Ⅱdataset Ⅲ數據集上分別建立了4組實驗組分類模型和4組對照組分類模型，測試結果表明，本文所提出的所有方法相較于CSP+SVM、AAR+LDA、DWT+LSTM 有了明顯的改善，且CWT+MixedCNN 方法在準確率、靈敏度、AUC 指標上均高于STFT+SAE，體現了更好的分類性能。最后，為進一步提高模型的泛化能力，在CWT+MixedCNN 方法上引入了mixup 數據增強策略，通過對比實驗發現，當α取值為0.3 時mixup 策略顯著降低了模型的測試損失并將模型的準確率指標提升了1.43 個百分點。本文所做工作驗證了深度卷積神經網絡和mixup 數據增強策略在運動想象腦電信號識別任務當中的有效性，可為運動想象腦機接口的應用提供方法和思路上的參考。