多模型融合的時空特征運動想象腦電解碼方法

凌六一 ,李衛校 ,馮 彬,2

（1.安徽理工大學電氣與信息工程學院，淮南，232001；2.安徽理工大學人工智能學院，淮南，232001）

腦機接口（Brain Computer Interface，BCI）是在人腦與計算機或其他電子設備之間建立的直接交流和控制通道.BCI 作為一種新型尖端技術，有改變世界的潛力且已應用在醫療領域中，能夠輔助上下肢功能障礙的患者進行康復訓練［1］.

腦電圖（Electroencephalography，EEG）是一種記錄腦電活動的非入侵方式，能夠捕獲頭皮表面腦電的二維數據.EEG 能夠以無損人體健康的方式采集，具有表征受試者真實意圖的潛力.運動想象（Motor Imagery，MI）是想象人體某軀干部分的運動而非人體軀干實際運動的意識.運動想象腦電圖（Motor Imagery Electroencephalogram，MI-EEG）是一種無須外部刺激且能自我調節的腦電圖，可以通過電極通道檢測，是一種多維的長時間序列點.MI-EEG 的低信噪比、非穩定性和生理偽跡干擾等特點影響MI-EEG 的解碼，對BCI的應用帶來巨大挑戰.因此，從MI-EEG 中提取特征以區分不同想象動作的解碼方法是BCI 技術中不可缺少的事項.許多機器學習和深度學習方法已經應用了MI-EEG 的解碼，去解決MI-EEG的分類問題.傳統的機器學習方法需要依賴專家知識來進行特征提取，而深度學習能夠從原始的腦電數據中學習關鍵和潛在的特征，不需要過度依賴專家知識提取特征.以深度學習的方法來對MI-EEG 解碼，通常分為特征輸入和非特征輸入.特征輸入通常使用共空間模式濾波［2］、獨立成分分析［3］、短時傅里葉變化和小波變換［4］等具有專家知識的技巧來對原始MI-EEG 進行預處理，將處理后的MI-EEG 作為網絡的輸入；非特征輸入僅使用原始的MI-EEG 作為網絡輸入.用于MIEEG 的深度學習常用結構包括卷積神經網絡（Convolutional Neural Networks，CNN）［5］，時間卷積網絡（Temporal Convolutional Networks，TCN）［6-7］和transformer 系列等網絡［8-9］.與傳統的機器 學習方法相比，使用深度學習作為MI-EEG 的解碼方法，能夠以更少的專家知識達到較好的解碼性能.Lawhern et al［5］提出一種緊湊的卷積神經網絡EEGNet，使用深度卷積和深度可分離卷積來對MI-EEG 進行解碼，EEGNet 的提出為MI-EEG 的解碼提供了一個很好的思路.Ingolfsson et al［7］提出EEG-TCNet，在EEGNet 的基礎上加入TCN網絡結構［6］，能夠提升MI-EEG 的解碼準確度，同時EEG-TCNet 的設計使用較少的參數量，能夠在資源有限的邊緣設備部署.Salami et al［10］提出的EEG-ITCNet 是在EEG-TCNet 的基礎上加入Inception 網絡結構［11］，認為Inception 可以高效 地處理小量的數據集，通過不同卷積核大小，提取不同頻率上的時間特征，且使用不同大小的卷積核對MI-EEG 的解碼提供了可解釋性.Altuwaijri et al［12］提 出MBEEGSE，結 合EEGNet 和Inception網絡結構，并在此基礎上加入輕量級的SENet［13］，能夠明確電極通道之間的相互依賴關系，自適應地改變電極通道之間的響應.Zhang et al［14］提出一種基于圖的卷積遞歸注意模型G-CRAM，以探索不同受試者的腦電特征，將電極通道的結點信息嵌入到卷積神經網絡中，對MI-EEG 進行解碼.Altaheri et al［9］提 出ATCNet，在EEGNet 和TCN 網絡基礎上加上multi-head attention 來突出MI-EEG 中最有價值的特征，并采用基于卷積的滑動窗口來增強MI-EEG 的解碼，能夠進一步提升MI-EEG 的解碼準確度.上述研究為EEG 的解碼開拓了新的研究路線，同時也為以后EEG 的解碼提供了研究方向，但仍存在以下問題：傳統的解碼方法過度依賴專家知識和單一模型的解碼方法無法充分發掘腦電信號的潛在信息，導致MIEEG 的解碼精度低，限制了BCI 的廣泛應用.針對上述問題，本文提出一種多模型融合的時空特征運動想象腦電解碼方法（Multi-model Fusion Temporal-spatial Feature Motor Imagery Electroencephalogram Decoding Method，MMFTSF），主要創新性如下：（1）為了不過度依賴專家知識，僅對MI-EEG 進行數值上的預處理；（2）使用多模型融合的網絡結構能夠提取MI-EEG 不同維度的信息特征；（3）為了充分挖掘多頻段腦電信號之間的相關性，嵌入概率稀疏注意力機制使網絡自適應地關注與MI 任務相關頻段的特征.

1 解碼方法

提出的MMFTSF 由六個模塊組合：時空卷積網絡（Temporal -spatial Convolutional Networks，TSCN）、多頭概率稀疏注意力（Multi-head ProbSparse Self-attention，MPS）、時間卷積網絡（Temporal Convolutional Networks，TCN）和 全連接層（Fully Connected Layer，FC），并使用基于卷積的滑動窗口（Convolutional-based Sliding Window，SW）和空間信息增強（Spatial Information Enhancement，SIE）來進一步提升解碼準確度.

網絡整體結構如圖1 所示，其中，Channels 表示電極通道數，Time points 表示MI-EEG 的時間采樣點信息，LN 表示層歸一化（Layer Normalization，LN），#W windows 表示使用W個滑動窗口.將MI-EEG 傳入到TSCN，使用三種不同的卷積分別對MI-EEG 的時間、通道和空間進行淺層特征提取，輸出具有高維特征的MI-EEG；SW 用來分割MI-EEG，并對每個分割后的MI-EEG 進行LN 操作；使用MPS 注意力機制來關注MI-EEG中最有價值的特征；使用SIE 增強網絡空間信息表征能力；TCN 用來提取MI-EEG 中的深層維度特征；最后將經過不同滑動窗口處理后的MIEEG 進行Average，再使用帶有softmax 分類器的全連接層FC 進行分類.

圖1 網絡整體結構Fig.1 Overall network structure

1.1 TSCN 模塊TSCN 模塊的設計與EEGNet的網絡結構相似，能夠實現對MI-EEG 淺層時空特征的提取.

將預處理后的腦電數據傳入到時空卷積網絡TSCN，如圖2 所示，將輸入的MI-EEG 信號X1∈RC×L擴展維度為X2∈R1×C×L，以圖的形式傳入網絡結構，其中，C為每次實驗的電極通道數，L為每次實驗的采樣點數.將X2傳入F1個卷積核大小為(1，Kc)的時間卷積層（Temporal Conv），同時保持輸入輸出時間維度不變，用于對MI-EEG 時間維度進行濾波，提取淺層時間維度特征，再傳入到批歸一化層（Batch Normalization，BN）來加速網絡訓練.之后，將特征圖傳入到深度為D，卷積核大小為(C，1)的二維深度卷積（Channel DW Conv），提取MI-EEG 不同電極通道間的特征，再經過BN 層加速網絡收斂和指數線性單位（Exponential Linear Unit，ELU）激活函數增強網絡的非線性擬合能力.將特征圖傳入大小為(1，P1)的平均池化層（Average Pooling Layer，Avg.Pool）來降維，再將特征圖傳入F2個卷積核大小為(1，K2)的二維空間卷積（Spatial Conv）來進行時間和通道兩個維度的特征融合，再經過BN 層和ELU 激活函數.為了進一步減少特征維度，最后將特征圖傳入大小為(1，P2)的Avg.Pool.經過TSCN 塊之后，MI-EEG 的輸出維度為X3∈RF2×Tc，其中，Tc=L/P1/P2.輸出特征圖中每個數值都包含原始MI-EEG 的C×P1×P2采樣點信息.

圖2 時空卷積網絡Fig.2 Temporal-spatial convolutional networks

1.2 SWSW 是基于對腦電信號分割預處理的思想，通過對原始信號進行分割來彌補數據不足的缺陷，同時使用SW 也是對MI-EEG 部分信號的恒等變換.使用基于卷積的滑動窗口能夠提升MI-EEG 的解碼，并且，在實施過程中不會增加權重參數，只需使用一個不進行卷積操作的滑動窗口就可以實現對MI-EEG 的分割和恒等變換.

將TSCN 塊的輸出特征圖X3在時間維度上使用一個長度為Tw，步長為1 的卷積滑動窗口SW 進行切分，假設滑動窗口的數量為W，相對應的Tw應滿足Tw=Tc-W+1，經過SW 輸出的特征圖X4∈RF2×Tw，在下文會通過實驗證明使用一個合適的滑動窗口能夠有效增加MI-EEG 的解碼準確度.將SW 輸出的特征圖X4傳入到LN 對時間序列長度Tw進行層歸一化處理得到特征圖X5∈RF2×Tw.

1.3 MPS 模塊為了模仿人能夠在眼球視角范圍內聚焦在關鍵的區域，在設計解碼方法過程中，需要對不同區域的特征設置不同的權重系數來擬合對不同區域的重視程度.在深度學習中，網絡模型能夠自適應地調整不同區域的權重系數稱為注意力機制.對于MI-EEG 的時間序列，本身包含不同頻段的時間特征，對不同的頻段采用相同的關注程度會降低對腦電信號的解碼性能，使用注意力機制能夠使網絡自適應地關注與MI 相關的頻段特征.在本次實驗過程中采用的注意力機制為Informer［15］中的多頭概率稀疏注意力機制MPS，MPS 的提出主要是為了解決使用transform［8］中Muti-head Attention 存在計算成本高和對時間序列問題預測能力較弱的問題.

將輸入數據X5經過三個不同的權重矩陣Wq，Wk，Wv產生相應的查詢（Query）向量Q∈Rd×Tw、鍵（Key）向量K∈Rd×Tw和值（Value）向量V∈Rd×Tw.qi，ki，vi分別代表Q，K，V中的第i行向量，d表示每個headi的維度.概率稀疏自注意力機制如圖3 所示，隨機采樣S1個ki向量組成K1，其中S1=min(ceil(M×lnTw)，Tw)，M決定了S1的值，表示從向量K中選擇行向量的個數；計算每 個qi向量 與K1矩陣的稀疏性M(qi，K)得分，M 表示每個qi向量與K1矩陣產生注意力的函數.

圖3 概率稀疏自注意力機制Fig.3 Probsparse self-attention mechanism

選擇稀疏性得分最高的S2個qi組成矩陣Q1，對應的索引為 Index，其中，S2=min(ceil(N×lnTw)，Tw)；將V矩陣在時間序 列維度上取平均組成矩陣V1，V1矩陣的計算只在Index 部分進行；計算出每個headi的Attention；將每個headi進行拼接，再通過權重矩陣映射輸出X6∈RF2×Tw.上述過程如式（1）～（7）所示.

1.4 SIE 模塊在實驗過程中，使用注意力機制自適應調整權重系數的網絡模型往往關注不同空間區域的信息特征，但對通道信息和通道與空間之間的信息具有較弱的表征能力，因此，在使用注意力機制的網絡模型中需要加上一個能增強網絡空間信息表征能力的網絡模型.

將MPS 輸出的特征圖X6進行信息增強，SIE是由卷積核大小為Kk的一維卷積、BN 和ELU 激活函數實現，輸出X7∈RF2×Tw.

將特征圖X5經過多頭概率稀疏自注意力機制和空間信息增強SIE 處理生成的特征圖X7進行相加操作，得到X8來作為TCN 模塊的輸入.

1.5 TCN 模塊TCN 模塊的設計包含兩個殘差塊，與TCNet 的網絡結構相似，將TCNet 的ReLU 激活函數改為ELU 激活函數.每個殘差塊都有兩個擴張因果卷積（Dilated Causal Conv，DCC），每個DCC 后都加入BN 層和ELU 激活函數.擴張因果卷積的提出是為了滿足時序問題中某一時刻的輸出只依賴于當前和歷史時刻輸入的需求，同時使用擴張因果卷積能夠實現指數級增加感受野（Receptive Field Size，RFS）.

其中，KT是擴張因果卷積的大小，L表示堆疊殘層數.為了利用所有的序列點，KT和L的選擇，應滿足RFS≥Tw.

TCN 的結構如圖4 所示，特征圖X8經過兩個殘差連接的因果卷積，其中前一個殘差的擴張因果卷積的數量為Ft，卷積核大小為K1，擴張率為D1，后一個殘差的擴張因果卷積的數量為Ft，卷積核大小為K2，擴張率為D2.為了加速網絡收斂和增強網絡的非線性擬合能力，在每個卷積后面都加上BN 和ELU 激活函數，經過TCN 輸出為X9∈RFt×1.

圖4 時間卷積網絡Fig.4 Temporal convolutional networks

將TCN 的輸出特征圖X9輸入全連接層FC ∈RFt×n_class，輸出特征圖為X10∈Rn_class.每個滑動窗口分割后的特征圖進行LN，MPS，SIE，TCN 和FC 之后生成一個X10，將這W個滑動窗口所產生的特征圖拼接成X11∈Rw×n_class，再進行平均和softmax 分類器處理，最終生成X12∈Rn_class來進行分類，其中n_class 為類別數.以上網絡的超參數選擇如表1 所示.

表1 超參數設定Table 1 Hyperparameter setting

2 實驗結果與分析

2.1 數據集介紹與預處理實驗采用2008 年第四次國際BCI 競賽運動想象的腦電數據集BCI IV-2a.該數據集包含九名被試者，編號為A01～A09，每個被試者進行兩次sessions，將其中一個session 作為訓練集，另一個session 作為測試集；每次實驗的標簽為想象左手運動、想象右手運動、想象雙腳運動和想象舌頭運動（簡稱left hand，right hand，feet，tongue）中的一種，每種MI進行72 次，所以每個受試者在每個session 進行288 次MI 實驗.BCI IV-2a 以250 Hz 采樣率采集MI-EEG 數據，同時進行0.5～100 Hz 的帶通濾波和50 Hz 的凹陷濾波的預處理.本實驗選擇22 個EEG 電極通道，每次實驗選擇MI 結束時前4.5 s，共 計1125 個采樣點，即n_class=4，C=22，L=1125.在對原始MI-EEG 進行預處理時，沒有使用共空間模式濾波［2］、獨立成分分析［3］、短時傅里葉變化和小波變換［4］等具有專家知識的處理方法，也沒有剔除被專家標記為偽跡的實驗數據，僅對每次實驗的每個通道進行標準差標準化，使處理后的數據符合標準正態分布，即均值為0，方差為1 的數據分布，如式（11）所示：

其中，xt，j，i表示原始MI-EEG 第t次實驗、第j個 通道、第i個時間的采樣點數值；ut，j表示第t次實驗、第j個通道的均值；σt，j表示第t次實驗、第j個通道的標準差；x′t，j，i表示經過數值處理之后的第t次實驗、第j個通道、第i個時間的采樣點數值.

2.2 訓練過程操作系統為Windows 10，通過PyTorch 框架搭建網絡結構，在Pycharm 進行代碼實驗，GPU 為GTX 3060 12 GB.使用Adam 優化器、交叉熵損失函數，迭代1000 次.為了防止過擬合，若300 次迭代準確度無變化即停止訓練，權重損失率設置為0.001，初始學習率為0.001，學習率更新方式為余弦退火函數.

2.3 消融實驗網絡結構決定了解碼性能的上限，選擇一組最優的超參數能夠逼近解碼上限.

2.3.1 滑動窗口數量對解碼性能的影響經過TSCN 模塊輸出的X3的時間序列長度為Tc，每個時間點都包含著原始MI-EEG 的C×P1×P2采樣點信息，每個時間點都包含原始MI-EEG 的高維特征.因此，對MI-EEG 的分割方式直接影響解碼性能，使用滑動窗口對X3進行分割，不同大小的滑動窗口表示對原始MI-EEG 的高維時間特征不同的聚合方式.經過長度為Tw的滑動窗口輸出的特征圖，每個特征點都包含著原始信號C×P1×P2×Tw時間點信息.

為了驗證滑動窗口的數量W對MI-EEG 的解碼性能的影響，W在[]1，Tc-1 之間取值，在M=N=5 和M=N=1 的條件下，進行仿真驗證，如圖5 所示.其中，W=1 可以理解為不加滑動窗口.由圖可見，增加滑動窗口的數量能夠明顯地提升MI-EEG 的解碼性能，僅使用兩個滑動窗口（W=2）比不加滑動窗口（W=1）在MIEEG 解碼準確度提升4%以上，同時設置一個合適的滑動數量，進一步提升解碼準確度，在本次實驗中，當W=17 時，解碼準確度最高.

圖5 滑動窗口數量對解碼準確度的影響Fig.5 Effect of the number of sliding windows on decoding accuracy

2.3.2 MPS 中點積數量對解碼性能的影響Informer［15］在利用點積對去產生注意力機制的過程中，并非所有的點積對都能夠產生有效的注意力機制.使用不同的點積數量對MI-EEG 進行解碼，在W=1（Tw=20）和W=5（Tw=16）的情況下，M(N)的取值分別為{1，2，3，4，5，6，7}和{1，2，3，4，5，6}.

表2 為在W=1 和W=5 的情況下，使用不同的點積數量對MI-EEG 解碼準確度的影響.由表可見，使用更多的點積對并沒有對解碼性能產生有效的影響，甚至還會有損解碼性能.并且使用更少的點積對可以在一定程度上緩解內存的計算負擔，因此使用MPS 更適合對長時間序列的腦電信號進行解碼.

表2 點積數量對解碼準確度的影響Table 2 Effect of the number of dot product on decoding accuracy

2.3.3 SIE 對解碼性能的影響SIE 的提出是為了解決使用點積對產生注意力機制的解碼方法在時序問題上具有較弱的空間信息表征能力的問題.SIE 在網絡結構上僅有一個卷積，但是對MIEEG 的解碼性能具有非常明顯的效果，同時，僅增加一個卷積不會對網絡的參數量和內存的浮點運算造成太大的影響.為了驗證增加SIE 是否能夠影響MI-EEG 的解碼，進行以下的實驗：

（1）在ATCNet 的基礎上加上SIE 來對MIEEG 測試，記為ATCNet+SIE；

（2）在MMFTSF 的基礎上減去SIE 來對MIEEG 進行測試，記為MMFTSF-SIE.

表3 展示了不同方法的解碼準確度，由表可見，在ATCNet 的基礎上加上SIE 模型，準確度可提升1.68%，同時SIE 對所提解碼方法有1.07%的提升，證明增加SIE 模塊能夠有效地提升MIEEG 的解碼準確度.

表3 SIE 對解碼準確度的影響Table 3 Effect of SIE on decoding accuracy

3 與其他方法的實驗對比

為了驗證MMFTSF 對MI-EEG 解碼的高效性，選用近年以深度學習為框架對BCI IV-2a 解碼的現有技術與本次實驗進行對照，實驗數據如表4 所示，表中黑體字表示結果最優.表4 中數據并非原論文對BCI IV-2a 數據集的解碼準確度，而是通過論文中所提出的解碼方法在本實驗環境下所取得的準確度，即不改變現有技術中解碼方法中的超參數，使用本次實驗的預處理和訓練過程得到的結果.由表可見，MMFTSF 在MI-EEG解碼中已經明顯優于現有技術，并且每個受試者的解碼準確度都有增強，和ATCNet 相比，對受試者A01，A02，A04，A06，A08，A09 的解碼準確度能提升4%以上，也具有更強的泛化性.

表4 與其他已復現方法的解碼準確度比較Table 4 Decoding accuracy comparison with other reproduced methods

圖6 為MMFTSF 在受試者A01，A03，A07，A09 測試集上所體現的混淆矩陣.與ATCNet，EEG-TCNet 和EEGNet 相比，MMFTSF 在受試者上解碼性能最優，解碼準確度分別提升3.55%，7.67% 和13.34%.圖7 為MMFTSF 對數據集的混淆矩陣，圖8～10 分別為ATCNet，EEG-TCNet 和EEGNet 對數據集的混淆矩陣，對比不同方法的混淆矩陣.可以看出，MMFTSF 對每種運動想象類別具有更高的解碼性能，并且更具有魯棒性.從單個和整體受試者的解碼準確度和每種運動想象的解碼性能角度上分析，MMFTSF 的解碼準確度優于現有技術.

圖6 A01,A03,A07 和A09 受試者的混淆矩陣Fig.6 Confusion matrix for subjects A01,A03,A07 and A09

圖7 MMFTSF 對BCI IV-2a 的平均混淆矩陣Fig.7 Average confusion matrices of MMFTSF for BCI IV-2a

圖8 ATCNet 對BCI IV-2a 的平均混淆矩陣Fig.8 Average confusion matrices of ATCNet for BCI IV-2a

圖9 EEG-TCNet 對BCI IV-2a 的平均混淆矩陣Fig.9 Average confusion matrices of EEG-TCNet for BCI IV-2a

圖10 EEGNet 對BCI IV-2a 的平均混淆矩陣Fig.10 Average confusion matrices of EEGNet for BCI IV-2a

為了進一步說明MMFTSF 具有更高的解碼性能，表5 展示了不同方法對BCI IV-2a 數據集的解碼準確度，由表可見，MMFTSF 具有更高的解碼準確度.在MI-EEG 解碼任務中，G-CRAM 以圖的卷積遞歸注意模型作為解碼方法；MCNN 是使用多層CNN 融合的解碼方法；MSFBCNN 是一種嵌入Inception 的并行多尺度濾波器組CNN解碼方法；EEG-ITNet 先使用Inception 并行處理，再通過TCNet 進行特征提取的解碼方法；MSAMF 是在多尺度融合CNN 的基礎上加入注意力機制SENet 的解碼方法；MBEEGSE 是一種使用多分支CNN 的解碼方法，每個分支包含EEGNet和SENet 注意力機制；TCACNet 是一種使用時間注意力來識別與MI 任務相關的時間片和空間注意力機制自適應地調整每個通道的權重系數的解碼方法.上述網絡中G-CRAM 屬于單一的圖卷積網絡模型，MCNN，MSFBCNN，EEG-ITNet，MS-AMF，MBEEGSE 和TCACNet 等是使用CNN 及其變體（DCC）組成不同網絡結構的解碼方法，也屬于單一模型，而MMFTSF 是CNN，DCC 和Informer 融合的解碼方法，以CNN 為單位的時空卷積網絡提取MI-EEG 中淺層信息特征，使用Informer 中多頭概率稀疏自注意力機制使網絡自適應地關注與MI 任務相關頻段的特征，使用CNN 和DCC 結合的TCN 結構提取MIEEG 高維時間特征，同時使用基于卷積的滑動窗口和以CNN 為單位的空間信息增強模塊進一步提升MI-EEG 解碼準確度，是一種多模型融合的解碼方法，多模型融合的解碼方法能夠提取MIEEG 不同維度的信息特征，進而提高解碼準確度.

表5 不同方法對BCI IV-2a 的解碼準確度Table 5 Decoding accuracy of different methods on BCI IV-2a

4 結論

現有技術對MI-EEG 低效的解碼性能和對MI-EEG 過度依賴預處理的方式限制了BCI 的廣泛發展，提出一個多模型融合的時空特征運動想象腦電解碼方法.先通過TSCN，使用不同的卷積操作對MI-EEG 的各個維度進行淺層特征提取，再使用MPS 關注MI 任務中最有價值的特征，再經過TCN 來提取MI-EEG 中的高級特征，最后使用帶有softmax 分類器的全連接層進行分類.同時使用基于卷積的滑動窗口和空間信息增強來提升解碼性能.實驗結果證明MMFTSF 能夠在BCI IV-2a 數據集上達到89.03%的解碼準確度，相比于ATCNet，EEG-TCNet 和EEGNet，分 別提升3.55%，7.67%和13.34%.此外，為了驗證SW 中滑動窗口的數量、MPS 中點積數量對和使用SIE 模塊對MI-EEG 解碼性能的影響，通過大量實驗證明，適當增加滑動窗口的數量能夠大幅度地提升解碼性能，只需較少的點積數量對就能實現較好的解碼性能和增加SIE 模塊能夠提升解碼準確度.同時，只對MI-EEG 做數值上的簡單預處理，選擇所有實驗數據，因此，本實驗過程并沒有使用過多的專家知識.通過上述實驗數據，說明MMFTSF 優于現有技術，能夠對BCI 的應用做出一定貢獻.然而，多模型融合網絡結構雖然比單一模型的解碼性能更有優勢，但是，多模型融合會帶來計算復雜度，造成推理時間過長的問題，因此在之后的工作中，會利用知識蒸餾的方法，設計一個多模型輕量化網絡來對MI-EEG 進行解碼.