基于圖卷積神經網絡的腦力負荷識別

張效艇， 陳蘭嵐， 陳長德

（華東理工大學能源化工過程智能制造教育部重點實驗室, 上海 200237）

腦力負荷是指任務期間的大腦資源利用率，反映了人在工作中的精神狀態[1]。在復雜環境中，自動化人機系統能根據腦力負荷等級動態分配工作任務，避免操作人員的工作量趨于極端。過高的腦力負荷會引起疲勞過程加快、失誤概率提高等一系列問題；過低的腦力負荷會降低操作人員的注意力集中程度，使工作任務得不到充分執行而導致整體績效下滑。腦力負荷等級的實時監控能幫助系統調整操作人員的工作狀態，保證整體的安全性和可靠性，適用于遠程手術[2]、駕駛監測[3]、設備維護[4]等一系列復雜的人機交互系統。

主觀量表法、任務績效法和生理信號法是研究腦力負荷的三種主要方法。主觀量表法會在任務完成后以問卷形式開展，由操作人員對自己的表現進行主觀評估。主觀量表法雖然操作簡單，但容易受到主觀認知的干擾，評估環節又與操作過程存在時間差，難以準確反映任務期間的腦力負荷。任務績效法則根據操作人員的任務績效來評估其腦力負荷等級，但操作熟練度和任務設計方案會影響其評估結果。生理信號法會同步記錄任務期間操作人員的生理信號和表現。近年來，隨著可穿戴式數據采集設備和無線傳輸技術的進步，研究人員對生理信號的采集、處理和分析等環節進行了深入的研究，常用的相關生理信號有腦電（EEG）、近紅外光譜（NIRS）、心電、肌電和呼吸等[5]。

腦力負荷是人類大腦神經活動的對外表現。在眾多能反映腦力負荷的生理信號中，有研究表明近紅外光譜對腦力負荷的變化較為敏感[6]。由近紅外光源和傳感器組成的便攜式設備會采集神經元活動期間大腦皮質下的血液動力學反應，將記錄下的含氧血紅蛋白濃度和脫氧血紅蛋白濃度定義為近紅外光譜。與腦電信號相比，近紅外光譜對電噪聲更不敏感，具有更好的運動偽影耐受性。近紅外光譜的空間分辨率要高于腦電[7]，這意味著近紅外光譜能更好地揭示局部腦區與腦力負荷之間的關系。

與傳統的機器學習算法相比，近些年興起的深度學習模型能對輸入的原始信號進行多層特征變換，將其逐步映射到更具判別力的新特征空間，從而使預測結果更加準確。卷積神經網絡[9](Convolutional Neural Network, CNN)因其出色的時間和空間信息分析能力，在腦科學領域中具有非常重要的應用。Lee等[10]先采用獨立成分分析去除腦電中的眼電偽跡，再利用CNN 提取抽象特征并最終預測飛行員的腦力負荷，其四分精度可以達到75%。近幾年，也有研究人員采用CNN 來分析近紅外光譜。Kwak 等[11]根據通道分布將心算任務期間的近紅外光譜數據映射為稀疏矩陣，在3D-CNN 模型上取得了91.96%的平均精度。CNN 的核心是具有平移不變性的卷積操作，能在歐式空間內對特征圖的滑動區域進行加權求和，從中提取到豐富的隱藏信息?；贑NN 的生理信號研究一般采用多通道原始信號的時間片段或其特征作為樣本，并沒有充分考慮電極之間的拓撲關系。非歐空間的圖數據則是由多個節點及其邊權重組成[12]，以節點特征的形式保留通道內的時域信息，以邊權重的形式保留通道間的耦合關系。圖卷積神經網絡(Graph Convolutional Network, GCN)是一種將CNN 和圖譜理論結合，支持在非歐空間對圖數據進行編碼和預測的深度學習算法[13]，能彌補CNN 在卷積運算時忽略通道間內在聯系的缺點。高越等[14]采用時空注意力機制從腦電中提取與情緒密切相關的抽象特征，重組為圖數據后由GCN 來預測情緒，在腦電公開數據集SJTU Emotion EEG Dataset(SEED)上取得了85.65% 的平均精度。Yao 等[15]根據多種腦區劃分方案將大腦的功能性核磁共振成像轉換成不同的圖數據并分別送入GCN 中進行深度學習，在抽象特征加權融合后預測大腦疾病的類型，其三分類的平均精度為81.20%。Wang 等[16]以腦電的微分熵特征和通道間皮爾森相關系數構造圖數據，在GCN 訓練后其抑郁癥的二分類識別精度為70.53%。然而，節點間邊權重的計算并沒有固定的方案，需要研究人員根據信號特點和分類效果慎重選擇。在計算邊權重時，Wang 等[17]采用了鎖相值（ Phase Locking Value，PLV ） 和 互 信 息（Mutual Information，MI），而Behrouzi 等[18]采用了鎖相值和協方差。

本文提出了一種基于GCN 的腦力負荷識別方法，主要內容為：

(1)針對近紅外光譜手工特征的提取缺乏有效先驗知識的問題，采用GCN 搭建一個端對端的深度學習模型，直接從原始近紅外光譜中提取有判別力的抽象特征，并預測其腦力負荷等級。

(2)針對GCN 中邊權重計算方案的不確定性問題，對比多種連通性矩陣，從中找到對于腦力負荷識別效果提升最有效的方案。

(3)為了找到與認知活動緊密相關的局部腦區，對連通性矩陣進行可視化分析，挖掘了3 種腦力負荷等級下不同腦區的大腦活動規律。

1 方法與模型

本文所提基于GCN 的腦力負荷識別框架如圖1所示，主要分為兩個部分：基于近紅外光譜的圖數據構建和GCN 的訓練及測試。

圖1 基于GCN 的腦力負荷識別框架Fig.1 Recognition framework of mental workload based on GCN

首先將連續采集的近紅外光譜信號切分成若干樣本，再計算通道間的相關性系數構成連通性矩陣；接著以原始信號為節點特征向量，從連通性矩陣中抽取對應節點間相關性系數為邊權重，將數據樣本處理為圖結構輸入至GCN 來預測低、中、高3 種腦力負荷等級。

作為整個研究的起點，問題提出關系到研究是否有意義和價值，是否具有可操作性，因此，問題提出是研究的關鍵.

1.1 連通性矩陣

連通性矩陣主要用來描述腦網絡中各個節點之間的連接關系，不依賴時間，是一種各節點相互之間的信息模式，是無向網絡。本文采用一個由兩兩通道的相關性系數構成的對角陣作為連通性矩陣，其中，相關性系數表示對應通道間信號樣本的相似性程度。在針對認知任務的研究中，連通性矩陣可以用來描述在不同腦力負荷等級下通道間內在聯系的差異。以往研究中采用過各種不同的計算方案來衡量信號間的相似性程度[15]，本文考慮了MI、PLV 和皮爾森相關系數(Pearson Correlation Coefficient, PCC)這3 種計算方案。設兩個不同通道的信號片段分別為x和y。

互信息作為向量間的依賴性度量方法，其數值能反映兩個向量的相關性程度[19]。兩個信號片段間的互信息如式（1）所示：

其中：H(x) 和H(y) 分別是x和y的信息熵，H(x,y)是x與y之間的聯合熵。當 M I=0 時，兩個通道間信號相互獨立，說明通道對應的局部腦區在此期間的神經元活動具有明顯差異。若MI 很大，則兩個通道間信號相互依賴，說明通道對應的局部腦區在此期間的神經元活動具有相近的規律。

其中： σx和 σy分別是x和y的平均 值， co v(x,y) 表示x與y之間的協方差。

1.2 GCN

圖卷積操作可以分為兩大類：譜圖卷積和空間域圖卷積，本文采用的是譜圖卷積。譜圖卷積將卷積核和圖數據都進行傅里葉變換轉換到頻域后再相乘，其計算公式如下：

其中：gθ為卷積核， ? 是圖卷積運算符，UTx是對圖數據上某節點的輸入信號x做傅里葉變換后的頻域信號，Ugθ是映射到頻域的卷積核。U是由正則化后的拉普拉斯矩陣L的特征向量組成，其計算滿足公式（5）：

其中：IN、A和D的大小均為 RN×N，N為通道數目；IN為單位陣；A是由邊權重組成的鄰接矩陣；D是一個對角陣，僅對角線上有非零元素，其數值為A中對應列的和； Λ 則是由L的特征值組成的對角陣。

為提高計算速度，模型采用切比雪夫多項式來近似原有的卷積核，其計算公式如下：

其中： θk是卷積核中待學習的參數；K為切比雪夫多項式的階數；L?=2L/λmax-IN， λmax表示L的最大特征值。經過縮放和正則化后的拉普拉斯矩陣L? 能緩解深度學習中常見的梯度消失和梯度爆炸問題。切比雪夫多項式難以表示為通項公式，可用遞推公式Tk(L?)=2L?Tk-1(L?)-Tk-2(L?) 代 替，k∈[3,K] 。當k=1時；T1(L?)=1 。當k=2 時，T2(L?)=L? 。

在切比雪夫卷積核的基礎上，為了從單節點的一維向量x推廣至多節點的二維矩陣X，取 λmax=2 ，對譜圖卷積操作進一步簡化，其計算公式如下：

本文搭建的GCN 模型如圖2 所示。該模型由兩個圖卷積層和一個全連接層組成。在每次譜圖卷積后配有一個Relu 激活函數，增強模型非線性能力的同時，能有效緩解模型過擬合問題。采用Flatten 層將兩次圖卷積后的多節點特征矩陣轉換成一維向量，再利用一個全連接層將抽象特征映射到樣本的標記空間。最后，通過Softmax 激活函數得到該樣本屬于每個標簽的概率，并采用交叉熵損失函數作為反向傳播時更新參數的準則。

圖2 GCN 結構Fig.2 Structure of GCN

在參考同類研究的基礎上，本文對超參數K在不同取值下的模型分別進行訓練和測試，在充分考慮計算成本和測試效果后，取K值為2。GCN 的結構及其相關參數如表1 所示。其中Fin和Fout分別為神經網絡層中輸入張量和輸出張量的維度。

表1 GCN 的具體配置Table 1 Specific configuration of GCN

2 實驗結果分析

2.1 實驗數據

本文選用的實驗數據來自柏林理工學院的認知任務數據集SACT[22]。圖3 示出了一個被試的實驗過程。每個被試會參與3 個系列合計27 次n-Back任務。每個系列由一串特定序列的n-Back(n=0，2，3)任 務 組 成(如：3→ 2→ 0→ 2→ 0→ 3→ 0→ 3→2)。每次n-Back 任務由20 個實驗組成，每個實驗對應1 個待處理的數字。1 次n-Back 任務包括2 s 的難度等級顯示、40 s 的活動時間和20 s 的休息時間。此外，在休息時間開始時，“Stop”一詞會在顯示器上顯示1 s。在活動時間的每2 s 中，顯示器會花費0.5 s展示一個隨機的個位數，然后被試有1.5 s 的時間來記住數字并做出判斷。在1 次n-Back 任務中，如果顯示器上展示的數字與前n個數字匹配，則被試按下“target”鍵，否則按“non-target”鍵，且target 事件的發生概率為30%。0-Back 任務中，被試提前知道目標數字，只需將顯示器上展示的數字與記憶中數字匹配即可。當n越大時，被試記憶的數字越多，在大腦中需要維護的數字隊列也就越長，對應的腦力負荷等級也就越高。

圖3 數據集實驗流程Fig.3 Experiment flow of data set

該數據集記錄了實驗過程中的腦電和近紅外光譜，本文只采用了其中的近紅外光譜。26 名健康的17～33 歲的右利手被試參與了該實驗。NIRScout會采集被試在實驗期間的近紅外光譜數據。數據的原始采樣率為10.4 Hz，為了方便分析，數據被降采樣至10 Hz。該設備一共記錄了36 個通道的近紅外光譜，其通道分布如圖4 所示。其具體分布為：額葉區16 個(AF5h 和AF6h 附 近)，運 動 區8 個(C3h 和C4h 附近)，頂葉區8 個(P3h 和P4h 附近)，枕葉區4 個(POOz 附近)。

圖4 近紅外光譜的通道分布Fig.4 Channel distribution of near infrared spectroscopy

每個被試完成了540 個實驗，每個實驗持續2 s。將每個實驗視為一個樣本，樣本大小為36×20，其中36 表示通道數，20 表示采樣點數。本文取其中432 個(80%)樣本構成訓練集，54 個(10%)樣本構成驗證集，54 個(10%)樣本構成測試集，并采用十折交叉驗證以獲得穩定可靠的模型。

2.2 GCN 的學習效果分析

為了驗證GCN 在預測腦力負荷等級時的準確性和優越性，本文對比了26 個被試在SVM、CNN、Hybrid-Model 和Identity-GCN 上的測試集分類精度。本文計算了時域的均值、峰峰值、標準差和頻域的功率譜密度，共計4 個手工特征作為淺層學習模型SVM 的輸入。相比SVM，CNN 模型具備自適應的抽象特征提取能力，其輸入則是由多通道近紅外光譜組成的樣本，其結構與GCN 相近(2 個卷積層+1 個 全 連 接 層)。Hybrid-Model 是 一 個 介于GCN 和CNN 之間的混合模型(1 個圖卷積層+1 個卷積層+1 層全連接層)。Identity-GCN 是采用單位陣構造邊權重的GCN。單位陣指圖數據的任意邊權重均為零，這意味著模型會忽略邊權重而只利用通道的原始信號來提取抽象特征。

采用網格化搜索為SVM 確定超參數，核函數的搜索范圍為{rbf,linear,sigmoid}，懲罰系數C的搜索范圍為{10-4,10-3,…, 103,104}，最終取核函數為rbf，懲罰系數C為1。針對深度學習模型，本文在反復嘗試后采用Adam 優化器，取學習率(Learning Rate)為0.001，批訓練大小(Batch Size)為18，訓練總輪數(Epoch)為100，從而有效控制模型參數的更新速率。3 種深度學習模型的訓練損失函數曲線相近，其中GCN 的曲線如圖5 所示。

圖5 GCN 的訓練損失函數曲線Fig.5 Training loss function curve of GCN

4 種機器學習模型的平均分類精度分別為80.70%(SVM)、83.90%(CNN)、85.76%(Hybrid-Model)、86.89%(Identity-GCN)。26 個被試在這4 種模型上的分類精度如圖6 所示。從圖中可以看出，在絕大多數被試上，深度學習模型的分類精度均高于淺層學習模型。這說明深度學習模型都能回避淺層學習所需的特征加工、選擇和降維等一系列問題，從原始信號中提取出更有價值的抽象特征，并最終表達出優于淺層學習的腦力負荷識別能力。深度學習模型之間的消融實驗結果則說明圖卷積層能挖掘出更具判別力的抽象特征，隨著圖卷積模塊的增加，模型的識別性能逐步提升。

圖6 不同機器學習模型的對比Fig.6 Comparison of different machine learning models

2.3 連通性方案的篩選

為了找到對GCN 的分類性能提升最顯著的連通性方案，本文在相同條件下評估了3 種連通性矩陣：PCC、PLV 和MI。以互信息為例，MI-GCN 是指以互信息作為邊權重的GCN，圖數據上任意一對節點的邊權重是由對應的兩個近紅外光譜片段計算得到的互信息值。同時，為了充分證明連通性矩陣能有效提高GCN 的分類性能，在單位陣之外增設了隨機矩陣這一特殊情況。隨機矩陣指圖數據的任意邊權重都是0～1 范圍內的一個隨機數，這意味著模型會根據隨機的邊權重來加工抽象特征。26 個被試在這5 種模型(3 種連通性和2 種對照方案) 上的測試集精度如圖7 所示。

圖7 不同連通性方案的對比Fig.7 Comparison of different connectivity schemes

5 種模型的平均分類精度分別為94.94%(MIGCN)、91.17%(PCC-GCN)、89.17%(PLV-GCN)、86.89%(Identity-GCN)、83.26%(Random-GCN)。單因素方差分析顯示5 種模型的平均分類精度差異顯著(p<0.05)。采用隨機邊權重的Random-GCN 的平均分類精度最低，只有83.26%。3 種合理的連通性矩陣方案的平均分類精度均高于單位陣方案。其中，采用互信息作為邊權重的GCN 取得了最高的三分類精度。合適的邊權重對于GCN 的訓練是十分重要的，能使數據集在非歐空間內表現出更好的分布，有效緩解過擬合問題。

2.4 連通性矩陣的可視化分析

為了找到對于腦力負荷識別重要的腦區，本文選擇對GCN 精度提升最大的互信息矩陣進行了可視化。26 個被試在不同任務難度下的平均互信息矩陣如圖8 所示。從圖中可以看出，額葉區即1～16 通道間的互信息明顯高于其他通道(p<0.05)(額葉區互信息分別與其他腦區做t檢驗)，且額葉區在不同腦力負荷等級下的互信息變化較其他腦區更加顯著(p<0.05)(額葉區互信息的變化量分別與其他腦區做t檢驗)。這表明，位于大腦前端的額葉區在復雜認知活動中參與程度更高，是對腦力負荷等級變化較敏感的腦區。在研究腦力負荷的同類論文中，可以找到相近的結論[23-25]。

圖8 基于互信息的平均連通性矩陣Fig.8 Average connectivity matrix based on mutual information

2.5 同類研究對比

本文結果與采用相同數據集的同類研究結果進行了對比，如表2 所示。文獻[26]采用腦電信號，在傳統的時域特征的基礎上，混入了新的熵域特征，利用SVM將分類精度從69.00%提高到了87.61%。文獻[22]先利用六階零相位巴特沃斯濾波器處理近紅外光譜，再采用收縮線性判別分析(shrinkage Linear Discriminant Analysis, sLDA)搭建2 個二分類模型，其中基于0-Back 和2-Back 數據的分類精度為76.90%，而基于0-Back 和3-Back 數據的分類精度為76.00%。文獻[27] 只考慮了前10 個被試的近紅外光譜，基于CNN 的三分類精度為83.42%，相比SVM 提高了12.78%。文獻[28] 先用棧式自編碼器降低特征維度，再用卷積自編碼器篩選優勢特征，最后送入SVM 預測腦力負荷等級，其三分類平均精度可以達到93.26%。文獻[29]在3 種腦力負荷等級基礎上，將休息狀態的信號也納入到數據集中，合計4 種類別，將腦電的30 個通道和近紅外光譜的36 個通道的數據拼接后作為CNN的輸入，使得四分類精度達到了89.00%。文獻[30]從腦電各個子帶中提取了12 個統計學和熵域特征，從近紅外光譜中提取了8 個統計學特征，再組成混合特征向量，最后采用基于5 折交叉驗證的SVM 作為分類器，其二分類精度為94.23%(0-Back 和2-Back) 和96.15%(2-Back 和3-Back)。與采用單一模態的同類研究相比，本文提出的算法在三分類識別任務中取得了目前最好的結果。

表2 同類研究結果對比表Table 2 Results comparison of similar studies

3 結束語

本文選用近紅外光譜，構建了一個基于GCN 的腦力負荷識別模型。該算法將多通道近紅外光譜和通道間相關性系數融合成圖數據，并用GCN 充分挖掘近紅外光譜的時間和空間信息，克服了傳統CNN 難以考慮通道間耦合關系的缺點，最后三分類精度可以達到94.94%；通過對連通性矩陣的可視化分析，判斷額葉區與認知活動聯系密切，是對腦力負荷等級變化敏感的腦區。在未來的研究中，可以參考同類研究思路，構造腦電與近紅外光譜的混合信息結構作為深度學習模型的輸入，進一步提高識別精度。目前研究還局限于單被試，將來可以結合多源域選擇、層次聚類等方法為目標域找到數據分布相近的被試群體后，再進行遷移學習以提高跨被試的識別精度。