基于P300?SSVEP的雙人協同腦?控機械臂漢字書寫系統

韓 錦，董博文，劉 邈，，許敏鵬，，明 東，

（1.天津大學精密儀器與光電子工程學院，天津 300072；2.天津大學醫學工程與轉化醫學研究院，天津 300072）

引 言

腦?機接口（Brain?computer interface，BCI）是一門涉及多領域的交叉技術，通過采集腦電、腦磁和腦血氧等信號獲取大腦的活動信息，利用信號處理技術解碼大腦意圖，從而將中樞神經系統活動轉化為人工輸出，以達到替代、修復、增強、補充或者改善中樞神經系統正常輸出的目的［1?4］?；贐CI的腦?控技術正是通過測量和分析大腦信號并將其轉化為外部設備的控制信號，從而完成相應任務，為嚴重運動障礙患者與外界交流提供了可能，也為智能化控制技術提供了新的技術路徑。

研究人員利用大腦不同維度的信息特征開展腦?控技術多項工作，并取得了較大進展。2010年，Royer等［5］首次采用頭皮腦電（Electroencephalography，EEG）信號和智能控制策略，實現對虛擬直升機的三維控制；2013年，Lafleur等［6］開發了腦控無人機系統，操作員通過運動想象（Motor imagery，MI）控制無人機的飛行模式，并可通過實時的視覺反饋信息來調整其運動方式；2015年，Karavas等［7］開發了一種新型腦?控系統，使飛行員能夠同時操控多架無人機進行編隊飛行；2017年，Meri?o等［8］設計了一種異步腦控無人機系統，實現了對無人機6個自由度的控制，相對基于MI的無人機系統，該系統具有更多控制指令的潛在優勢；2018年，Chen等［9］提出了15指令的腦?控機械臂系統，驗證了便攜式腦?控技術的可行性；2019年，Edelman等［10］利用無創BCI技術，首次實現了對外部機械臂的連續控制，該系統可以幫助患者實現生活自理，證明了腦?控技術可以改善患者生活的生活質量。

雖然腦?控技術發展迅速，但多采用對單人的腦信息解碼，即單人腦控方式，仍處于較初級的形態。面對復雜條件下的工作任務，如在航天領域，航天員在著服情況下，操控艙外機械臂等場景，單人腦控存在執行效率差、可控自由度低的問題，難以高效完成操控任務［11?13］。針對此問題，本研究利用時分多址和頻分多址的混合編碼方法，設計了“雙人協同”操控策略，通過任務相關成分分析算法（Task?related component analysis，TRCA）解碼P300與穩態視覺誘發電位（Steady?state visual evoked potential，SS?VEP）混合腦電特征，開發了108指令高速率“雙人協同式”腦?控機械臂系統，實現對漢字一筆一劃的書寫，有效擴展了BCI交互方式，為協同式BCI研究提供了參考。

1 實驗方法

1.1 被試信息

共有10名健康受試者（4名女性和6名男性，年齡在21～28歲，都是右利手）參加離線實驗，其中8人參加了在線實驗。天津大學機構審查委員會批準了本次實驗。根據赫爾辛基宣言，所有受試者均已充分了解所有實驗程序，簽署了知情同意書，并聲明他們已清楚研究所有可能的后果與收益。

1.2 系統設計

腦?控機械臂系統由BCI子系統和機械臂控制子系統組成。圖1展示了整個系統的控制框圖，其中BCI子系統包括信號采集、預處理和視圖解碼算法3部分。系統流程如下：受試者通過注視視圖編碼界面，誘發相應的特征腦電，經過預處理和視圖解碼算法解碼受試者信號，然后將識別結果以視?聽覺反饋的形式先呈現于視圖編碼界面，受試者可在3 s內判斷結果是否正確。若錯誤，可通過檢測咬牙信號取消該次指令，并開始下一輪次的編碼刺激；若正確，該結果會通過TCP/IP通信協議，經坐標映射算法轉換為機械臂的6?D空間坐標，后將其傳入指令隊列進行緩存，實現對機械臂的實時控制。

1.2.1 視圖編碼界面

視圖編碼策略采用頻分多址和時分多址相結合的混合編碼方法，可同時誘發P300和穩態視覺誘發電位腦電特征。如圖2所示，首先將108個指令平均分為12個3×3模塊，每個模塊都是一個獨立的P300拼寫器，其9個字符按照偽隨機順序閃爍，閃爍形式為不同灰度的矩形，矩形的垂直方向視角為1.49°，水平方向視角為1.78°。每個字符閃爍時間為200 ms，刺激間隔（Inter?stimulus inter?val，ISI）為100 ms。所有模塊同時開始閃爍，所以在1 s之內108個字符可以完成一次完整的遍歷閃爍，稱為1個輪次（round）。圖3展示了模塊1內9個字符的刺激流程圖，其中紅色箭頭代表特定時刻刺激界面的灰度分布情況。與傳統P300編碼模式不同，字符刺激矩形的灰度以正弦曲線的方式變化，且每個模塊的頻率和初相位都不相同。為了便于后續對腦電特征進行模式識別，刺激頻率的設計均大于12 Hz，且頻率間隔以0.2 Hz增加，頻率范圍為12.4～14.6 Hz，初相位的步長設置可通過公開數據庫仿真得到［14］，本課題采樣步長為0.35π。該視覺刺激是在27寸LCD顯示器上呈現，分辨率為1 920像素×1 080像素，刷新率為120 Hz。

圖2 BCI子系統——視圖編碼界面108指令分布Fig.2 BCI subsystem—Distribution of 108 targets on the stimulation interface

圖3 混合編碼刺激流程圖Fig.3 Flow chart of the hybrid encoding stimulus para?digm

為實現對漢字的書寫，本文設計了漢字書寫策略，將目標漢字會按筆畫進行拆分，每個筆畫由首尾兩個端點及其端點間的連線指定。視圖編碼界面的刺激塊中心稱為端點，則可以通過對目標端點的識別順序和端點之間連接關系的規定，實現對漢字筆畫的書寫。因此，在本文中，為簡化書寫復雜度，每兩個端點稱為一對，端點對內會自動實現連線操作，而端點對間不進行連線。例如漢字“?！钡牡谝还P對應圖4中編號為（10，14）的端點對，第二筆對應（9，18）端點對；對于漢字“書”的第一筆對應圖5中編號為（14，24）的端點對，第二筆對應（24，57）端點對。依據此原理，可以實現對漢字一筆一劃的書寫。圖中紅色編號和紅色背景分別代表需選擇一次或兩次作為目標端點。

圖4 漢字“?！睍鴮懯纠鼺ig.4 Chinese character writing example—Fu

圖5 漢字“書”書寫示例Fig.5 Chinese character writing example—Shu

1.2.2 視圖解碼算法

本研究特征主要包括P300、SSVEP，以及混合特征，相應的解碼算法依次主要采用逐步線性判別分析（Step?wise linear discriminant analysis，SWLDA）、擴展型典型相關分析（Extended canonical corre?lation analysis，ECCA）和TRCA算法。其中SWLDA是機器學習領域經典算法之一，實現過程也較為簡單，因此下面主要對ECCA和TRCA進行介紹。

(1)任務相關成分分析算法

對混合特征和SSVEP特征的解碼，采用TRCA，其核心思想是對于同類樣本，尋找一個投影矩陣w=[w j1，w j2，w j3，…，w Nch]，使得同類別試次間的協方差和最大［15?17］，其中j1和j2代表導聯編號，Nch是采用的導聯數量，具體計算過程如下。

首先假設記錄到的腦電數據為x(t)∈RNc×Np，其中Np是數據點個數，則同類別內所有試次在最優方向投影后協方差和為

式中：Cov(a，b)代表變量a與b的協方差，S代表不同試次投影前的協方差和，Nt代表同類別下所有的試次個數，h1和h2代表試次編號。為對式（1）進行求解，加入以下限定條件

式中Q代表同類別樣本不同導聯間的協方差和。綜合式（1，2），求解投影矩陣可轉化為以下優化問題

通過拉格朗日乘數法可求得，最優解是矩陣Q-1S對應的特征向量。最后，對于Nf個刺激頻率，即對于Nf個類別樣本，采用列向拼接將投影方向進行集成，得到集成投影矩陣W如下

(2)擴展型典型相關分析算法

典型相關分析（Canonical correlation analysis，CCA）是通過尋找兩組高維度向量的投影矩陣，使向量在矩陣投影后的相關性最大，具體過程如下［14，16］。

假設腦電信號為X∈RNch×Np，Yf∈R2Nh×Np為正余弦參考模板，有

式中Nh和Np分別代表刺激頻率的諧波個數（本文設置為5）以及數據點個數。假設兩類信號X和Y f對應的投影矩陣分別為W x和W y，兩類CCA過程為

式中：E[·]代表數學期望，ρ代表皮爾遜相關系數。ECCA基于CCA方法，引入了受試者個體信息，即腦電模板開發的解碼算法［15］。ECCA的空間濾波器由以下3部分組成：測試樣本和個體平均模板經CCA得到的空間濾波器測試數據和正余弦模板經CCA得到的空間濾波器個體平均模板和正余弦模板經CCA獲得的空間濾波器其中i代表刺激頻率的索引，則通過空間濾波和融合獲得的相關系數向量r i為

依據文獻［16］，對系數進行加權融合，即

式中k代表式（7）中4個系數的索引，最終通過選取最大對應的頻率為目標識別頻率。

1.2.3 機械臂控制子系統

該子系統采用Universal Robots公司的UR10系列六軸機械臂，最大移動距離為1 300 mm，最大載質量為10 kg，最大移動速度為1 300 mm/s。對于機械臂的移動可通過TCP/IP協議進行控制，位置由6?D坐標系（X，Y，Z，RX，RY，RZ）指定，其中X代表機械臂末端相對于基點的高度（基點標定為機械臂的工作臺高度），Y和Z代表真實三維空間中水平面的笛卡爾坐標，RX、RY、RZ分別代表了X、Y、Z三軸的旋轉角度。在該系統中，BCI子系統可以對機械臂進行實時控制。

1.2.4 坐標映射算法

視圖編碼界面為2?D平面（長×寬=m×n），而機械臂為6?D空間，因此在BCI子系統解碼腦電信息得到結果后，需要經過坐標映射算法，將2?D平面坐標轉換為機械臂的6?D空間坐標。在機械臂標定后，X、RX、RY、RZ是固定常數值。因此，假設機械臂的操作平臺的長×寬為M×N，則對于視圖編碼界面（二維平面，長×寬=m×n）任意一點（x，y）到機械臂書寫平面（即YZ平面，長×寬=M×N）的映射實際上是一個線性映射，坐標應為（X，Y-y/(n-1)×N，Z+x/(m-1)×M，RX，RY，R Z)［18］。

1.3 腦電采集與預處理

腦電數據通過Neuroscan Synamps2系統進行采集，腦電采集系統包含64個腦電通道，4個雙極通道，2個高電平通道，此通道與腦電通道完全獨立隔離，支持外部設備信號的采集。每個通道采用24位的模數轉換芯片，可以準確記錄腦電的變化；最高支持20 KHz采樣率，實驗時，導聯阻抗低于10 kΩ，采樣率設置為1 000 Hz，經帶通濾波0.1～200 Hz，50 Hz陷波濾波器處理后保存?；趪H10/20系統，共采集了Fz、Cz、Pz、PO7、PO8、O1、O2和Oz 8個導聯，參考電極為左乳突M 1，接地電極為FPz和Fz連線的中點。

在分類識別時，主要包括兩步：（1）模塊的識別；（2）模塊內字符的識別。當兩步驟均識別正確時，則可以輸出正確的靶目標，否則目標識別錯誤。本系統靶字符的識別，主要基于SSVEP和P300特征特性，采用基于濾波器組的TRCA方法和線性判別分析（Linear discriminant analysis，LDA）解碼算法，除此之外，還會采用文獻［15］和文獻［17］提出的混合特征處理方法，該方法的理論基礎請見文獻［19］。因此，對于模塊的識別，主要采用SSVEP特征和混合特征兩種處理辦法；對于模塊內字符識別，主要采用P300特征和混合特征兩種處理辦法；對于靶字符的識別，主要采用SSVEP?P300和混合特征兩種處理辦法。腦電特征的處理參數如下。

對于P300特征，預處理階段將采樣率降為25 Hz，上述8導聯數據經過切比雪夫I型濾波器組處理，濾波器設置參數為［1 Hz，10 Hz］，特征提取時間窗為［50 ms，800 ms］，0 ms代表刺激開始時刻。

對于SSVEP特征，預處理階段將采樣率降為250 Hz，上述8導聯數據經過切比雪夫I型濾波器組處理，濾波器設置參數為［XHz，92 Hz］（X=11，22，34，46，58，70，82），特征提取時間窗為［140 ms，

340 ms］。

對于混合特征，預處理階段將采樣率降為250 Hz，上述8導聯數據經過切比雪夫I型濾波器組處理，濾 波 器 設 置 參 數 為［XHz，92 Hz］（X=1，11，22，34，46，58，70，82），特 征 提 取 時 間 窗 為［50 ms，450 ms］。

圖6 信號處理流程圖Fig.6 Flow chart of signal processing

1.4 實驗流程

實驗時，受試者坐在距離顯示器60 cm的椅子上，眼睛注視著預先設定的目標字符，并默數目標字符閃爍的次數，共5次。實驗分為離線和在線實驗。在離線實驗中，指定的目標字符首先由紅色三角提示，三角形視角為0.79°，持續0.7 s。然后所有模塊內的字符會同時開始連續5輪的閃爍，持續5 s，即受試者注視相同的目標5次。每輪刺激包括1個目標刺激和8個非目標刺激。所有受試者需要按照偽隨機的順序依次注視108個字符，這些字符分成3組完成（每組36個字符），每組之間可以進行休息，總實驗時間約為13 min。離線實驗共采集了5組被試，每組2人，共10名。在線實驗共采集了4組共8名被試。每組被試需要合作完成對漢字“?！钡臅鴮?。具體如下，依據漢字書寫策略，漢字“?！惫?6筆畫，將其等分，每組的2名被試各完成8個筆畫，即依據提示順序，每名被試完成16個像素端點的注視和識別即可，當識別輸出正確后，機械臂將移動到相應位點進行書寫。

1.5 性能評估

BCI領域常用的評價指標為信息傳輸速率（Information?transfer rate，ITR），其表達式為

式中：N為指令個數，P為系統的分類正確率，T為輸出單個指令所用的時間。在本系統中N為108，由于包含5個輪次的閃爍，所以T為1.7、2.7、3.7、4.7和5.7 s（轉移視線時間：0.7 s；閃爍刺激時間：1、2、3、4和5 s）。需要注意的是，在線實驗中，T需要增加額外的4 s，用于機械臂的移動控制或取消指令輸出。

2 實驗結果

2.1 特征分析

本研究通過時間?頻率?相位聯合編碼設計，可以誘發P300和SSVEP特征，并通過相應的機器學習算法對誘發的腦電特征進行識別與分類。文獻［20?21］的研究結果表明，瞬態ERP成分在頻域主要集中在1～4 Hz內，即為低頻成分。由于本研究設計時將頻率刺激設置為12 Hz以上，所以可以通過不同的濾波器處理，分別觀察瞬態ERP和SSVEP成分。圖7展示了在Cz、Pz、Oz三導聯處的瞬態ERP波形。為排除SSVEP的干擾，數據經過帶寬為1～11 Hz的帶通濾波器處理，并降采樣為250 Hz。時間軸0 ms代表刺激開始時刻。從圖7可以觀察到明顯的N100成分，除此之外，在Cz、Pz導聯有明顯的P300成分，在Oz導聯有明顯的P100成分。圖8展示了12.4 Hz和14.6 Hz頻率刺激在Oz導聯的波形圖，為排除瞬態ERP的干擾，數據經過帶寬為11～17 Hz的帶通濾波器處理，并降采樣為250 Hz。時間軸0 ms代表刺激開始時刻。從圖8可以看到在刺激開始（0 ms）后，腦電波形的振蕩幅度開始增大，圖8（b）波形響應頻率大于圖8（a），說明振蕩節律與刺激頻率相關。如圖7、8灰色波形所示，由于實驗設計中的刺激間隔為100 ms，因此背景腦電會包含10 Hz的固定頻率振蕩。上述結果表明，已經成功誘發瞬態ERP成分和SSVEP成分，可用于下一步的分類識別。

圖7 多導聯的瞬態ERP平均波形Fig.7 Average transient ERP at Cz,Pz and Oz

圖8 Oz導聯處不同頻率的SSVEP平均波形Fig.8 Average SSVEP of different stimulation frequencies at Oz channel

2.2 離線結果

離線結果采用留一法（Leave?one?out，LOO），包括離線正確率和ITR。圖9展示了采用單一特征和混合特征，不同閃爍輪次的模塊識別正確率、模塊內字符正確率和靶字符正確率。其中誤差棒為標準誤差，“*”代表p<0.05，“**”代表p<0.01，“***”代表p<0.001，統計檢驗方法為單因素重復測量方差分析。

從圖9可以看出，正確率隨著閃爍輪次的增加呈上升趨勢?；诨旌咸卣鞯腡RCA方法在模塊識別、模塊內字符識別方面顯著高于其他方法。在靶字符識別方面（圖9（c）），基于混合特征的TRCA算法在第1輪次到第5輪次，靶字符識別正確率依次為73.80%、88.98%、93.70%、94.91%、96.29%，顯著優于基于傳統特征的TRCA?SWLDA算法，證明了本文提出的混合特征解碼算法的先進性。在后續的在線實驗中，被試依據各自離線實驗結果，設定閃爍輪次進行實驗。

圖9 不同輪次下模塊、模塊內字符和靶字符的分類識別正確率Fig.9 Classification accuracy of module recognition,character recognition within modules and target character recognition against the number of rounds

2.3 在線性能

表1列舉了8名被試的在線實驗結果。在線實驗中，兩名被試為一組，需要合作完成對漢字“?！钡臅鴮?，其中被試S1與S2是一組，S3與S4是一組，以此類推。依據書寫策略，漢字“?！睂碳そ缑娴?2個位點，被試需要按照位點的提示順序，控制機械臂移動到相應位點，每名被試共完成16個位點。依據各自被試離線結果，確定在線單指令輸出時間，一般為4.7或5.7 s（轉移視線時間：0.7 s；閃爍時間：1或2 s；機械臂移動時間：3 s）。從結果中可以看出，被試最高在線正確率達到94.12%，且對應的ITR最高，為77.05 b/min。8人的平均在線正確率為87.92%，對應的平均ITR為66.00 b/min。在線結果表明了雙人協同式腦?控機械臂漢字書寫系統的可行性和有效性。

表1 在線實驗結果Table 1 Results of online experiment

3 結束語

本文采用時分多址和頻分多址聯合編碼方法，設計雙人協同操控策略，開發了基于108指令的雙人協同式腦?控機械臂系統，通過任務相關成分分析算法解碼誘發的P300和SSVEP混合特征，將被試的意圖控制指令映射到6?D機械臂，實現了對機械臂的在線實時控制，完成對漢字一筆一劃的書寫。相比于單人腦控方式，雙人協同方式具有更高的操控效率，其相關技術也為協同BCI提供了技術支撐。