脑机接口（brain-computer interfaces,BCI）旨在为大脑和外部设备（计算机或其他电子设备）之间建立直接通信，而不依赖于任何肌肉或外周神经．BCI技术的应用有助于患有肌萎缩性侧索硬化、脑卒中、脑瘫、脊髓损伤等“闭锁综合征”的病患恢复日常交流和生活的能力．近年来，随着BCI技术的不断发展，其已从医学领域小众应用[1-3]逐步走向虚拟现实、人工智能、航空航天等非医学领域[4-7].BCI技术取得成功的一个关键是能够依托高新技术设备获取高质量的脑神经活动测量数据，如皮层脑电（electrocorticography,ECo G)[8]、微电极阵列[9]或深度电极[10]等；然而，目前主流的BCI技术需要在人脑中侵入式的植入电极，具有一定安全风险，也从本质上极大限制了终端用户和应用场景．此外，常见的非侵入式脑电图（electroencephalogram,EEG）技术虽可以从头皮无创地记录脑电信号，但其信号经过脑脊液、头骨和皮肤的传导后而严重失真，导致信息含量较低，且脑电图在使用时需借助凝胶或生理盐水来降低头皮和电极之间的阻抗，因此数据采集前期准备时间较长．

与前述技术手段不同，非侵入式脑磁图（magnetoencephalography,MEG）技术探测到的脑磁信号受不均匀导电性扭曲得很少，且对肌肉活动产生的伪迹敏感性较低．因此，MEG不仅能够检测到脑神经活动引起的微小磁场变化，而且与EEG相比，MEG能够提供更高空间分辨率的信息[11,12]．传统MEG测量使用的传感器主要是超导量子干涉仪（superconductor quantum interference devices,SQUID），而一种新型原子磁力计——无自旋交换弛豫（spin-exchange relaxation-free,SERF）光泵磁强计（optically-pumped magnetometer,OPM），作为新一代量子弱磁传感技术，与SQUID技术相比，具有小型化、紧贴头皮、无需液氦、室温检测等优势[13-16]，将OPM传感器以阵列形式安装在脑磁头盔上，能够实现可穿戴式脑磁图．进一步地，借助磁屏蔽房和匀场补偿线圈，极大程度上降低了外界磁场的干扰，使得OPM传感器对受试者动态脑磁测量下产生的伪影不敏感，进而实现受试者在自然状态下视觉、听觉、触觉、嗅觉等脑磁信号的探测[17,18].

稳态视觉诱发电位或场（steady-state visual evoked potential/field,SSVEP/SSVEF）是BCI应用中常见的类型之一，其特点是人脑在特定频率重复闪烁的视觉刺激下，将诱发出与闪烁刺激具有相同基频及其谐波的神经元信号[19-21].Alpha波是BCI早期研究常见的类型，是一种与视觉皮层闲散节律相对应的自发节律信号，频率为8～13 Hz，在人清醒闭目时出现，睁眼或接受其它刺激时消失[22,23]．两种神经活动均在枕部最为明显，且几乎不需要用户训练．1997年，悉尼科技大学的Kirkup等[24]利用Alpha波的特性，设计了一种无需用户训练的快速开关系统，有助于肢体残疾人士更好地控制周围环境．2021年，Wittevrongel等[25]利用OPM技术，设计了基于SSVEF的“思维拼写”应用程序，并达到了97.7%的平均准确率．2023年，清华大学的Li等[26]提出一种基于EEG和SQUID的混合BCI系统，将分类准确率从50%提高到95%，突显了混合BCI方法的优越性．

目前用于BCI特征提取和分类的算法可以分为3大类：免训练的方法、用户依赖（user-dependent,UD）的训练方法和用户独立（user-independent,UI）的训练方法[27,28]．本研究基于可穿戴式脑磁图，对Alpha波、SSVEF信号以及SSVEF-Alpha混合信号进行研究分析，对比了脑磁信号应用多种分类算法的分类准确率、信息传输速率（information transfer rate,ITR），以探索和构建基于多特征信号混合的可穿戴式脑磁图无创性BCI应用的可行性和有效性．

1、实验方法

1.1受试者

共有20名健康受试者参加了脑磁图实验（7名男性和13名女性，年龄22～29岁），均为右利手，没有已知的神经或精神障碍病史．所有受试者进行实验时，身体上或体内均不携带金属，视力正常或矫正视力正常．实验前所有受试者均签署了知情同意书，并支付了被试费．

1.2实验设计

受试者佩戴气动耳机坐在磁屏蔽室内，距离投影屏幕50 cm，他们依据耳机内的声音提示及投影屏幕上的画面提示完成相应任务．本研究共计设定了6类指令，包括注视投影屏幕上带方向箭头的4个圆形闪烁刺激和不注视屏幕保持睁、闭眼．每个圆形闪烁刺激在水平和垂直维度上的视角为7.44˚，方向箭头在水平或垂直维度上的视角为1.3˚，刺激界面设置如图1(a)所示，视角的计算公式为：

(1)式中M为视窗大小，即投影屏幕上显示的图像大小，D为观察距离，即受试者与投影屏幕之间的距离，R为计算所得弧度，(2)式中angle为视角，即将R进行弧度到角度的换算．根据闪烁频率的不同，4个闪烁刺激被放置在投影屏幕的顶部（8.6 Hz）、左侧（12 Hz）、右侧（15 Hz）、底部（20 Hz），在刺激过程中，所有目标都以预定的频率同时闪烁，为避免视觉疲劳，以绿色作为闪烁刺激．视觉刺激使用Pro Pixx投影仪产生，分辨率为1 920×1 080像素，刷新率为60 Hz．视觉刺激使用光学镜片系统投射到屏幕上．刺激程序基于心理物理学工具箱Psychtoolbox Version3(PTB-3）开发[29]，刺激器经过测试，能够确保稳定的刺激频率．

每位受试者接受一次实验需完成20个block，每个block中6类任务以随机顺序执行1次，共计进行120次试验（20个block×6类任务）．每一次试验开始前都有2 s的任务提示（方向箭头变红和语音提醒），以便受试者依据指令做好准备，试验持续5 s后休息3 s，然后进行下一次试验．实验设计如图1(b)所示．

图1 (a)刺激界面设置；(b)SSVEF-Alpha混合BCI实验设计

1.3脑磁数据采集

脑磁数据采集使用自主搭建的可穿戴式脑磁图系统[17]，该系统包含美国Qu Spin公司二代原子磁力计（QZFM Gen-2.0）、匀场补偿线圈组和柔性脑磁头盔，系统示意图如图2(a)所示．该系统在专门为OPM传感器使用而设计建造的磁屏蔽室内进行数据采集，磁屏蔽室可有效地将背景磁场屏蔽至10 n T以内，同时使用放置在受试者两侧的匀场补偿线圈组进一步补偿磁屏蔽室内中心区域剩磁，使传感器处于正常工作状态，4个OPM传感器组成参考传感器阵列安装在受试者左右两侧的支架上，用于探测磁屏蔽室内部剩磁及环境噪声．实验开始前，所有的OPM传感器都使用自带的程序进行了测量和校准，以确保2.7 V/T的响应．

柔性脑磁头盔表面共排布60个插槽用于安装OPM传感器，头盔可根据受试者头围尺寸选择不同型号，使传感器紧贴头皮．6个OPM传感器各作为一个独立单元安装在受试者大脑的枕骨区，覆盖了预估SSVEF及Alpha波最强的头皮区域．图2(b)为OPM传感器阵列排布（数字1～6为OPM传感器编号）相对于受试者大脑表面的示意图．本实验中，各受试者均在自然状态下进行脑磁信号探测，测量了垂直于头皮表面的磁场分量，并以1 024 Hz的采样率同步记录OPM传感器阵列原始数据以及各次试验开始时刻．

图2 (a)自主搭建的可穿戴式脑磁图系统；(b)OPM传感器阵列排布示意图

1.4数据分析

BCI技术的关键步骤为信号处理和解码，即采集到的脑信号经过一系列的预处理和分类识别算法，提取出有效信息，并解码得出该信号最大概率的类别．本研究就涉及到的脑磁数据预处理和4种分类识别算法（基于共空间模式的支持向量机、典型相关分析、任务相关成分分析、EEGNet——一种紧凑型卷积神经网络）分别作详细介绍．

1.4.1数据预处理

实验过程中收集到的原始脑磁数据使用四阶零相位巴特沃斯滤波器在6～80 Hz之间进行滤波，并在25 Hz、50 Hz、75 Hz处进行陷波滤波，以滤除工频干扰及设备固有干扰．相对于t=0 s的试验开始时刻，提取其-1～5 s之间的数据作为1个数据段，并标记相应指令的类别．各数据段通过减去其-1～0 s的平均信号，对单个试验进行基线校正．然后选用不同的窗宽，以t=0 s为起始点对基线校正后的数据段进行分割：1 s、2 s、3 s、4 s、5 s，以模拟受试者接受不同时长的实验．

1.4.2基于共空间模式的支持向量机

共空间模式（Common Spatial Pattern,CSP）算法适用于2分类，其基本原理是利用矩阵的对角化，找到一组最优空间滤波器进行投影，使得类内间距尽可能小，类间间距尽可能大，即两类信号的方差值差异最大化，从而得到较高区分度的特征向量．

支持向量机（Support Vector Machine,SVM）由Vapnik[30]提出，能够通过非线性映射的方法将低维空间线性不可分的样本映射到高维特征空间，通过构建特征空间中的最优分割超平面，使得不同类别的数据尽可能明显的间隔出来，具有良好的实际应用能力．本研究使用CSP算法进行8维特征提取，采用Matlab软件自带的fitcsvm函数训练相关参数，实现数据2分类．

1.4.3典型相关分析

典型相关分析（Canonical Correlation Analysis,CCA)[31]是一种多元统计分析方法，用于衡量两组多维变量之间的潜在相关性．先前的研究表明，CCA在识别SSVEP信号方面具有优越的性能，且无需训练数据．CCA是将多维的矩阵X和Y线性变换为一维的x=wxTX和y=wyTY，其中向量wx、wy分别是矩阵X、Y的线性组合系数．通过计算数学期望E将向量x和y的相关系数最大化求解wx和wy，求解出最优解wx和wy，相关系数ρ表示为：

其中上标T表示矩阵的转置运算，(1)式可用奇异值分解（SVD）或其他方式求解．

在本研究SSVEF识别中，是由多通道脑磁数据组成的矩阵，C是传感器阵列通道数，Ns表示数据段所含采样点数，矩阵X的一行是一个传感器通道数据．矩阵是由刺激目标频率及其谐波的正余弦函数组成的参考信号，表示为：

为刺激目标频率，为采样频率，为谐波数．本研究中设定．在各数据段分类过程中，计算测试数据X和每个参考信号之间的相关系数最终，测试数据X的类别C被解码为最大相关系数所对应的刺激频率．

1.4.4任务相关成分分析

任务相关成分分析（Task-Related Component Analysis,TRCA)[32]是一种最大化任务期间的再现性来提取任务相关成分的方法．TRCA针对信号的空间信息，着重于空间滤波，用于提高信号的信噪比．脑磁信号x (t)∈RC,TRCA能够找到一个线性系数向量w∈RC来最大化其预测的试验间相关性y(t)=wTx(t).y(t)的第1h和2h次试验之间的协方差Ch1 h2为：

所有可能的试验组合总结为：

为了获得有限解，y(t)的方差约束为：

约束优化问题可以求解为：

Q-1S矩阵的特征值反映了多个试验的一致性，选取最大特征值λ对应的特征向量作为空间滤波器．

本研究进行信号识别时，分别使用受试者各类信号的训练数据，通过TRCA得到对应的空间滤波器，利用分别对测试数据X和训练数据的平均信号进行空间滤波，然后计算两两之间的皮尔逊相关系数，最大系数对应的类别即为测试数据X解码结果．

1.4.5 EEGNet

EEGNet[33]是一种紧凑的卷积神经网络，它使用时间卷积和深度卷积分别充当带通频率滤波器和空间滤波器，以降低数据的维度，然后使用可分离卷积和逐点卷积来总结特征映射并进行最优混合．该模型有几个参数：F1、F2分别控制要学习的时间滤波器和点滤波器的数量，D控制每个时间卷积内要学习的空间滤波器的数量，dropout层按照一定的概率从卷积神经网络中随机丢弃神经元，帮助正则化，防止过拟合．本研究应用EEGNet网络模型时，先对每个数据段下采样至128 Hz．使用Git Hub(https://github.com/vlawhern/arl-eegmodels）中提供的EEGNet配置（F1=8,D=2,F2=16),UD分类时设置dropout=0.5，以防止在小样本训练时过度拟合，UI分类时样本量规模变大，设置dropout=0.25.

EEGNet模型训练过程中需要对参数更新迭代，使用Adam优化器，最小化分类交叉熵损失函数，学习率设置为0.000 1，批大小（batch size）为64，运行500个训练迭代（epoch）并执行验证停止，选择最低验证集损失的模型．

2、实验结果

2.1时频分析

对脑磁信号进行功率谱分析及地形图绘制，如图3所示，5 s的时间内执行不同的指令产生了不同的神经元活动．以图3(a)中传感器OPM-1、OPM-2为例，当受试者注视15 Hz频率的闪烁刺激时，其基频与倍频处的功率高于其他频率，但并非所有传感器均能检测到一致的倍频，且同一传感器多次试验检测出的倍频也不相同；当受试者睁眼且不注视任何闪烁刺激时，各频率处的功率均低于为磁场强度的单位，Hz代表单位频率）；当受试者闭眼时，Alpha波（8～13 Hz，功率谱密度图中的淡蓝色区域）频段的功率明显上升．

图3 (a)脑磁信号功率谱密度；(b)脑地形图的功率分布图

2.2分类准确率

本研究分别对Alpha波、SSVEF信号以及SSVEF-Alpha混合信号进行2分类、4分类、6分类准确率计算．免训练的方法不需要收集任何训练数据，作为一个通用的模型，可以立刻开始信号分类，稳态视觉信号分类最广泛使用的免训练方法是CCA，其也作为分类算法的基线算法．UD的方法需要依据每个受试者的训练数据，生成适用于个人的专用模型，UI的方法则依据多个受试者的训练数据，生成一个通用的模型，以便应用于未训练过的用户．3种分类方法示意图如图4所示．在这3种模型实际使用过程中，UI模型仅次于免训练的模型，因为它不需要再对新的受试者收集任何训练数据．

图4分类方法示意图

本研究对于UD的方法，使用单个受试者的数据训练模型，并在同一受试者的数据上测试模型，每位受试者的数据集进行10折交叉验证．对于UI的方法，采用留一法对模型进行训练和测试，即20位受试者的数据集，通过组合19位受试者的数据来训练，剩余1位受试者的数据进行测试．为区分使用不同分类算法的多分类结果，以“分类方法-分类算法（分类数）”对分类方法重新命名．例如：UD-SVM(2)为使用SVM分类算法，依据个人的训练数据生成用户依赖的模型后，使用该模型对测试数据进行2分类。

2.2.1 Alpha波2分类

20位受试者在不同数据长度下采用SVM、TRCA、EEGNet分类算法进行2分类的平均分类准确率如表1、图5(a)所示，在所有分类方法中，使用同一分类算法时UD的分类准确率均高于UI.UD-SVM(2)、UD-EEGNet(2)表现出较高的性能，除2 s数据长度外，UD-SVM(2)的标准误均比UD-EEGNet(2)小．2 s时UD-EEGNet(2)平均分类准确率可达(97.50±1.07)%，但在2 s后UD-EEGNet(2)的分类准确率略有降低．TRCA算法则无法有效区分Alpha波，分类准确率始终维持在50%左右，接近偶然性水平．

表1不同数据长度时分类准确率（平均正确率±标准误）/%T

2.2.2 SSVEF信号4分类

20位受试者在不同数据长度下采用CCA、TRCA、EEGNet分类算法进行4分类的平均分类准确率如表1、图5(b)所示，这些分类方法的分类准确率均与数据长度呈正相关，且各数据长度的分类准确率均高于偶然性水平25%．所有分类方法中UD-TRCA(4)表现出最高的分类准确率和最低的标准误，5 s时平均分类准确率为(99.00±0.43)%.1 s时UD、UI的准确率均高于免训练的CCA，但随着数据长度的增加，UI的分类性能逐渐低于CCA,UD的分类性能则一直保持在基线算法CCA之上．

2.2.3 SSVEF-Alpha混合信号6分类

20位受试者在不同数据长度下采用TRCA、EEGNet分类算法进行6分类的平均分类准确率如表1、图5(c)所示．UD、UI方法的分类精度均随数据长度的增加而增加，且各数据长度的分类准确率均高于偶然性水平16.67%.UD-EEGNet(6)表现出最高的分类准确率，5 s时平均分类准确率为(93.29±1.69)%,UD-TRCA(6)表现出最低的标准误．3 s前UD的准确率均高于UI,3 s后UI-EEGNet(6)的准确率则逐渐高于UD-TRCA(6).

图5 (a) Alpha波平均分类准确率；(b) SSVEF信号平均分类准确率；(c) SSVEF-Alpha混合信号平均分类准确率.图中黑色加粗实线分别为各分类方法对应的偶然性水平线

2.3统计学分析

为评估同一范式下不同分类方法的性能，采用双因素方差分析对分类准确率的结果进行了评估．设定分类准确率为因变量，数据长度、分类方法为固定因子，零假设为所有分类方法及数据长度的分类准确率相同，同时设定95%的置信区间用于比较和分析，并进一步进行Bonferroni事后多重比较．

对于Alpha波的分类准确率，双因素方差分析显示分类方法（p<0.05）存在显著影响，而数据长度（p=0.390）则不存在显著影响．Bonferroni事后多重比较表明，UD-SVM(2)与UD-EEGNet(2)、UD-TRCA(2)与UI-TRCA(2)、UI-SVM(2)与UI-EEGNet(2)分类方法相较，差异均无统计学意义（p>0.05）．各数据长度两两之间相较，分类准确率的差异也均无统计学意义（p>0.05），结合图5(a)可知数据长度对分类准确率的影响不大，分类准确率的高低依赖于分类方法．

对于SSVEF信号的分类准确率，双因素方差分析显示分类方法和数据长度均存在显著影响（p<0.05).Bonferroni事后多重比较表明，CCA(4)与UI-EEGNet(4)、UD-TRCA(4)与UD-EEGNet(4)分类方法相较，差异无统计学意义（p>0.05）．对同一分类方法不同数据长度之间两两相较，数据长度大于2 s后，分类准确率的差异无统计学意义（p>0.05），结合图5(b)可知同一分类方法2 s后的分类准确率趋于稳定．为比较1 s数据长度时UI模型与免训练CCA模型的性能，对CCA(4)、UI-TRCA(4)、UI-EEGNet(4)等分类方法做单因素方差分析，结果表明，CCA(4)与UI-EEGNet(4)分类方法相较，UI-EEGNet(4)更具优越性（p<0.05).

对于SSVEF-Alpha混合信号的分类准确率，双因素方差分析显示分类方法和数据长度均存在显著影响（p<0.05).Bonferroni事后多重比较表明，UD-TRCA(6)与UI-EEGNet(6)分类算法相较，差异无统计学意义（p>0.05）．数据长度3 s、4 s、5 s之间两两相比，差异也无统计学意义（p>0.05），结合图5(c)可知UD、UI结合不同的分类算法可以展现出相似的分类性能，同一分类方法的分类准确率在3 s后趋于稳定．

2.4信息传输速率

除分类准确率外，信息传输速率（ITR)[34]也是评价BCI性能的重要参数，用于表示每分钟传输数据信息的数目，它考虑了分类准确率、刺激目标数和数据长度之间的关系．ITR(bits/min）公式为：

(10)式中，T为数据时间窗长，K为分类目标数，P为分类准确率．表2、图6为各分类方法对应的ITR，其中UD-EEGNet(6)的平均ITR达到86.81 bits/min，除CCA(4)的ITR随着数据长度的增加先增大再减小外，其余分类方法的ITR均呈现逐渐减小的趋势．

综上所述，以分类方法是否对新受试者通用为条件，对单一范式BCI及混合范式BCI不同数据长度最优的分类方法（高准确率、高信息传输速率）进行总结，如表3所示．

表2不同数据长度信息传输速率/（bits/min)

图6 (a) Alpha波信息传输速率（UD-TRCA(2)与UI-TRCA(2)存在重叠）；(b) SSVEF信号信息传输速率；(c) SSVEF-Alpha混合信号信息传输速率

表3不同数据长度最优分类方法

3、讨论

本研究通过SSVEF-Alpha混合BCI实验对比了SSVEF和Alpha节律的信号特征，并进行了分类识别研究．在此基础上，进一步验证了混合BCI应用于可穿戴式脑磁图的可行性．判断BCI性能的两个重要指标分别为分类准确率和信息传输速率，越高的分类准确率代表BCI的可行性越高，越高的信息传输速率代表BCI的实用性越强．

利用多种分类方法对受试者的单一范式信号和联合范式信号进行分类准确率计算，从多分类的结果来看，分类准确率仍有很大的上升空间，不同范式下的信号都有其最适合的分类方法，但基于深度学习的EEGNet在多分类中均展现出较为优越的性能．TRCA算法不能有效进行2分类，可能是Alpha波涉及频率较多，任务期间单频率再现性较差，从而无法有效进行空间滤波，进而也限制了TRCA算法6分类准确率的上限．总体结果表明，由于个体间存在差异，与UI和免训练CCA相比，UD具有更高的分类准确性，但这需要每位受试者都完成一次训练，可能会导致受试者依从性差等问题．UI与免训练CCA在短数据长度分类时相比有更佳的表现，未来的研究可以探索使用更多受试者的数据，根据信号的特点对算法进行调整或采用其他算法建立通用的模型，进一步提升BCI系统的可行性．从统计分析的结果来看，Alpha波2分类，不同数据长度在同一分类算法下的分类准确率差距不大，而SSVEF信号在同一分类算法下，数据长度2 s后的分类准确率差距不大，这可能是Alpha波自发节律信号可以在较短的时间内达到稳定状态，而SSVEF诱发信号则需要随着刺激时间的延长逐步达到稳定[35]．从信息传输速率的结果来看，SSVEF-Alpha混合BCI将诱发信号与自发信号相结合，能够实现更高的通信指标，将两种范式组合为并行范式或通过检测Alpha波设计异步范式[2]，可以在多任务情况下提高实际应用的价值．同时，本研究仍然存在一定的局限性．首先，SSVEF刺激范式中的部分刺激频率与Alpha波频段存在重合，使得联合刺激信号解码容易产生混淆．其次，本研究仅在枕骨区排布了6个传感器进行实验分析，在后续研究中可增加传感器的数量和扩大传感器的排布范围，并进一步分析传感器数量对BCI性能的影响．最后，基于可穿戴式脑磁图的SSVEF-Alpha混合信号分类识别目前仍处于离线阶段，缺乏进一步的验证，后续计划进行在线实验，测试其实际使用的有效性．

4、结论

本研究对基于可穿戴式脑磁图的SSVEF-Alpha混合BCI进行分类识别研究．使用多种分类方法对脑磁信号进行分类准确率和信息传输速率计算，首先验证了单一范式BCI在可穿戴脑磁图上的可行性，其次证明了与单一范式BCI相比，混合范式BCI配合有效的分类方法可以有效的节约刺激诱发时间，提高系统的信息传输速率，最后表明了短数据长度下用户独立模型与免训练模型相较更具优越性，为构建更为实用、高效的通用BCI解码模型奠定了实验基础．上述分析结果为可穿戴式脑磁图BCI系统应用者在SSVEF-Alpha混合范式的分类方法选择上，提供了比较清晰的理论方法及系统的实验参考，具有较好的参考价值和应用潜力．

参考文献:

[2]翟文文,杨玉娜,鲁守银,等.上肢康复训练机器人的脑机接口系统研究[J].生物医学工程研究, 2019, 38(3):269-274.

[6]刘辉,杜玉晓,彭杰,等.脑-机接口技术发展[J].电子科技, 2011, 24(5):116-119.

[7]拉杰什P.N.拉奥.脑机接口导论[M].张莉,陈民铀,译.脑机接口导论, 2016.

[17]陈春巧,张欣,郭清乾,等.基于原子磁力计的穿戴式脑磁图动态测量研究[J].波谱学杂志, 2022, 39(3):337-344.

[18]孙韦,王慧,张寅,等.基于气体浓度定量的嗅觉刺激器优化设计[J].波谱学杂志, 2021, 38(1):12-21.

[23]李凌,张金香.闭眼与开眼静息状态下脑电α波的差异研究[J].电子科技大学学报, 2010, 39(3):450-453.

基金资助:季华实验室项目——新一代可穿戴脑磁图仪研制(X190131TD190);

文章来源:王晨旭,郭旭,王慧,等.基于可穿戴式脑磁图的视觉混合脑机接口研究[J].波谱学杂志,2024,41(04):405-417.