情感识别是人机交互的重要研究课题之一，也是人工智能的关键技术之一[1].情感是一种连续的状态，为了表示情感，心理学家提出了离散维度模型和连续维度模型[2].Ekman等[3]将离散情感分成愤怒、厌恶、恐惧、快乐、悲伤和惊喜6种基本情感.连续维度模型是将情感映射到一个二维圆形空间中，效价维度从消极到积极，唤醒维度从平静到兴奋.连续情感识别的核心是分析刺激引发的时变情感现象[4].

人们普遍认为，情感会引起人类有意识或无意识的生理反应[2].如在恐怖图像刺激后产生心率、温度和生理活动的变化等[5].目前用于情感识别实验的信号包括外部直接的情感信号和内部间接的生理信号.外部直接的情感信号有声音、面部表情等.内部间接的生理信号有EEG、眼电以及肌电等.近年来，人们基于EEG进行了大量的情感识别研究，但是EEG信号具有时间不对称性和不稳定性、低信噪比等缺点[6],所以基于EEG信号的情感识别依然面临着许多挑战.

早期的研究通常采用人工提取特征和传统机器学习方法进行情感识别.Bahari等[7]采用非线性k基于递归图的最近邻分类器(KNN),以识别不同的情感.Wang等 [8]使用基于频域特征的支持向量机(SVM)分类器对不同情感进行分类.然而，传统机器学习技术受到特征设计和特征选择的限制，需要大量的专业知识才能设计出性能更优的分类器.近年来，深度学习在情感识别领域被广泛使用.Kim等 [9]为了捕捉复杂的非线性特征提出了一种基于CNN的深度信念网络模型.Pan等[10]揭示了自注意力和CNN之间的潜在关系，提出了混合模型将两者完美结合，其效果优于纯卷积网络或自注意力模型.Chen等 [11]提出了一种用于多模态情感识别的长短期记忆递归神经网络(LSTM).在Schuster等[12]的研究中，利用LSTM从情感分析任务中捕获上下文信息.CNN能够捕捉空间信息，LSTM能够捕捉时间信息.为了同时捕捉EEG的空间和时间特征，许多研究人员建议将CNN与LSTM相结合，使用CNN提取空间特征，然后使用LSTM在时间维度上学习时间特征.陈景霞等[13]提出了一种基于深度卷积联合适应网络(CNN-JAN),将迁移学习联合适应思想融合到深度卷积神经网络中，该模型在跨被试实验取得了良好的性能.Ebrahimi等 [14]利用混合卷积神经网络递归神经网络(CNN-RNN)框架进行面部表情分析.Zhang等 [15]对比了LSTM与CNNLSTM模型的效果，实验证明了CNNLSTM模型计算代价小，模型更稳定，且分类性能更好.

相较于单一模态而言，多模态数据之间具有互补信息能更准确地识别情感，所以多模态情感识别的性能通常优于单一模态[16],最新的情感识别研究倾向于多模态综合评估.多模态融合的方式包括数据级融合、特征级融合和决策级融合.数据级融合涉及数值处理和参数估计，需要统计源数据，不适用于大型数据集.特征级融合[17,18]将不同信号的特征向量直接串联，从而形成高维特征向量.与特征级融合相比较决策级融合[19,20]更具适应性和扩展性，根据每个单模态分类的准确率通过决策层做出联合决策.决策级融合的关键在于衡量每个模态对于情绪识别的重要性.Soleymani等 [21]将EEG信号和面部表情进行特征级融合实现连续情感识别，结果表明，EEG信号可以在面部表情存在时提供补充信息.Zheng等[22]提出了EEG信号和眼动追踪相结合的情感识别方法，结果表明，EEG信号和眼动追踪的特征级融合和决策级融合都可以提高情感识别模型的性能.与眼动追踪不同，面部表情可以通过相机直接捕捉.因此，面部表情和EEG的融合能够更客观和准确地检测人们情绪状态的变化.

本文采用CNN与BiLSTM组合模型(简称CNN-BiLSTM)捕捉EEG的空间维度特征和时间维度特征.由于情感的强弱在时间维度和空间维度是一种连续的变化，为了提高基于EEG的情感识别效果，引入时空注意力机制(Spatial-Temporal Attention, STA)动态地调整EEG时空特征的权重.采用预训练的CNN模型对面部视频特征进行学习.由于 CNN模型在训练过程中只能关注到被试者面部的全局区域特征，引入自注意力机制(Self-Attention)突出情感变化引起的局部区域特征.决策级融合使用枚举算法器协调STA-CNNBiLSTM和SA-CNN做出联合决策.

本文的其余部分组织如下：第一节介绍了原理及方法；第二节介绍了数据预处理；第三节介绍了所提出STA-CNNBiLSTM和SA-CNN的有效性；第四节进行了总结和展望.

1、本文方法

本文基于脑电与面部表情两种模态特征，构建一种连续情感分类模型，采用决策级融合策略得到多模态情感分类结果，在MAHNOB-HCI公共数据集上对所提模型进行评估.

所提方法的整体框架如图1所示.针对EEG数据，为了关注脑电时间序列上的变化和通道间的关联程度，提出了一种可解释时空注意力卷积双向长期短期记忆模型(STA-CNNBiLSTM).CNN设置在模型的第一层，用来提取特征并找到局部模式.由于LSTM在时间序列分析和长期依赖性学习方面具有优势，可用于连续情感识别中的时间动态捕捉.BiLSTM由两层LSTM组成，双向传递信息，能够捕捉更多时间维度特征.将BiLSTM设置在模型的第二层，通过将CNN和BiLSTM相组合，达到同时捕捉EEG时空特征的效果.同时，为了捕捉更多的EEG的时空特征，在BiLSTM层引入STA.STA包括空间注意力和时间注意力.首先，将空间注意力权重动态地分配给单个时间步长中的输入特征.然后，向每个时间步长分配时间注意力权重.空间注意力权重和时间注意力权重同时影响LSTM神经单元的输入与输出，从而能够提高LSTM单元性能.

针对面部视频，使用Self-Attention和CNN来构建模型，使用谱归一化方法(Spectral Normalization, SN)捕捉不同被试之间的相似性.

最终通过决策级融合算法充分利用两种模态间的互补信息提高了分类效果.模型使用正则化方法来规范数据，使用控制变量方法来选择超参数，使用Adam算法来优化模型.

图1 多模态情感识别框架   

1.1 STA-CNNBiLSTM

情感的差异表现在不同频段、时间戳和大脑区域的激活程度上.特定的频带、时间戳或大脑区域中，每种情感状态都有一些稳定且有区别的模式[23].因此，自适应地关注这些特定模式对于情感识别非常重要.本文在STA-CNNBiLSTM的BiLSTM层引入STA机制，STA机制能够动态地调整输入特征矩阵的空间特征权重和时间特征权重，以自适应地捕获一些情感集中的大脑区域、频带和时间点.

假设存在二维时空特征矩阵X∈Rm×k,m表示单个时间步长的特征数量，k表示时间步长的数量.首先定义输入特征矩阵可以划分为k个m维向量，计算空间注意力权重.按顺序计算m维向量中的每一列f,得到对应列的特征向量xt.然后使用Sigmoid函数激活特征向量xt,使用Softmax函数对xt进行标准化得到空间注意力权重at.计算步骤如下：

式(1)中：m表示单个时间步长的特征数量，f

表示矩阵列向量，xt表示f

对应的特征向量；式(2)中：A表示Sigmoid函数，S表示Softmax函数，at表示空间注意力权重；式(3)中：⊙表示按元素进行乘积运算，x′t表示分配空间注意力权重之后的特征向量.

然后将空间注意力权重加权序列逐步注入LSTM单元，依次获得LSTM隐藏层的输出序列H,如式(4)所示.计算过程如下：

H=[h1,h2,…,hk]k×s (4)

β=TA(H)=[β1,β2,…,βk]1×k (5)

p=Q(hatt),p∈R1×n (7)

式(4)中：h1表示LSTM的输出单元，H表示LSTM隐藏单元输出序列；式(5)中：A表示使用ReLU(x)=max(0,x)函数激活加权序列H,T表示使用Softmax函数对H进行标准化，最终生成时间注意力权重β;式(6)中：⨂表示矩阵积，hatt表示分配时间注意力权重之后的特征向量；式(7)中：Q表示输出层，p表示输出层通过矩阵积运算生成的最终预测值.

STA-CNNBiLSTM使用一层CNN层和一层BiLSTM层，其总体结构如图2所示.空间注意力模块位于模型的浅层，浅层特征分布集中，权重始终在(0,1)范围内，属于软注意力机制；时间注意力模块用于处理BiLSTM层中LSTM单元时间维度的特征，其中ReLU函数可以增加特征的差异性，属于硬注意力机制.特征向量经过Softmax函数标准化之后，小于0的特征向量将被压缩，大于0的特征向量将更加突出.将空间注意力模块动态地分配给单个时间步长的特征向量，然后将特征向量依次注入LSTM单元，以充分利用EEG信号的时空信息.空间注意力权重和时间注意力权重同时影响LSTM的输出，最终得到情感识别的效价分数和唤醒分数.

图2 STA-CNNBiLSTM模型总体结构图   

1.2 SA-CNN

自注意力机制被广泛应用于视觉任务中.与纯卷积神经网络相比，自注意力可以让模型在更大的范围内聚焦于重要区域.自注意力模块对输入特征的上下文进行加权平均操作，通过相关像素之间的相似性函数动态计算关注权重，自适应地关注到不同区域获得更多的信息特征，同时减小了计算开销.

自注意力权重计算如下：

表示注意力权重矩阵，fij表示特征向量，d表示W(l)qfij的特征尺寸.

自注意力机制的计算可以分解为两个阶段.第一阶段计算过程如式(9),首先对输入特征进行1×1卷积，然后将特征向量投影为一维向量q.第二阶段计算过程如式(10)所示，首先计算注意力权重得到k维权重矩阵，然后通过串联将权重聚集，以实现聚集局部特征.

表示经过卷积的特征向量，fij表示特征向量.

式(10)中：N表示N头自注意力，l表示N头自注意力中的第l头，A表示自注意力权重.

SA-CNN使用三个卷积层和一个全连接层.其网络结构如图3所示.第一层有32个卷积核，大小为3×3.第二层有32个卷积核，大小为3×3.第三层有64个卷积核，大小为3×3.我们对第一个卷积层使用了边界填充，填充的目的是添加空像素以增加图像的大小.将自注意力机制与三层卷积层联系起来，使用填充和搭建模型.Miyato T等[24]证明了SN方法能够增加卷积层训练的稳定性.SN方法能够规范化网络中矩阵的奇异值，防止网络的导数在某一水平方向上太大或太小.使用SN方法对三层卷积层进行归一化.第四层是完全连接层，包含64个神经元.第五层输出层输出效价维度和唤醒维度的分类结果.

图3 SA-CNN模型结构图   

1.3 决策级融合算法

本文采用Li等[25]设计的枚举算法器对两个模态情感分类结果进行决策级融合，以0.01的步长遍历权重，找到两个子分类器线性组合的最优权重.分别将EEG和面部视频的子分类结果在效价维度和唤醒维度进行融合.融合的线性组合方程定义如式(11)所示：

Senum=δSface+(1-δ)SEEG (11)

式(11)中：δ值从0到1,表示面部表情子分类器的重要性；Sface和SEEG分别表示面部表情子分类器和EEG的子分类器的预测分数.

达到最高准确率的δ值为最优权重值被存储记录.情绪分类关系定义如下

式(12)中：γenum表示分类结果，Senum表示融合的预测分数.

使用EEG和面部表情的最优权重值，对两个模态上的分类进行加权求和，得到最终分类的准确率.

2、数据集与数据预处理

本节主要介绍实验所使用的数据集，以及对EEG和面部视频两种模态数据的预处理.

2.1 数据集

本文在公开的MAHNOB-HCI数据集和2013面部表情识别数据集(FER2013)上进行实验，以验证和评估所提方法的性能.

MAHNOB-HCI是一个多模态数据集，由27名被试组成，每名被试参与了两项实验[26].每名被试观看了20段情感视频，长度在34.9秒到117秒之间.记录的信号包括32个通道的EEG数据、外围生理学数据(心电、肌电、呼吸、皮肤温度)、眼睛注视数据、音频数据和来自6台摄像机的视频数据(记录了被试的面部表情和头部姿势).观看完每一段视频后，每名被试给视频贴上对应的情感标签，并在1～9的尺度上对他们的情感体验在唤醒维度和效价维度进行评分.本文将评分为1～5的标签设为0,表示低效价/唤醒度；评分为6～9的标签设为1,表示高效价/唤醒度；两类情感标签表示为{0,1}.在数据处理过程中发现3名被试数据有缺失，本文选择24名被试的完整数据进行实验.

FER2013数据集[27]由Pierre Luc Carrier和Aaron Courville创建，由35 887张48×48的灰度图像组成.该数据集包含七种基本面部表情的图像，分为三个不同的集合，一个训练集合、一个验证集合和一个测试集合.大约有29 000张训练图像，4 000张验证图像和4 000张用于测试的图像.本文仅使用其中的训练集图像预训练SA-CNN模型.

2.2 数据预处理

2.2.1 面部视频数据预处理

MAHNOB-HCI数据集中包含24个被试共480个面部视频，每个视频的分辨率为780*580,帧率为61 fps.本文将视频重采样到4 Hz, 使用OpenCV获得灰度图像，并使用面部检测器来查找图像帧中面部的位置.得到大小为48*48的面部灰度图像.在公开数据集FER2013上预训练SA-CNN模型，存储基线SA-CNN模型和所有参数.采用迁移学习技术将模型及参数用于MAHNOB-HCI数据集.

2.2.2 EEG数据预处理

原始EEG信号中含有各种伪影，首先使用EEGLAB进行带通滤波，选择4～45 Hz之间的频率范围，先高通滤波再低通滤波.然后降低采样率为256 Hz, 对信号进行基线校正和伪迹去除，通过基于独立分量分析的空间滤波，减弱眼睛注视和头部移动对EEG波形的影响.Guzel Aydin等[28]在先前研究中证明了，大脑额叶、颞叶和枕叶区域的theta波段(4～8 Hz)、alpha波段(8～13 Hz)、beta波段(3～30 Hz)、gamma波段(30～45 Hz)的PSD与人类情感高度相关.基于这些发现，从脑电信号中选取了位于额叶、颞叶和枕叶的AF3、F3、F7、FC5、T7、P7、O1、AF4、F4、F8、FC6、T8、P8、O2等14个通道的数据.最后通过短时傅里叶变换(STFT)从EEG信号中提取不同频带的PSD特征，作为ST-CNNBiLSTM模型的输入.在固定窗口间隔内执行STFT,STFT的计算过程如式(13)所示：

X(jw)=∑x(n)g(n-mR)e-2jπfn (13)

式(13)中：g(n)表示窗口函数，将信号与窗口函数相乘，能够避免尖锐的波段和冗余的信息.计算小窗口部分x(n)的傅里叶变换并叠加起来形成一个矩阵X(jw).

3、实验结果与分析

本节使用MAHNOB-HCI数据集对所提模型在效价维度(valence)和唤醒维度(arousal)上进行两类情感分类实验，并对实验的结果进行分析和讨论.选择包含完整数据的24名被试，分别进行了独立被试实验和依赖被试的情感分类实验.针对单模态数据，通过消融实验验证了时空注意力机制和自注意力机制的引入提高了训练的稳定性.

3.1 独立于被试的实验及结果分析

在独立于被试的实验中，我们使用MAHNOB-HCI数据集中的24组数据训练和评估STA-CNNBiLSTM网络和SA-CNN网络.实验使用23名被试的数据作为训练集，剩余1名被试的数据作为测试集.每名被试都作为一次测试集进行24次实验，最终使用24次实验的平均准确率作为模型总的分类性能.

实验结果如表1所示，所提方法在效价维度的二分类准确率为75.50%,在唤醒维度的二分类准确率为79.00%.

表1 独立被试实验结果

观察表1,比较BiLSTM&CNN和BiLSTM&SA-CNN的实验结果，发现BiLSTM&SA-CNN模型的识别精度在效价维度提高了0.03,在唤醒维度提高了0.054 8.由此可以看出，Self-Attention能够使CNN自适应地关注到面部图像的不同区域从而能够获得更多的情感信息特征，以增强CNN模块的稳定性.引入Self-Attention提高了情感分类的性能.

比较STA-CNNBiLSTM & SA-CNN和BiLSTM & SA-CNN的实验结果，发现STA-CNNBiLSTM & SA-CNN模型的识别精度在效价维度和唤醒维度分别提升了0.025 0和0.015 0,证明了引入STA能够捕捉更丰富的EEG时空特征.

3.2 与现有最优模型比较

在MAHNOB-HCI数据集上，将所提模型与目前效果最优的模型进行比较，结果如表2所示.所提模型相较于LSSVM在效价维度的分类准确率提高了0.085,在唤醒维度提高了0.09.相较于SE-CNN在效价维度的分类准确率提高了0.052 5,在唤醒维度提高了0.057 3.相较于AM-LSTM在效价维度的分类准确率提高了0.012,在唤醒维度提高了0.037.

表2 独立被试实验与最优模型比较

具体来说，Yin等[29]使用改进的机器学习算法LSSVM实现单EEG模态情绪分类，在跨被试实验中，效价维度和唤醒维度的准确率分别为67%和70%.Zhong等[30]提出的SE-CNN模型只能对EEG的空间特征进行捕捉，其针对EEG数据的gamma波段，在效价维度和唤醒维度的分类准确率取得最优值分别为70.25%和73.27%,但是针对EEG数据的beta波段，在效价维度和唤醒维度的分类准确率分别为69.13%和70.18%.Zhao等[31]使用BCN网络融合了EEG三个波段的特征，然后使用AM-LSTM将EEG特征与面部表情特征进行特征融合，在效价维度和唤醒维度的分类准确率分别为74.30%和75.30%.BCN网络选择了EEG三个波段的信号并将其转换为图像序列，该网络也只能提取EEG的空间特征.

本文所提的多模态情感分类模型，针对EEG数据STA-CNNBiLSTM能够同时捕捉其空间特征和时间特征，针对面部视频数据SA-CNN能够捕捉被试面部全局区域特征.通过两种模态间的信息互补，使得情感分类模型的效果更加显著.

3.3 单模态消融实验

针对EEG单模态任务中，在独立被试场景下对STA进行了消融对比实验.实验结果如表3所示.观察表3发现，CNNBiLSTM能够同时捕捉EEG空间维度时间维度的深层特征.观察发现CNNBiLSTM在效价维度准确率提升了0.027 1,在唤醒维度准确率提升了0.022 6.

相较于CNNBiLSTM,STA-CNNBiLSTM在效价维度准确率提升了0.002 3,在唤醒维度准确率提升了0.020 8.STA中的空间注意力和时间注意力同时影响BiLSTM的输入与输出.观察实验结果发现，引入STA能够捕捉EEG更丰富的空间特征和时间特征，使模型分类的效果更加显著.

表3 STA-CNNBiLSTM消融实验结果

在独立被试场景下对Self-Attention进行了消融对比实验，实验结果如表4所示.观察表4发现，在面部视频单模态任务中，SA-CNN在唤醒维度提升了0.046,结合多模态情感识别实验的结果，证明了Self-Attention能够增强CNN模块性能.SN能够使CNN更加稳定，捕捉不同被试之间的相似性，缩小了效价维度和唤醒维度分类效果的差距.

表4 SA-CNN消融实验结果

实验还比较了SA-CNN模型与CNN模型训练的总参数量，即通过计算空间复杂度来证明模型的计算开销.CNN模型取最优损失时模型的参数量为832 112,SA-CNN模型取最优损失时模型的参数量为411 587,证明了引入Self-Attention能够减小模型的计算开销.

4、结论

本文提出了一种基于脑电信号的决策级多模态融合情感识别方法，分别针对脑电和面部表情两种模态搭建了STA-CNNBiLSTM模型和SA-CNN模型.由于EEG信号的通道间的关联性以及情感强度随着时间的变化很难捕捉，近年来很多研究都侧重于捕捉EEG的时空特征，本文在CNNBiLSTM模型中引入STA机制，能够捕捉更丰富的EEG时空特征，实验结果表明基于注意力的模型比原始的BiLSTM模型更准确和鲁棒性更强.采用引入Self-Attention的预训练CNN模型对面部视频数据进行深层特征学习，通过消融实验验证引入的自注意力机制能够提高面部表情识别的准确率，同时在网络中对每层CNN进行SN标准化防止梯度爆炸，增加了模型的训练稳定性.EEG和面部视频两种模态是情感识别的重要依据，通过决策级融合策略融合两种模态能够更精确的对情感进行分类.

参考文献:

[13]陈景霞,胡修文,唐喆喆,等.基于卷积联合适应网络的脑电信号情感识别[J].数据采集与处理,2022,37(4):814-824.

基金资助:国家自然科学基金项目(61806118);陕西科技大学博士科研启动基金项目(2020BJ-30);

文章来源:雪雯,陈景霞,胡凯蕾等.基于EEG和面部视频的多模态连续情感识别[J].陕西科技大学学报,2024,42(01):169-176.