近年来，随着深度学习技术的兴起，基于脑电（EEG）的情绪识别受到了广泛关注。然而，大多数现有方法往往只关注EEG信号的时空信息，而忽略了大脑区域的潜在拓扑信息。

为了解决这个问题，本文提出了一个具有多分支特征提取和分阶段融合的动态图注意力网络（MAS-DGAT-Net），该网络将图卷积神经网络（GCN）集成用于EEG情绪识别。具体来说，首先使用斯皮尔曼相关系数将EEG信号的差分熵（DE）特征重建为相关矩阵。然后，利用大脑区域连接特征提取（BCFE）模块来捕捉与情绪激活状态相关的大脑连接特征。同时，本文引入了一个双分支交叉融合特征提取（CFFE）模块，该模块由基于注意力的交叉融合特征提取分支（A-CFFEB）和交叉融合特征提取分支（CFFEB）组成。A-CFFEB利用注意力机制从EEG特征中有效提取关键的通道-频率信息，然后将其与BCFE的输出特征进行融合。融合后的特征随后被输入到所提出的具有广义学习系统（DGAT-BLS）的动态图注意力模块中，以进一步挖掘大脑连接特征信息。最后，将DGAT-BLS和CFFEB输出的深度特征结合起来进行情绪分类。该算法已在SEED、SEED-IV和DEAP数据集上进行了实验验证，结果证实了该模型的有效性。源代码可在以下网址公开获取：https://github.com/cvmdsp/MAS-DGAT-Net。

MAS-DGAT-Net包括BCFE模块、CFFE模块和DGAT-BLS，如图1所示。

图1 MAS-DGAT网络的框架

（1）脑区域连接特征提取（BCFE）

将斯皮尔曼相关系数矩阵S输入到BCFE模块中，以提取EEG信号的脑区连通性特征；BCFE模块擅长全面捕获EEG通道之间的局部和全局连接模式，其特定架构如图2所示。

图2 BCFE模块结构

其中SENet模块的详细配置如图 3 所示。

图3 SENet模块

（2）双分支交叉融合特征提取（CFFE）

在将输入DE特征转换为脑区连接特征矩阵的过程中，本研究设计了一个包含两个子分支的CFFE模块。这些子模块分别对脑电信号进行特征提取，然后将提取的特征与其他模块的输出特征分阶段进行融合，以放大与情绪相关的特征，提高模型的情绪识别效果。图4示出了CFFE模块的复杂配置。这两个子分支包括注意力交叉融合特征提取分支（A-CFFEB）和交叉融合特征提取分支（CFFEB）。

图4  CFFEB模块结构

（3）具有广泛学习系统的动态图形注意模块（DGAT-BLS）

DGAT-BLS包括两个组件：动态图注意力（DGAT）和BLS。DGAT解决了由堆叠的图卷积层导致的特征过度平滑的问题，以及通过动态更新手动设置邻接矩阵的约束。另一方面，BLS增强了从DGAT输出的特征以增强它们之间的特异性。DGAT-BLS的完整框架如图5所示。

图5  DGAT-BLS模块的结构

表1 在SEED和SEED-IV数据集上进行的被试相关实验结果

表2  在DEAP数据集上的被试相关实验结果

图6  SEED和SEED-IV数据集的被试相关情绪识别混淆矩阵。(a)SEED数据集，（b）SEED-IV数据集。

图7  DEAP数据集的被试相关情感识别混淆矩阵。(a)效价维度结果，（b）唤醒维度结果。

图8  每个被试的被试依赖的情绪识别准确性。(a)SEED数据集，（b）SEED-IV数据集。

表4  在SEED和SEED-IV数据集上进行的被试独立实验结果

表5  在DEAP数据集上进行的被试独立实验结果

图9  SEED和SEED-IV数据集中被试独立的情绪识别的混淆矩阵。(a)SEED数据集，(b)SEED-IV数据集。

图10 DEAP数据集中被试独立的情绪识别的混淆矩阵。(a)效价维度结果，（b）唤醒维度结果。

图11  每个被试的被试独立的情绪识别准确性。(a)SEED数据集，(b) SEED-IV数据集。

表6  MAS-DGAT-Net消融实验的结果

表7  DGAT-BLS模块消融实验的结果

表8  SEED数据集的超参数消融结果

图12  不同时期模型训练和测试的损失曲线。

图13  不同学习率下模型训练和测试的损失曲线

图14  不同权重初始化方法对模型分类性能的影响

图15  SEED数据集中不同被试输出特征的可视化结果。（a）-（c）分别是第4个被试的原始数据、被试依赖实验分类器输出和被试独立实验分类器输出结果的可视化;（d）-（f）是第6个被试的相应可视化结果；以及（g）-（i）是第14个被试的相应可视化结果。

本研究提出了一种基于动态多头图注意力神经网络的脑电情绪识别方法 MAS-DGAT-Net 。该模型首先利用斯皮尔曼相关系数构建 EEG 通道相关矩阵，接着通过动态多头图注意力模块提取 EEG 电极间拓扑信息。此外，该模型还融入双分支结构和分段融合机制，有效丰富情绪相关特征，提升特征可区分性。并在 SEED、SEED-IV 和 DEAP 数据集上验证了该模型的有效性。未来计划优化输入数据的预处理，降低噪声影响，提升情绪特征质量；同时优化情绪识别的电极通道选择，去除冗余数据，进一步提高模型准确性。此外，还将进一步优化模型使其更具通用性，将其拓展应用于疾病诊断、睡眠监测、运动意图识别等任务，力求在不同领域提升性能表现。

免责声明：原创仅代表原创编译，水平有限，仅供学术交流，如有侵权，请联系删除，文献解读如有疏漏之处，我们深表歉意。