IEEE TAAFC:基于情感脑电风格迁移网络的跨数据集脑电情感识别增强新方法
- 2025-07-25 08:30:00

点击蓝字 关注我们

英文标题:Enhancing Cross-Dataset EEG Emotion Recognition: A Novel Approach with Emotional EEG Style Transfer Network

成果简介
脑电(EEG)情绪识别技术作为情感脑机接口(aBCI)发展的核心环节,长期以来受到研究者的广泛关注。尽管当前基于被试内数据的EEG情绪识别方法已取得显著进展,但在跨域场景下(即训练数据与测试数据来自不同源时),如何有效解决源域和目标域EEG信号特征分布差异导致的风格失配问题,仍是该领域亟待突破的关键科学难题。
针对跨数据集EEG情绪识别中存在的显著的域间差异问题,本研究创新提出情感EEG风格迁移网络(Emotion EEG Style Transfer Network,E2TN)。该网络通过有效提取源域的内容特征与目标域的风格特征,实现了风格化EEG情绪表征的精准重构。实验结果表明,所构建的跨域表征可显著提升情绪识别的判别性能。具体而言,E2STN包含三个关键模块:迁移模块、判别预测模块和迁移评估模块。经多组对比实验验证,本方法在跨数据集EEG情绪识别任务中的性能表现达到当前最优水平。
研究方法
E2STN包含三个关键模块:迁移模块、判别预测模块和迁移评估模块。如图1所示。

图1 E2STN网络的框架
(1)迁移模块
为了获得既包含源域情感内容信息又包含目标域统计特征风格的情感EEG表征,迁移过程分为两个关键步骤。首先,构建分别对应源域和目标域的迁移编码器。这两个编码器分别捕获不同领域特定信息(即源域的情感内容和目标域的风格特征)内的全局依赖关系。
第二个关键步骤是在解码器中融合源域内容信息和目标域风格信息,生成风格化的情感 EEG 特征。解码器通过多层结构迭代地结合内容和风格信息,将目标域风格应用于源域 EEG 特征。

图2 迁移模块中编码器和解码器层的架构
(2)判别预测模块
在获得风格化的源域EEG表征后,构造了一个动态图网络以提取深度特征,使情感脑电风格迁移网络能够从源域和风格化EEG表征中学习区分性特征。
(3)迁移评估模块
在情感风格迁移过程中,主要考虑内容感知损失Lc、风格感知损失Ls和身份感知损失Lid。Lc考虑的是在迁移过程中保留源域的情感内容信息。Ls是确保风格化情绪EEG表征的风格特征与目标域的风格特征非常相似。最后,Lid为了保证渐进迁移过程中风格化EEG表征的不失真性。
研究结果

图3 跨数据集实验中E2STN结果的混淆矩阵
表1 SEED、SEED-IV和MPED上EEG情感识别3类交叉数据集分类性能

表2 SEED-IV和MPED上EEG情感识别的4类交叉数据集分类性能

表3 3类交叉数据集EEG情感识别的消融实验

表4 4类交叉数据集EEG情感识别的消融实验


图4 判别预测模块中动态图形分布的可视化
研究结论
本研究引入一种情感EEG风格迁移网络 E2STN,旨在实现有效的跨数据集脑电情感识别。该网络构建了迁移、迁移评估和判别性预测三个模块,分别用于实现迁移、迁移评估和判别性预测功能。其中,迁移模块能够有效减小不同数据集间的数据分布差异,生成风格化的情感 EEG 表征;迁移评估模块从源域和风格化 EEG 表征中提取多尺度时空特征,并构建多维损失函数以指导情感 EEG 风格迁移过程;判别性预测模块则利用源域和风格化 EEG 表示联合训练,从而在跨数据集实验中实现准确的情感预测。大量实验验证了 E2STN 在跨数据集 EEG 情感识别任务中的有效性。此外,本研究还对与情感相关的重要脑区的探索,为神经生理学研究提供了有价值的见解。未来,将深入探究情感EEG信号的微伏级迁移规则,以进一步提升跨数据集 EEG 情感识别的性能。
免责声明:原创仅代表原创编译,水平有限,仅供学术交流,如有侵权,请联系删除,文献解读如有疏漏之处,我们深表歉意。


公众号丨智能传感与脑机接口

- 点赞 (0)
-
分享
微信扫一扫
-
加入群聊
扫码加入群聊