多模态融合赋能脑机交互：脑电-眼动融合算法与数据集

脑机接口社区
2025-07-13 09:32:37

近日，脑认知与类脑智能全国重点实验室神经计算与脑机交互团队在多类别目标快速序列视觉呈现脑机接口（RSVP-BCI）领域取得重大突破，发布了首个面向多类别目标检索的多模态RSVP开源数据集，并创新提出了基于模态贡献度引导的多模态融合算法MTREE-Net，显著提升了多类别目标检索性能。相关成果以Exploring EEG and Eye Movement Fusion for Multi-Class Target RSVP-BCI为题，发表于人工智能与计算机科学领域顶级期刊Information Fusion（中科院一区Top期刊，IF=14.8）。

1. 研究背景与论文简介

基于快速序列视觉呈现（Rapid Serial Visual Presentation, RSVP）范式的脑机接口（Brain-Computer Interface, BCI）通过识别脑电信号中的事件相关电位（Event-Related Potentials，ERPs），能够实现图像流中目标的高通量检索。RSVP-BCI系统因其在人机交互与协作中的潜力而备受关注，并已广泛应用于目标图像检索、拼写器、人脸识别及异常检测等领域。

在基于快速序列视觉呈现的脑机接口（RSVP-BCI）系统中，研究者以高速率向被试者呈现包含多类别图像的视觉序列。被试者需从非目标图像中识别特定的目标图像，这些目标图像以稀疏且随机的方式分布于图像序列中。这些稀疏的目标图像会诱发包含P300成分的事件相关电位。P300是一种显著的正向波峰，通常出现在罕见刺激呈现后约300毫秒，通过检测EEG信号中的P300成分即可实现目标图像的检索。

EEG解码方法的提出显著提升了RSVP-BCI解码性能，使RSVP-BCI成为有效的目标检索工具。然而，传统RSVP-BCI系统仍局限于单类别目标检索，难以满足日益增长的多类别目标检索需求。尽管已有研究初步尝试将其扩展至多类别RSVP范式，但现有方法性能仍难以满足实际应用需求。与此同时，有研究发现受试者在RSVP任务中观看目标图像时，不仅会产生特定的脑电反应，还伴随眼动（Eye Movement，EM）信号变化，如瞳孔直径和注视位置的调整，这类信息与视觉搜索和目标识别过程密切相关。基于此，融合EEG与眼动信号被认为是一种有前景的策略，有望进一步提升RSVP任务中的解码性能。

图 1 (a) 单类别目标RSVP-BCI系统和 (b) 多类别目标RSVP-BCI系统

因此，本研究旨在通过探索EEG与EM的多模态融合，提升多类别目标RSVP解码能力，从而增强对不同类别目标刺激诱发脑响应的区分性。本研究做了如下创新：

(1) 本研究将眼动模态引入多类别目标快速序列视觉呈现（RSVP）任务，构建了首个包含43名被试数据的脑电-眼动多类别目标RSVP数据集。

(2) 提出多类别目标RSVP脑电-眼动融合网络（MTREE-Net）。据我们所知，这是首个融合EEG与EM信号以增强多类别目标RSVP解码的模型。

(3) 设计了模态贡献度引导的重加权模块，利用推导的模态贡献率指导重加权模块优化；并提出层次化自蒸馏模块，通过促进层次化分类器间的知识迁移，减少模型的误判率。

(4) 本研究通过统计分析证明了多类别目标RSVP任务中引入眼动信号具有可行性，且通过大量实验验证了MTREE-Net在多类别目标RSVP数据解码中表现出优越性能。

2. 数据集介绍

本研究构建了包含脑电和眼动特征的多类别目标RSVP数据集（NeuBCI Multi-Class Target Detection RSVP EEG and EM Dataset），包含43名被试（19名男性被试和24名女性被试，平均年龄23.8 ± 2.4）的脑电（EEG）与眼动（EM）数据。该数据集包含三个独立的多类别目标RSVP任务。每项任务中，目标图像（占6%）与非目标图像（94%）按10Hz速度随机呈现，模拟真实场景下的快速目标检索需求。数据采集采用64导联脑电帽与眼动追踪系统，同步记录两种信号，并通过标准化预处理（下采样至128Hz、带通滤波、基线校正）确保数据质量。每个被试在每项任务中包含5000个单试次样本。该数据集填补了多类别目标RSVP任务中多模态数据集的空白，为开发融合EEG与EM的解码算法提供了关键支持，尤其适用于遥感图像分析等复杂场景。

3. 研究方法

该研究提出多类别目标RSVP脑电-眼动融合网络（MTREE-Net）（见图 2），以提升多类别目标RSVP解码性能。MTREE-Net主要由四个核心模块构成：双通路特征提取器、双向互补模块、模态贡献度引导的重加权模块和层次化自蒸馏模块。网络的输入为原始EEG信号和眼动（EM）信号。首先，双通路特征提取器从EEG信号中提取多尺度时序特征，并对EM信号中的多个成分进行特征压缩。接着，双向互补模块通过跨模态注意力机制增强两种模态的互补性，从而提升单模态特征的区分度。在模态贡献度引导的重加权模块中，本研究推导了每种模态对分类任务的贡献比率，从而为优化过程提供了明确的指导。与传统方法仅通过分类损失来优化模态权重不同，基于贡献比率的优化方法能够更精确地反映各模态在解码任务中的实际作用，从而提高了特征融合的效果。最后，HSM根据多类别目标RSVP任务中的数据特性，设计了一个由二元分类器（目标与非目标）和三元分类器（目标1、目标2及非目标）组成的层次化结构，通过自蒸馏策略在分类器之间实现知识迁移，有效减少了模型对非目标样本的误判率。

图2 脑电-眼动融合模型（MTREE-Net）框架图

4. 实验结果

表1 多类别目标RSVP解码性能对比

本研究对比了MTREE-Net与现有RSVP解码模型在三个多类别目标RSVP任务上的解码性能（见表 1）。实验结果表明，MTREE-Net在各项性能指标上均显著优于传统的EEG解码方法及EEG-EM融合方法，展示了其在多类别目标RSVP任务中的卓越表现。具体来说，MTREE-Net在平衡准确率（BA）方面显著优于现有方法（p < 0.001），较单模态EEG解码方法性能提升超5.4%，较现有EEG-EM融合方法提升超过3.3%。此外，MTREE-Net在召回率、精度和F1分数等指标上也表现出明显优势，进一步证明了其在多类别解码任务中的有效性。

图3 不同目标类别间脑电信号差异性分析

每个子图代表一个聚类：左侧显示了由白色圆圈标示的具有显著差异性空间聚类的F统计量，右侧显示了该空间聚类内各导联的平均活动。阴影区域表示具有显著差异性的时间聚类（𝑝 < 0.05）。

同时，本研究利用统计分析方法分别验证了不同类别诱发的脑电信号和眼动信号的可分性。考虑到EEG信号的时间动态和空间拓扑特征，我们应用非参数置换聚类重复测量方差分析检验（non-parametric permutation cluster repeated measures ANOVA test），对不同目标类别诱发的EEG信号进行比较。图3展示了在多个时间区间和脑区之间，两个目标类别的EEG信号存在显著差异。结果表明，由两个类别目标引发的EEG信号在空间和时间上具有显著差异。从空间上看，这些差异集中在顶叶和枕叶。从时间上看，差异出现在刺激引发的ERPs的早期和晚期阶段，以及N200和P300成分出现的时间段。

图4 不同目标类别诱发的眼动信号间差异性分析

眼动（EM）信号的成分在空间上表现出较小的相关性，我们分别分析了EM信号的瞳孔面积、水平位置和垂直位置。如图4所示，图4(a)中的Y轴表示通过屏幕上的像素数量测量的瞳孔面积，而图4(b)和(c)中的Y轴表示视线点相对于基线的像素位置。采用单因素ANOVA评估两个目标类别之间EM成分的时间差异。分析结果显示，瞳孔面积和水平位置在两个目标类别之间存在显著的时间差异（𝑝 < 0.05），而垂直位置则未表现出显著变化。这些结果表明，不同类别目标引发的EM信号的瞳孔面积和水平位置存在显著差异，表明引入EM模态来增强多类别目标RSVP解码的可行性。

5. 总结

本研究针对多类别目标RSVP-BCI系统的核心挑战，首次提出融合脑电（EEG）与眼动（EM）信号的多模态解码框架MTREE-Net，并发布了首个多类别目标RSVP脑电-眼动多模态数据集。该研究在数据层面突破传统单模态限制，整合EEG与EM信号，为后续多类别目标RSVP研究提供首个开源多模态基准数据支持；在算法层面，设计双向互补模块增强跨模态特征区分性，贡献引导再加权模块通过推导的模态贡献率动态优化融合权重，层次化自蒸馏模块利用二元-三元分类器知识迁移降低非目标误判；在性能层面，MTREE-Net在平衡准确率上较单模态EEG方法提升超5.4%，较现有融合方法提升超过3.3%。该工作为复杂场景下的实时高通量目标检索任务提供了高效解决方案，代码与数据集已开源，推动脑机接口技术向实用化、高精度应用迈进。

6. 主要作者介绍

第一作者

李叙锦，中国科学院自动化研究所四年级直博研究生，研究方向为多模态深度学习与脑机接口等领域。目前共发表SCI/EI论文8篇，其中以第一作者或共同第一作者身份发表5篇，包括Information Fusion、Neural Networks、ACM MM等重要期刊和会议。曾获世界机器人大赛—BCI脑控机器人大赛一等奖等荣誉。

共同第一作者

魏玮，中国科学院自动化研究所助理研究员，从事脑机接口、脑电信号处理、模式识别研究，2021年博士毕业于中国科学院自动化研究所。主持国家自然科学基金青年项目，作为项目骨干参与国自然重点项目等多项任务。共发表 SCI/EI 论文20余篇（一作或通讯 8 篇），包括IEEE TNSRE、IEEE TBME、JNE等，累计被引用达到280余次。曾获世界机器人大赛—BCI脑控机器人大赛二等奖（指导老师）等荣誉。

通讯作者

邱爽，中国科学院自动化研究所副研究员，硕士生导师。研究领域为脑机接口、神经调控。先后主持国家重点研发计划青年科学家项目、国自然等多个重要项目；获得中国科学院脑智卓越创新中心青年人才激励项目、世界机器人大赛脑控比赛一等奖（指导老师）、天津市优秀博士论文等荣誉。发表IEEE TNNLS\TCBY\TNSRE\TBME、JNE等论文50余篇，其中，高被引一篇，入选Science专刊。

何晖光，脑认知与类脑智能全国重点实验室学术骨干，中国科学院自动化研究所研究员，博士生导师，国家高层次人才，中国科学院大学岗位教授，上海科技大学特聘教授。先后主持多项国家自然科学基金、863项目、国家重点研发计划课题等多个重要项目。获得国家科技进步二等奖两项（排二、排三），北京市科技进步奖两项，教育部科技进步一等奖等奖项。入选北京市科技新星，中科院“卢嘉锡青年人才奖”，中科院青年创新促进会优秀会员等。其研究领域为脑-机接口、类脑智能、医学影像分析等，在CNS子刊, IEEE TPAMI/TNNLS/TCYB/TMI，ICML, ICLR, MICCAI等发表文章200余篇。自动化学报编委，CCF/CSIG杰出会员。建国七十周年纪念章获得者。

论文：

https://www.sciencedirect.com/science/article/pii/S1566253525002088

数据集：https://doi.org/10.57760/sciencedb.17705

代码：https://github.com/lixujin99/MTREE-Net

材料供稿：李叙锦

来源：脑认知与类脑智能全国重点实验室

仅用于学术分享，若侵权请留言，即时删侵！

欢迎加入脑机接口AI星球，探讨脑机接口领域话题，实时跟踪脑机接口前沿。