运动想象脑机接口(MI-BCI)在集成了脑电(EEG)和功能近红外光谱(fNIRS)信号后优于仅基于EEG的信号。然而，由于难以在同一头皮表面上同时定位这两种类型的传感器，同时记录EEG和fNIRS信号是非常具有挑战性的。这种物理约束使获得高质量的混合信号变得复杂，从而限制了混合MI-BCI的广泛应用。

      为了解决这个问题，本研究提出了时空控制扩散模型（SCDM）作为从 EEG 到 fNIRS 的跨模态生成框架。该模型利用空间跨模态生成(SCG)模块和多尺度时间表征(MTR)模块这两个核心模块在统一的表征空间中自适应地学习两个信号各自的潜在时间和空间表征。SCG模块通过利用空间关系进一步将EEG表征映射到fNIRS表征。

      实验结果表明，合成信号和真实fNIRS信号具有较高的相似度。EEG和合成fNIRS信号的联合分类性能比使用真实fNIRS信号的性能相当甚至更好。此外，合成信号与真实信号具有相似的时空特征，同时保留了与脑电信号之间的空间关系。这是首次提出利用端到端框架来实现从 EEG 到 fNIRS 的跨模态生成的工作。实验结果表明，SCDM可能是MI-BCI系统中混合EEG-fNIRS信号采集的一种有前途的范例。

• 本文提出了一种新的EEG-fNIRS混合信号采集模式。避免了同时记录EEG-fNIRS信号的限制，该方法允许一次性对fNIRS信号进行采集并可以长期重用。这是第一次提出一种新的范式来实现从EEG到fNIRS的跨模态生成。

• 本文开发了一个空间跨模态生成(SCG)模块，集成了一种改进的基于通道间相关性的二维注意机制。该模块不仅有效地学习两个信号的潜在空间表示，而且实现了从EEG到fNIRS的准确表征映射，保留了fNIRS和EEG信号的空间对应关系

• 本文设计了一种多尺度时间表示(MTR)模块，将因果膨胀卷积与深度可分离卷积相结合，以捕获不同的时间表征，同时减轻空间特征在时间特征提取过程中的干扰。这些卷积将空间和时间表征学习设置为两个独立的过程，提高了所学表征的准确性。

      数据库1：是一个公开可用的数据集，由29名健康受试者的EEG和fNIRS记录组成，执行左右MI任务。实验过程包括三个单独的会话，每个会话有 20 次试验。在每次试验中，受试者被指示想象用左手或右手执行抓取运动。EEG 数据由根据国际 10-5 系统定位的 30 个有源电极记录，产生 30 个以 1000Hz 采样的通道。fNIRS 数据使用16 个探测器记录，放置在正面、运动和视觉区域，共采样 36 个通道。将原始数据转换为脱氧血红蛋白 (HbR) 和氧血红蛋白 (HbO) 数据。HbR 和 HbO统称为 fNIRS，在整个实验中被统一处理。数据库来源：Shin J, von Lühmann A, Blankertz B, et al. Open access dataset for EEG+ NIRS single-trial classification. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2016, 25(10): 1735-1745. doi:10.1109/TNSRE.2016.2628057.

      数据库2：仅由 EEG 数据组成。脑电信号根据国际10-10系统定位的64个通道中收集，并以160Hz的采样率使用BCI2000系统记录。数据库来源：Goldberger AL, Amaral LA, Glass L, et al. PhysioBank, PhysioToolkit, and PhysioNet: components of a new research resource for complex physiologic signals. Circulation. 2000; 101(23): E215-E220. doi:10.1161/01.cir.101.23.e215.

      本文所提出的SCDM利用EEG和fNIRS信号生成合成的fNIRS信号，如图1所示。神经血管耦合的生理现象为假设fNIRS和EEG序列表现出分布相似性提供了合理的基础。

      在模型的Denoising-Net模块中，为了统一处理两个时间序列，维度不同EEG表征和fNIRS表征通过对齐模块转换为相同的维度，该模块由线性变换和卷积层组成。接下来，EEG 和 fNIRS 表征依次通过六个表征块(Representation Blocks)来学习时空表征。前三个块执行下采样操作，减少通道数和序列长度。后三个块进行上采样操作，通过使用转置卷积和双线性插值代替前三个块中的标准卷积来增加通道数和序列长度，而其他结构保持不变。

      表征块由SCG和MTR模块组成，其中SCG用于学习输入的空间表征，MTR用于学习时间表征。应用于fNIRS和EEG表征的块共享相同的体系结构，但分开进行训练。每个块输出的EEG表征不仅用作下一个块的输入，还被馈送到后续的SCG模块中，该模块将EEG表征映射到fNIRS表征，然后与该块的fNIRS表征输出进行残差连接。SCDM框架搭建完毕后，训练算法和推理算法如表1和表2所示。

图1  时空控制扩散模型(SCDM)的框架

表1  SCDM的训练阶段

图2  SCDM在不同损失函数值下产生的脑电图信号和合成fNIRS信号的联合分类结果

图3  真实信号和合成fNIRS信号之间最相关的EEG通道分布的比较

图4  MI任务中真实和合成的fNIRS信号之间的血流动力学响应曲线的比较。从左到右：LMI 任务下的 HbR、RMI 任务下的 HbR、LMI 任务下的 HbO 和 RMI 任务下的 HbO

图5  MI任务下真实和合成fNIRS信号之间的头皮地形图比较:(a) LMI任务下的HbR组;(b) RMI任务下的HbR组;(c) LMI任务下的HbO组;(d) RMI任务下的HbO组。

表4  消融实验的分类结果

     本研究提出了SCDM，用于从EEG数据中合成fNIRS信号的跨模态生成框架。合成fNIRS对真实fNIRS具有相对较高的可替代性，这表明跨模态生成方法可以作为MI-BCIs中混合EEG-fNIRS信号的新范式。消融研究验证了SCG模块在跨模态生成中的重要作用，并证明了MTR模块和SCG模块共同提高了SCDM框架的性能。

     然而，这项研究值得进一步探索。首先，需要专门针对 SCG 模块的消融实验。虽然SCG模块具有空间表征和表征映射的双重功能，但这些函数对模型的个体贡献仍不清楚。此外，在血流动力学响应曲线和头皮地形方面，合成fNIRS信号与真实fNIRS信号存在差异，这可能表明SCG模块在表征映射能力的局限性。

     其次，考虑到表征学习涉及时间和空间维度，可以考虑适合时空数据的三维卷积算法增强SCDM。

     第三，增强模型的泛化能力对于扩大EEG-fNIRS跨模态生成在BCI中的应用至关重要。泛化能力包括模型对来自不同主题、会话和采集设备的数据的适应性。除了在算法级别设计更高级的特征对齐模块外，还必须构建一个多样化和广泛来源的训练数据集。目前数据稀缺对模型训练提出了重大挑战，特别是公开可用的多模态数据集的稀缺性。此外，数据收集涉及保护敏感的个人信息，需要仔细考虑法律和伦理问题。

     最后，为了进一步提高 MI 分类任务的性能，有必要在未来的工作中考虑结合神经结构化学习方法，以及使用黎曼特征对神经结构化学习进行分类的性能研究。

免责声明：原创仅代表原创编译，水平有限，仅供学术交流，如有侵权，请联系删除，文献解读如有疏漏之处，我们深表歉意。