资讯配图

资讯配图

该论文发表于IEEE Journal of Translational Engineering in Health and Medicine (中科院二区,IF=3.8),题目为《Fusion of Multi-Task Neurophysiological Data to Enhance the Detection of AttentionDeficit/Hyperactivity Disorder》。

复旦大学附属儿科医院的张凯峰副主任医师为此论文的第一作者,国立中央大学生医科学与工程学系的陈纯娟教授为此论文的通讯作者

论文链接:

https://ieeexplore.ieee.org/document/10614196资讯配图           



资讯配图

论文概要



注意力缺陷/多动障碍(ADHD)是一种常见的儿童期神经发育障碍,症状主要为注意力不集中、多动和冲动行为,可能对学习和社交产生长期负面影响。目前,ADHD 的诊断主要依赖于行为观察和主观评分,这种方法存在诊断延迟和误诊率高的问题。因此,开发一种客观、高效的早期诊断方法显得尤为重要。本文的核心内容是探索如何通过融合多任务神经生理数据来提高ADHD的检测准确率。研究招募了49名ADHD儿童和32名典型发育儿童,年龄在6至12岁之间。实验中使用虚拟现实(VR)技术,开发了一个模拟虚拟教室的环境,并设计了三种不同难度的任务(视觉CPT、听觉CPT和视觉+听觉CPT),以评估儿童在任务执行过程中的注意力表现。在任务执行过程中,同时采集了脑电图(EEG)、眼动(EM)、头部旋转(HR)以及任务表现(TP)数据。通过这些多任务设计,研究旨在更全面地评估儿童在不同条件下的大脑资源调动情况。研究使用了t检验对各个特征进行统计分析,以确定其在区分ADHD儿童和典型发育儿童中的重要性。然后,采用深度神经网络(DNN)方法对数据进行分类,并比较了单模态数据和多模态数据融合的分类效果。结果显示,多任务神经生理数据的融合显著提高了ADHD的检测准确率,表明通过结合多种神经生理数据,可以更全面地捕捉ADHD的特征,从而提高诊断的准确性。此外,研究还发现,在视觉CPT中,典型发育儿童在有无干扰的情况下任务表现相似,而ADHD儿童在有干扰时表现更差。这表明ADHD儿童在复杂任务中更容易超出其大脑资源的限制,不同任务类型对儿童注意力的影响存在差异。综上所述,本研究结果表明,多任务神经生理数据的融合可以为 ADHD 的早期诊断提供重要支持。




资讯配图

研究背景



早期诊断和治疗对于减轻 ADHD 症状、改善患者的生活质量具有关键作用。近年来,随着神经生理学和人工智能技术的发展,研究者开始探索利用多模态数据来辅助 ADHD 的诊断。这些方法通过分析儿童在特定任务中的神经生理反应,为诊断提供了更客观的依据。本研究旨在通过融合多任务神经生理数据,设计不同难度的任务,利用深度神经网络(DNN)模型,更全面地评估儿童在任务执行过程中的大脑资源调动情况,进一步提高 ADHD 的检测准确率,从而为 ADHD 的早期诊断提供更有力的支持。




资讯配图

数据采集



共有 81 名 6 至 12 岁的儿童参与了本研究。其中,49名被诊断为 ADHD患者(平均年龄 = 7.4 ± 1.6;22 名男孩),32名为正常发育儿童(平均年龄 = 8.0 ± 1.5;16 名男孩)。

本研究通过虚拟现实连续性能测试(CPT)任务,探究受试者的注意力表现。参与者佩戴HTC 头盔,在实验过程中持续注视前方黑板上出现的数字。这些数字范围从0到9,并以2秒的刺激间隔随机出现。参与者被指示在看到数字顺序出现时(即‘0’之后出现‘1’时)做出反应(GO条件),否则需要抑制反应(NOGO 条件)。GO 和 NOGO 刺激随机出现。此外,25 次试验(12次GO刺激和13次 NOGO 刺激)包括各种与任务无关的听觉和视觉干扰。出现干扰事件的实验被标记为D试验,而没有任何干扰的试验则被标记为ND试验。在本研究中,根据干扰类型的不同,主要包括了视觉CPT、听觉CPT和视觉+听觉CPT三种任务形式。

受试者使用 HTC Vive TM 控制器完成任务。除了测试任务外,HTC Vive TM 头盔还提供有关受试者头部旋转(HR)和眼动(EM)的信息。此外,六个 EEG 通道(Af3、Af4、Af7、Af8、Fp1 和 Fp2)与 HTC Vive 集成,并以 512Hz 的采样率记录任务期间的脑电活动。




资讯配图

方法


(1)特征提取

任务表现(TP):在TP数据中,将主动准确率、被动准确率和反应时间作为特征。实验中存在有三种 CPT 任务和三种条件(干扰、无干扰和整体平均)。

脑电图(EEG):首先对 EEG 数据进行带通滤波(2-56 Hz),以去除电源线干扰和头部运动伪迹。将处理后的 EEG 数据通过快速傅里叶变换转换到频域,然后将每个通道的频谱密度按预定义的五个频率带(δ(1-3 Hz)、θ(4-7 Hz)、α(8-14 Hz)、β(15-24 Hz)和 γ(25-48 Hz))进行平均。对每个频率带,计算每个通道在相应条件下的最大值、最小值、平均值和方差。

眼动(EM):使用 HTC Vive TM 内置的眼动追踪设备收集眼动数据。该系统对数据进行预处理,并报告诸如注视点坐标、瞳孔位置、瞳孔直径以及左眼和右眼的开合信息等数据。这些数据作为眼动(EM)特征。

头部旋转(HR):头部旋转幅度被认为是评估受试者注意力的一个重要特征。任务期间的 HR 由 HTC Vive TM 计算。

(2)统计分析

对提取的 TP、EEG、EM 和 HR 特征数据使用 t 检验,分析各个特征在区分 ADHD 儿童和典型发育儿童中的显著性,筛选出在统计上显著的特征,减少特征维度,提高后续分类模型的效率和准确性。提取的剩余特征数量分别为 TP 27 个、EEG 180 个、EM 99 个和 HR 9 个(总共 315 个特征)。

(3)深度神经网络模型

采用深度神经网络(DNN)方法进行 ADHD 评估分类。DNN 模型的基本结构包括三个连接层:输入层、隐藏层和输出层(见图 1)。为了适应不同数据集的复杂性,作者系统地调整了模态特定 DNN 模型的超参数,以实现最佳分类准确率,包括隐藏层的数量和神经元的数量。设计递减的节点旨在减少特征抽象和复杂性,同时保留关键特征。所有隐藏层均使用ReLU激活函数。对于所有输出层,由于其适用于二分类问题,因此使用了 Sigmoid 激活函数。具体来说,TP 数据集使用了 2 个隐藏层,神经元数量分别为 128 和 32。HR数据集有 3 个隐藏层,神经元数量分别为 64、32 和 8。EM数据集使用了7层神经网络结构,神经元数量分别为 1024、512、256、128、32、16 和 4。对于 EEG 数据集,首先,通过处理一个包含 8 个隐藏层的 DNN 模型(神经元数量分别为 512、512、256、128、128、32、16 和 4)来测试每个通道的重要性。然后,所有 6 个通道的EEG数据作为一个整体输入到一个包含 6 个隐藏层的 DNN 模型(神经元数量分别为 1024、1024、512、512、256 和 128)。


资讯配图

图1. DNN模型的架构


(4)融合模型架构

在获得了不同模态的特征后,实现了两种融合模型:早期融合和晚期融合(见图 2)。在早期融合中,EEG、EM 和 HR 被合并为一个特征集,用于训练预测模型。由于数据集值的范围不同,使用了 min-max 归一化方法对特征进行重新缩放(见图 2 左侧)。在晚期融合中,所有不同的特征分别使用 DNN 模型进行处理,以获得重要的 DNN 模型参数。最后隐藏层的数据特定加权因子被提取作为特征表示。这些提取的特征被合并为融合模型的输入,用于训练(见图 2 右侧)。

资讯配图

图2. 基于DNN的早期(左)和晚期(右)融合模型的架构




资讯配图

实验结果



(1)任务表现

表 1 总结了两组的基于任务的表现。首先,检查了干扰对组内影响,并将显著值用灰色突出显示。对于视觉 CPT,在典型发育儿童中,D 试验和 ND 试验的任务表现没有差异,但在 ADHD 儿童中,D 试验的遗漏错误显著高于 ND 试验。对于听觉 CPT,当存在干扰时,两组的正确检测率显著降低,遗漏错误显著增加。关于视觉和听觉 CPT,干扰仅在典型发育儿童中降低了任务表现(正确检测率、反应时间和遗漏错误),而在 ADHD 儿童中,D 试验和 ND 试验的任务表现相似。在视觉和听觉 CPT 中,ADHD 儿童的反应时间在两组之间存在显著差异。此外,在无干扰试验和有干扰试验中,所有三种 CPT 的正确检测率、遗漏错误和错误反应在两组之间均存在显著差异。


 表1. 行为结果任务表现资讯配图


(2)个体特征的统计检验

使用 t 检验对每个个体特征的组间差异进行统计检验,表 2 总结了结果。可以看到,在经过多重比较校正后,TP、EM、HR 和 EEG 中分别有 22、39、8 和 34 个特征被统计识别为重要特征。TP、EM、HR 和 EEG 中重要特征与总特征的比例分别为 61%、40%、89% 和 3.1%。


表2. 模态特异性显著特征

资讯配图


(3)单模态数据集的分类结果

表 3 列出了使用不同分类器的模态特定的分类结果。通过 DNN 使用 TP 或 HR 数据可以获得最佳性能,其次是使用 HR 的 LGB。当使用 XGB 时,使用 FP1 EEG 数据可以获得最佳准确率 76%。使用 HR 数据时,SVM 的最佳性能为 74%。此外,与其他 EEG 通道相比,FP1 在 4 个分类器中的 3 个中表现优于其他通道。因此,选择 FP1 作为进一步研究的代表性通道。


表3. 每个数据集的分类结果

资讯配图


(4)融合模型的分类结果

为了验证多任务神经生理数据的融合是否可以提高分离率,使用 DNN 测试了不同模型的组合。表 4 列出了融合结果。当使用 2 个、3 个和 4 个神经生理数据集进行融合时,融合模型的准确率分别为 83%、84% 和 89%。为了检验更多特征是否总是导致更高的准确率,作者测试了融合所有可能特征(即所有通道的 EEG 特征)的情况,准确率下降到了 75%(见表 4)。


表4. 融合模型的分类结果

资讯配图




资讯配图

思考与总结



本文开发了一个基于 DNN架构, 使用多任务神经生理数据(EEG、EM、HR 和 TP)的融合模型,以增强对健ADHD患者的检测。在本研究中,设计了三种不同难度(视觉干扰、听觉干扰、视觉+听觉干扰)的任务,以操纵受试者在任务表现期间所调动的大脑资源水平。分析结果证实,多任务神经生理数据的融合,可以将 ADHD 检测准确率提高到 89%,而单一数据集的最高准确率仅为 81%。研究结果表明,来自多种任务的不同神经生理模型可以提供有助于 ADHD 筛查的重要信息,提高识别ADHD 患者的准确率。总之,基于 DNN 的多任务融合模型,为 ADHD 患者的早期临床诊断和管理提供了一种更高效、更准确的替代方法。




撰稿人:庹宏炜

审稿人:黄海云

资讯配图


资讯配图

脑机接口与混合智能研究团队

资讯配图
资讯配图
资讯配图

团队主页

www.scholat.com/team/hbci

资讯配图