省流:本文介绍的脑电情绪助手(EEG Emotion Copilot)是一种基于轻量级大语言模型(LLM)的智能系统,旨在通过脑电图(EEG)信号分析实现情绪识别个性化诊疗建议生成及辅助电子病历自动化。该系统采用Qwen2-0.5B模型作为基础,经过剪枝优化后在本地运行,有效解决了传统模型在计算效率、隐私保护和临床适用性上的局限。

  • 脑电情绪助手结合了轻量级大语言模型和脑电信号,为情绪识别、情感计算和情绪障碍诊疗提供了创新方案

  • 通过提示词结构创新、模型剪枝、模型微调等多项技术手段,系统可以准确识别情绪并自动化生成诊疗方案和电子病历

  • 脑电情绪助手所使用的轻量级模型可以进行本地部署,从经济效益和患者隐私保护等方面具备推广应用的潜力


情感计算(AC)脑机接口(BCI)领域中,当前利用生理信号识别情绪状态虽取得了一定的进展,但端到端处理、快速响应和个性化交互仍是难点。现有基于大语言模型(LLM)的EEG辅助诊断如EEG-GPT虽能识别脑状态,但在诊疗整合和本地化部署上存在不足。其他问题如在提示中嵌入的脑电图信号冗余、用于推理的硬件成本过高、多通道数据处理复杂等进一步增加了应用难度。

脑电情绪助手流程图:提示词数据结构→模型剪枝-模型微调→模型部署 @Neural Network

核心方法


为了解决这些问题,脑电情绪助手(EEG Emotion Copilot)进行了以下五项技术优化和创新:

一是创新的提示词数据结构。通过初始化指令(“你是一名脑电情绪分析师……”)整合人口统计学数据(性别、年龄、面部特征)、压缩后的脑电信号、情绪标签及治疗方案,形成标准化输入,提升模型对任务的针对性;

不同于我们对聊天AI可以随便怎么问(提示词),该系统对提示词结构进行了“标准化”,即只能通过特定的格式输入给模型 @Neural Network

二是模型剪枝。采用Torch Pruning技术,以0.5的剪枝率对Qwen2-0.5B模型进行优化,通过计算各层参数重要性,剪枝后模型参数降至一半以下,关键组件如MLP层和注意力模块的维度减半,显著降低了计算量和推理时间;

三是模型微调策略。策略1直接在特定EEG数据集上使用LoRA(Low-Rank Adaptation)训练剪枝模型,策略2先在Wikitext等公共数据集上全量微调再结合LoRA优化,其中策略1在轻量级模型上表现更优,且训练分为5个阶段,250Hz数据训练显示过度训练可能有害,加入1000Hz数据后模型泛化能力增强;

四是部署方案。通过llama.cpp量化模型为GGUF格式,支持Ollama、Gradio等平台部署,在标准Intel i5-11400 CPU上的推理时间为26秒,内存占用309MB,远低于未剪枝的Qwen2-0.5B模型(51.36秒,959MB);

五是辅助生成电子病历。为了进行情绪识别、诊断和治疗方案制定,系统将来自不同情绪状态的各种案例的人口统计数据及其相应的压缩脑电图信号整合到训练数据集中。在下游应用中,参与者的数据可以进行结构化处理,并输入到经过微调的模型中,从而生成精确的诊断见解和个性化的治疗方案。

辅助电子病历生成流程图 @Neural Network

性能验证


实验部分采用了FACED、SEED和SEED-IV三个数据集对模型性能进行了验证。FACED包含123名受试者的32通道EEG数据(250Hz/1000Hz),涵盖9种情绪;SEED和SEED-IV分别含15名受试者的62通道数据,涉及3类和4类情绪

对比结果显示,在FACED数据集上,优化后的模型在能够准确地识别九类情绪,F1分数达0.351,三类情绪识别F1分数达0.991,平均响应时间0.9秒,显著优于同规模的opt-350m(F1=0.037)、LiteLlama(F1=0.036)及更大参数的Qwen2.5-7B(九类情绪F1=0.179);在SEED和SEED-IV上,模型的三类情绪识别F1分数分别达0.835和0.989,同样优于其他基线模型。(注:F1分数是一种衡量模型性能的重要指标,范围是[0,1],越接近1表示模型性能越好,0表示模型完全失效。)

准确识别情绪之后,系统会结合患者的年龄、性别等信息,根据脑电图信号生成个性化治疗建议,比如 “生气时试试深呼吸”、“焦虑时可以练瑜伽”,还能自动整理成规范的电子病历,包含病史、症状、治疗方案等内容。在测试中,它生成的病历质量(用BLEU分数衡量)达65%,超过了0.6B参数的Qwen3模型(56%)。

一个使用脑电情绪助手创建辅助电子病历的示例。首先提示词作为起始句子提供,随后添加受试者的人口统计信息,包括性别、年龄等。最后,将预处理和压缩后的脑电图信号纳入以完成提示,然后将其输入到脑电情绪助手中,即可生成完整的病历,包括个性化的诊断信息和治疗方案。@Neural Network 

综上,脑电情绪助手(EEG Emotion Copilot)系统通过创新的提示词结构、精准剪枝和针对性微调,成功让轻量级模型在情绪识别和电子病历生成上超越同规模甚至更大参数模型,且本地部署的特性解决了隐私与效率难题。该系统在临床情绪管理中具有变革性的潜力,未来将整合多模态数据、对接医院EMR系统,并通过人机交互提升诊断可信度,进一步提升临床适用性。

代码将开源于https://github.com/NZWANG/EEG_Emotion_Copilot,为情感计算在医疗领域的落地提供可复用的技术框架。

*本文主要基于上海海事大学等科研团队于7月10日在线发布在《Neural Network》期刊的《脑电情绪助手:优化轻量级大语言模型以实现情感脑电图解读并辅助生成医疗记录EEG Emotion Copilot: Optimizing lightweight LLMs for emotional EEG interpretation with assisted medical record generation一文,图片来自论文或网络,如有侵权请告知删除。如需对原文进一步了解,可通过下方链接或扫描底部二维码加入“脑机接口”知识星球获取相关资料。

拓展阅读:前沿 | 脑机接口与大语言模型的融合

参考:

https://doi.org/10.1016/j.neunet.2025.107848

图片
科普神经科学知识,推广脑机应用技术