今天分享一个多模态研究的核心方向：注意力机制+CLIP。这种结合可以通过动态对齐、上下文感知和并行计算，显著提升多模态任务的性能。在多模态爆火的当下，算是热点赛道。

得益于其创新可快速迁移到多个高需求领域，且轻量改动即可实现突破，这方向现处创新爆发期，可参考成果丰富。比如CVPR 2025的DiTCtrl、AAAI 2025的Clip-cid、STDD、IJCV的WeakCLIP...高产盛况可见一斑。

如果感兴趣的同学想上车，可以先看我整理的10篇注意力机制+CLIP最新论文了解前沿，代码基本有。创新的话建议大家侧重“小改动大提升”，优先选择差分注意力扩展、医疗/工业细粒度适配、生成式协同框架等方向切入，快速产出成果。

扫码添加小享，回复“注意C”

免费获取全部论文+开源代码

DiTCtrl: Exploring Attention Control in Multi-Modal Diffusion Transformer for Tuning-Free Multi-Prompt Longer Video Generation

方法：论文提出DiTCtrl方法，基于MM-DiT架构，通过分析其注意力机制，利用3D全注意力实现跨提示语义控制，结合CLIP评估语义一致性，无需额外训练即可生成长视频，还引入MPVBench基准评估性能。

创新点：

• 提出无训练多提示视频生成法DiTCtrl，用3D全注意力实现跨提示语义控制以生成长视频。
• 引入含多样过渡类型及CSCV等评估指标的MPVBench基准，评估多提示视频生成性能。
• 分析MM-DiT注意力机制，发现其与UNet类扩散模型交叉/自注意力块行为相似，为语义控制提供理论支撑。

CLIP-driven rain perception: Adaptive deraining with pattern-aware network routing and mask-guided cross-attention

方法：论文提出CLIP-RPN图像去雨法，借CLIP感知雨型并路由至对应子网络，用掩码引导交叉注意力增强特征交互，还采用动态损失调度优化训练，在多数据集上去雨性能优越。

创新点：

• 利用CLIP模型自动感知雨型，通过视觉-语言匹配分数适应性路由到不同子网络处理。
• 引入掩码引导的交叉注意力机制，增强雨区与非雨区特征交互，提升去雨效果。
• 提出动态损失调度策略，根据训练进度调整损失函数，优化网络训练过程。