傅里叶变换+注意力机制,科研界的“当红炸子鸡”!它解决了AI模型的两个致命痛点——长程依赖建模效率低,和复杂信号特征捕捉不充分,应用价值显而易见!

自清华FoPE等陆续发布于ICML25之后,这种组合热度飙升,又因其“故事”易讲,创新点包装灵活,成为了顶会顶刊持续青睐的“真香”方向!但值得注意的是,死磕通用架构早已不是这方向发文首选,深入某个垂直领域,针对性解决问题,再讲好故事,想必审稿人会更有兴趣。

比如考虑“领域定制滤波”,可快速出成果;想冲高区就试试“跨域频域对齐”...如今这方向还没卷成红海,正是闷声发大paper的好时候!大家可直接拿我整理的15篇傅里叶变换+注意力机制前沿论文作参考,快速上车!

扫码添加小享,回复“傅里叶注意”  

免费获取全部文+开源代码

图片

SRConvNet: ATransformer-Style ConvNet for Lightweight Image Super-Resolution

方法:本文提出SRConvNet,通过傅里叶调制注意力和动态混合层,将Transformer思想融入纯卷积结构,实现轻量化超分辨率。FMA在频域全局调制,DML多尺度动态卷积,显著降低计算量,效果优于或媲美Transformer。

创新点:

  1. 提出傅里叶调制注意力,通过傅里叶变换实现全局调制和局部注意力,高效建模长短期依赖。
  2. 设计动态混合层,利用多尺度动态卷积增强局部信息捕捉能力。
  3. 构建SRConvNet,结合FMA和DML,实现轻量级超分辨率的效率与性能平衡。

Deep Fourier-embedded Network for RGB and Thermal Salient Object Detection

方法:本文提出DFENet,利用傅里叶变换高效融合RGB和热成像模态信息,通过傅里叶嵌入注意力增强多模态特征融合,频率分解边缘感知模块提取清晰边缘特征,傅里叶残差通道注意力模块强化高频信息,从而提升显著目标检测性能。

创新点:

  • 提出模态协调感知注意力,通过傅里叶变换增强RGB和热成像模态间的特征融合。
  • 设计频率分解边缘感知模块,利用傅里叶分解提取清晰的边缘特征。
  • 引入傅里叶残差通道注意力模块,优先处理高频信息以提升细节表现。

扫码添加小享,回复“傅里叶注意”  

免费获取全部文+开源代码

图片

FreMIM: Fourier Transform Meets Masked Image Modeling for Medical Image Segmentation

方法:本文提出FreMIM框架,利用傅里叶变换将医学图像的重建任务从空间域转移到频率域,通过高频细节和低频语义信息的结合,提升模型对全局结构和局部细节的建模能力,进而增强医学图像分割性能。

创新点:

  • 提出FreMIM框架,结合掩码图像建模与傅里叶变换,通过频域重建学习医学图像结构与细节。
  • 设计多阶段监督和双边聚合解码器,利用频率特性提供丰富指导信息。
  • 提出前景掩码策略,精准生成信息丰富的掩码,优化医学图像分割任务。

Rethinking Fourier Transform from A Basis Functions Perspective for Long-term Time Series Forecasting

方法:本文提出FBM方法,通过离散傅里叶变换结合余弦/正弦基函数,提取时间序列的时频特征。FBM将序列分解为不同频率层次的趋势和季节效应,解决频率系数解释不准确的问题。实验证明FBM在多个数据集上实现SOTA性能

创新点:

  • 提出FBM方法,从基函数视角重新理解傅里叶变换,解决频率系数解释不准确的问题。
  • FBM融合时间域和频率域特征,帮助模型捕捉时间 - 频率关系。
  • FBM在多个数据集上提升长期时间序列预测性能,使用简单网络即可达到SOTA效果

扫码添加小享,回复“傅里叶注意”  

免费获取全部文+开源代码

图片