时序必读论文12｜ICML22 FEDformer基于周期分解的长时序预测transformer架构

论文标题：FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting

开源代码：https://github.com/DAMO-DI-ML/ICML2022-FEDformer

前言

FEDformer这篇文章发表于2022年的ICML。其实如果只比较性能的话，到如今其实早已被各类新模型超越。但是考虑到FEDformer一直是时序预测的一个重要baseline。此外，论文采用的周期趋势项分解策略，通过多次分解降低了输入输出的波动，这种策略在后续很多论文被反复使用，使得Transformer能够更好地学习长时序中的依赖关系，提升了预测精度。因此，尽管论文发表时间较早，我还是将其列入到了时序必读论文。

本文工作

以往的基于Transformer的时序预测模型通过Attention机制捕捉point-wise关系，但对全局信息、如总体趋势追踪仍不完善，如图1所示预测分布和实际分布差异很大。

思路：FEDformer将傅立叶变换与基于Transformer的方法相结合。利用大多数时序在傅立叶变换中具有稀疏表示的特性，将时域信息拆解为频域信息，随机采样部分频域，然后投影回时域，降低复杂度的同时过滤掉多数噪声，使得Transformer能够更好地学习长时序中的依赖关系，从而提升预测精度。

1. FEDformer的整体架构

FEDformer的结构也采用编码-解码器结构，核心包含三个子模块，分别是：Frequency Enhanced Block (FEB, 绿色块)，Frequency Enhanced Attention (FEA, 红色块)，Mixture Of Expert Decomposition Blocks (MOEDecomp, 黄色块)。

FEB用于在频率域进行表示学习，有两个子版本：FEB-f 和 FEB-w。FEB-f 使用Fourier基进行频率分析，将信号从时间域转换到频率域。FEB-w 使用Wavelet基也是一种频率分析方法，适用于非平稳信号。
FEA是作者设计的一种在频率域进行注意力机制的方法。与FEB类似，FEA也有两个子版本：FEA-f 和 FEA-w，分别基于Fourier和小波变换。
MOEDecomp用于从输入数据中提取季节性（seasonal）和趋势（trend）模式。

整体流程：如上图所示，编码器部分输入首先经过FEB模块，同时MOEDecomp块将数据分解为趋势和周期特征，其中周期特征保留并交下层进行学习，趋势特征被丢弃。而在解码器部分，同样经过MOEDecomp，保留周期特征，并交下层学习，不同之处在于通过频域注意力机制FEA模块对编码器周期特征和解码器周期特征进行交互。

核心模块

01-Frequency Enhanced Block (FEB)

这一模块实现信号从时域到频域的相互转换，有两个版本基于傅立叶变换和小波变换。具体来说：首先，将输入从时域通过线性变换q = x·w投影到频域。然后，在投影产生的频域上进行随机采样，如下面的公式所示。由于采样得出的序列长度远低于原序列（M<<N），因此这样好处在于降低了计算复杂度。作者认为采样虽然对原信息有损失，但对最终精度影响不大。因为时序数据在频域上相对时域更加稀疏，这种情况下大多数信息是无用的，可以舍弃。最后，通过频域补全，再次将频域转回时域。