题目：GinAR: An End-To-End Multivariate Time Series Forecasting Model Suitable for Variable Missing

作者：Chengqing Yu（余澄庆）, Fei Wang（王飞）, Zezhi Shao（邵泽志）, Tangwen Qian, Zhao Zhang, Wei Wei（魏巍）, Yongjun Xu（徐勇军）

机构：中科院计算所，华中科技大学

arXiv网址：https://arxiv.org/abs/2405.11333

Cool Paper：https://papers.cool/arxiv/2405.11333

代码：https://github.com/Jimmy-7664/STD-MAE

关键词：多变量时间序列预测，缺失值下的预测，图神经网络，插值注意力，自适应图卷积

TL; DR: 本文提出了一种新颖的图插值注意力递归（Recursive）网络（GinAR），用于解决多变量时间序列预测中存在的变量缺失问题，通过插值注意力和自适应图卷积技术，即使在高达90%的变量缺失情况下，也能准确预测未来值。

🌟【紧跟前沿】“时空探索之旅”与你一起探索时空奥秘！🚀
欢迎大家关注时空探索之旅

摘要

多元时间序列预测 (MTSF) 对于决策至关重要，基于从多个序列的历史观测中识别出的复杂关系来准确预测未来的值/趋势。最近，时空图神经网络 (STGNN) 因其在挖掘时空依赖性方面的强大能力而逐渐成为 MTSF 模型的主题，但它们中的大多数都严重依赖于历史数据完整性的假设。实际上，由于数据收集器故障和耗时修复等因素，收集整个历史观测值而不遗漏任何变量极具挑战性。在这种情况下，STGNN 只能利用正常变量的子集，并且很容易受到不正确的时空依赖性建模问题的影响，从而导致其预测性能下降。为了解决这个问题，本文提出了一种新颖的图插值注意循环网络（名为 GinAR），以精确地建模有限收集数据的时空依赖性以进行预测。在 GinAR 中，它由两个关键组件组成，即插值注意力和自适应图卷积，以取代简单循环单元的全连接层，从而能够恢复所有缺失变量并重建正确的时空依赖关系，以对多元时间序列数据进行循环建模。在五个真实数据集上进行的大量实验表明，GinAR 的表现优于11个 SOTA 基线，即使在 90% 的变量缺失的情况下，仍然可以准确预测所有变量的未来值。

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决的问题是多变量时间序列预测（Multivariate Time Series Forecasting, MTSF）中变量缺失的问题。具体来说，传统的空间时间图神经网络（Spatial-Temporal Graph Neural Networks, STGNNs）在进行MTSF时，通常依赖于历史数据完整性的假设。然而，在现实世界中，由于数据收集器故障、维修耗时等因素，很难收集到完整的历史观测数据，这导致STGNNs在建模空间时间依赖关系时容易出错，进而影响预测性能。

为了解决这个问题，论文提出了一种新颖的图插值注意力递归网络（Graph Interpolation Attention Recursive Network, GinAR），它能够在有限收集到的数据上精确建模空间时间依赖关系，以进行预测。GinAR包含两个关键组件：插值注意力（Interpolation Attention, IA）和自适应图卷积（Adaptive Graph Convolution, AGCN），它们能够分别恢复所有缺失变量和重建正确的空间时间依赖关系，以递归地建模多变量时间序列数据。

论文的主要贡献包括：

1. 提出了第一个挑战性的工作，即在变量缺失的情况下实现MTSF的端到端框架，可以解决建模过程中的误差累积问题。

2. 设计了包含插值注意力和自适应图卷积的图插值注意力递归网络，这两个组件替换了简单递归单元（Simple Recursive Unit, SRU）中的所有全连接层，目的是在递归建模过程中纠正空间时间依赖关系。

3. 在五个真实世界的数据集上设计了实验，结果表明GinAR在所有数据集上的表现都超过了11个基线模型。即使在90%的变量缺失的情况下，GinAR仍然能够准确预测所有变量的未来值。

   

Q: 有哪些相关研究？

A: 相关研究主要集中在多变量时间序列预测（MTSF）和数据插补（imputation）方法上。以下是一些与本论文相关的研究工作：

1. 空间时间预测方法 (Spatial-Temporal Forecasting Method):
   • DCRNN: 结合门控循环单元（GRU）和图卷积网络（GCN）提出的扩散卷积循环神经网络（Diffused Convolutional Recurrent Neural Network），用于MTSF。
   • GWNET: 结合时间卷积网络（TCN）和GCN提出的图波网（Graph Wavenet），用于捕捉MTS的空间时间依赖性。
2. 图学习方法 (Graph Learning):
   • 空间注意力机制: 设计用于学习图结构中交通特征和变量嵌入的空间注意力分数。
   • 动态图学习: 提出用于探索变量之间空间时间依赖性的解耦空间时间框架和动态图学习方法。
3. 数据插补方法 (Imputation Method):
   • 经典插补模型: 依赖于时间序列的上下文信息来恢复缺失值。
   • 深度学习基础的插补方法: 结合时间序列的上下文信息和空间相关性来生成合理的缺失值。
   • GNN-based 方法: 结合GCN和序列模型来分析缺失数据和正常数据之间的空间时间依赖性，并恢复所有缺失数据。
4. 其他相关研究:
   • 时间序列分析: 包括时间序列的模式识别、异常检测和预测等。
   • 图神经网络: 用于捕捉数据的空间相关性，包括图卷积网络（GCN）和其他图基模型。

这些研究为本文提出的GinAR模型提供了理论基础和技术支持。特别是，STGNNs在捕捉多变量时间序列的空间时间依赖性方面取得了显著进展，但它们在处理不完整数据时面临挑战。本文提出的GinAR模型正是为了解决这一问题，通过插值注意力和自适应图卷积来恢复缺失变量并重建正确的空间时间依赖性，从而提高预测性能。

Q: 论文如何解决这个问题？

A: 论文通过提出一个名为Graph Interpolation Attention Recursive Network (GinAR)的端到端框架来解决多变量时间序列预测中变量缺失的问题。GinAR框架包含两个关键组件：

1. 插值注意力（Interpolation Attention, IA）：

   • IA的目的是生成正常变量和缺失变量之间的对应关系，然后使用注意力机制恢复所有缺失变量到合理的表示形式。
   • 通过这种方式，序列模型避免了直接挖掘没有有价值模式的缺失变量，从而纠正了时间依赖性。

   

   蓝色代表正常变量，白色代表缺失变量，黄色代表归纳后的变量。

2. 自适应图卷积（Adaptive Graph Convolution, AGCN）：

   • AGCN用于重建所有变量之间的空间相关性。
   • 由于所有缺失变量都已恢复，AGCN可以更准确地利用它们的表示来生成更可靠的图结构，并获取更准确的空间相关性。

GinAR的工作流程如下：

• 输入：接受包含变量缺失的历史观测数据。
• 处理：
  • 使用插值注意力（IA）模块，为每个时间步的数据生成正常变量和缺失变量之间的对应关系，并通过注意力机制恢复缺失变量。
  • 使用自适应图卷积（AGCN）模块，处理IA恢复后的表示，重建所有变量之间的空间相关性。
• 递归建模：通过GinAR层（包含多个GinAR单元）递归地处理输入特征，同时捕获时间依赖性。
• 输出：最终，通过一个多层感知器（MLP）解码器，预测未来所有变量的变化。

GinAR的主要贡献在于它能够在建模过程中纠正空间时间依赖性，并且通过端到端的方式避免了两阶段模型中的误差累积问题。实验结果表明，即使在90%的变量缺失的情况下，GinAR仍然能够准确地预测所有变量的未来值，这证明了其在处理变量缺失问题上的优越性能。

Q: 论文做了哪些实验？

A: 论文中进行了以下实验来评估GinAR模型的性能：

1. 实验设计：
   • 数据集：选择了五个真实世界的数据集进行比较实验，包括两个交通速度数据集（METR-LA和PEMS-BAY）、两个交通流量数据集（PEMS04和PEMS08）以及一个空气质量数据集（China AQI）。
   • 基线模型：选择了十一种现有的最先进（SOTA）方法作为主要基线，包括预测模型（如MegaCRN、DSformer和STID）和带有数据恢复组件的预测模型（如LGnet、TriD-MAE、GCVRNN和BiTGraph）。
   • 设置：所有数据集统一划分为训练集、验证集和测试集，设置了历史/未来长度，并随机设置缺失变量的比例。
   • 指标：使用了三个经典指标来全面评估不同模型的预测性能：平均绝对误差（MAE）、均方根误差（RMSE）和平均百分比误差（MAPE）。
2. 主要结果：
   • 展示了所有基线和GinAR在五个数据集上的性能比较结果。
   • 分析了GinAR与其他一阶段模型和两阶段模型相比的优势，特别是在处理缺失数据和避免误差累积方面。
3. 消融实验（Ablation Study）：
   • 为了证明GinAR中各个组件的重要性，进行了消融实验，包括移除插值注意力（IA）、预定义图（PG）和自适应图学习（AG）。
4. 插值注意力性能评估（Performance Evaluation of IA）：
   • 将插值注意力与其他数据插补方法（如GRIN、GATGPT、GPT4TS和TimesNet）进行比较，以评估它们对STID模型性能提升的效果。
5. 超参数实验（Hyperparameter Experiment）：
   • 评估了三个主要超参数（嵌入大小、变量嵌入大小和层数）对GinAR预测效果的影响。
6. 可视化（Visualization）：
   • 通过可视化GinAR在不同缺失率下的输入特征和预测结果，展示了模型在空间维度上的预测效果。

这些实验结果表明，GinAR在多变量时间序列预测任务中，尤其是在存在变量缺失的情况下，具有优越的性能和实际应用价值。

Q: 总结一下论文的主要内容

A: 这篇论文的主要内容包括以下几个方面：

1. 问题背景：论文针对多变量时间序列预测（MTSF）中存在的变量缺失问题进行了研究。在现实世界中，由于数据收集器故障、维修耗时等因素，收集完整的历史观测数据非常困难，这严重影响了预测模型的性能。
2. 现有方法局限性：传统的空间时间图神经网络（STGNNs）在处理MTSF时依赖于历史数据的完整性，但在变量缺失的情况下，它们容易捕获错误的空间时间依赖关系，导致预测性能下降。
3. GinAR模型提出：为了解决上述问题，论文提出了一种新颖的图插值注意力递归网络（GinAR）。GinAR包含两个关键组件：
   • 插值注意力（Interpolation Attention, IA）：用于生成正常变量和缺失变量之间的对应关系，并通过注意力机制恢复缺失变量。
   • 自适应图卷积（Adaptive Graph Convolution, AGCN）：用于重建所有变量之间的空间相关性。
4. 端到端框架：GinAR是一个端到端框架，可以在建模过程中同时纠正空间时间依赖关系，避免两阶段模型中的误差累积问题。
5. 实验验证：论文在五个真实世界的数据集上进行了广泛的实验，包括交通速度、交通流量和空气质量数据。实验结果表明，GinAR在所有数据集上都优于11个现有的基线模型，即使在90%的变量缺失的情况下，GinAR仍然能够准确预测所有变量的未来值。
6. 主要贡献：论文的主要贡献在于提出了第一个挑战性的工作，即在变量缺失的情况下实现MTSF的端到端框架，并通过精心设计的GinAR模型，有效地解决了建模过程中的误差累积问题。
7. 未来工作：论文最后提出了未来的研究方向，包括优化GinAR的效率，以及在具有更大空间维度和更复杂空间相关性的数据集上进行研究。

了第一个挑战性的工作，即在变量缺失的情况下实现MTSF的端到端框架，并通过精心设计的GinAR模型，有效地解决了建模过程中的误差累积问题。
7. 未来工作：论文最后提出了未来的研究方向，包括优化GinAR的效率，以及在具有更大空间维度和更复杂空间相关性的数据集上进行研究。

总结来说，这篇论文针对多变量时间序列预测中的变量缺失问题，提出了一个创新的解决方案GinAR，并通过实验验证了其有效性。这项工作为解决实际问题提供了新的思路和方法。

🌟【紧跟前沿】“时空探索之旅”与你一起探索时空奥秘！🚀
欢迎大家关注时空探索之旅