[论文分享]TimesURL：通用时间序列表示学习的自监督对比学习

论文题目：TimesURL: Self-supervised Contrastive Learning for Universal Time Series Representation Learning

论文地址：https://arxiv.org/abs/2312.15709

代码地址：暂无

摘要

学习适用于各种下游任务的通用时间序列表示具有挑战性，但在实际应用中很有价值。最近，研究人员试图利用计算机视觉(CV)和自然语言处理(NLP)中自我监督对比学习(SSCL)的成功来解决时间序列表示问题。然而，由于特殊的时间特征，仅仅依靠其他领域的经验指导可能对时间序列无效，并且难以适应多个下游任务。为此，本文综述了SSCL中涉及的三个部分:1)设计正对增广方法，2)构造(难)负对，3)设计SSCL损耗。对于1)和2)，我们发现不适当的正负对构建可能会引入不适当的归纳偏差，这既不能保持时间性质，也不能提供足够的判别特征。对于3)，仅仅探索段级或实例级语义信息不足以学习通用表示。为了解决上述问题，我们提出了一种新的自监督框架TimesURL。具体来说，我们首先引入基于频率时间的增强来保持时间属性不变。在此基础上，我们构建了双universum作为一种特殊的难负样本来指导更好的对比学习。此外，我们引入时间重构作为与对比学习的联合优化目标，以捕获段级和实例级信息。因此，TimesURL可以学习高质量的通用表示，并在6个不同的下游任务中实现最先进的性能，包括短期和长期预测、imputation、分类、异常检测和迁移学习。

1 介绍

学习信息丰富且通用的多类型下游任务时间序列表示是一个基本但尚未解决的问题。由于时间序列数据的高维性和特殊的时间特征，以及不同任务需要不同的语义信息，将自我监督对比应用于时间序列需要定制解决方案。

本方法中涉及的四个主要部分，包括1)正样本设计的增强方法，2)骨干编码器，3)(难)负对，4)预训练任务的损失，并试图投入努力探索在通用表示学习中更有效的时间序列特征捕获解决方案。由于骨干编码器在时间序列编码器学习中得到了广泛的研究，我们的注意力主要集中在剩下的三个组成部分：

1）大多数增广方法在应用于时间序列数据时，可能会引入不适当的归纳偏差。

直接借用了CV和NLP领域的思想。可能会破坏原始时间序列中固有的时间变化，干扰时间依赖性，影响过去和未来时间戳信息之间的关系。因此，由于时间序列的有价值的语义信息主要存在于时间变化和依赖关系中，这种增强无法捕获有效的通用表示学习所需的适当特征。

2）难负样本选择的重要性在其他领域得到了证明，但在时间序列文献中仍未得到充分探索。

由于局部平滑性和马尔可夫性，大多数时间序列片段可以看作是简单的负样本。这些片段往往表现出与正样本的语义不相似，只贡献了很小的梯度，因此无法提供有用的判别信息。虽然包含少量难负样本(与正样本具有相似但不完全相同的语义)已被证明有助于改进和加快学习，它们的有效性被大量容易的简单负样本所掩盖。

3）仅使用分段器实例级的信息是不足以学习通用表示的。

预测、异常检测和imputation，它们更多地依赖于在段级别捕获的细粒度信息，因为这些任务需要推断特定的时间戳或子序列。分类和聚类，优先考虑实例级信息，即粗粒度信息，旨在推断整个系列的目标。因此，当面对任务不可知的预训练模型时，在预训练阶段缺乏对特定任务的先验知识或意识，片段级和实例级信息对于实现有效的通用时间序列表示学习是必不可少的。

2 创新点

设计了一种新的基于频率时间的增强方法，称为FTAug，该方法是时域裁剪和频域混频的结合。
设计了double Universums作为难负样本。在特征空间中，分别在实例和时间维度上，将特定的正样本与负样本进行特异性混合，作为特殊的高质量硬负样本。
共同优化对比学习和时间重建，以在片段和实例级别捕获和利用信息。
完成六个下游任务：短期和长期预测、imputation、分类、异常检测和迁移学习。

3 方法

由原始数据 x 生成被掩蔽的 xm ，再分别经过 FTAug 生成数据增强的 x' 和 xm' 。
得到两对原始数据和增强数据，第一对 (x,x') 用于对比学习，第二对(xm, xm')用于时间重构。
将上述集合与fθ进行映射，得到相应的表示 r , rm , r' , rm'
上述23表示，预训练损失为：计算xm和xm'的重构损失；计算 r 和 r' 之间的对比损失

1)采用合适的增强方法构建正对，2)有一定数量的硬负样本用于模型泛化，3)通过对比学习和时间重建损失共同优化编码器fθ以捕获两层信息，保证了上述模型的有效性。

3.1 FTAug增强

大多数增强策略都是任务相关的，可能会引入对数据分布的强假设。更严重的是，它们可能会扰乱对预测等任务至关重要的时间关系和语义一致性。因此，我们选择上下文一致性策略，该策略将两个增强上下文中相同时间戳的表示视为正对。我们的FTAug结合了频率和时域的优势，通过频率混合和随机裁剪产生增强的上下文，FTAug只适用于培训过程。

频率混合是将样本进行FFT运算，将xi中一定比例的的频率分量替换为同一批次另一个随机训练实例xk的相同频率分量，从而产生新的上下文视图，然后我们使用逆FFT转换回来得到一个新的时域时间序列。

在样本之间交换频率成分不会引入意想不到的噪声或人为周期性，并且可以为保持数据的语义特征提供更可靠的增强。
随机裁剪是上下文一致性策略的关键步骤。对于每个实例xi，我们随机抽取两个重叠的时间段[a1, b1]， [a2, b2]，其中0<a1≤a2≤b1≤b2≤t，对比学习和时间重构进一步优化重叠时间段[a2, b1]中的表示。

最终，该方法能够保持时间序列的重要时间关系和语义一致性，对各种任务都有帮助。