论文阅读笔记：ST-MetaNet-1

前言

摘要

CCS

关键词

介绍

时空相关性的复杂组合

空间相关性

时间相关性

时空相关性的多样性

本篇博客结语

前言

读这篇论文边读边学，每天坚持发博客，看到哪学到哪，这系列文章既有翻译，又有深度详细解释，还会对名词所属领域进行解释，方便大家一起学习。项目打算先对标这篇论文，所以这个论文得好好啃下来，发个博客也是督促自己。本项目主题是关于交通流量预测，如果有相关领域的大神愿提供指导，也十分感谢。

摘要

城市交通预测对智能交通系统和公共安全具有重要意义，但具有挑战性，主要体现在以下两个方面:1)城市交通复杂的时空相关性，包括位置之间的空间相关性和时间戳之间的时间相关性;2)这种时空相关性的多样性，随位置的不同而变化，并依赖于周围的地理信息，如兴趣点和路网。为了应对这些挑战，提出了一种基于深度元学习的ST-MetaNet模型，可以同时对所有位置的流量进行集体预测。ST-MetaNet采用了一种序列到序列架构，由一个用于学习历史信息的编码器和一个用于逐步进行预测的解码器组成。具体来说，编码器和解码器具有相同的网络结构，均由一个编码流量的循环神经网络、一个捕捉不同空间相关性的元注意力网络和一个考虑不同时间相关性的元循环神经网络组成。在两个真实的数据集上进行了广泛的实验，以验证ST-MetaNet的有效性。

注：在我上一篇论文阅读中使用端到端的学习方式，这样的方式可以直接对神经网络进行计算得出结果，而本篇文章采用序列到序列的学习方式（seq2seq），seq2seq要求必须使用编码器-解码器（Encoder-Decoder）对输入序列进行编码，最后输出时再进行解码，使用seq2seq能够满足输入序列和输出序列大小不同时的需要，即输入序列与输出序列可以长度不相等，端到端学习是做不到这一点的。

CCS

注：这里进行一下说明，CCS是美国计算机协会分类系统，这里表明了本篇论文的所属分类。

信息系统——>时空系统
数据发掘
计算方法——>神经网络

关键词

城市交通、时空数据、神经网络、元学习

介绍

随着数据采集技术和移动计算技术的发展，产生了大量的交通数据，如车辆轨迹数据，为城市分析和相关应用提供了基础。城市交通预测可以为城市规划和交通管理提供意见以提高公共交通运行效率，并为公共安全应急管理提供预警，这已成为智慧城市发展的一项关键任务工作。然而，由于复杂的时空（ST）相关性，城市交通预测非常具有挑战性。

时空相关性的复杂组合

由于交通在空间域(如道路网络)上是变化的，我们采用地理图来描述空间结构，其中每个节点表示一个位置，每个边表示位置之间的关系，如图1 (a)所示。由于城市交通是高度动态的，我们从以下两个因素来考虑这种相关性。

空间相关性

如图1 (a)所示的红色箭头所示，一些位置的交通是相互影响的，并且一直在变化。例如，道路网络上的交通具有很强的空间依赖性。当交通事故发生在S3附近时，交通堵塞会迅速扩散到其相邻的S1、S2和S4。这种影响给交通流量预测带来了挑战。

时间相关性

给定一个地点，其流量的当前读数，如流入和流出，与它的先前序相关。例如，一个区域的出租车流量受到最近的值的影响，包括近的和远的。当S4发生特殊事件(如大型音乐会)时，很多人会进入这个位置，并且这种位置状态会保持很长时间。

这些类型的相关性都影响着城市交通，印次很有必要同时模拟时间相关性和空间相关性模型。

时空相关性的多样性

在城市中，位置及其相互关系的特征是多样的，这取决于它们自身的地理属性:1)节点属性:位置的周围环境，即附近的兴趣点(point of interest, POI)和路网密度(density of road networks, RNs);2)边属性:两个节点之间的关系，如道路的连通性和它们之间的距离。如图1 (b)所示，R1区、R2区和R3区poi分布和路网结构不同。因此，这些地区的特征不同，其流入的趋势也不同，如图1 (c)所示，这表明具有不同特征的地区往往具有不同类型的ST相关。

尽管如此，具有相似地理属性组合的位置可以导致相似的特征和相似类型的ST相关。在图1 (b)中，R1区和R3区包含大量的办公楼，代表商业区，而R2区包含大量的公寓，代表居住区。一般来说，市民通常在早上从家通勤到他们的工作单位，而在晚上返回。因此，商业区R1和R3在上午的流入量呈相似的上升趋势，而住宅区R2在晚上的高峰时段不同，如图1 (c)所示。因此，建模地理属性与ST相关类型之间的内在关系在城市交通预测中起着至关重要的作用。

近年来，尽管城市交通预测以及类似ST预测任务的工作显著增加，但上述挑战仍然没有很好地解决。首先，一些工作侧重于通过单个模型对所有位置的ST相关性进行建模。这些方法无法显式地建模地理属性与各类ST相关性之间的内在关系，在没有任何先验知识的情况下，这种关系难以学习。另一组工作采用多任务学习方法，主要为每个位置建立多个子模型，并通过位置之间的相似性约束一起训练所有这些子模型。这些方法依赖于特定任务的先验知识或强假设，即位置相似度。然而，这些辅助信息只能提供相对较弱的监督，在复杂的现实应用中产生不稳定、错误甚至毁灭性的结果。

注：两个加粗的点中，我没有学习过相关模型，所以这里只能直接翻译，我不太了解相关工作。

为应对上述挑战，本文提出一种基于深度元学习的城市交通预测框架ST-MetaNet。图2描述了主要的直观信息。城市交通预测是一个典型的时空预测问题，其主要因素包括受节点(位置)和边(两个节点之间的相互关系)特征隐性影响的时空相关性。直观地说，节点的特征受其属性的影响，比如GPS定位和相邻POIs。同样，边的特征取决于它的属性，如道路的连通性和位置之间的距离。基于这些见解，ST-MetaNet首先从节点和边的属性中分别提取元知识(即特征);然后使用元知识对时空相关性进行建模，即生成预测网络的权重。

注：看到这里我其实还是没有非常明白他整个体系的架构，不过这里也只是一个介绍。

我们的研究的贡献在于以下几个方面：

本文提出了一种新的基于深度元学习的模型ST-MetaNet，用于城市交通预测。ST-MetaNet利用从地理图属性中提取的元知识，在序列到序列架构中生成图注意力网络和循环网络的参数权重。因此，该方法能够捕获地理属性之间的内在联系和不同类型的ST相关性。
本文提出一种元图注意力网络来建模空间相关性。注意力机制能够根据位置的当前状态捕获位置之间的动态相互关系。此外，通过从地理图属性中提取节点和边的元知识来生成注意力网络的权重，从而对各种空间相关性进行建模。
本文提出一种元门控循环神经网络，从每个节点的元知识中生成正常门控循环单元的所有权重。因此，每个位置都有其独特类型的时间相关性的独特模型。
我们在两个任务上评估了ST-MetaNet:出租车流量预测和交通速度预测。实验结果验证了时空元网络可以显著提升城市交通预测，并从地理属性中学习到更好的交通相关知识。