GMAN:一种用于交通预测的图多注意网络

交通预测：根据历史观察（由传感器记录），预测道路网络中未来的交通状况（如交通量或速度）。附近地区的交通状况会相互影响。为了捕捉这种空间相关性，卷积神经网络CNN被广泛使用。同时，一个地方的交通状况也与其历史观测值有关。循环神经网络RNN这种时间关系被广泛用于建模。由于交通状况仅限于道路网络图，最近的研究将交通预测描述为图建模问题。使用图卷积网络（GCN）研究在短期(提前5-15分钟)短期(提前5-15分钟)交通预测中仍缺乏有效进展，主要原因是:

1.复杂的时空相关性 （1）动态空间相关性：随着时间的推移，道路网络中传感器之间的交通状况相关性发生了显著变化。如何动态选择相关传感器的数据来预测目标传感器的长期交通状况？（2）非线性时间相关性：传感器处的交通状况可能会突然剧烈波动，影响不同时间步骤之间的相关性。如何适应非线性时间相关性的建模？

2.对错误传播的敏感性 从长远来看，当预测进一步深入到未来时，中小误差可能会放大。误差的传播使得很难预测遥远的未来。

在本文中，我们关注时空因素，并提出了一种图多注意网络（GMAN）来预测道路网络图上不同位置的时间步的交通状况。GMAN编码器-解码器系统结构，其中编码器和解码器由多个时空注意（ST注意块)组成，模拟时空因素对交通状况的影响。每个ST注意块由空间注意机制(用于建模动态空间相关性)、时间注意机制(用于建模非线性时间相关性)和门控融合机制(用于自适应融合空间和时间表示)组成。编码器编码输入交通特性，解码器预测输出序列。在编码器和解码器之间，通过转换注意层来转换编码的交通特征来生成未来时间步的序列表示，作为解码器的输入。对历史与未来时间步历史与未来时间步之间的直接关系，有助于缓解预测时间步之间的错误传播。

相关工作:深度学习方法(如short-term memory (LSTM)）与传统的时间序列方法、机器学习模型和最近的k邻居相比，在捕获交通状况的时间相关性方面表现出了更好的性能。为了建模空间的相关性，研究人员应用卷积神经网络CNN来捕获欧几里得空间中的相关性。最近的研究制定了基于图的交通预测，并利用图卷积网络（GCN）建模道路网络中非欧几里德的相关性。这些基于图形的模型通过逐步生成多步预测，并可能在不同预测步骤之间传播错误。

（Wu等人，2019b）将WaveNet集成到GCN用于时空建模。因为它学习静态邻接矩阵 ，该方法难以获得动态空间的相关性。

将道路网络表示为带权有向图，顶点表示交通传感器，代表节点vi和节点vj接近性（根据道路网络的距离计算）。时间步T的交通状况表示，C是感兴趣的交通状况数量（如交通量、交通速度等）。问题描述：给定历史P时间步N节点的观测值，旨在预测下一个Q时间步的所有顶点的交通状况

GMAN包含时空嵌入（STE）、一个编码器和一个解码器码器和一个解码器组成的ST注意块（STAtt块)，变换注意层（TransAtt）与两层完全连接（FCs）。时空嵌入包括空间嵌入和时间嵌入。我们通过时空嵌入（STE）将图形结构和时间信息整合到多注意机制中。所有层产生的输出都是D维，以便于残余连接。

时空嵌入

由于交通状况的演变受到底层道路网络的限制，将道路网络信息纳入预测模型至关重要。为此，我们提出了将顶点编码为向量的空间嵌入方法，以保留图形结构信息。具体来说，我们使用它node2vec学习方法的顶点表示。此外，这些向量被输入到两层完全连接的神经网络中，以便联合训练预学习向量和整个模型。然后，获得空间嵌入。空间嵌入只提供静态表示，而不是路网中交通传感器之间的动态相关性。因此，我们进一步提出了将每个时间步编码为一个向量的时间嵌入法。具体来说，让一天有T个时间步。我们使用one-hot编码每一步day-of-week和time-of-day将它们编码成一个向量后，应用两层全连接神经网络将时间特征转换为向量。我们将时间特征嵌入到历史P和未来Q的时间步骤中

为了获得time-variant(时变)定点表示，上述空间嵌入与时间嵌入融为时空嵌入（STE），具体来说，对于顶点vi在时间步tj，STE定义为。N个顶点在P Q个时间步的STE表示为STE将用于空间、时间和转换注意机制，包括图形结构和时间信息。

ST注意块

如图c所示，ST注意块包括空间注意、时间注意和门控制的集成。将第一块的输入表示为顶点vi在时间步tj隐藏状态为。l块中空间和时间注意机制的输出分别为和，其中顶点vi在时间步tj隐藏状态分别表示与门控融合后，我们获得第一个l块的输出。为了便于解释，非线性变换表示为

空间注意

一条道路的交通状况受其他道路的不同影响。随着时间的推移，这种影响是高度动态的。空间注意机制来自于适应地捕捉道路网络中传感器之间的相关性。其关键思想是动态分配不同的权重，在不同的时间步骤到不同的顶点（传感器）。对于顶点vi和时间步tj，我们计算所有顶点的权利和权利α代表注意力得分，表示顶点v对vi的重要性。注意力得分的和等于1。

在某个时间点，当前的交通状况和道路网络结构可能会影响传感器之间的相关性，因此我们考虑交通特征和图形结构来学习注意力分数。具体来说，我们将隐藏状态与时空嵌入连接起来，顶点采用缩放点积法计算vi与v的相关性代表内积算子，2D是的维度，然后，通过softmax对其进行归一化，得到注意力得分后就可以通过式（2）更新隐藏状态了。

为了稳定学习过程，我们将空间注意机制扩展到多头机制。具体来说，我们将K与不同的平行注意机制连接起来

代表不同的非线性投影(即式(1)d=D/K维的输出。

如果顶点数N很大，时间和内存消耗会很大，需要计算N^为此，提出了一种群空间注意，包括群空间注意和群空间注意。N每个节点分为G组，每个组包含M=N/G个节点。在每个组中，我们通过公式5、6、7计算组中的注意力来建模顶点之间的局部空间相关性，学习参数可以在组间共享。然后，我们将最大的池方法应用于每个组，以获得每个组的单个表示。我们计算组间空间的注意力，以建模不同组之间的相关性，为每个组生成一个全球特征。将局部特征添加到相应的全局特征中作为最终输出。这样，我们需要计算GM^2 G^2=NM (N/M)^两个注意力分数。

时间注意

某一地点的交通状况与之前的观测值有关，相关系数随时间步非线性变化。设计时间注意机制，自适应地模拟不同时间步之间的非线性相关性。时间相关性受交通状况和相应时间上下文的影响，不同时间步之间的相关性应考虑交通特征和时间。具体来说，我们将隐藏状态与时空嵌入连接起来，并采用多头方法计算注意分数。对于顶点vi，时间步tj注意力分为t之间的相关性β表示时间步t对tj代表重要性tj前一组时间步，即只考虑时间步长早于目标步长的信息，以启用因果关系。一旦获得注意力得分，顶点vi在时间步tj的隐藏状态就可以按如下式子更新，其中代表非线性投影。在所有的顶点和平行计算的时间步骤上共享方程8、9和10中的可学习参数。

门控融合

一条道路在一定时间段的交通状况与其以前的价值和其他道路的交通状况有关。设计门控制集成，自适应集成空间和时间表示。在第一个块中，空间和时间注意机制的输出为和，包括编码器和解码器的格式。集成公式代表元素级的积累sigmoid激活

门控融合机制自适应地控制每个顶点和时间步的空间和时间依赖流。

转换注意

我们在编码器和解码器之间增加了变换注意层，以缓解长期范围内不同预测时间步之间的错误传播效应。它建模了每个未来时间步与每个历史时间步之间的直接关系，以转换代码的交通特性生成未来表示，作为解码器的输入。对于顶点vi，预测时间步和历史时间步之间的相关性通过嵌入时间和空间来衡量：通过在所有历史P时间步中自适应地选择相关特征，将编码的交通特征转换为解码器：

可在所有的顶点和时间步骤上并行计算方程13、14和15，共享可学习的参数。

编码器-解码器

GMAN它是一种编码器-解码器架构。在进入编码器之前，使用全连接层将历史观察转换为。然后用L送到ST在注意块的编码器中，产生输出，然后通过转换注意层来生成未来的序列表示。然后，解码器堆叠LST注意块作用于上部，生成输出，最后，全连接层生成Q时间步提前预测

GMAN平均绝对误差可以通过端到端训练来最小化（MAE）反向传播