GraphTCN:用于人类轨迹预测的时空交互建模
作者：Chengxin Wang, Shaofeng Cai, and Gary Tan 论文地址：https://openaccess.thecvf.com/content/WACV2023/html/Wang_GraphTCN_Spatio-Temporal_Interaction_Modeling_for_Human_Trajectory_Prediction_WACV_2023_paper.html 发表时间：WACV2023 备注：恭喜作者的这篇文章收录于WACV，我都看好久了 论文解析 代码开源 代码解析
摘要准确、及时地预测行人邻居的未来路径是自动避碰应用的核心。 传统的方法，例如基于lstm的模型，在预测中需要相当大的计算成本，特别是对于长序列预测。 为了支持更有效和更准确的轨迹预测，我们提出了一种新的基于cnn的时空图框架GraphTCN，该框架将空间相互作用建模为社会图，并通过改进的时间卷积网络捕捉时空相互作用。 与传统模型相比，我们的模型的空间和时间建模都是在每个当地时间窗口内计算的。因此，它可以以更高的效率并行执行，同时具有与最佳性能方法相媲美的准确性。 实验结果表明，在各种轨迹预测基准数据集上，我们的模型在效率和精度方面都优于最先进的模型。
1 引言轨迹预测是一项基本且具有挑战性的任务，它需要预测自动应用程序中的代理程序的未来路径，例如自动驾驶汽车，符合社会要求的机器人，模拟器中的代理程序，以便在共享环境中导航。 在这些应用程序中使用多代理交互时，要求代理及时准确地对环境做出响应，以避免冲突。因此，因此非常需要代理以有效和准确的方式预测其邻居的未来路径的能力。尽管最近的工作[25、33、17、28]在对代理商之间复杂的社会互动进行建模以生成准确的未来路径方面取得了很大的进步，但是轨迹预测仍然是一项艰巨的任务，在现实应用中部署预测模型主要受制于其高计算成本和长推理时间。例如，某些小型机器人仅配备了有限的计算设备，而这些设备无法用现有解决方案承担高昂的推理成本。
特别地，通常在两个维度中对轨迹预测建模，即，时间维度和空间维度，其在图1中示出。 时间维度对每个代理的历史运动动力学进行建模。由于RNN专为序列建模而设计，因此大多数最新技术[1、12、25、17、19、34]都集中在递归神经网络（RNN）上，以捕获此类序列动态。 然而，除了在长序列数据建模中梯度消失和爆炸的训练困难[30]之外，与前馈模型（例如卷积神经网络）相比，RNN模型的训练和推理都非常缓慢。这主要是由于RNN的每个隐藏状态都取决于先前的输入和隐藏状态。结果，RNN的预测是顺序产生的，因此是不可并行的。
空间 空间维度模拟了人与人之间的互动，即主体与其邻居之间的互动。提出了三种主要的捕获空间相互作用的方法，包括基于距离的方法[1、12、25]，基于注意力的方法[33、7、42、19]和基于图的方法[17、21、51、28]。 基于距离的方法引入了一个社会汇总层来总结人群交互， 而基于注意力的方法则使用软注意力动态地产生了邻居的重要性。 基于图的方法使用图对代理的表示进行建模，并利用图神经网络（例如GCN [20 Semi-supervised 、51 Sr-lstm、28 Social-stgcnn]或GAT [41Graph Attention]）来捕获代理的空间交互特征，从经验上讲更直观并且有效地模拟了复杂的社交互动。 但是，现有的基于图的方法主要基于相邻要素的简单聚集或其绝对几何距离，而在空间建模中忽略了主体之间的相对关系。（文章重点再空间域的处理）
为了提高有效性和效率，我们提出了一种新颖的基于图的时间卷积网络（GraphTCN），以捕获时空相互作用以进行轨迹预测。
两个维度的创新 在时间维度上，与基于RNN的方法不同，我们采用了改进的门控卷积网络（TCN）来捕获每个代理的时间动态。 CNN中引入的 gated highway mechanism通过关注