Action-based Contrastive Learning for Trajectory Prediction

要約

軌道予測は、自動運転などで人間とロボットの相互作用を成功させるために不可欠なタスクです。
この作業では、移動するカメラを使用した一人称視点設定で将来の歩行者の軌道を予測する問題に対処します。
そのために、歩行者の行動情報を利用して学習した軌道の埋め込みを改善する、新しい行動ベースの対照的な学習損失を提案します。
この新しい損失の背後にある基本的な考え方は、同じアクションを実行する歩行者の軌道は、大幅に異なるアクションを実行する歩行者の軌道よりも、フィーチャスペース内で互いに近くなければならないということです。
言い換えれば、歩行者の行動に関する行動情報が彼らの将来の軌道に影響を与えると私たちは主張します。
さらに、ネガティブおよびポジティブの対照的なサンプルを効果的に増やすことができる軌道の新しいサンプリング戦略を紹介します。
追加の合成軌道サンプルは、軌道予測用に開発されたいくつかのモデルの中核である、訓練された条件付き変分オートエンコーダー（CVAE）を使用して生成されます。
結果は、提案された対照的なフレームワークが歩行者の行動、つまり行動に関するコンテキスト情報を効果的に使用し、より良い軌道表現を学習することを示しています。
したがって、提案された対照的なフレームワークを軌道予測モデル内に統合すると、その結果が改善され、3つの軌道予測ベンチマークで最先端の方法よりも優れたパフォーマンスを発揮します[31、32、26]。

要約(オリジナル)

Trajectory prediction is an essential task for successful human robot interaction, such as in autonomous driving. In this work, we address the problem of predicting future pedestrian trajectories in a first person view setting with a moving camera. To that end, we propose a novel action-based contrastive learning loss, that utilizes pedestrian action information to improve the learned trajectory embeddings. The fundamental idea behind this new loss is that trajectories of pedestrians performing the same action should be closer to each other in the feature space than the trajectories of pedestrians with significantly different actions. In other words, we argue that behavioral information about pedestrian action influences their future trajectory. Furthermore, we introduce a novel sampling strategy for trajectories that is able to effectively increase negative and positive contrastive samples. Additional synthetic trajectory samples are generated using a trained Conditional Variational Autoencoder (CVAE), which is at the core of several models developed for trajectory prediction. Results show that our proposed contrastive framework employs contextual information about pedestrian behavior, i.e. action, effectively, and it learns a better trajectory representation. Thus, integrating the proposed contrastive framework within a trajectory prediction model improves its results and outperforms state-of-the-art methods on three trajectory prediction benchmarks [31, 32, 26].

arxiv情報

提供元, 利用サービス

arxiv.jp, Google