JointMotion: Joint Self-Supervision for Joint Motion Prediction

要約

自動運転車の関節動作予測のための自己教師あり事前トレーニング手法である JointMotion を紹介します。
私たちの手法は、モーションと環境を接続するシーンレベルの目標と、学習された表現を洗練するためのインスタンスレベルの目標を共同で最適化します。
シーンレベルの表現は、過去のモーション シーケンスと環境コンテキストの非対照的な類似性学習を通じて学習されます。
インスタンス レベルでは、マスクされた自動エンコーディングを使用して、マルチモーダルなポリライン表現を改良します。
これを、JointMotion がさまざまな環境表現、融合メカニズム、データセット特性にわたって一般化できるようにする適応型事前トレーニング デコーダーで補完します。
特に、私たちの方法では、Wayformer、HPTR、Scene Transformer モデルの関節の最終変位誤差がそれぞれ 3\%、8\%、12\% 減少します。
Waymo Open Motion と Argoverse 2 Motion Forecasting データセット間の転移学習を可能にします。
コード: https://github.com/kit-mrt/future-motion

要約(オリジナル)

We present JointMotion, a self-supervised pre-training method for joint motion prediction in self-driving vehicles. Our method jointly optimizes a scene-level objective connecting motion and environments, and an instance-level objective to refine learned representations. Scene-level representations are learned via non-contrastive similarity learning of past motion sequences and environment context. At the instance level, we use masked autoencoding to refine multimodal polyline representations. We complement this with an adaptive pre-training decoder that enables JointMotion to generalize across different environment representations, fusion mechanisms, and dataset characteristics. Notably, our method reduces the joint final displacement error of Wayformer, HPTR, and Scene Transformer models by 3\%, 8\%, and 12\%, respectively; and enables transfer learning between the Waymo Open Motion and the Argoverse 2 Motion Forecasting datasets. Code: https://github.com/kit-mrt/future-motion

arxiv情報

提供元, 利用サービス

arxiv.jp, Google