Vectorized Representation Dreamer (VRD): Dreaming-Assisted Multi-Agent Motion-Forecasting

要約

自動運転車がその環境内で経路を計画するには、近くにあるすべての動的オブジェクトの軌道を正確に予測できなければなりません。
多くの従来の方法は、この問題を解決するためにシーン内の観察をエンコードしますが、世界の将来の状態に対する自我車両の動作の影響を考慮したアプローチはほとんどありません。
このペーパーでは、マルチエージェントの動作予測問題に対するベクトル化ワールド モデルにインスピレーションを得たアプローチである VRD を紹介します。
私たちの手法は、従来の開ループ トレーニング体制と、運動学的な再構成タスクを利用して、自我ビークルの動作を条件としてすべてのエージェントの軌道を想像する、夢のような閉ループ トレーニング パイプラインを組み合わせたものです。
提案したモデルのパフォーマンスを実証するために、Argoverse 2 多世界予測評価データセットと交差点ドローン (inD) データセットに対して定量的および定性的な実験が行われます。
私たちのモデルは、Argoverse 2 データセットの単一予測ミス率メトリクスで最先端のパフォーマンスを達成し、単一予測変位メトリクスでは主要なモデルと同等のパフォーマンスを発揮します。

要約(オリジナル)

For an autonomous vehicle to plan a path in its environment, it must be able to accurately forecast the trajectory of all dynamic objects in its proximity. While many traditional methods encode observations in the scene to solve this problem, there are few approaches that consider the effect of the ego vehicle’s behavior on the future state of the world. In this paper, we introduce VRD, a vectorized world model-inspired approach to the multi-agent motion forecasting problem. Our method combines a traditional open-loop training regime with a novel dreamed closed-loop training pipeline that leverages a kinematic reconstruction task to imagine the trajectory of all agents, conditioned on the action of the ego vehicle. Quantitative and qualitative experiments are conducted on the Argoverse 2 multi-world forecasting evaluation dataset and the intersection drone (inD) dataset to demonstrate the performance of our proposed model. Our model achieves state-of-the-art performance on the single prediction miss rate metric on the Argoverse 2 dataset and performs on par with the leading models for the single prediction displacement metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google