Vista: A Generalizable Driving World Model with High Fidelity and Versatile Controllability

要約

ワールドモデルはさまざまなアクションの結果を予測できますが、これは自動運転にとって最も重要です。
それにもかかわらず、既存の運転世界モデルには、目に見えない環境への一般化、重要な詳細の予測忠実性、および柔軟なアプリケーションのためのアクション制御性において、依然として限界があります。
本稿では、高い再現性と多彩な制御性を備えた汎用化可能なドライビングワールドモデルである Vista を紹介します。
既存の手法の体系的な診断に基づいて、これらの制限に対処するためのいくつかの重要な要素を紹介します。
実世界のダイナミクスを高解像度で正確に予測するために、移動するインスタンスと構造情報の学習を促進する 2 つの新しい損失を提案します。
また、一貫した長期展開の事前フレームとして履歴フレームを注入する効果的な潜在置換アプローチも考案します。
アクションの制御性については、効率的な学習戦略を通じて、高レベルの意図 (コマンド、目標点) から低レベルの操作 (軌道、角度、速度) に至るまで、多彩な一連の制御を組み込みます。
大規模なトレーニングの後、Vista の機能はさまざまなシナリオにシームレスに一般化できます。
複数のデータセットに対する広範な実験により、Vista は比較の 70% 以上で最先端の汎用ビデオ ジェネレーターを上回り、FID で 55%、FVD で 27% 最高のパフォーマンスを誇る運転世界モデルを上回っていることが示されています。
さらに、Vista 自体の機能を初めて利用して、グラウンド トゥルース アクションにアクセスせずに、現実世界のアクション評価に対する一般化可能な報酬を確立します。

要約(オリジナル)

World models can foresee the outcomes of different actions, which is of paramount importance for autonomous driving. Nevertheless, existing driving world models still have limitations in generalization to unseen environments, prediction fidelity of critical details, and action controllability for flexible application. In this paper, we present Vista, a generalizable driving world model with high fidelity and versatile controllability. Based on a systematic diagnosis of existing methods, we introduce several key ingredients to address these limitations. To accurately predict real-world dynamics at high resolution, we propose two novel losses to promote the learning of moving instances and structural information. We also devise an effective latent replacement approach to inject historical frames as priors for coherent long-horizon rollouts. For action controllability, we incorporate a versatile set of controls from high-level intentions (command, goal point) to low-level maneuvers (trajectory, angle, and speed) through an efficient learning strategy. After large-scale training, the capabilities of Vista can seamlessly generalize to different scenarios. Extensive experiments on multiple datasets show that Vista outperforms the most advanced general-purpose video generator in over 70% of comparisons and surpasses the best-performing driving world model by 55% in FID and 27% in FVD. Moreover, for the first time, we utilize the capacity of Vista itself to establish a generalizable reward for real-world action evaluation without accessing the ground truth actions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google