Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving

要約

自動運転では、将来の出来事を事前に予測し、予見可能なリスクを評価することで、自動運転車がより適切に行動を計画できるようになり、路上での安全性と効率が向上します。
この目的を達成するために、既存のエンドツーエンド計画モデルと互換性のある初のドライビングワールドモデルである Drive-WM を提案します。
ビュー分解によって促進される共同時空間モデリングを通じて、私たちのモデルは運転シーンで忠実度の高いマルチビュー ビデオを生成します。
その強力な発電能力に基づいて、安全運転計画に世界モデルを適用できる可能性を初めて示します。
特に、当社の Drive-WM は、異なる運転操作に基づいて複数の未来への運転を可能にし、画像ベースの報酬に従って最適な軌道を決定します。
現実世界の運転データセットの評価により、私たちの方法が高品質で一貫性のある制御可能なマルチビュービデオを生成できることが検証され、現実世界のシミュレーションと安全な計画の可能性が開かれます。

要約(オリジナル)

In autonomous driving, predicting future events in advance and evaluating the foreseeable risks empowers autonomous vehicles to better plan their actions, enhancing safety and efficiency on the road. To this end, we propose Drive-WM, the first driving world model compatible with existing end-to-end planning models. Through a joint spatial-temporal modeling facilitated by view factorization, our model generates high-fidelity multiview videos in driving scenes. Building on its powerful generation ability, we showcase the potential of applying the world model for safe driving planning for the first time. Particularly, our Drive-WM enables driving into multiple futures based on distinct driving maneuvers, and determines the optimal trajectory according to the image-based rewards. Evaluation on real-world driving datasets verifies that our method could generate high-quality, consistent, and controllable multiview videos, opening up possibilities for real-world simulations and safe planning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google