End-to-End Driving with Online Trajectory Evaluation via BEV World Model

要約

エンドツーエンドの自律運転は、認識、予測、および計画を完全に微分可能なフレームワークに統合することにより、顕著な進歩を達成しました。
しかし、その可能性を完全に実現するために、安全性を確保するために効果的なオンライン軌道評価は不可欠です。
特定の軌跡の将来の結果を予測することにより、軌道評価がはるかに効果的になります。
この目標は、環境ダイナミクスを捉え、将来の状態を予測するために世界モデルを採用することで達成できます。
したがって、軌道評価のために将来のBEV状態を予測するためにBEVの世界モデルを活用するエンドツーエンドの運転フレームワークWOTEを提案します。
提案されているBEVワールドモデルは、画像レベルの世界モデルと比較して遅延効率が高く、既製のBEVスペーストラフィックシミュレーターを使用してシームレスに監視できます。
NAVSIMベンチマークとCarla Simulatorに基づいた閉ループベンチ2Driveベンチマークの両方でフレームワークを検証し、最先端のパフォーマンスを実現します。
コードはhttps://github.com/liyyanucas/woteでリリースされます。

要約(オリジナル)

End-to-end autonomous driving has achieved remarkable progress by integrating perception, prediction, and planning into a fully differentiable framework. Yet, to fully realize its potential, an effective online trajectory evaluation is indispensable to ensure safety. By forecasting the future outcomes of a given trajectory, trajectory evaluation becomes much more effective. This goal can be achieved by employing a world model to capture environmental dynamics and predict future states. Therefore, we propose an end-to-end driving framework WoTE, which leverages a BEV World model to predict future BEV states for Trajectory Evaluation. The proposed BEV world model is latency-efficient compared to image-level world models and can be seamlessly supervised using off-the-shelf BEV-space traffic simulators. We validate our framework on both the NAVSIM benchmark and the closed-loop Bench2Drive benchmark based on the CARLA simulator, achieving state-of-the-art performance. Code is released at https://github.com/liyingyanUCAS/WoTE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google