DiffusionDrive: Truncated Diffusion Model for End-to-End Autonomous Driving

要約

最近、拡散モデルは、マルチモードアクション分布をモデル化できるロボットポリシー学習の強力な生成手法として浮上しています。
エンドツーエンドの自律運転の能力を活用することは、有望な方向です。
ただし、ロボット拡散ポリシーの多くの除去ステップと、トラフィックシーンのより動的でオープンワールドの性質は、リアルタイムの速度で多様な運転アクションを生成するための大きな課題をもたらします。
これらの課題に対処するために、以前のマルチモードアンカーを組み込み、拡散スケジュールを切り捨てる新しい切り捨てられた拡散ポリシーを提案し、モデルがアンカーのガウス分布からマルチモードの駆動アクション分布への除去を学習できるようにします。
さらに、条件付きシーンコンテキストとの相互作用を強化するために、効率的なカスケード拡散デコーダーを設計します。
提案されたモデルであるDiffusionDriveは、バニラ拡散ポリシーと比較して10ドルの時間$削減ステップの削減を示し、わずか2ステップで優れた多様性と品質を提供します。
Aligned ResNet-34バックボーンを備えた計画指向のNAVSIMデータセットでは、DiffusionDriveはベルやホイッスルなしで88.1 PDMSを達成し、NVIDIA 4090で45 fpsのリアルタイム速度で実行されます。
コードとモデルはhttps://github.com/hustvl/diffusiondriveで入手できます。

要約(オリジナル)

Recently, the diffusion model has emerged as a powerful generative technique for robotic policy learning, capable of modeling multi-mode action distributions. Leveraging its capability for end-to-end autonomous driving is a promising direction. However, the numerous denoising steps in the robotic diffusion policy and the more dynamic, open-world nature of traffic scenes pose substantial challenges for generating diverse driving actions at a real-time speed. To address these challenges, we propose a novel truncated diffusion policy that incorporates prior multi-mode anchors and truncates the diffusion schedule, enabling the model to learn denoising from anchored Gaussian distribution to the multi-mode driving action distribution. Additionally, we design an efficient cascade diffusion decoder for enhanced interaction with conditional scene context. The proposed model, DiffusionDrive, demonstrates 10$\times$ reduction in denoising steps compared to vanilla diffusion policy, delivering superior diversity and quality in just 2 steps. On the planning-oriented NAVSIM dataset, with the aligned ResNet-34 backbone, DiffusionDrive achieves 88.1 PDMS without bells and whistles, setting a new record, while running at a real-time speed of 45 FPS on an NVIDIA 4090. Qualitative results on challenging scenarios further confirm that DiffusionDrive can robustly generate diverse plausible driving actions. Code and model will be available at https://github.com/hustvl/DiffusionDrive.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google