Scenario Dreamer: Vectorized Latent Diffusion for Generating Driving Simulation Environments

要約

レーングラフとエージェントの境界ボックスを含む初期トラフィックシーンと閉ループエージェントの動作の両方を生成する自律車両計画のための完全なデータ駆動型の生成シミュレーターであるDreamerを紹介します。
運転シミュレーション環境を生成するための既存の方法は、初期のトラフィックシーンをラスタリングされた画像としてエンコードし、そのため、ラスター化されたシーンの多くの空のピクセルのために不必要な計算を実行するパラメーターが多いネットワークが必要です。
さらに、ルールベースのエージェント行動を採用する既存の方法には、多様性とリアリズムがないことがわかります。
シナリオドリーマーは、代わりに、ベクトル化されたシーン要素で直接動作する初期シーン生成のための新しいベクトル化された潜在拡散モデルと、データ駆動型エージェントの動作シミュレーションのために自己脱着トランスを採用しています。
シナリオドリーマーは、拡散を介してシーンの外挿をサポートし、無制限のシミュレーション環境の生成を可能にします。
広範な実験は、シナリオの夢想家がリアリズムと効率の既存の生成シミュレータを上回ることを示しています。ベクトル化されたシーン生成ベースモデルは、最強のベースラインと比較して、約2倍のパラメーター、6倍低い世代のレイテンシ、10倍のGPUトレーニング時間で優れた生成品質を達成します。
補強学習計画エージェントは、特に長く敵対的な運転環境で、従来の非生成シミュレーション環境よりもシナリオドリーマー環境でより挑戦されていることを示すことにより、その実用性を確認します。

要約(オリジナル)

We introduce Scenario Dreamer, a fully data-driven generative simulator for autonomous vehicle planning that generates both the initial traffic scene – comprising a lane graph and agent bounding boxes – and closed-loop agent behaviours. Existing methods for generating driving simulation environments encode the initial traffic scene as a rasterized image and, as such, require parameter-heavy networks that perform unnecessary computation due to many empty pixels in the rasterized scene. Moreover, we find that existing methods that employ rule-based agent behaviours lack diversity and realism. Scenario Dreamer instead employs a novel vectorized latent diffusion model for initial scene generation that directly operates on the vectorized scene elements and an autoregressive Transformer for data-driven agent behaviour simulation. Scenario Dreamer additionally supports scene extrapolation via diffusion inpainting, enabling the generation of unbounded simulation environments. Extensive experiments show that Scenario Dreamer outperforms existing generative simulators in realism and efficiency: the vectorized scene-generation base model achieves superior generation quality with around 2x fewer parameters, 6x lower generation latency, and 10x fewer GPU training hours compared to the strongest baseline. We confirm its practical utility by showing that reinforcement learning planning agents are more challenged in Scenario Dreamer environments than traditional non-generative simulation environments, especially on long and adversarial driving environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google