LidarDM: Generative LiDAR Simulation in a Generated World

要約

LidarDMは、現実的で、レイアウトを考慮し、物理的に妥当で、時間的にコヒーレントなLiDAR映像を生成できる新しいLiDAR生成モデルである。LidarDMは、LiDAR生成モデリングにおける2つの前例のない機能を備えています。(i) 運転シナリオに誘導されたLiDAR生成は、自律走行シミュレーションに大きな可能性を提供します。我々のモデルの中心は、新しい統合4D世界生成フレームワークである。具体的には、3Dシーンを生成するために潜在拡散モデルを採用し、それを動的アクターと組み合わせて基礎となる4D世界を形成し、その後、この仮想環境内でリアルな感覚観測を生成する。我々の実験は、我々のアプローチが、リアリズム、時間的一貫性、レイアウトの一貫性において、競合アルゴリズムを凌駕することを示している。さらに、LidarDMが知覚モデルの訓練とテストのための生成的世界モデルシミュレータとして使用できることを示す。

要約(オリジナル)

We present LidarDM, a novel LiDAR generative model capable of producing realistic, layout-aware, physically plausible, and temporally coherent LiDAR videos. LidarDM stands out with two unprecedented capabilities in LiDAR generative modeling: (i) LiDAR generation guided by driving scenarios, offering significant potential for autonomous driving simulations, and (ii) 4D LiDAR point cloud generation, enabling the creation of realistic and temporally coherent sequences. At the heart of our model is a novel integrated 4D world generation framework. Specifically, we employ latent diffusion models to generate the 3D scene, combine it with dynamic actors to form the underlying 4D world, and subsequently produce realistic sensory observations within this virtual environment. Our experiments indicate that our approach outperforms competing algorithms in realism, temporal coherency, and layout consistency. We additionally show that LidarDM can be used as a generative world model simulator for training and testing perception models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL