DynamicCity: Large-Scale LiDAR Generation from Dynamic Scenes

要約

LiDAR シーンの生成は、最近急速に発展しています。
しかし、既存の方法は主に静的な単一フレームのシーンを生成することに焦点を当てており、現実世界の運転環境の本質的な動的な性質を見落としています。
この研究では、動的環境の時間的進化を捉える大規模で高品質な LiDAR シーンを生成できる新しい 4D LiDAR 生成フレームワークである DynamicCity を紹介します。
DynamicCity は主に 2 つの主要なモデルで構成されます。
1) コンパクトな 4D 表現として HexPlane を学習するための VAE モデル。
DynamicCity は単純な平均演算を使用する代わりに、新しい投影モジュールを採用して、4D LiDAR 特徴を HexPlane 構築用の 6 つの 2D 特徴マップに効果的に圧縮します。これにより、HexPlane フィッティング品質が大幅に向上します (最大 12.56 mIoU ゲイン)。
さらに、拡張＆スクイーズ戦略を利用して 3D 特徴ボリュームを並行して再構築します。これにより、各 3D ポイントを単純にクエリするよりもネットワーク トレーニング効率と再構築精度の両方が向上します (最大 7.05 mIoU ゲイン、2.06 倍のトレーニング速度向上、70.84% のメモリ削減)。
。
2) HexPlane 生成のための DiT ベースの拡散モデル。
HexPlane を DiT 生成に適したものにするために、HexPlane の 6 つのフィーチャ プレーンすべてを正方形の 2D フィーチャ マップとして再構成するパディング ロールアウト操作が提案されています。
特に、拡散またはサンプリングのプロセスにさまざまな条件を導入することができ、軌跡およびコマンド駆動の生成、修復、レイアウト条件付き生成など、汎用性の高い 4D 生成アプリケーションをサポートできます。
CarlaSC および Waymo データセットに関する広範な実験により、DynamicCity が複数の指標にわたって既存の最先端の 4D LiDAR 生成方法を大幅に上回るパフォーマンスを示しています。
コードは将来の研究を容易にするために公開されます。

要約(オリジナル)

LiDAR scene generation has been developing rapidly recently. However, existing methods primarily focus on generating static and single-frame scenes, overlooking the inherently dynamic nature of real-world driving environments. In this work, we introduce DynamicCity, a novel 4D LiDAR generation framework capable of generating large-scale, high-quality LiDAR scenes that capture the temporal evolution of dynamic environments. DynamicCity mainly consists of two key models. 1) A VAE model for learning HexPlane as the compact 4D representation. Instead of using naive averaging operations, DynamicCity employs a novel Projection Module to effectively compress 4D LiDAR features into six 2D feature maps for HexPlane construction, which significantly enhances HexPlane fitting quality (up to 12.56 mIoU gain). Furthermore, we utilize an Expansion & Squeeze Strategy to reconstruct 3D feature volumes in parallel, which improves both network training efficiency and reconstruction accuracy than naively querying each 3D point (up to 7.05 mIoU gain, 2.06x training speedup, and 70.84% memory reduction). 2) A DiT-based diffusion model for HexPlane generation. To make HexPlane feasible for DiT generation, a Padded Rollout Operation is proposed to reorganize all six feature planes of the HexPlane as a squared 2D feature map. In particular, various conditions could be introduced in the diffusion or sampling process, supporting versatile 4D generation applications, such as trajectory- and command-driven generation, inpainting, and layout-conditioned generation. Extensive experiments on the CarlaSC and Waymo datasets demonstrate that DynamicCity significantly outperforms existing state-of-the-art 4D LiDAR generation methods across multiple metrics. The code will be released to facilitate future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google