LiDAR-EDIT: LiDAR Data Generation by Editing the Object Layouts in Real-World Scenes

要約

自律運転のために合成ライダーデータを生成するための新しいパラダイムであるLidar-Editを提示します。
私たちのフレームワークは、バックグラウンド環境のリアリズムを維持しながら、新しいオブジェクトレイアウトを導入することにより、実際のLidarスキャンを編集します。
Lidar-Editは、Lidar Pointクラウドをゼロから生成するエンドツーエンドのフレームワークと比較して、オブジェクトの数、タイプ、ポーズなど、オブジェクトレイアウトを完全に制御し、元の現実世界の背景のほとんどを保持します。
私たちの方法は、生成されたデータのオブジェクトラベルも提供します。
新しいビュー合成技術と比較して、私たちのフレームワークは、オブジェクトレイアウトが元の現実世界シーンとは大きく異なる反事実的シナリオを作成することを可能にします。
Lidar-Editは、球状のボクセル化を使用して、構造によって生成されたポイント雲の正しいLidar射影幾何学を強制します。
オブジェクトの除去と挿入中、生成モデルが使用され、元の実際のライダースキャンに閉塞された目に見えない背景およびオブジェクトパーツを埋めることができます。
実験結果は、私たちのフレームワークがダウンストリームタスクに実用的な価値を持つ現実的なライダースキャンを生成することを示しています。

要約(オリジナル)

We present LiDAR-EDIT, a novel paradigm for generating synthetic LiDAR data for autonomous driving. Our framework edits real-world LiDAR scans by introducing new object layouts while preserving the realism of the background environment. Compared to end-to-end frameworks that generate LiDAR point clouds from scratch, LiDAR-EDIT offers users full control over the object layout, including the number, type, and pose of objects, while keeping most of the original real-world background. Our method also provides object labels for the generated data. Compared to novel view synthesis techniques, our framework allows for the creation of counterfactual scenarios with object layouts significantly different from the original real-world scene. LiDAR-EDIT uses spherical voxelization to enforce correct LiDAR projective geometry in the generated point clouds by construction. During object removal and insertion, generative models are employed to fill the unseen background and object parts that were occluded in the original real LiDAR scans. Experimental results demonstrate that our framework produces realistic LiDAR scans with practical value for downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google