SPIRAL: Semantic-Aware Progressive LiDAR Scene Generation

要約

最近の拡散モデルを活用して、LIDARベースの大規模な3Dシーン生成は大きな成功を収めています。
最近のボクセルベースのアプローチでは、幾何学的構造とセマンティックラベルの両方を生成できますが、既存のレンジビュー方法は、ラベルのないライダーシーンの生成に限定されています。
過去のセグメンテーションモデルに依存してセマンティックマップを予測すると、多くの場合、最適ではないクロスモーダルの一貫性が得られます。
計算効率や単純化されたネットワーク設計などの範囲ビュー表現の利点を維持しながらこの制限に対処するために、深さ、反射率画像、セマンティックマップを同時に生成する新しいレンジビューライダー拡散モデルであるSpiralを提案します。
さらに、生成されたラベル付きレンジビューデータの品質を評価するために、新しいセマンティックアウェアメトリックを導入します。
SemantickittiおよびNuscenesデータセットの実験は、Spiralが最小のパラメーターサイズで最先端のパフォーマンスを達成し、生成モデルとセグメンテーションモデルを組み合わせた2段階の方法を上回ることを示しています。
さらに、スパイラルによって生成された範囲画像は、下流のセグメンテーショントレーニングでの合成データ増強に効果的に使用できることを検証し、LIDARデータのラベル付けの取り組みを大幅に削減できます。

要約(オリジナル)

Leveraging recent diffusion models, LiDAR-based large-scale 3D scene generation has achieved great success. While recent voxel-based approaches can generate both geometric structures and semantic labels, existing range-view methods are limited to producing unlabeled LiDAR scenes. Relying on pretrained segmentation models to predict the semantic maps often results in suboptimal cross-modal consistency. To address this limitation while preserving the advantages of range-view representations, such as computational efficiency and simplified network design, we propose Spiral, a novel range-view LiDAR diffusion model that simultaneously generates depth, reflectance images, and semantic maps. Furthermore, we introduce novel semantic-aware metrics to evaluate the quality of the generated labeled range-view data. Experiments on the SemanticKITTI and nuScenes datasets demonstrate that Spiral achieves state-of-the-art performance with the smallest parameter size, outperforming two-step methods that combine the generative and segmentation models. Additionally, we validate that range images generated by Spiral can be effectively used for synthetic data augmentation in the downstream segmentation training, significantly reducing the labeling effort on LiDAR data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google