DatasetNeRF: Efficient 3D-aware Data Factory with Generative Radiance Fields

要約

3D コンピュータ ビジョン タスクの進歩には膨大な量のデータが必要ですが、マルチビュー画像に 3D 一貫性のある注釈を付けたり、点群にパーツ セグメンテーションを付けたりするのは時間がかかり、困難です。
このペーパーでは、人間がラベル付けした 2D アノテーションを最小限に抑えながら、3D 点群セグメンテーションと並行して、無限で高品質の 3D 一貫性のある 2D アノテーションを生成できる新しいアプローチである DatasetNeRF を紹介します。
具体的には、3D 生成モデル内の強力な事前意味論を活用して、少数のきめの細かいラベル付きサンプルのみを必要とするセマンティック デコーダーをトレーニングします。
トレーニングが完了すると、デコーダーは潜在空間全体にわたって効率的に一般化し、無限のデータを生成できるようになります。
生成されたデータは、ビデオ セグメンテーションや 3D 点群セグメンテーションなど、さまざまなコンピューター ビジョン タスクに適用できます。
私たちのアプローチは、セグメンテーションの品質においてベースライン モデルを上回り、個々の画像に対して優れた 3D 一貫性とセグメンテーション精度を実現するだけでなく、多関節生成モデルと非多関節生成モデルの両方に適用できることにより多用途性も実証しています。
さらに、3D 対応のセマンティック編集や 3D 反転など、私たちのアプローチから派生したアプリケーションを探索します。

要約(オリジナル)

Progress in 3D computer vision tasks demands a huge amount of data, yet annotating multi-view images with 3D-consistent annotations, or point clouds with part segmentation is both time-consuming and challenging. This paper introduces DatasetNeRF, a novel approach capable of generating infinite, high-quality 3D-consistent 2D annotations alongside 3D point cloud segmentations, while utilizing minimal 2D human-labeled annotations. Specifically, we leverage the strong semantic prior within a 3D generative model to train a semantic decoder, requiring only a handful of fine-grained labeled samples. Once trained, the decoder efficiently generalizes across the latent space, enabling the generation of infinite data. The generated data is applicable across various computer vision tasks, including video segmentation and 3D point cloud segmentation. Our approach not only surpasses baseline models in segmentation quality, achieving superior 3D consistency and segmentation precision on individual images, but also demonstrates versatility by being applicable to both articulated and non-articulated generative models. Furthermore, we explore applications stemming from our approach, such as 3D-aware semantic editing and 3D inversion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google