IC3D: Image-Conditioned 3D Diffusion for Shape Generation

要約

近年、ノイズ除去拡散確率モデル (DDPM) は、さまざまな 2D 生成タスクにおいて優れたパフォーマンスを実証してきました。
この成功を受けて、DDPM は 3D 形状生成まで拡張され、この分野における以前の方法論を超えています。
これらのモデルの多くは無条件ですが、さまざまなモダリティからのガイダンスを使用する可能性を検討しているモデルもあります。
特に、3D 生成のための画像ガイダンスは、CLIP 埋め込みの利用を通じて研究されています。
ただし、これらの埋め込みは画像とテキストを位置合わせするように設計されており、形状の生成に必要な特定の詳細を必ずしもキャプチャするわけではありません。
この制限に対処し、3D 理解を強化して画像誘導 3D DDPM を強化するために、CISP (Contrastive Image-Shape Pre-training) を導入し、適切に構造化された画像形状の結合埋め込み空間を取得します。
CISP に基づいて、単一ビュー画像から 3D 形状を生成するための CISP のガイダンスを利用する DDPM である IC3D を紹介します。
この生成拡散モデルは、生成される 3D 形状の品質と多様性の両方において、既存のベンチマークを上回っています。
さらに、IC3D の生成的な性質にもかかわらず、その生成された形状は、競合する単一ビュー 3D 再構成モデ​​ルよりも人間の評価者によって好まれています。
これらの特性はコヒーレントな埋め込み空間に貢献し、配布外の画像からも潜在補間と条件付き生成を可能にします。
IC3D は、遮蔽されたビューが表示された場合でも、一貫性のある多様な補完を生成でき、制御された現実世界のシナリオに適用できることがわかりました。

要約(オリジナル)

In recent years, Denoising Diffusion Probabilistic Models (DDPMs) have demonstrated exceptional performance in various 2D generative tasks. Following this success, DDPMs have been extended to 3D shape generation, surpassing previous methodologies in this domain. While many of these models are unconditional, some have explored the potential of using guidance from different modalities. In particular, image guidance for 3D generation has been explored through the utilization of CLIP embeddings. However, these embeddings are designed to align images and text, and do not necessarily capture the specific details needed for shape generation. To address this limitation and enhance image-guided 3D DDPMs with augmented 3D understanding, we introduce CISP (Contrastive Image-Shape Pre-training), obtaining a well-structured image-shape joint embedding space. Building upon CISP, we then introduce IC3D, a DDPM that harnesses CISP’s guidance for 3D shape generation from single-view images. This generative diffusion model outperforms existing benchmarks in both quality and diversity of generated 3D shapes. Moreover, despite IC3D’s generative nature, its generated shapes are preferred by human evaluators over a competitive single-view 3D reconstruction model. These properties contribute to a coherent embedding space, enabling latent interpolation and conditioned generation also from out-of-distribution images. We find IC3D able to generate coherent and diverse completions also when presented with occluded views, rendering it applicable in controlled real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google