3D-LDM: Neural Implicit 3D Shape Generation with Latent Diffusion Models

要約

拡散モデルは、画像生成に大きな可能性を示しており、世代の多様性の点で GAN を上回り、同等の画質を備えています。
ただし、3D 形状への適用は、実際には 3D サーフェスを正確に表現できない点またはボクセル表現に限定されています。
自動デコーダの潜在空間で動作する 3D 形状のニューラル暗黙的表現の拡散モデルを提案します。
これにより、多様で高品質な 3D サーフェスを生成できます。
さらに、CLIP 埋め込みを使用して、画像から 3D への生成とテキストから 3D への生成を可能にするために、画像またはテキストでモデルを調整できることを示します。
さらに、既存の形状の潜在コードにノイズを追加することで、形状のバリエーションを探索できます。

要約(オリジナル)

Diffusion models have shown great promise for image generation, beating GANs in terms of generation diversity, with comparable image quality. However, their application to 3D shapes has been limited to point or voxel representations that can in practice not accurately represent a 3D surface. We propose a diffusion model for neural implicit representations of 3D shapes that operates in the latent space of an auto-decoder. This allows us to generate diverse and high quality 3D surfaces. We additionally show that we can condition our model on images or text to enable image-to-3D generation and text-to-3D generation using CLIP embeddings. Furthermore, adding noise to the latent codes of existing shapes allows us to explore shape variations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google