Compress3D: a Compressed Latent Space for 3D Generation from a Single Image

要約

3D 生成は大幅な進歩を遂げていますが、単一の画像から高品質の 3D アセットを効率的に生成することは依然として課題です。
この論文では、3D モデルをコンパクトなトリプレーン潜在空間にエンコードして、3D ジオメトリとテクスチャ情報の両方を効果的に圧縮するトリプレーン オートエンコーダを紹介します。
オートエンコーダー フレームワーク内に、3D 対応のクロス アテンション メカニズムを導入します。このメカニズムは、低解像度の潜在表現を利用して高解像度の 3D 特徴ボリュームから特徴をクエリし、それによって潜在空間の表現能力を強化します。
続いて、この洗練された潜在空間上で拡散モデルをトレーニングします。
3D生成のために画像埋め込みのみに依存するのとは対照的に、私たちが提案する方法は、条件として画像埋め込みと形状埋め込みの両方を同時に利用することを主張しています。
具体的には、形状の埋め込みは、画像の埋め込みを条件とした拡散事前モデルを介して推定されます。
包括的な実験を通じて、私たちの手法が最先端のアルゴリズムを上回っており、必要なトレーニング データと時間が少なくなりながらも優れたパフォーマンスを達成できることを実証しました。
私たちのアプローチにより、単一の A100 GPU でわずか 7 秒で高品質の 3D アセットを生成できます。

要約(オリジナル)

3D generation has witnessed significant advancements, yet efficiently producing high-quality 3D assets from a single image remains challenging. In this paper, we present a triplane autoencoder, which encodes 3D models into a compact triplane latent space to effectively compress both the 3D geometry and texture information. Within the autoencoder framework, we introduce a 3D-aware cross-attention mechanism, which utilizes low-resolution latent representations to query features from a high-resolution 3D feature volume, thereby enhancing the representation capacity of the latent space. Subsequently, we train a diffusion model on this refined latent space. In contrast to solely relying on image embedding for 3D generation, our proposed method advocates for the simultaneous utilization of both image embedding and shape embedding as conditions. Specifically, the shape embedding is estimated via a diffusion prior model conditioned on the image embedding. Through comprehensive experiments, we demonstrate that our method outperforms state-of-the-art algorithms, achieving superior performance while requiring less training data and time. Our approach enables the generation of high-quality 3D assets in merely 7 seconds on a single A100 GPU.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google