Prometheus: 3D-Aware Latent Diffusion Models for Feed-Forward Text-to-3D Scene Generation

要約

この研究では、オブジェクト レベルとシーン レベルの両方で数秒でテキストから 3D への生成を行う 3D 対応の潜在拡散モデルである Prometheus を紹介します。
私たちは、潜在拡散パラダイム内のマルチビュー、フィードフォワード、ピクセル位置合わせされた 3D ガウス生成として 3D シーン生成を定式化します。
一般化可能性を確保するために、最小限の調整のみを行った事前トレーニング済みのテキストから画像への生成モデルに基づいてモデルを構築し、シングルビュー データセットとマルチビュー データセットの両方からの多数の画像を使用してモデルをさらにトレーニングします。
さらに、RGB-D 潜在空間を 3D ガウス生成に導入して、外観とジオメトリ情報のもつれを解き、より優れた忠実度とジオメトリを備えた 3D ガウスの効率的なフィードフォワード生成を可能にします。
広範な実験結果により、フィードフォワード 3D ガウス再構成とテキストから 3D 生成の両方における私たちの方法の有効性が実証されています。
プロジェクトページ: https://freemty.github.io/project-prometheus/

要約(オリジナル)

In this work, we introduce Prometheus, a 3D-aware latent diffusion model for text-to-3D generation at both object and scene levels in seconds. We formulate 3D scene generation as multi-view, feed-forward, pixel-aligned 3D Gaussian generation within the latent diffusion paradigm. To ensure generalizability, we build our model upon pre-trained text-to-image generation model with only minimal adjustments, and further train it using a large number of images from both single-view and multi-view datasets. Furthermore, we introduce an RGB-D latent space into 3D Gaussian generation to disentangle appearance and geometry information, enabling efficient feed-forward generation of 3D Gaussians with better fidelity and geometry. Extensive experimental results demonstrate the effectiveness of our method in both feed-forward 3D Gaussian reconstruction and text-to-3D generation. Project page: https://freemty.github.io/project-prometheus/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google