Atlas Gaussians Diffusion for 3D Generation with Infinite Number of Points

要約

潜在拡散モデルの使用は、新しい 3D 生成技術の開発に効果的であることが証明されています。
潜在拡散モデルを活用するための重要な課題は、潜在空間と 3D 空間をリンクする高忠実度で効率的な表現を設計することです。
この論文では、フィードフォワード ネイティブ 3D 生成の新しい表現である Atlas Gaussians を紹介します。
アトラス ガウスは、ローカル パッチの結合として形状を表し、各パッチは 3D ガウスをデコードできます。
パッチを特徴ベクトルのシーケンスとしてパラメータ化し、特徴ベクトルから 3D ガウスをデコードする学習可能な関数を設計します。
このプロセスでは、UV ベースのサンプリングを組み込み、十分に大きな、理論的には無限の数の 3D ガウス ポイントの生成を可能にします。
大量の 3D ガウスにより、生成結果の高品質な詳細が可能になります。
さらに、表現をローカルに認識するため、トランスベースのデコード手順はパッチ レベルで動作し、効率が確保されます。
変分オートエンコーダーをトレーニングしてアトラス ガウス表現を学習し、その後、3D 生成を学習するためにその潜在空間に潜在拡散モデルを適用します。
実験によれば、私たちのアプローチは、フィードフォワード ネイティブ 3D 生成の従来技術よりも優れていることが示されています。

要約(オリジナル)

Using the latent diffusion model has proven effective in developing novel 3D generation techniques. To harness the latent diffusion model, a key challenge is designing a high-fidelity and efficient representation that links the latent space and the 3D space. In this paper, we introduce Atlas Gaussians, a novel representation for feed-forward native 3D generation. Atlas Gaussians represent a shape as the union of local patches, and each patch can decode 3D Gaussians. We parameterize a patch as a sequence of feature vectors and design a learnable function to decode 3D Gaussians from the feature vectors. In this process, we incorporate UV-based sampling, enabling the generation of a sufficiently large, and theoretically infinite, number of 3D Gaussian points. The large amount of 3D Gaussians enables high-quality details of generation results. Moreover, due to local awareness of the representation, the transformer-based decoding procedure operates on a patch level, ensuring efficiency. We train a variational autoencoder to learn the Atlas Gaussians representation, and then apply a latent diffusion model on its latent space for learning 3D Generation. Experiments show that our approach outperforms the prior arts of feed-forward native 3D generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google