DetailGen3D: Generative 3D Geometry Enhancement via Data-Dependent Flow

要約

最新の3D生成方法は、スパースまたはシングルビューから迅速に形状を作成できますが、それらの出力は、計算上の制約のために幾何学的な詳細を欠いていることがよくあります。
これらの生成された3D形状を強化するために特別に設計された生成アプローチであるDefateGen3Dを提示します。
私たちの重要な洞察は、大規模な3D生成モデルの計算オーバーヘッドを避けて、潜在空間でのデータ依存の流れを介して粗からファインへの変換を直接モデル化することです。
洗練中に正確な空間的対応を保証するトークンマッチング戦略を導入し、グローバル構造を維持しながらローカルディテール合成を可能にします。
合成された粗い形状の特性と一致するようにトレーニングデータを慎重に設計することにより、私たちの方法は、シングルビューからスパースマルチビュー入力まで、さまざまな3D生成および再建アプローチによって生成される形状を効果的に強化できます。
広範な実験では、詳細Gen3Dがトレーニングの効率を維持しながら、高忠実度の幾何学的ディテール合成を達成することを示しています。

要約(オリジナル)

Modern 3D generation methods can rapidly create shapes from sparse or single views, but their outputs often lack geometric detail due to computational constraints. We present DetailGen3D, a generative approach specifically designed to enhance these generated 3D shapes. Our key insight is to model the coarse-to-fine transformation directly through data-dependent flows in latent space, avoiding the computational overhead of large-scale 3D generative models. We introduce a token matching strategy that ensures accurate spatial correspondence during refinement, enabling local detail synthesis while preserving global structure. By carefully designing our training data to match the characteristics of synthesized coarse shapes, our method can effectively enhance shapes produced by various 3D generation and reconstruction approaches, from single-view to sparse multi-view inputs. Extensive experiments demonstrate that DetailGen3D achieves high-fidelity geometric detail synthesis while maintaining efficiency in training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google