Text-to-3D using Gaussian Splatting

要約

この論文では、高品質の 3D オブジェクトを生成するための新しいアプローチである、ガウス スプラッティング ベースのテキストから 3D 生成 (GSGEN) について紹介します。
以前の方法では、3D の事前の適切な表現が存在しないため、ジオメトリが不正確になり、忠実度が制限されます。
私たちは、最近の最先端表現である 3D ガウス スプラッティングを活用し、3D 事前の組み込みを可能にする明示的な性質を利用することで既存の欠点に対処します。
具体的には、私たちの方法は、ジオメトリ最適化段階と外観改良段階を含む漸進的最適化戦略を採用しています。
ジオメトリの最適化では、通常の 2D SDS 損失に加えて、事前に 3D ジオメトリの下で粗い表現が確立され、実用的で 3D 一貫性のある大まかな形状が保証されます。
その後、取得したガウス分布に反復的な改良が加えられ、詳細が強化されます。
この段階では、連続性を高め、忠実度を向上させるために、コンパクトネスベースの高密度化によってガウスの数を増やします。
これらのデザインを使用することで、私たちのアプローチは繊細なディテールとより正確なジオメトリを備えた 3D コンテンツを生成できます。
広範な評価により、特に高周波成分の捕捉に対する私たちの方法の有効性が実証されています。
ビデオ結果は https://gsgen3d.github.io で提供されます。
コードは https://github.com/gsgen3d/gsgen で入手できます。

要約(オリジナル)

In this paper, we present Gaussian Splatting based text-to-3D generation (GSGEN), a novel approach for generating high-quality 3D objects. Previous methods suffer from inaccurate geometry and limited fidelity due to the absence of 3D prior and proper representation. We leverage 3D Gaussian Splatting, a recent state-of-the-art representation, to address existing shortcomings by exploiting the explicit nature that enables the incorporation of 3D prior. Specifically, our method adopts a progressive optimization strategy, which includes a geometry optimization stage and an appearance refinement stage. In geometry optimization, a coarse representation is established under a 3D geometry prior along with the ordinary 2D SDS loss, ensuring a sensible and 3D-consistent rough shape. Subsequently, the obtained Gaussians undergo an iterative refinement to enrich details. In this stage, we increase the number of Gaussians by compactness-based densification to enhance continuity and improve fidelity. With these designs, our approach can generate 3D content with delicate details and more accurate geometry. Extensive evaluations demonstrate the effectiveness of our method, especially for capturing high-frequency components. Video results are provided at https://gsgen3d.github.io. Our code is available at https://github.com/gsgen3d/gsgen

arxiv情報

提供元, 利用サービス

arxiv.jp, Google