GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction

要約

単一ビューから 3D オブジェクトを再構築するためのガウス スプラッティング (GS) 表現に基づく拡散モデル アプローチである GSD を紹介します。
以前の作品は、不適切な表現による一貫性のない 3D ジオメトリや平凡なレンダリング品質に悩まされていました。
私たちは、最近の最先端の 3D 明示的表現、ガウス スプラッティング、および無条件拡散モデルを利用することで、これらの欠点を解決するための一歩を踏み出しました。
このモデルは、GS 楕円体のセットによって表される 3D オブジェクトを生成する方法を学習します。
これらの強力な生成 3D 事前分布を使用すると、無条件で学習しますが、拡散モデルはモデルをさらに微調整することなく、ビューガイドに基づく再構築の準備が整います。
これは、効率的かつ柔軟なスプラッティング機能とガイド付きノイズ除去サンプリング プロセスを通じて、きめの細かい 2D 特徴を伝播することによって実現されます。
さらに、2D 拡散モデルがさらに採用され、レンダリングの忠実度が向上し、レンダリングされたイメージを磨き、再利用することで再構成された GS の品質が向上します。
最終的に再構築されたオブジェクトには、高品質の 3D 構造とテクスチャが明示的に付属しており、任意のビューで効率的にレンダリングできます。
挑戦的な現実世界の CO3D データセットでの実験により、私たちのアプローチの優位性が実証されました。
プロジェクトページ：https://yxmu.foo/GSD/

要約(オリジナル)

We present GSD, a diffusion model approach based on Gaussian Splatting (GS) representation for 3D object reconstruction from a single view. Prior works suffer from inconsistent 3D geometry or mediocre rendering quality due to improper representations. We take a step towards resolving these shortcomings by utilizing the recent state-of-the-art 3D explicit representation, Gaussian Splatting, and an unconditional diffusion model. This model learns to generate 3D objects represented by sets of GS ellipsoids. With these strong generative 3D priors, though learning unconditionally, the diffusion model is ready for view-guided reconstruction without further model fine-tuning. This is achieved by propagating fine-grained 2D features through the efficient yet flexible splatting function and the guided denoising sampling process. In addition, a 2D diffusion model is further employed to enhance rendering fidelity, and improve reconstructed GS quality by polishing and re-using the rendered images. The final reconstructed objects explicitly come with high-quality 3D structure and texture, and can be efficiently rendered in arbitrary views. Experiments on the challenging real-world CO3D dataset demonstrate the superiority of our approach. Project page: https://yxmu.foo/GSD/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google