3DGS-Enhancer: Enhancing Unbounded 3D Gaussian Splatting with View-consistent 2D Diffusion Priors

要約

ノベルビュー合成は、複数の入力画像またはビデオからシーンの新しいビューを生成することを目的とし、3D ガウス スプラッティング (3DGS) などの最近の進歩は、効率的なパイプラインを使用してフォトリアリスティックなレンダリングを生成することに顕著な成功を収めています。
ただし、まばらな入力ビューなどの難しい設定の下で高品質の新しいビューを生成することは、アンダーサンプリング領域の情報が不十分なため依然として困難であり、多くの場合、顕著なアーティファクトが発生します。
この文書では、3DGS 表現の表現品質を向上させるための新しいパイプラインである 3DGS-Enhancer について説明します。
私たちは 2D ビデオ拡散事前分布を活用して、困難な 3D ビューの一貫性の問題に対処し、ビデオ生成プロセス内で時間的な一貫性を達成するものとして再定式化します。
3DGS-Enhancer は、レンダリングされた新しいビューのビュー一貫性のある潜在的特徴を復元し、時空間デコーダーを通じて入力ビューとそれらを統合します。
強化されたビューは、最初の 3DGS モデルを微調整するために使用され、レンダリング パフォーマンスが大幅に向上します。
境界のないシーンの大規模データセットに対する広範な実験により、3DGS-Enhancer が最先端の方法と比較して優れた再構築パフォーマンスと高忠実度のレンダリング結果を生み出すことが実証されました。
プロジェクトの Web ページは https://xiliu8006.github.io/3DGS-Enhancer-project です。

要約(オリジナル)

Novel-view synthesis aims to generate novel views of a scene from multiple input images or videos, and recent advancements like 3D Gaussian splatting (3DGS) have achieved notable success in producing photorealistic renderings with efficient pipelines. However, generating high-quality novel views under challenging settings, such as sparse input views, remains difficult due to insufficient information in under-sampled areas, often resulting in noticeable artifacts. This paper presents 3DGS-Enhancer, a novel pipeline for enhancing the representation quality of 3DGS representations. We leverage 2D video diffusion priors to address the challenging 3D view consistency problem, reformulating it as achieving temporal consistency within a video generation process. 3DGS-Enhancer restores view-consistent latent features of rendered novel views and integrates them with the input views through a spatial-temporal decoder. The enhanced views are then used to fine-tune the initial 3DGS model, significantly improving its rendering performance. Extensive experiments on large-scale datasets of unbounded scenes demonstrate that 3DGS-Enhancer yields superior reconstruction performance and high-fidelity rendering results compared to state-of-the-art methods. The project webpage is https://xiliu8006.github.io/3DGS-Enhancer-project .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google