SuperGS: Super-Resolution 3D Gaussian Splatting via Latent Feature Field and Gradient-guided Splitting

要約

近年、3Dガウス散布法（3DGS）は、そのリアルタイムレンダリング機能と優れた品質により、新規ビュー合成に優れている。しかし、低解像度の入力ビューから得られるプリミティブの粗い性質のため、高解像度の新規ビュー合成（HRNVS）には課題がある。この問題に対処するため、我々は超解像3DGS(SuperGS)を提案する。SuperGSは3DGSの拡張であり、2段階の粗から細への学習フレームワークで設計され、超解像最適化のための初期化として事前学習された低解像度シーン表現を利用する。さらに、柔軟な特徴サンプリングのために潜在特徴フィールドを組み込む多解像度特徴ガウス分割(MFGS)と、効果的なガウスアップサンプリングのために勾配誘導選択分割(GSS)を導入する。これらの戦略を粗から細へのフレームワーク内に統合することで、高い忠実度とメモリ効率の両方を保証する。広範な実験により、SuperGSは、低解像度の入力のみを用いた困難な実世界のデータセットにおいて、最先端のHRNVS手法を凌駕することが実証された。

要約(オリジナル)

Recently, 3D Gaussian Splatting (3DGS) has exceled in novel view synthesis with its real-time rendering capabilities and superior quality. However, it faces challenges for high-resolution novel view synthesis (HRNVS) due to the coarse nature of primitives derived from low-resolution input views. To address this issue, we propose Super-Resolution 3DGS (SuperGS), which is an expansion of 3DGS designed with a two-stage coarse-to-fine training framework, utilizing pretrained low-resolution scene representation as an initialization for super-resolution optimization. Moreover, we introduce Multi-resolution Feature Gaussian Splatting (MFGS) to incorporates a latent feature field for flexible feature sampling and Gradient-guided Selective Splitting (GSS) for effective Gaussian upsampling. By integrating these strategies within the coarse-to-fine framework ensure both high fidelity and memory efficiency. Extensive experiments demonstrate that SuperGS surpasses state-of-the-art HRNVS methods on challenging real-world datasets using only low-resolution inputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL