GaussianSR: 3D Gaussian Super-Resolution with 2D Diffusion Priors

要約

低解像度の入力ビューから高解像度の新規ビュー合成 (HRNVS) を実現することは、高解像度のデータが不足しているため、困難な作業です。
以前の方法では、低解像度の入力ビューから高解像度の Neural Radiance Field (NeRF) を最適化しますが、レンダリング速度が遅いという問題がありました。
この作業では、より高速なレンダリング速度で高品質の画像を生成できる 3D ガウス スプラッティング (3DGS) に基づいた方法を使用します。
高解像度合成のためのデータ不足を軽減するために、スコア蒸留サンプリング (SDS) を使用して 2D 知識を 3D に蒸留することにより、既製の 2D 拡散事前分布を活用することを提案します。
それにもかかわらず、ガウスベースの 3D 超解像度に SDS を直接適用すると、事前生成によってもたらされるランダム性により、望ましくない冗長な 3D ガウス プリミティブが発生します。
この問題を軽減するために、SDS によって導入される確率的外乱を軽減するための 2 つのシンプルかつ効果的な手法を紹介します。
具体的には、1) アニーリング戦略を使用して SDS の拡散タイムステップの範囲を縮小します。
2) 高密度化中に冗長なガウス プリミティブをランダムに破棄します。
広範な実験により、私たちが提案した GaussainSR が、合成データセットと現実世界のデータセットの両方で低解像度の入力のみを使用して HRNVS に対して高品質の結果を達成できることが実証されました。
プロジェクトページ：https://chchnii.github.io/GaussianSR/

要約(オリジナル)

Achieving high-resolution novel view synthesis (HRNVS) from low-resolution input views is a challenging task due to the lack of high-resolution data. Previous methods optimize high-resolution Neural Radiance Field (NeRF) from low-resolution input views but suffer from slow rendering speed. In this work, we base our method on 3D Gaussian Splatting (3DGS) due to its capability of producing high-quality images at a faster rendering speed. To alleviate the shortage of data for higher-resolution synthesis, we propose to leverage off-the-shelf 2D diffusion priors by distilling the 2D knowledge into 3D with Score Distillation Sampling (SDS). Nevertheless, applying SDS directly to Gaussian-based 3D super-resolution leads to undesirable and redundant 3D Gaussian primitives, due to the randomness brought by generative priors. To mitigate this issue, we introduce two simple yet effective techniques to reduce stochastic disturbances introduced by SDS. Specifically, we 1) shrink the range of diffusion timestep in SDS with an annealing strategy; 2) randomly discard redundant Gaussian primitives during densification. Extensive experiments have demonstrated that our proposed GaussainSR can attain high-quality results for HRNVS with only low-resolution inputs on both synthetic and real-world datasets. Project page: https://chchnii.github.io/GaussianSR/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google