DNGaussian: Optimizing Sparse-View 3D Gaussian Radiance Fields with Global-Local Depth Normalization

要約

ラディアンス フィールドは、まばらな入力ビューから新しいビューを合成する際に優れたパフォーマンスを示していますが、一般的な方法ではトレーニング コストが高く、推論速度が遅いという問題があります。
この論文では、3D ガウス放射輝度フィールドに基づく深度正規化フレームワークである DNGaussian を紹介し、低コストでリアルタイムかつ高品質の少数ショットの新規ビュー合成を提供します。
私たちの動機は、入力ビューが減少するとジオメトリの低下が発生するにもかかわらず、最近の 3D ガウス スプラッティングの非常に効率的な表現と驚くべき品質に由来しています。
ガウス放射輝度フィールドでは、シーン ジオメトリのこの劣化は主にガウス プリミティブの位置に起因することがわかり、深度制約によって軽減できます。
その結果、我々は、きめの細かい色の外観を維持しながら、粗い単眼深度監視下で正確なシーンジオメトリを復元するハードおよびソフト深度正則化を提案します。
詳細なジオメトリの再形成をさらに洗練するために、グローバル/ローカル深度正規化を導入し、局所的な深度の小さな変化への焦点を強化します。
LLFF、DTU、および Blender データセットに関する広範な実験により、DNGaussian が最先端の手法よりも優れたパフォーマンスを発揮し、メモリ コストの大幅な削減、トレーニング時間の 25 ドルの \times$ の削減、および 3000 ドルを超える \times$ を超える同等以上の結果を達成できることが実証されました。
レンダリング速度が速くなります。

要約(オリジナル)

Radiance fields have demonstrated impressive performance in synthesizing novel views from sparse input views, yet prevailing methods suffer from high training costs and slow inference speed. This paper introduces DNGaussian, a depth-regularized framework based on 3D Gaussian radiance fields, offering real-time and high-quality few-shot novel view synthesis at low costs. Our motivation stems from the highly efficient representation and surprising quality of the recent 3D Gaussian Splatting, despite it will encounter a geometry degradation when input views decrease. In the Gaussian radiance fields, we find this degradation in scene geometry primarily lined to the positioning of Gaussian primitives and can be mitigated by depth constraint. Consequently, we propose a Hard and Soft Depth Regularization to restore accurate scene geometry under coarse monocular depth supervision while maintaining a fine-grained color appearance. To further refine detailed geometry reshaping, we introduce Global-Local Depth Normalization, enhancing the focus on small local depth changes. Extensive experiments on LLFF, DTU, and Blender datasets demonstrate that DNGaussian outperforms state-of-the-art methods, achieving comparable or better results with significantly reduced memory cost, a $25 \times$ reduction in training time, and over $3000 \times$ faster rendering speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google