Depth-Regularized Optimization for 3D Gaussian Splatting in Few-Shot Images

要約

本論文では、オーバーフィッティングを回避しつつ、限られた画像数でガウス分割を最適化する手法を紹介する。多数のガウス分割を組み合わせることで3Dシーンを表現することは、優れた視覚的品質をもたらす。しかし、少数の画像しか利用できない場合、トレーニングビューをオーバーフィットさせる傾向がある。この問題に対処するため、オーバーフィッティングを緩和するジオメトリガイドとして、高密度の深度マップを導入する。事前に訓練された単眼深度推定モデルを用いて深度マップを取得し、疎なCOLMAP特徴点を用いてスケールとオフセットを整列させる。調整された深度は、3Dガウススプラッティングのカラーベースの最適化を助け、浮遊アーチファクトを緩和し、幾何学的制約を確実に守る。NeRF-LLFFデータセットを用いて、画像数を変化させながら提案手法を検証する。我々の手法は、画像のみに依存するオリジナルの手法と比較して、ロバストなジオメトリを示す。プロジェクトページ: robot0321.github.io/DepthRegGS

要約(オリジナル)

In this paper, we present a method to optimize Gaussian splatting with a limited number of images while avoiding overfitting. Representing a 3D scene by combining numerous Gaussian splats has yielded outstanding visual quality. However, it tends to overfit the training views when only a small number of images are available. To address this issue, we introduce a dense depth map as a geometry guide to mitigate overfitting. We obtained the depth map using a pre-trained monocular depth estimation model and aligning the scale and offset using sparse COLMAP feature points. The adjusted depth aids in the color-based optimization of 3D Gaussian splatting, mitigating floating artifacts, and ensuring adherence to geometric constraints. We verify the proposed method on the NeRF-LLFF dataset with varying numbers of few images. Our approach demonstrates robust geometry compared to the original method that relies solely on images. Project page: robot0321.github.io/DepthRegGS

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL