Depth-Regularized Optimization for 3D Gaussian Splatting in Few-Shot Images

要約

この論文では、オーバーフィッティングを回避しながら、限られた数の画像でガウス スプラッティングを最適化する方法を紹介します。
多数のガウス スプラットを組み合わせて 3D シーンを表現することで、優れたビジュアル品質を実現しました。
ただし、使用できる画像の数が少ない場合、トレーニング ビューが過剰適合する傾向があります。
この問題に対処するために、過学習を軽減するためのジオメトリ ガイドとして高密度深度マップを導入します。
事前にトレーニングされた単眼奥行き推定モデルを使用し、まばらな COLMAP 特徴点を使用してスケールとオフセットを調整して、奥行きマップを取得しました。
調整された深さは、3D ガウス スプラッティングのカラーベースの最適化に役立ち、浮遊アーティファクトを軽減し、幾何学的制約を確実に遵守します。
提案された方法を、さまざまな数の少数の画像を使用して NeRF-LLFF データセット上で検証します。
私たちのアプローチは、画像のみに依存する元の方法と比較して、堅牢なジオメトリを示しています。

要約(オリジナル)

In this paper, we present a method to optimize Gaussian splatting with a limited number of images while avoiding overfitting. Representing a 3D scene by combining numerous Gaussian splats has yielded outstanding visual quality. However, it tends to overfit the training views when only a small number of images are available. To address this issue, we introduce a dense depth map as a geometry guide to mitigate overfitting. We obtained the depth map using a pre-trained monocular depth estimation model and aligning the scale and offset using sparse COLMAP feature points. The adjusted depth aids in the color-based optimization of 3D Gaussian splatting, mitigating floating artifacts, and ensuring adherence to geometric constraints. We verify the proposed method on the NeRF-LLFF dataset with varying numbers of few images. Our approach demonstrates robust geometry compared to the original method that relies solely on images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google