CoR-GS: Sparse-View 3D Gaussian Splatting via Co-Regularization

要約

3D ガウス スプラッティング (3DGS) は、シーンを表す 3D ガウスから構成される放射輝度フィールドを作成します。
トレーニング ビューがまばらな場合、3DGS は簡単に過剰適合に悩まされ、再構築の品質に悪影響を及ぼします。
この論文では、スパースビュー 3DGS を改善するための新しい共正則化の観点を紹介します。
シーンの同じまばらなビューを使用して 2 つの 3D ガウス放射輝度フィールドをトレーニングすると、2 つの放射輝度フィールドが \textit{ポイントの不一致} と \textit{レンダリングの不一致} を示し、これは、
高密度化。
さらに、ガウスの点表現間の位置合わせを評価し、レンダリングされたピクセルの差を計算することで、点の不一致とレンダリングの不一致を定量化します。
この実証研究は、2 つの不一致と正確な再構成との間に負の相関があることを示しており、これにより、グラウンドトゥルース情報にアクセスせずに不正確な再構成を特定できるようになります。
この研究に基づいて、我々は、2 つの不一致に基づいて不正確な再構成を特定して抑制する CoR-GS を提案します: (\romannumeral1) 共枝刈りは、不正確な位置で高い点の不一致を示すガウスを考慮し、それらを枝刈りします。
(\romannumeral2) 擬似ビュー共正則化では、レンダリングの不一致が大きいピクセルは不正確にレンダリングされ、不一致が抑制されると見なされます。
LLFF、Mip-NeRF360、DTU、および Blender での結果は、CoR-GS がシーン ジオメトリを効果的に正規化し、コンパクトな表現を再構築し、スパース トレーニング ビューの下で最先端の新しいビュー合成品質を達成することを示しています。

要約(オリジナル)

3D Gaussian Splatting (3DGS) creates a radiance field consisting of 3D Gaussians to represent a scene. With sparse training views, 3DGS easily suffers from overfitting, negatively impacting the reconstruction quality. This paper introduces a new co-regularization perspective for improving sparse-view 3DGS. When training two 3D Gaussian radiance fields with the same sparse views of a scene, we observe that the two radiance fields exhibit \textit{point disagreement} and \textit{rendering disagreement} that can unsupervisedly predict reconstruction quality, stemming from the sampling implementation in densification. We further quantify the point disagreement and rendering disagreement by evaluating the registration between Gaussians’ point representations and calculating differences in their rendered pixels. The empirical study demonstrates the negative correlation between the two disagreements and accurate reconstruction, which allows us to identify inaccurate reconstruction without accessing ground-truth information. Based on the study, we propose CoR-GS, which identifies and suppresses inaccurate reconstruction based on the two disagreements: (\romannumeral1) Co-pruning considers Gaussians that exhibit high point disagreement in inaccurate positions and prunes them. (\romannumeral2) Pseudo-view co-regularization considers pixels that exhibit high rendering disagreement are inaccurately rendered and suppress the disagreement. Results on LLFF, Mip-NeRF360, DTU, and Blender demonstrate that CoR-GS effectively regularizes the scene geometry, reconstructs the compact representations, and achieves state-of-the-art novel view synthesis quality under sparse training views.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google