CoR-GS: Sparse-View 3D Gaussian Splatting via Co-Regularization

要約

3D ガウス スプラッティング (3DGS) は、シーンを表す 3D ガウスから構成される放射輝度フィールドを作成します。
トレーニング ビューがまばらな場合、3DGS は簡単にオーバーフィッティングの影響を受け、レンダリングに悪影響を及ぼします。
この論文では、スパースビュー 3DGS を改善するための新しい共正則化の観点を紹介します。
2 つの 3D ガウス放射輝度フィールドをトレーニングすると、2 つの放射輝度フィールドがポイントの不一致とレンダリングの不一致を示し、高密度化の実装のランダム性に起因して、教師なしで再構築の品質を予測する可能性があることが観察されます。
さらに 2 つの不一致を定量化し、それらと正確な再構成との間の負の相関関係を実証します。これにより、グラウンド トゥルース情報にアクセスせずに不正確な再構成を特定できるようになります。
この研究に基づいて、我々は以下の 2 つの不一致に基づいて不正確な再構成を特定し抑制する CoR-GS を提案します。 (1) 共枝刈りは、不正確な位置で高い点の不一致を示すガウスを考慮し、それらを枝刈りします。
(2) 擬似ビュー相互正則化では、レンダリングの不一致が大きいピクセルは不正確であるとみなされ、不一致が抑制されます。
LLFF、Mip-NeRF360、DTU、および Blender での結果は、CoR-GS がシーン ジオメトリを効果的に正規化し、コンパクトな表現を再構築し、スパース トレーニング ビューの下で最先端の新しいビュー合成品質を達成することを示しています。

要約(オリジナル)

3D Gaussian Splatting (3DGS) creates a radiance field consisting of 3D Gaussians to represent a scene. With sparse training views, 3DGS easily suffers from overfitting, negatively impacting rendering. This paper introduces a new co-regularization perspective for improving sparse-view 3DGS. When training two 3D Gaussian radiance fields, we observe that the two radiance fields exhibit point disagreement and rendering disagreement that can unsupervisedly predict reconstruction quality, stemming from the randomness of densification implementation. We further quantify the two disagreements and demonstrate the negative correlation between them and accurate reconstruction, which allows us to identify inaccurate reconstruction without accessing ground-truth information. Based on the study, we propose CoR-GS, which identifies and suppresses inaccurate reconstruction based on the two disagreements: (1) Co-pruning considers Gaussians that exhibit high point disagreement in inaccurate positions and prunes them. (2) Pseudo-view co-regularization considers pixels that exhibit high rendering disagreement are inaccurate and suppress the disagreement. Results on LLFF, Mip-NeRF360, DTU, and Blender demonstrate that CoR-GS effectively regularizes the scene geometry, reconstructs the compact representations, and achieves state-of-the-art novel view synthesis quality under sparse training views.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google