FewViewGS: Gaussian Splatting with Few View Matching and Multi-stage Training

要約

画像からの新規ビュー合成の分野は、ニューラル・ラディアンス・フィールド（Neural Radiance Fields：NeRF）の導入や、最近では3Dガウス・スプラッティングによって急速な進歩を遂げている。ガウススプラッティングは、その効率性と新しいビューを正確にレンダリングする能力により、広く採用されるようになりました。ガウススプラッティングは、十分な量の学習画像が利用可能な場合には良好な性能を発揮するが、その非構造的な明示的表現は、入力画像が疎なシナリオではオーバーフィットする傾向があり、レンダリング性能が低下する。この問題に対処するため、我々は、訓練画像でカバーされていない視点からシーンを正確にレンダリングできる、疎な入力画像を用いた3Dガウシアンベースの新しいビュー合成法を提案する。我々は、事前に訓練された深度推定や拡散モデルに依存することなく、マッチングに基づく整合性制約を新規ビューに課した多段階訓練スキームを提案する。これは、利用可能な訓練画像のマッチングを利用して、色、形状、意味的な損失を持つ訓練フレーム間でサンプリングされた新規ビューの生成を監督することで実現される。さらに、シーンの局所的な色構造を保持することにより、レンダリングアーチファクトを除去する、3Dガウシアンに対する局所性保持正則化を導入する。合成データセットと実世界データセットを用いた評価により、少数ショットの新規ビュー合成における本手法の性能が、既存の最先端手法と比較して遜色ない、あるいは優れていることが実証された。

要約(オリジナル)

The field of novel view synthesis from images has seen rapid advancements with the introduction of Neural Radiance Fields (NeRF) and more recently with 3D Gaussian Splatting. Gaussian Splatting became widely adopted due to its efficiency and ability to render novel views accurately. While Gaussian Splatting performs well when a sufficient amount of training images are available, its unstructured explicit representation tends to overfit in scenarios with sparse input images, resulting in poor rendering performance. To address this, we present a 3D Gaussian-based novel view synthesis method using sparse input images that can accurately render the scene from the viewpoints not covered by the training images. We propose a multi-stage training scheme with matching-based consistency constraints imposed on the novel views without relying on pre-trained depth estimation or diffusion models. This is achieved by using the matches of the available training images to supervise the generation of the novel views sampled between the training frames with color, geometry, and semantic losses. In addition, we introduce a locality preserving regularization for 3D Gaussians which removes rendering artifacts by preserving the local color structure of the scene. Evaluation on synthetic and real-world datasets demonstrates competitive or superior performance of our method in few-shot novel view synthesis compared to existing state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL