GS-Net: Generalizable Plug-and-Play 3D Gaussian Splatting Module

要約

3D ガウス スプラッティング (3DGS) は、プリミティブベースの表現とボリューム レンダリング技術の長所を統合し、リアルタイムの高品質レンダリングを可能にします。
ただし、3DGS モデルは通常、単一シーンのトレーニングにオーバーフィットし、Structure from Motion (SfM) 点群からヒューリスティックに導出されるガウス楕円体の初期化に非常に敏感であり、一般化と実用性の両方が制限されます。
これらの制限に対処するために、私たちは、まばらな SfM 点群からガウス楕円体を高密度化し、幾何学的構造の表現を強化する、一般化可能なプラグアンドプレイ 3DGS モジュールである GS-Net を提案します。
私たちの知る限り、GS-Net は、クロスシーン汎化機能を備えた最初のプラグ アンド プレイ 3DGS モジュールです。
さらに、再構成とレンダリングの品質を徹底的に評価するために追加のカメラ視点を組み込んだ CARLA-NVS データセットを紹介します。
広範な実験により、GS-Net を 3DGS に適用すると、従来の視点では 2.08 dB、新しい視点では 1.86 dB の PSNR 改善が得られることが実証され、この方法の有効性と堅牢性が確認されました。

要約(オリジナル)

3D Gaussian Splatting (3DGS) integrates the strengths of primitive-based representations and volumetric rendering techniques, enabling real-time, high-quality rendering. However, 3DGS models typically overfit to single-scene training and are highly sensitive to the initialization of Gaussian ellipsoids, heuristically derived from Structure from Motion (SfM) point clouds, which limits both generalization and practicality. To address these limitations, we propose GS-Net, a generalizable, plug-and-play 3DGS module that densifies Gaussian ellipsoids from sparse SfM point clouds, enhancing geometric structure representation. To the best of our knowledge, GS-Net is the first plug-and-play 3DGS module with cross-scene generalization capabilities. Additionally, we introduce the CARLA-NVS dataset, which incorporates additional camera viewpoints to thoroughly evaluate reconstruction and rendering quality. Extensive experiments demonstrate that applying GS-Net to 3DGS yields a PSNR improvement of 2.08 dB for conventional viewpoints and 1.86 dB for novel viewpoints, confirming the method’s effectiveness and robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google