GP-GS: Gaussian Processes for Enhanced Gaussian Splatting

要約

3Dガウスのスプラッティングは、効率的なフォトリアリスティックな新規ビュー合成法として浮上しています。
ただし、モーションからのまばらな構造（SFM）ポイントクラウドへの依存は、シーンの再構成品質を一貫して損なうものにします。
これらの制限に対処するために、このペーパーでは、まばらなSFMポイントクラウドの適応的および不確実性誘導濃度化を実現するためにマルチアウトプットガウスプロセスモデルが開発されている新しい3D再構成フレームワークガウスプロセスガウススプラッティング（GP-GS）を提案します。
具体的には、GPベースの予測を活用して入力2Dピクセルと深度マップから新しい候補ポイントを推測することにより、SFMポイントクラウドを適応的に拡張する動的なサンプリングとフィルタリングパイプラインを提案します。
パイプラインは、不確実性の推定値を利用して、高分散予測の剪定を導き、幾何学的な一貫性を確保し、密なポイント雲の生成を可能にします。
高密度のポイントクラウドは、高品質の初期3Dガウス症を提供して、再構築性能を向上させます。
さまざまなスケールで合成および実世界のデータセットで実施された広範な実験は、提案されたフレームワークの有効性と実用性を検証します。

要約(オリジナル)

3D Gaussian Splatting has emerged as an efficient photorealistic novel view synthesis method. However, its reliance on sparse Structure-from-Motion (SfM) point clouds consistently compromises the scene reconstruction quality. To address these limitations, this paper proposes a novel 3D reconstruction framework Gaussian Processes Gaussian Splatting (GP-GS), where a multi-output Gaussian Process model is developed to achieve adaptive and uncertainty-guided densification of sparse SfM point clouds. Specifically, we propose a dynamic sampling and filtering pipeline that adaptively expands the SfM point clouds by leveraging GP-based predictions to infer new candidate points from the input 2D pixels and depth maps. The pipeline utilizes uncertainty estimates to guide the pruning of high-variance predictions, ensuring geometric consistency and enabling the generation of dense point clouds. The densified point clouds provide high-quality initial 3D Gaussians to enhance reconstruction performance. Extensive experiments conducted on synthetic and real-world datasets across various scales validate the effectiveness and practicality of the proposed framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google