Gaussian Object Carver: Object-Compositional Gaussian Splatting with surfaces completion

要約

3Dシーン再構成はコンピュータビジョンにおける基礎的な問題である。近年、NIR（Neural Implicit Representations）の進歩にもかかわらず、既存の手法は編集可能性と構成上の柔軟性に欠けることが多く、高いインタラクティブ性とオブジェクトレベルの操作を必要とするシナリオでの使用が制限されている。本論文では、オブジェクト合成可能な3Dシーン再構成のための、新規で効率的かつスケーラブルなフレームワークであるGaussian Object Carver (GOC)を紹介する。GOCは、高品質で柔軟な再構成を達成するために、単眼ジオメトリプリオールと多視点ジオメトリ正則化で強化された3Dガウススプラッティング（GS）を活用する。さらに、ゼロショット物体表面補完（OSC）モデルを提案し、3次元物体データからの3次元事前分布を利用して未観測表面を再構成し、オクルージョン領域でも物体の完全性を保証する。実験結果は、GOCが再構成効率と幾何学的忠実度を向上させることを示している。GOCは、具現化AI、AR/VR、対話型シミュレーション環境におけるデジタルツインの実用化を促進することが期待される。

要約(オリジナル)

3D scene reconstruction is a foundational problem in computer vision. Despite recent advancements in Neural Implicit Representations (NIR), existing methods often lack editability and compositional flexibility, limiting their use in scenarios requiring high interactivity and object-level manipulation. In this paper, we introduce the Gaussian Object Carver (GOC), a novel, efficient, and scalable framework for object-compositional 3D scene reconstruction. GOC leverages 3D Gaussian Splatting (GS), enriched with monocular geometry priors and multi-view geometry regularization, to achieve high-quality and flexible reconstruction. Furthermore, we propose a zero-shot Object Surface Completion (OSC) model, which uses 3D priors from 3d object data to reconstruct unobserved surfaces, ensuring object completeness even in occluded areas. Experimental results demonstrate that GOC improves reconstruction efficiency and geometric fidelity. It holds promise for advancing the practical application of digital twins in embodied AI, AR/VR, and interactive simulation environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL