Graph-Guided Scene Reconstruction from Images with 3D Gaussian Splatting

要約

このペーパーでは、画像から高品質で大きな3Dオープンシーンを再構築するというオープンな研究課題を調査します。
既存の方法には、入力に正確なカメラのポーズや監督の密な視点を必要とするなど、さまざまな制限があります。
効果的で効率的な3Dシーンの再構成を実行するために、新しいグラフガイド付き3Dシーン再構成フレームワークであるGraphGSを提案します。
具体的には、シーンでRGBカメラによってキャプチャされた画像のセットを考慮して、最初に空間的な事前ベースのシーン構造推定方法を設計します。
これは、カメラトポロジに関する情報を含むカメラグラフを作成するために使用されます。
さらに、グラフガイド付きマルチビューの一貫性の制約と適応サンプリング戦略を、3Dガウススプラッティング最適化プロセスに適用することを提案します。
これは、特定のまばらな視点に過剰留まるガウスポイントの問題を大いに軽減し、3D再構成プロセスを促進します。
GraphGSは、複数のデータセットにわたって定量的および定性的評価を通じて最先端のパフォーマンスを提供する画像からの高忠実度の3D再構成を達成することを示しています。
プロジェクトページ：https：//3dagentworld.github.io/graphgs。

要約(オリジナル)

This paper investigates an open research challenge of reconstructing high-quality, large 3D open scenes from images. It is observed existing methods have various limitations, such as requiring precise camera poses for input and dense viewpoints for supervision. To perform effective and efficient 3D scene reconstruction, we propose a novel graph-guided 3D scene reconstruction framework, GraphGS. Specifically, given a set of images captured by RGB cameras on a scene, we first design a spatial prior-based scene structure estimation method. This is then used to create a camera graph that includes information about the camera topology. Further, we propose to apply the graph-guided multi-view consistency constraint and adaptive sampling strategy to the 3D Gaussian Splatting optimization process. This greatly alleviates the issue of Gaussian points overfitting to specific sparse viewpoints and expedites the 3D reconstruction process. We demonstrate GraphGS achieves high-fidelity 3D reconstruction from images, which presents state-of-the-art performance through quantitative and qualitative evaluation across multiple datasets. Project Page: https://3dagentworld.github.io/graphgs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google