GSLoc: Efficient Camera Pose Refinement via 3D Gaussian Splatting

要約

シーン表現として 3D ガウス スプラッティング (3DGS) を活用し、新しいテスト時カメラ ポーズ調整フレームワークである GSLoc を提案します。
このフレームワークは、最先端の絶対姿勢回帰およびシーン座標回帰手法の位置特定精度を強化します。
3DGS モデルは、高品質の合成画像と深度マップをレンダリングして、2D と 3D の対応関係の確立を容易にします。
GSLoc は、正確な 2D マッチングのために 3D 基礎モデル MASt3R を利用して RGB 画像を直接操作することにより、特徴抽出器や記述子のトレーニングの必要性を排除します。
厳しい屋外環境におけるモデルの堅牢性を向上させるために、3DGS フレームワーク内に露出適応モジュールを組み込みました。
その結果、GSLoc は、単一の RGB クエリと粗い初期姿勢推定を与えられた場合に、効率的なワンショットの姿勢調整を可能にします。
私たちが提案するアプローチは、屋内および屋外の視覚的位置推定ベンチマーク全体で精度と実行時間の両方で主要な NeRF ベースの最適化手法を上回り、2 つの屋内データセットで新しい最先端の精度を達成します。

要約(オリジナル)

We leverage 3D Gaussian Splatting (3DGS) as a scene representation and propose a novel test-time camera pose refinement framework, GSLoc. This framework enhances the localization accuracy of state-of-the-art absolute pose regression and scene coordinate regression methods. The 3DGS model renders high-quality synthetic images and depth maps to facilitate the establishment of 2D-3D correspondences. GSLoc obviates the need for training feature extractors or descriptors by operating directly on RGB images, utilizing the 3D foundation model, MASt3R, for precise 2D matching. To improve the robustness of our model in challenging outdoor environments, we incorporate an exposure-adaptive module within the 3DGS framework. Consequently, GSLoc enables efficient one-shot pose refinement given a single RGB query and a coarse initial pose estimation. Our proposed approach surpasses leading NeRF-based optimization methods in both accuracy and runtime across indoor and outdoor visual localization benchmarks, achieving new state-of-the-art accuracy on two indoor datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google