GSFeatLoc: Visual Localization Using Feature Correspondence on 3D Gaussian Splatting

要約

このホワイトペーパーでは、事前計算された3Dガウススプラッティング（3DG）シーンの表現に関してクエリ画像をローカライズする方法を提示します。
まず、このメソッドは3DGSを使用して、最初のポーズ推定で合成RGBD画像をレンダリングします。
第二に、クエリ画像とこの合成画像の間に2D-2Dの対応を確立します。
第三に、深度マップを使用して2D-2Dの対応を2D-3D通信に持ち上げ、Perspective-n-Point（PNP）問題を解決して最終的なポーズ推定値を作成します。
38のシーンと2,700を超えるテスト画像を備えた3つの既存のデータセットにわたる評価の結果は、私たちの方法が、光測定損失の最小化を使用するベースラインメソッドと比較して、推論時間を10秒以上速い速度から0.1秒まで）と推定誤差の両方を大幅に削減することを示しています。
結果はまた、メソッドが回転で最大55 {\ deg}の初期ポーズ推定値と翻訳で1.1ユニット（シーンスケールで正規化）の大きなエラーを許容し、回転で5 {\ deg}の最終的なポーズエラーと0.05ユニットの翻訳で0.05ユニットの最終的なポーズエラーを達成し、シンセティックナーフとMIP-NERF360 DATASの画像からの画像の90％での翻訳で達成することを示しています。
寺院データセット。

要約(オリジナル)

In this paper, we present a method for localizing a query image with respect to a precomputed 3D Gaussian Splatting (3DGS) scene representation. First, the method uses 3DGS to render a synthetic RGBD image at some initial pose estimate. Second, it establishes 2D-2D correspondences between the query image and this synthetic image. Third, it uses the depth map to lift the 2D-2D correspondences to 2D-3D correspondences and solves a perspective-n-point (PnP) problem to produce a final pose estimate. Results from evaluation across three existing datasets with 38 scenes and over 2,700 test images show that our method significantly reduces both inference time (by over two orders of magnitude, from more than 10 seconds to as fast as 0.1 seconds) and estimation error compared to baseline methods that use photometric loss minimization. Results also show that our method tolerates large errors in the initial pose estimate of up to 55{\deg} in rotation and 1.1 units in translation (normalized by scene scale), achieving final pose errors of less than 5{\deg} in rotation and 0.05 units in translation on 90% of images from the Synthetic NeRF and Mip-NeRF360 datasets and on 42% of images from the more challenging Tanks and Temples dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google