GSplatLoc: Grounding Keypoint Descriptors into 3D Gaussian Splatting for Improved Visual Localization

要約

シーン座標の回帰やカメラは回帰をもたらすなど、さまざまな視覚的ローカリゼーションアプローチが存在しますが、これらの方法は最適化の複雑さや限られた精度に苦しんでいます。
これらの課題に対処するために、3Dジオメトリとシーンの外観の両方のコンパクトなエンコードを可能にする、特に3Dガウススプラッティング（3DG）の新しいビュー合成技術の使用を調査します。
軽量で堅牢なキーポイント記述子を軽量Xfeat機能抽出器から3DGに統合し、屋内環境と屋外環境の両方でパフォーマンスを向上させる2段階の手順を提案します。
粗いポーズ推定値は、3DGS表現とクエリの画像記述子の間の2D-3D対応を介して直接取得されます。
第2段階では、レンダリングベースの測光ワープ損失を最小限に抑えることにより、最初のポーズ推定値が改良されます。
広く使用されている屋内および屋外データセットのベンチマークは、NerfmatchやPnerflocなどの最近のニューラルレンダリングベースのローカリゼーション方法よりも改善を示しています。

要約(オリジナル)

Although various visual localization approaches exist, such as scene coordinate regression and camera pose regression, these methods often struggle with optimization complexity or limited accuracy. To address these challenges, we explore the use of novel view synthesis techniques, particularly 3D Gaussian Splatting (3DGS), which enables the compact encoding of both 3D geometry and scene appearance. We propose a two-stage procedure that integrates dense and robust keypoint descriptors from the lightweight XFeat feature extractor into 3DGS, enhancing performance in both indoor and outdoor environments. The coarse pose estimates are directly obtained via 2D-3D correspondences between the 3DGS representation and query image descriptors. In the second stage, the initial pose estimate is refined by minimizing the rendering-based photometric warp loss. Benchmarking on widely used indoor and outdoor datasets demonstrates improvements over recent neural rendering-based localization methods, such as NeRFMatch and PNeRFLoc.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google