3DGS-ReLoc: 3D Gaussian Splatting for Map Representation and Visual ReLocalization

要約

この論文では、3D ガウス スプラッティングを使用した 3D マッピングと視覚的再位置化のために設計された新しいシステムを紹介します。
私たちが提案する方法では、LiDAR とカメラ データを使用して、環境の正確かつ視覚的に妥当な表現を作成します。
LiDAR データを活用して 3D ガウス スプラッティング マップのトレーニングを開始することにより、当社のシステムは詳細かつ幾何学的に正確なマップを構築します。
過度の GPU メモリ使用量を軽減し、迅速な空間クエリを容易にするために、2D ボクセル マップと KD ツリーの組み合わせを採用します。
この準備により、私たちの方法は視覚的位置特定タスクに適しており、正規化相互相関 (NCC) を介してクエリ画像とガウス スプラッティング マップからレンダリングされた画像の間の対応関係を効率的に識別できるようになります。
さらに、特徴ベースのマッチングと Perspective-n-Point (PnP) 手法を使用して、クエリ画像のカメラのポーズを調整します。
私たちのシステムの有効性、適応性、精度は、KITTI360 データセットの広範な評価を通じて実証されています。

要約(オリジナル)

This paper presents a novel system designed for 3D mapping and visual relocalization using 3D Gaussian Splatting. Our proposed method uses LiDAR and camera data to create accurate and visually plausible representations of the environment. By leveraging LiDAR data to initiate the training of the 3D Gaussian Splatting map, our system constructs maps that are both detailed and geometrically accurate. To mitigate excessive GPU memory usage and facilitate rapid spatial queries, we employ a combination of a 2D voxel map and a KD-tree. This preparation makes our method well-suited for visual localization tasks, enabling efficient identification of correspondences between the query image and the rendered image from the Gaussian Splatting map via normalized cross-correlation (NCC). Additionally, we refine the camera pose of the query image using feature-based matching and the Perspective-n-Point (PnP) technique. The effectiveness, adaptability, and precision of our system are demonstrated through extensive evaluation on the KITTI360 dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google