Enhancing Scene Coordinate Regression with Efficient Keypoint Detection and Sequential Information

要約

シーン座標回帰（SCR）は、ディープニューラルネットワーク（DNN）を利用してカメラポーズ推定のために2D-3D対応を直接回帰する視覚的なローカリゼーション手法です。
ただし、現在のSCRメソッドは、暗黙の三角測量に依存しているため、反復テクスチャや意味のない領域を処理する際の課題に直面することがよくあります。
この論文では、効率的で正確なSCRシステムを提案します。
既存のSCRメソッドと比較して、シーンエンコードと顕著なキーポイント検出の両方の統一アーキテクチャを提案し、システムが有益な領域のエンコードを優先することができます。
この設計により、計算効率が大幅に向上します。
さらに、マッピングと再局在化の両方でシーケンシャル情報を利用するメカニズムを導入します。
提案された方法は、特に繰り返しテクスチャのある環境で、暗黙の三角測量を強化します。
屋内および屋外のデータセットで実施された包括的な実験は、提案されたシステムが最先端の（SOTA）SCRメソッドよりも優れていることを示しています。
単一フレームの再局在化モードは、ベースラインのリコールレートを6.4％改善し、走行速度を56Hzから90Hzに増加させます。
さらに、シーケンスベースのモードは、元の効率を維持しながら、リコール率を11％増加させます。

要約(オリジナル)

Scene Coordinate Regression (SCR) is a visual localization technique that utilizes deep neural networks (DNN) to directly regress 2D-3D correspondences for camera pose estimation. However, current SCR methods often face challenges in handling repetitive textures and meaningless areas due to their reliance on implicit triangulation. In this paper, we propose an efficient and accurate SCR system. Compared to existing SCR methods, we propose a unified architecture for both scene encoding and salient keypoint detection, allowing our system to prioritize the encoding of informative regions. This design significantly improves computational efficiency. Additionally, we introduce a mechanism that utilizes sequential information during both mapping and relocalization. The proposed method enhances the implicit triangulation, especially in environments with repetitive textures. Comprehensive experiments conducted across indoor and outdoor datasets demonstrate that the proposed system outperforms state-of-the-art (SOTA) SCR methods. Our single-frame relocalization mode improves the recall rate of our baseline by 6.4% and increases the running speed from 56Hz to 90Hz. Furthermore, our sequence-based mode increases the recall rate by 11% while maintaining the original efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google