Global Localization: Utilizing Relative Spatio-Temporal Geometric Constraints from Adjacent and Distant Cameras

要約

ロボット工学や拡張現実感／仮想現実感における多くのコンピュータビジョンアプリケーションにおいて、以前にマッピングされた領域における単一画像からのカメラの再ローカライズは不可欠である。本研究では、1枚の画像からグローバルフレームに対する6自由度カメラのポーズを推定する問題に取り組む。我々は、ローカライゼーションのためのディープネットワークの学習を導くために、相対的な空間的・時間的幾何学的制約の新しいネットワークを活用することを提案する。我々は、隣接するカメラフレームからだけでなく、シーンの時空間的に離れたカメラフレームからも得られる、空間的・時間的相対姿勢制約を同時に採用する。これらの制約を通して、我々の手法が、利用可能な真実の3次元座標が少ないか、非常に疎な場合に、ローカライズの学習が可能であることを示す。我々の実験では、これは利用可能な地上真理データの1％以下である。我々の手法を3つの一般的な視覚定位データセットで評価し、他の直接姿勢推定手法よりも優れていることを示す。

要約(オリジナル)

Re-localizing a camera from a single image in a previously mapped area is vital for many computer vision applications in robotics and augmented/virtual reality. In this work, we address the problem of estimating the 6 DoF camera pose relative to a global frame from a single image. We propose to leverage a novel network of relative spatial and temporal geometric constraints to guide the training of a Deep Network for localization. We employ simultaneously spatial and temporal relative pose constraints that are obtained not only from adjacent camera frames but also from camera frames that are distant in the spatio-temporal space of the scene. We show that our method, through these constraints, is capable of learning to localize when little or very sparse ground-truth 3D coordinates are available. In our experiments, this is less than 1% of available ground-truth data. We evaluate our method on 3 common visual localization datasets and show that it outperforms other direct pose estimation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL