Map-free Visual Relocalization: Metric Pose Relative to a Single Image

要約

単一の参照画像によって表されるシーンで再ローカライズできますか?
標準的な視覚的再局在化では、シーン固有の 3D マップを構築するために、何百もの画像とスケール キャリブレーションが必要です。
対照的に、マップを使用しない再局在化を提案します。つまり、シーンの写真を 1 つだけ使用して、メトリック スケールの再局在化を即座に有効にします。
既存のデータセットは、大規模なシーンに焦点を当てているか、変動性が限られているため、マップを使用しない再ローカリゼーションのベンチマークには適していません。
このようにして、彫刻、壁画、噴水など、世界中で収集された 655 の小さな名所の新しいデータセットを構築しました。
各場所には、再局在化のアンカーとして機能する参照画像と、既知のメトリック カメラ ポーズを含む数十のクエリ画像が付属しています。
このデータセットは、変化する条件、厳しい視点の変化、場所ごとの高い変動性、および参照画像との視覚的なオーバーラップがほとんどまたはまったくないクエリを特徴としています。
ベースライン結果を提供するために、既存の方法の 2 つの実行可能なファミリを特定します。相対姿勢回帰と、単一画像の深度予測と組み合わせた特徴マッチングです。
これらの方法は、データセットのいくつかの好ましいシーンで妥当なパフォーマンスを示しますが、マップフリーの再ローカリゼーションは、新しい革新的なソリューションを必要とする課題であることが証明されています。

要約(オリジナル)

Can we relocalize in a scene represented by a single reference image? Standard visual relocalization requires hundreds of images and scale calibration to build a scene-specific 3D map. In contrast, we propose Map-free Relocalization, i.e., using only one photo of a scene to enable instant, metric scaled relocalization. Existing datasets are not suitable to benchmark map-free relocalization, due to their focus on large scenes or their limited variability. Thus, we have constructed a new dataset of 655 small places of interest, such as sculptures, murals and fountains, collected worldwide. Each place comes with a reference image to serve as a relocalization anchor, and dozens of query images with known, metric camera poses. The dataset features changing conditions, stark viewpoint changes, high variability across places, and queries with low to no visual overlap with the reference image. We identify two viable families of existing methods to provide baseline results: relative pose regression, and feature matching combined with single-image depth prediction. While these methods show reasonable performance on some favorable scenes in our dataset, map-free relocalization proves to be a challenge that requires new, innovative solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google