RePoseD: Efficient Relative Pose Estimation With Known Depth Information

要約

単眼深度推定方法（MDE）の最近の進歩とその改善された精度は、アプリケーションの新しい可能性を開きます。
この論文では、相対的なポーズ推定に単眼深度推定値をどのように使用できるかを調査します。
特に、MDEを使用すると、従来のポイントベースの方法よりも結果が改善されるかどうかという質問に答えることに興味があります。
関連する単眼の深さを持つ点対応から2つのカメラの相対的なポーズを推定するための新しいフレームワークを提案します。
深さ予測は通常、未知のスケールまたは未知のスケールとシフトの両方のパラメーターの両方に定義されるため、ソルバーは相対ポーズとともにスケールまたはスケールパラメーターとシフトパラメーターの両方を共同で推定します。
3つのカメラ構成のさまざまな種類の深さを考慮して効率的なソルバーを導き出します。（1）2つのキャリブレーションカメラ、（2）共有焦点距離が不明な2つのカメラ、および（3）未知の焦点距離を持つ2つのカメラ。
私たちの新しいソルバーは、速度と精度の点で、最先端の深さを意識したソルバーよりも優れています。
複数のデータセットとさまざまなMDEでの広範な実験では、どの状況でどの深度認識ソルバーが望ましいかについて説明します。
コードは公開されます。

要約(オリジナル)

Recent advances in monocular depth estimation methods (MDE) and their improved accuracy open new possibilities for their applications. In this paper, we investigate how monocular depth estimates can be used for relative pose estimation. In particular, we are interested in answering the question whether using MDEs improves results over traditional point-based methods. We propose a novel framework for estimating the relative pose of two cameras from point correspondences with associated monocular depths. Since depth predictions are typically defined up to an unknown scale or even both unknown scale and shift parameters, our solvers jointly estimate the scale or both the scale and shift parameters along with the relative pose. We derive efficient solvers considering different types of depths for three camera configurations: (1) two calibrated cameras, (2) two cameras with an unknown shared focal length, and (3) two cameras with unknown different focal lengths. Our new solvers outperform state-of-the-art depth-aware solvers in terms of speed and accuracy. In extensive real experiments on multiple datasets and with various MDEs, we discuss which depth-aware solvers are preferable in which situation. The code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google