Robust Two-View Geometry Estimation with Implicit Differentiation

要約

微分可能なロバストな損失関数フィッティングに基づいた、新しい 2 ビューの幾何学的推定フレームワークを提案します。
我々は、ロバストな基本行列推定を暗黙的な層として扱うことを提案します。これにより、経時的な逆伝播を回避でき、数値安定性が大幅に向上します。
特徴マッチング段階からの情報を最大限に活用するために、マッチングの信頼度に応じて学習可能な重みを組み込みます。
このようにして、私たちのソリューションは、統合されたエンドツーエンドのトレーニング可能なパイプラインで特徴抽出、マッチング、および 2 ビューのジオメトリ推定を統合します。
屋外と屋内の両方のシナリオで、カメラの姿勢推定タスクに対するアプローチを評価します。
いくつかのデータセットでの実験では、提案された方法が古典的な方法と学習ベースの最先端の方法の両方を大幅に上回っていることが示されています。
プロジェクトの Web ページは、https://github.com/VladPyatov/ihls から入手できます。

要約(オリジナル)

We present a novel two-view geometry estimation framework which is based on a differentiable robust loss function fitting. We propose to treat the robust fundamental matrix estimation as an implicit layer, which allows us to avoid backpropagation through time and significantly improves the numerical stability. To take full advantage of the information from the feature matching stage we incorporate learnable weights that depend on the matching confidences. In this way our solution brings together feature extraction, matching and two-view geometry estimation in a unified end-to-end trainable pipeline. We evaluate our approach on the camera pose estimation task in both outdoor and indoor scenarios. The experiments on several datasets show that the proposed method outperforms both classic and learning-based state-of-the-art methods by a large margin. The project webpage is available at: https://github.com/VladPyatov/ihls

arxiv情報

提供元, 利用サービス

arxiv.jp, Google