Fully Differentiable RANSAC

要約

完全に微分可能な $\nabla$-RANSAC を提案します。これは、入力データ ポイントのインライア確率を予測し、ガイド付きサンプラーで予測を活用し、モデル パラメーター (基本行列など) とその品質を推定します。
全体の手順。
$\nabla$-RANSAC のランダム サンプラーは、巧妙な再パラメーター化戦略、つまり Gumbel Softmax サンプラーに基づいており、勾配を後続の微分可能な最小ソルバーに直接伝播できます。
モデル品質関数は、$\nabla$-RANSAC 内で推定されたすべてのモデルからのスコアを過小評価して、正確で有用な確率を学習するネットワークを導きます.$\nabla$-RANSAC は、幾何学的推定のエンドツーエンドのトレーニングを解き放った最初の製品です.
特徴検出、マッチング、RANSAC のようなランダム化された堅牢な推定を含むパイプライン。
その可能性の証明として、$\nabla$-RANSAC を LoFTR (最近の検出器を使用しない特徴マッチャー) と一緒にトレーニングして、信頼できる対応をエンドツーエンドで見つけます。
$\nabla$-RANSAC を、基本的および本質的な行列推定に関する多くの実世界のデータセットでテストします。
最速の方法の 1 つでありながら、精度の点で最新技術よりも優れています。
コードとトレーニング済みモデルは公開されます。

要約(オリジナル)

We propose the fully differentiable $\nabla$-RANSAC.It predicts the inlier probabilities of the input data points, exploits the predictions in a guided sampler, and estimates the model parameters (e.g., fundamental matrix) and its quality while propagating the gradients through the entire procedure. The random sampler in $\nabla$-RANSAC is based on a clever re-parametrization strategy, i.e.\ the Gumbel Softmax sampler, that allows propagating the gradients directly into the subsequent differentiable minimal solver. The model quality function marginalizes over the scores from all models estimated within $\nabla$-RANSAC to guide the network learning accurate and useful probabilities.$\nabla$-RANSAC is the first to unlock the end-to-end training of geometric estimation pipelines, containing feature detection, matching and RANSAC-like randomized robust estimation. As a proof of its potential, we train $\nabla$-RANSAC together with LoFTR, i.e. a recent detector-free feature matcher, to find reliable correspondences in an end-to-end manner. We test $\nabla$-RANSAC on a number of real-world datasets on fundamental and essential matrix estimation. It is superior to the state-of-the-art in terms of accuracy while being among the fastest methods. The code and trained models will be made public.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google