DKM: Dense Kernelized Feature Matching for Geometry Estimation

要約

特徴マッチングは、3D シーンの 2 つの画像間の対応を見つけることを含む、困難なコンピューター ビジョン タスクです。
この論文では、より一般的なスパースパラダイムの代わりに密なアプローチを検討し、すべての対応を見つけるよう努めています。
おそらく直観に反するかもしれませんが、2 ビュー ジオメトリの推定では、密度の高い方法は、対応する疎および準疎の方法よりもパフォーマンスが劣ることが以前に示されていました。
これは、ジオメトリ推定で密な方法と疎な方法の両方よりも優れた新しい密な方法で変わります。
目新しさは 3 つあります。まず、カーネル回帰グローバル マッチャーを提案します。
次に、スタックされた特徴マップと深さ方向の畳み込みカーネルによるワープの改良を提案します。
第三に、一貫した深さと密な信頼マップのバランスの取れたサンプリングアプローチを通じて密な信頼を学習することを提案します。
広範な実験を通じて、提案した密な方法である \textbf{D}ense \textbf{K}ernelized Feature \textbf{Matching が、複数のジオメトリ推定ベンチマークに新しい最先端技術を設定することを確認します。
特に、MegaDepth-1500 では、以前の最良のスパース メソッドとデンス メソッドと比較して、それぞれ +4.9 と +8.9 AUC$@5^{\circ}$ の改善を達成しています。
私たちのコードは https://github.com/Parskatt/dkm で提供されています

要約(オリジナル)

Feature matching is a challenging computer vision task that involves finding correspondences between two images of a 3D scene. In this paper we consider the dense approach instead of the more common sparse paradigm, thus striving to find all correspondences. Perhaps counter-intuitively, dense methods have previously shown inferior performance to their sparse and semi-sparse counterparts for estimation of two-view geometry. This changes with our novel dense method, which outperforms both dense and sparse methods on geometry estimation. The novelty is threefold: First, we propose a kernel regression global matcher. Secondly, we propose warp refinement through stacked feature maps and depthwise convolution kernels. Thirdly, we propose learning dense confidence through consistent depth and a balanced sampling approach for dense confidence maps. Through extensive experiments we confirm that our proposed dense method, \textbf{D}ense \textbf{K}ernelized Feature \textbf{M}atching, sets a new state-of-the-art on multiple geometry estimation benchmarks. In particular, we achieve an improvement on MegaDepth-1500 of +4.9 and +8.9 AUC$@5^{\circ}$ compared to the best previous sparse method and dense method respectively. Our code is provided at https://github.com/Parskatt/dkm

arxiv情報

提供元, 利用サービス

arxiv.jp, Google