RoMa: Revisiting Robust Losses for Dense Feature Matching

要約

高密度特徴マッチングは、3D シーンの 2 つの画像間のすべての対応関係を推定する重要なコンピューター ビジョン タスクです。
この論文では、マルコフ連鎖の観点からマッチングの堅牢な損失を再検討し、理論的な洞察とパフォーマンスの大幅な向上をもたらします。
まず、マルコフ連鎖としてマッチングの統一的な定式化を構築し、これに基づいて、マッチングのために切り離すべきであると主張する 2 つの主要な段階を特定します。
1 つ目は粗い段階で、推定結果がグローバルに一貫している必要があります。
2 番目は改良段階であり、モデルには正確な位置特定機能が必要です。
これらの段階は個別の問題に関係しているという洞察に基づいて、厳密に局所的ではないにせよ、グローバルに一貫した優れた一致を提供する、分類による回帰パラダイムに従った粗いマッチャーを提案します。
これに続いて、十分に動機付けられたロバストな回帰損失を使用した局所特徴改善段階が行われ、非常に正確な一致が得られます。
RoMa と呼ばれる私たちが提案するアプローチは、最先端のアプローチと比較して大幅な改善を実現します。
コードは https://github.com/Parskatt/RoMa で入手できます。

要約(オリジナル)

Dense feature matching is an important computer vision task that involves estimating all correspondences between two images of a 3D scene. In this paper, we revisit robust losses for matching from a Markov chain perspective, yielding theoretical insights and large gains in performance. We begin by constructing a unifying formulation of matching as a Markov chain, based on which we identify two key stages which we argue should be decoupled for matching. The first is the coarse stage, where the estimated result needs to be globally consistent. The second is the refinement stage, where the model needs precise localization capabilities. Inspired by the insight that these stages concern distinct issues, we propose a coarse matcher following the regression-by-classification paradigm that provides excellent globally consistent, albeit not exactly localized, matches. This is followed by a local feature refinement stage using well-motivated robust regression losses, yielding extremely precise matches. Our proposed approach, which we call RoMa, achieves significant improvements compared to the state-of-the-art. Code is available at https://github.com/Parskatt/RoMa

arxiv情報

提供元, 利用サービス

arxiv.jp, Google