Two-View Geometry Scoring Without Correspondences

要約

2ビュージオメトリのカメラポーズ推定は、従来、RANSACに依存していた。通常、多数の画像の対応関係から、提案された仮説がプールされ、それをスコアリングして勝利モデルを見つける。一般に、インライヤー数は「コンセンサス」の信頼できる指標と見なされている。我々は、このスコアリングのヒューリスティックを検証し、ある状況下では、残念なモデルが有利であることを発見した。このネットワークは、重なり合った画像のペアと、提案された任意の基本行列に対してスコアを推論する。FSNetは、疎な対応関係に頼らず、2つの画像の姿勢誤差を予測するエピポーラアテンション機構を通じて、2ビュージオメトリモデルを具現化する。FSNetは従来のRANSACループに組み込むことが可能である。屋内と屋外のデータセットにおいて、FSNetを基本行列と必須行列の推定で評価し、FSNetが、対応関係が少ないか信頼性の低い画像のペアに対して良いポーズを識別することに成功することを立証した。さらに、FSNetをMAGSAC++のスコアリングアプローチと素直に組み合わせることで、最先端の結果を達成できることを示す。

要約(オリジナル)

Camera pose estimation for two-view geometry traditionally relies on RANSAC. Normally, a multitude of image correspondences leads to a pool of proposed hypotheses, which are then scored to find a winning model. The inlier count is generally regarded as a reliable indicator of ‘consensus’. We examine this scoring heuristic, and find that it favors disappointing models under certain circumstances. As a remedy, we propose the Fundamental Scoring Network (FSNet), which infers a score for a pair of overlapping images and any proposed fundamental matrix. It does not rely on sparse correspondences, but rather embodies a two-view geometry model through an epipolar attention mechanism that predicts the pose error of the two images. FSNet can be incorporated into traditional RANSAC loops. We evaluate FSNet on fundamental and essential matrix estimation on indoor and outdoor datasets, and establish that FSNet can successfully identify good poses for pairs of images with few or unreliable correspondences. Besides, we show that naively combining FSNet with MAGSAC++ scoring approach achieves state of the art results.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL