GMM-IKRS: Gaussian Mixture Models for Interpretable Keypoint Refinement and Scoring

要約

画像内のキーポイントの抽出は、位置特定から 3D 再構成に至るまで、多くのコンピューター ビジョン アプリケーションの基礎となります。
キーポイントには、その品質に応じてランク付けできるスコアが付いています。
学習されたキーポイントは手作りのキーポイントよりも優れた特性を示すことがよくありますが、そのスコアは簡単に解釈できないため、メソッド間で個々のキーポイントの品質を比較することは事実上不可能です。
私たちは、あらゆる方法で抽出されたキーポイントを洗練し、同時に解釈可能なスコアで特徴付けることができるフレームワークを提案します。
私たちのアプローチは、非ロバストなキーポイントを拒否し、残りのキーポイントを調整するように設計された、修正されたロバストなガウス混合モデル フィットを活用します。
私たちのスコアは 2 つの要素で構成されます。1 つは別の視点からキャプチャされた画像内で同じキーポイントが抽出される確率に関係し、もう 1 つはキーポイントの位置特定精度に関係します。
これら 2 つの解釈可能なコンポーネントにより、さまざまな方法で抽出された個々のキーポイントを比較できます。
広範な実験を通じて、私たちのフレームワークは、一般的なキーポイント検出器に適用すると、キーポイントの再現性だけでなく、ホモグラフィーや 2 ビュー/マルチビューの姿勢回復タスクにおけるパフォーマンスも一貫して向上することを実証しました。

要約(オリジナル)

The extraction of keypoints in images is at the basis of many computer vision applications, from localization to 3D reconstruction. Keypoints come with a score permitting to rank them according to their quality. While learned keypoints often exhibit better properties than handcrafted ones, their scores are not easily interpretable, making it virtually impossible to compare the quality of individual keypoints across methods. We propose a framework that can refine, and at the same time characterize with an interpretable score, the keypoints extracted by any method. Our approach leverages a modified robust Gaussian Mixture Model fit designed to both reject non-robust keypoints and refine the remaining ones. Our score comprises two components: one relates to the probability of extracting the same keypoint in an image captured from another viewpoint, the other relates to the localization accuracy of the keypoint. These two interpretable components permit a comparison of individual keypoints extracted across different methods. Through extensive experiments we demonstrate that, when applied to popular keypoint detectors, our framework consistently improves the repeatability of keypoints as well as their performance in homography and two/multiple-view pose recovery tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google