Detector-Free Structure from Motion

要約

我々は、順序付けされていない画像から正確なカメラのポーズと点群を復元するための新しい構造から動きのフレームワークを提案します。
従来の SfM システムは通常、最初のステップとして複数のビューにわたる反復可能なキーポイントの検出に成功することに依存していますが、テクスチャの乏しいシーンではこれが困難であり、キーポイントの検出が不十分だと SfM システム全体が故障する可能性があります。
我々は、検出器フリーマッチャーの最近の成功から利点を引き出して、キーポイントの早期決定を回避しながら、検出器フリーマッチャーのマルチビューの不一致の問題を解決する、新しい検出器フリーSfMフレームワークを提案します。
具体的には、私たちのフレームワークはまず、量子化された検出器を使用しない一致から粗い SfM モデルを再構築します。
次に、新しい反復改良パイプラインによってモデルを改良します。このパイプラインは、特徴トラックを改良するための注意ベースのマルチビュー マッチング モジュールと、再構成精度を向上させるためのジオメトリ改良モジュールの間で反復されます。
実験により、提案されたフレームワークが、一般的なベンチマーク データセット上で既存の検出器ベースの SfM システムよりも優れたパフォーマンスを発揮することが実証されています。
また、テクスチャの少ない SfM データセットを収集して、テクスチャの少ないシーンを再構築するフレームワークの機能を実証します。
このフレームワークに基づいて、Image Matching Challenge 2023 で $\textit{1 位}$ を獲得しました。

要約(オリジナル)

We propose a new structure-from-motion framework to recover accurate camera poses and point clouds from unordered images. Traditional SfM systems typically rely on the successful detection of repeatable keypoints across multiple views as the first step, which is difficult for texture-poor scenes, and poor keypoint detection may break down the whole SfM system. We propose a new detector-free SfM framework to draw benefits from the recent success of detector-free matchers to avoid the early determination of keypoints, while solving the multi-view inconsistency issue of detector-free matchers. Specifically, our framework first reconstructs a coarse SfM model from quantized detector-free matches. Then, it refines the model by a novel iterative refinement pipeline, which iterates between an attention-based multi-view matching module to refine feature tracks and a geometry refinement module to improve the reconstruction accuracy. Experiments demonstrate that the proposed framework outperforms existing detector-based SfM systems on common benchmark datasets. We also collect a texture-poor SfM dataset to demonstrate the capability of our framework to reconstruct texture-poor scenes. Based on this framework, we take $\textit{first place}$ in Image Matching Challenge 2023.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google