Distributed Global Structure-from-Motion with a Deep Front-End

要約

Structure-from-Motion (SfM) への初期のアプローチはグローバル手法とインクリメンタル手法の両方を中心に展開していましたが、最近のアプリケーションのほとんどは、優れたロバスト性によりカメラのポーズを推定するインクリメンタル システムに依存しています。
データから学習したディープ モデルを活用した SfM の「フロントエンド」には大きな進歩がありましたが、最先端の (インクリメンタル) SfM パイプラインは依然として 2004 年に開発された古典的な SIFT 機能に依存しています。
特徴抽出とマッチングの開発を活用することで、グローバル SfM が SOTA インクリメンタル SfM アプローチ (COLMAP) と同等のパフォーマンスを発揮できるかどうかを調査します。
そのために、SfM パイプラインのさまざまな段階での開発を簡単に組み合わせることができるモジュール式の SfM フレームワークを設計します。
私たちの実験によると、深層学習ベースの 2 ビュー対応推定の開発は、グローバル SfM で再構成されたシーンの点密度の改善につながりますが、さまざまなデータセットの増分 SfM 結果と比較した場合、いずれも SIFT を上回るパフォーマンスを発揮しないことがわかりました。
当社の SfM システムは、分散計算を活用するようにゼロから設計されており、複数のマシンで計算を並列化し、大規模なシーンに拡張することができます。

要約(オリジナル)

While initial approaches to Structure-from-Motion (SfM) revolved around both global and incremental methods, most recent applications rely on incremental systems to estimate camera poses due to their superior robustness. Though there has been tremendous progress in SfM `front-ends’ powered by deep models learned from data, the state-of-the-art (incremental) SfM pipelines still rely on classical SIFT features, developed in 2004. In this work, we investigate whether leveraging the developments in feature extraction and matching helps global SfM perform on par with the SOTA incremental SfM approach (COLMAP). To do so, we design a modular SfM framework that allows us to easily combine developments in different stages of the SfM pipeline. Our experiments show that while developments in deep-learning based two-view correspondence estimation do translate to improvements in point density for scenes reconstructed with global SfM, none of them outperform SIFT when comparing with incremental SfM results on a range of datasets. Our SfM system is designed from the ground up to leverage distributed computation, enabling us to parallelize computation on multiple machines and scale to large scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google