MP-SfM: Monocular Surface Priors for Robust Structure-from-Motion

要約

構造からのモーション（SFM）は長年にわたって大きな進歩を遂げてきましたが、最先端のシステムは、低オーバーラップ、低パラックス、または高対称性のシナリオの極端な視点の変化に直面すると、故障する傾向があります。
これらの落とし穴を回避する画像をキャプチャすることは困難であるため、これにより、特に非専門家のユーザーによるSFMのより広い使用が厳しく制限されます。
古典的なSFMパラダイムを単眼の深さと、深いニューラルネットワークによって推測される正常な事前層で増強することにより、これらの制限を克服します。
単眼とマルチビューの制約の緊密な統合のおかげで、私たちのアプローチは、標準的な条件で強力なパフォーマンスを維持しながら、極端な視点の変化の下で既存の制約を大幅に上回ります。
また、SFMの長年の問題である対称性により、単眼前かの障害を拒否するのに役立つことも示しています。
これにより、私たちのアプローチは、少数の画像から挑戦的な屋内環境を確実に再構築できるようにすることができます。
原則的な不確実性の伝播により、それはプライアーのエラーに対して堅牢であり、チューニングがほとんどない異なるモデルによって推測される事前に処理することができ、したがって、単眼の深さと通常の推定における将来の進歩から容易に恩恵を受けるでしょう。
私たちのコードは、https://github.com/cvg/mpsfmで公開されています。

要約(オリジナル)

While Structure-from-Motion (SfM) has seen much progress over the years, state-of-the-art systems are prone to failure when facing extreme viewpoint changes in low-overlap, low-parallax or high-symmetry scenarios. Because capturing images that avoid these pitfalls is challenging, this severely limits the wider use of SfM, especially by non-expert users. We overcome these limitations by augmenting the classical SfM paradigm with monocular depth and normal priors inferred by deep neural networks. Thanks to a tight integration of monocular and multi-view constraints, our approach significantly outperforms existing ones under extreme viewpoint changes, while maintaining strong performance in standard conditions. We also show that monocular priors can help reject faulty associations due to symmetries, which is a long-standing problem for SfM. This makes our approach the first capable of reliably reconstructing challenging indoor environments from few images. Through principled uncertainty propagation, it is robust to errors in the priors, can handle priors inferred by different models with little tuning, and will thus easily benefit from future progress in monocular depth and normal estimation. Our code is publicly available at https://github.com/cvg/mpsfm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google