Multi-view Reconstruction via SfM-guided Monocular Depth Estimation

要約

この論文では、マルチビューの幾何学的再構成のための新しい方法を紹介します。
近年、大規模なビジョンモデルが急速に発展し、さまざまなタスクで優れたパフォーマンスを発揮し、顕著な一般化能力を実証しています。
一部の作業では、間接的な方法でマルチビュー再構成タスクを促進するために適用されている単眼深度推定には、大きな視覚モデルを使用しています。
単眼深度推定タスクのあいまいさのため、推定される深度値は通常十分に正確ではなく、マルチビューの再構築を支援する際に有用性を制限します。
強力なマルチビュー以前のSFM情報を深度推定プロセスに組み込むことを提案し、深さ予測の品質を高め、マルチビューの幾何学的再構成に直接適用できるようにします。
公共の実世界のデータセットでの実験結果は、この方法が以前の単眼深度推定作業と比較して深度推定の品質を大幅に改善することを示しています。
さらに、最先端のMVSメソッドを上回る、屋内、街路の景色、空中ビューなど、さまざまな種類のシーンでのアプローチの再構築品質を評価します。
コードと補足資料は、https：//zju3dv.github.io/murre/で入手できます。

要約(オリジナル)

In this paper, we present a new method for multi-view geometric reconstruction. In recent years, large vision models have rapidly developed, performing excellently across various tasks and demonstrating remarkable generalization capabilities. Some works use large vision models for monocular depth estimation, which have been applied to facilitate multi-view reconstruction tasks in an indirect manner. Due to the ambiguity of the monocular depth estimation task, the estimated depth values are usually not accurate enough, limiting their utility in aiding multi-view reconstruction. We propose to incorporate SfM information, a strong multi-view prior, into the depth estimation process, thus enhancing the quality of depth prediction and enabling their direct application in multi-view geometric reconstruction. Experimental results on public real-world datasets show that our method significantly improves the quality of depth estimation compared to previous monocular depth estimation works. Additionally, we evaluate the reconstruction quality of our approach in various types of scenes including indoor, streetscape, and aerial views, surpassing state-of-the-art MVS methods. The code and supplementary materials are available at https://zju3dv.github.io/murre/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google