Range-Agnostic Multi-View Depth Estimation With Keyframe Selection

要約

ポーズをとったフレームから 3D 再構成する方法では、通常、エピポーラ ラインに沿って一致するキューを回復し、検索範囲を狭めるために、シーン メトリック範囲に関する事前の知識が必要です。
ただし、このような事前確率は、実際のシナリオ (ビデオ シーケンスからの屋外 3D 再構築など) では直接利用できないか、不正確に推定される可能性があるため、パフォーマンスが大きく妨げられます。
この論文では、深度推定とマッチング ステップの順序を逆転させる効率的で純粋な 2D フレームワークである RAMDepth を提案することで、シーンのメトリック範囲に関する事前知識を必要としないマルチビュー深度推定に焦点を当てます。
さらに、予測に使用されるビューの品質に関する豊富な洞察を提供するフレームワークの機能を実証します。
追加の資料は、プロジェクト ページ https://andreaconti.github.io/projects/range_agnostic_multi_view_ Depth にあります。

要約(オリジナル)

Methods for 3D reconstruction from posed frames require prior knowledge about the scene metric range, usually to recover matching cues along the epipolar lines and narrow the search range. However, such prior might not be directly available or estimated inaccurately in real scenarios — e.g., outdoor 3D reconstruction from video sequences — therefore heavily hampering performance. In this paper, we focus on multi-view depth estimation without requiring prior knowledge about the metric range of the scene by proposing RAMDepth, an efficient and purely 2D framework that reverses the depth estimation and matching steps order. Moreover, we demonstrate the capability of our framework to provide rich insights about the quality of the views used for prediction. Additional material can be found on our project page https://andreaconti.github.io/projects/range_agnostic_multi_view_depth.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google