Multi-View Guided Multi-View Stereo

要約

このホワイト ペーパーでは、複数の画像フレームから密な 3D 再構築を行うための新しいディープ フレームワークを紹介し、画像取得と一緒に収集された深度測定値のまばらなセットを活用します。
深いマルチビュー ステレオ ネットワークが与えられた場合、フレームワークはまばらな深度ヒントを使用して、フォワード ステップ中に構築されたプレーン スイープ コスト ボリュームを調整することでニューラル ネットワークを導き、より正確な深度マップを常に推測できるようにします。
さらに、複数の視点が追加の深度測定を提供できるため、ネットワークをガイドするために使用されるまばらなポイントの密度を高め、より正確な結果をもたらすマルチビュー ガイダンス戦略を提案します。
さまざまな最先端のディープ マルチビュー ステレオ ネットワーク内でマルチビュー ガイド付きフレームワークを評価し、BlendedMVG および DTU データセットでそれぞれが達成した結果を改善する効果を実証します。

要約(オリジナル)

This paper introduces a novel deep framework for dense 3D reconstruction from multiple image frames, leveraging a sparse set of depth measurements gathered jointly with image acquisition. Given a deep multi-view stereo network, our framework uses sparse depth hints to guide the neural network by modulating the plane-sweep cost volume built during the forward step, enabling us to infer constantly much more accurate depth maps. Moreover, since multiple viewpoints can provide additional depth measurements, we propose a multi-view guidance strategy that increases the density of the sparse points used to guide the network, thus leading to even more accurate results. We evaluate our Multi-View Guided framework within a variety of state-of-the-art deep multi-view stereo networks, demonstrating its effectiveness at improving the results achieved by each of them on BlendedMVG and DTU datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google