Learning-based Multi-View Stereo: A Survey

要約

3D 再構成は、シーンの密な 3D 構造を復元することを目的としています。
拡張/仮想現実 (AR/VR)、自動運転、ロボット工学などのさまざまなアプリケーションで重要な役割を果たします。
さまざまな視点からキャプチャされたシーンの複数のビューを活用して、マルチビュー ステレオ (MVS) アルゴリズムが包括的な 3D 表現を合成し、複雑な環境での正確な再構築を可能にします。
MVS は、その効率性と有効性により、画像ベースの 3D 再構成にとって極めて重要な方法となっています。
最近、深層学習の成功により、多くの学習ベースの MVS 手法が提案され、従来の手法に対して優れたパフォーマンスを達成しています。
これらの学習ベースの手法は、深度マップ ベース、ボクセル ベース、NeRF ベース、3D ガウス スプラッティング ベース、および大規模フィードフォワード手法に分類されます。
これらの中で、私たちは深度マップベースの手法に特に焦点を当てています。深度マップベースの手法は、その簡潔さ、柔軟性、スケーラビリティにより MVS の主要なファミリーです。
この調査では、この記事の執筆時点での文献の包括的なレビューを提供します。
これらの学習ベースの手法を調査し、一般的なベンチマークでのパフォーマンスを要約し、この分野における将来の有望な研究の方向性について議論します。

要約(オリジナル)

3D reconstruction aims to recover the dense 3D structure of a scene. It plays an essential role in various applications such as Augmented/Virtual Reality (AR/VR), autonomous driving and robotics. Leveraging multiple views of a scene captured from different viewpoints, Multi-View Stereo (MVS) algorithms synthesize a comprehensive 3D representation, enabling precise reconstruction in complex environments. Due to its efficiency and effectiveness, MVS has become a pivotal method for image-based 3D reconstruction. Recently, with the success of deep learning, many learning-based MVS methods have been proposed, achieving impressive performance against traditional methods. We categorize these learning-based methods as: depth map-based, voxel-based, NeRF-based, 3D Gaussian Splatting-based, and large feed-forward methods. Among these, we focus significantly on depth map-based methods, which are the main family of MVS due to their conciseness, flexibility and scalability. In this survey, we provide a comprehensive review of the literature at the time of this writing. We investigate these learning-based methods, summarize their performances on popular benchmarks, and discuss promising future research directions in this area.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google