3D Scene Geometry Estimation from 360$^\circ$ Imagery: A Survey

要約

このペーパーでは、全方向光学系でキャプチャされた 1 つ、2 つ、または複数の画像に基づいた、先駆者かつ最先端の 3D シーン ジオメトリ推定手法に関する包括的な調査を提供します。
まず、全天球カメラ モデルの基本概念を再検討し、全天球 (360$^\circ$、球面またはパノラマとも呼ばれます) の画像とビデオに適した最も一般的な取得テクノロジと表現形式を確認します。
次に、単眼レイアウトと深度推論のアプローチを調査し、球面データに適した学習ベースのソリューションの最近の進歩に焦点を当てます。
その後、古典的なステレオ マッチングが球面領域で改訂され、疎な特徴と密な特徴を検出して記述するための方法論が重要になります。
次に、ステレオ マッチングの概念がマルチビュー カメラのセットアップに対して外挿され、ライト フィールド、マルチビュー ステレオ、モーションからの構造 (または視覚的な同時位置特定とマッピング) に分類されます。
また、一般的に採用されているデータセットと目的ごとに示された性能指数を編集して議論し、完全性を期すために最近の結果をリストします。
現在および将来の傾向を指摘してこの文書を締めくくります。

要約(オリジナル)

This paper provides a comprehensive survey on pioneer and state-of-the-art 3D scene geometry estimation methodologies based on single, two, or multiple images captured under the omnidirectional optics. We first revisit the basic concepts of the spherical camera model, and review the most common acquisition technologies and representation formats suitable for omnidirectional (also called 360$^\circ$, spherical or panoramic) images and videos. We then survey monocular layout and depth inference approaches, highlighting the recent advances in learning-based solutions suited for spherical data. The classical stereo matching is then revised on the spherical domain, where methodologies for detecting and describing sparse and dense features become crucial. The stereo matching concepts are then extrapolated for multiple view camera setups, categorizing them among light fields, multi-view stereo, and structure from motion (or visual simultaneous localization and mapping). We also compile and discuss commonly adopted datasets and figures of merit indicated for each purpose and list recent results for completeness. We conclude this paper by pointing out current and future trends.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google