3D reconstruction of spherical images: A review of techniques, applications, and prospects

要約

3D 再構成は、最新の写真測量システムにおいてますます重要な役割を果たしています。
従来の衛星または航空ベースのリモート センシング (RS) プラットフォームは、大規模な地形や都市の 3D 再構成に必要なデータ ソースを提供できます。
低高度の UAV (無人航空機) を使用しても、カメラ フレーム間の追跡エラーが頻繁に発生し、データ収集コストが高いため、都市の峡谷や屋内シーンなどの複雑な状況での 3D 再構成は困難です。
最近では、1 つのカメラの露出から周囲の環境を記録できるため、全天球画像が広く使用されています。
FOV (視野) が制限された透視画像とは対照的に、球状画像は完全な水平および垂直 FOV でシーン全体をカバーし、これらの複雑なシーンでのカメラ追跡とデータ取得を容易にします。
プロ用および消費者用の球面カメラの急速な進化と広範な使用により、球面画像は都市および屋内シーンの 3D モデリングに大きな可能性を示しています。
ただし、従来の 3D 再構成パイプラインは、球面画像に直接使用することはできません。
また、球状画像の 3D 再構成用に設計されたソフトウェア パッケージはほとんどありません。
その結果、この研究は、データ取得、特徴の検出とマッチング、画像の向き、および密なマッチングの観点から、球面画像の 3D 再構成の最新技術を徹底的に調査し、有望なアプリケーションを提示して議論します。
潜在的な見通し。
この研究が、将来の研究を方向付けるための洞察に満ちた手がかりを提供することを期待しています。

要約(オリジナル)

3D reconstruction plays an increasingly important role in modern photogrammetric systems. Conventional satellite or aerial-based remote sensing (RS) platforms can provide the necessary data sources for the 3D reconstruction of large-scale landforms and cities. Even with low-altitude UAVs (Unmanned Aerial Vehicles), 3D reconstruction in complicated situations, such as urban canyons and indoor scenes, is challenging due to frequent tracking failures between camera frames and high data collection costs. Recently, spherical images have been extensively used due to the capability of recording surrounding environments from one camera exposure. In contrast to perspective images with limited FOV (Field of View), spherical images can cover the whole scene with full horizontal and vertical FOV and facilitate camera tracking and data acquisition in these complex scenes. With the rapid evolution and extensive use of professional and consumer-grade spherical cameras, spherical images show great potential for the 3D modeling of urban and indoor scenes. Classical 3D reconstruction pipelines, however, cannot be directly used for spherical images. Besides, there exist few software packages that are designed for the 3D reconstruction of spherical images. As a result, this research provides a thorough survey of the state-of-the-art for 3D reconstruction of spherical images in terms of data acquisition, feature detection and matching, image orientation, and dense matching as well as presenting promising applications and discussing potential prospects. We anticipate that this study offers insightful clues to direct future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google