3D Reconstruction of Spherical Images based on Incremental Structure from Motion

要約

3D 再構成は、現代の写真測量システムにおいてますます重要な役割を果たしています。
従来の衛星または航空ベースのリモート センシング (RS) プラットフォームは、大規模な地形や都市の 3D 再構成に必要なデータ ソースを提供できます。
低高度の UAV (無人航空機) を使用した場合でも、都市の峡谷や屋内シーンなどの複雑な状況での 3D 再構築は、カメラ フレーム間の追跡失敗が頻繁に発生し、データ収集コストが高いため、困難です。
最近では、1 回のカメラ露出で周囲の環境を記録できるため、全天球画像が広く活用されています。
ただし、従来の 3D 再構成パイプラインは全天球画像には使用できません。
さらに、全天球画像の 3D 再構成用のソフトウェア パッケージはほとんどありません。
この研究では、球面カメラの撮像ジオメトリに基づいて、球面対応を使用した相対標定、シーンと球点間の 3D 対応を使用した絶対標定、および BA (バンドル調整) 最適化のコスト関数のアルゴリズムを調査します。
さらに、上記のアルゴリズムを使用して、全天球画像に対してインクリメンタル SfM (Structure from Motion) ワークフローが提案されています。
提案されたソリューションは、最終的に、消費者向けとプロ仕様の全天球カメラの両方でキャプチャされた 3 つの球面データセットを使用して検証されます。
この結果は、提案された SfM ワークフローが複雑なシーンの 3D 再構築を成功させ、オープンソース ソフトウェア パッケージでの実装に有用な手がかりを提供できることを示しています。
設計された SfM ワークフローのソース コードは公開されます。

要約(オリジナル)

3D reconstruction plays an increasingly important role in modern photogrammetric systems. Conventional satellite or aerial-based remote sensing (RS) platforms can provide the necessary data sources for the 3D reconstruction of large-scale landforms and cities. Even with low-altitude UAVs (Unmanned Aerial Vehicles), 3D reconstruction in complicated situations, such as urban canyons and indoor scenes, is challenging due to the frequent tracking failures between camera frames and high data collection costs. Recently, spherical images have been extensively exploited due to the capability of recording surrounding environments from one camera exposure. Classical 3D reconstruction pipelines, however, cannot be used for spherical images. Besides, there exist few software packages for 3D reconstruction of spherical images. Based on the imaging geometry of spherical cameras, this study investigates the algorithms for the relative orientation using spherical correspondences, absolute orientation using 3D correspondences between scene and spherical points, and the cost functions for BA (bundle adjustment) optimization. In addition, an incremental SfM (Structure from Motion) workflow has been proposed for spherical images using the above-mentioned algorithms. The proposed solution is finally verified by using three spherical datasets captured by both consumer-grade and professional spherical cameras. The results demonstrate that the proposed SfM workflow can achieve the successful 3D reconstruction of complex scenes and provide useful clues for the implementation in open-source software packages. The source code of the designed SfM workflow would be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google