Bag of Views: An Appearance-based Approach to Next-Best-View Planning for 3D Reconstruction

要約

インフラストラクチャの 3D 再構築と監視のための UAV ベースのインテリジェントなデータ収集は、画像処理とディープラーニングベースの技術の最近の進歩により、ますます関心が高まっています。
ビューの計画は、情報収集戦略を決定し、収集したデータから生成される 3D モデルの品質に大きな影響を与えるこのタスクの重要な部分です。
最近の方法では、事前の知識またはターゲットの部分的な再構成を使用して、アクティブな再構成のためのビュー計画を達成しています。
前者のアプローチは、複雑なターゲットや新たに特定されたターゲットに対して課題をもたらしますが、後者のアプローチは計算コストが高くなります。
この研究では、オフライン データセットの改良とオンラインの次善のビュー (NBV) 計画アプリケーションの両方で、キャプチャされたビューにユーティリティを割り当てるために使用される完全な外観ベースのモデルである Bag-of-Views (BoV) を紹介します。
3D再構築。
この貢献により、機械学習ベースのビュー プランニング フレームワーク、任意の 3D シーンのカスタム ビュー データセット生成、および 3D 再構成をトレーニングおよびテストするための軽量パッケージである View Planning Toolbox (VPT) も開発されました。
BoV ベースの強化学習モデルと VPT を組み合わせた実験を通じて、データセットのリファインメントと NBV 計画における高品質の再構成に必要なビューの数を削減するモデルの有効性を実証します。

要約(オリジナル)

UAV-based intelligent data acquisition for 3D reconstruction and monitoring of infrastructure has been experiencing an increasing surge of interest due to the recent advancements in image processing and deep learning-based techniques. View planning is an essential part of this task that dictates the information capture strategy and heavily impacts the quality of the 3D model generated from the captured data. Recent methods have used prior knowledge or partial reconstruction of the target to accomplish view planning for active reconstruction; the former approach poses a challenge for complex or newly identified targets while the latter is computationally expensive. In this work, we present Bag-of-Views (BoV), a fully appearance-based model used to assign utility to the captured views for both offline dataset refinement and online next-best-view (NBV) planning applications targeting the task of 3D reconstruction. With this contribution, we also developed the View Planning Toolbox (VPT), a lightweight package for training and testing machine learning-based view planning frameworks, custom view dataset generation of arbitrary 3D scenes, and 3D reconstruction. Through experiments which pair a BoV-based reinforcement learning model with VPT, we demonstrate the efficacy of our model in reducing the number of required views for high-quality reconstructions in dataset refinement and NBV planning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google