VIN-NBV: A View Introspection Network for Next-Best-View Selection for Resource-Efficient 3D Reconstruction

要約

次のBest View（NBV）アルゴリズムは、シーンの効率的な3D再構築を可能にするために、最小限のリソース、時間、またはキャプチャ数を使用して最適な画像セットを取得することを目的としています。
既存のアプローチは、多くの場合、以前のシーンの知識や追加の画像キャプチャに依存し、カバレッジを最大化するポリシーを開発することがよくあります。
しかし、複雑なジオメトリと自己閉塞を備えた多くの実際のシーンでは、カバレッジの最大化は、直接再構築品質の向上につながることはありません。
このホワイトペーパーでは、ビュー内省ネットワーク（VIN）を提案します。これは、ビューの再構築品質の改善を直接予測するように訓練されています。
貪欲なシーケンシャルサンプリングベースのポリシー。各取得ステップで複数のクエリビューをサンプリングし、VIN予測改善スコアが最も高いものを選択します。
VINを設計して、以前の買収から構築された再構築の3D認識の機能を実行し、クエリビューごとに改善スコアにデコードできる機能を作成します。
次に、模倣学習を使用してVINをトレーニングして、再構成改善スコアを予測します。
VIN-NBVは、買収の数または動きの時間を制約して動作する場合、カバレッジの最大化ベースラインで再構成の品質を改善することを示しています。

要約(オリジナル)

Next Best View (NBV) algorithms aim to acquire an optimal set of images using minimal resources, time, or number of captures to enable efficient 3D reconstruction of a scene. Existing approaches often rely on prior scene knowledge or additional image captures and often develop policies that maximize coverage. Yet, for many real scenes with complex geometry and self-occlusions, coverage maximization does not lead to better reconstruction quality directly. In this paper, we propose the View Introspection Network (VIN), which is trained to predict the reconstruction quality improvement of views directly, and the VIN-NBV policy. A greedy sequential sampling-based policy, where at each acquisition step, we sample multiple query views and choose the one with the highest VIN predicted improvement score. We design the VIN to perform 3D-aware featurization of the reconstruction built from prior acquisitions, and for each query view create a feature that can be decoded into an improvement score. We then train the VIN using imitation learning to predict the reconstruction improvement score. We show that VIN-NBV improves reconstruction quality by ~30% over a coverage maximization baseline when operating with constraints on the number of acquisitions or the time in motion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google