How Many Views Are Needed to Reconstruct an Unknown Object Using NeRF?

要約

Neural Radiance Fields (NeRF) は、その並外れたメモリ効率と、ポーズされた RGB 入力のみを必要とするため、オンライン アクティブ オブジェクトの再構築に大きな関心を集めています。
以前の NeRF ベースのビュー プランニング方法は、(1) 新しい画像が到着したときに NeRF を再トレーニングする、(1) 反復パラダイムに依存しているため、計算効率が低くなります。
(2) 次に最適なビューのみへのパスを計画する。
これらの制限に対処するために、必要なビュー数 (PRV) の予測に基づいた非反復パイプラインを提案します。
私たちのアプローチの背後にある重要な考え方は、オブジェクトを再構築するために必要なビューの数はその複雑さに依存するということです。
したがって、PRVNet という名前のディープ ニューラル ネットワークを設計して、必要なビュー数を予測し、オブジェクトの複雑さに基づいてデータ収集を調整し、世界的に最短のパスを計画できるようにします。
PRVNet をトレーニングするには、ShapeNet データセットを使用して監視ラベルを生成します。
シミュレーション実験では、PRV ベースのビュー計画手法がベースラインを上回り、移動コストと計画時間を大幅に削減しながら良好な再構成品質を達成できることが示されています。
さらに、実際の実験で私たちのアプローチの一般化能力を正当化します。

要約(オリジナル)

Neural Radiance Fields (NeRFs) are gaining significant interest for online active object reconstruction due to their exceptional memory efficiency and requirement for only posed RGB inputs. Previous NeRF-based view planning methods exhibit computational inefficiency since they rely on an iterative paradigm, consisting of (1) retraining the NeRF when new images arrive; and (2) planning a path to the next best view only. To address these limitations, we propose a non-iterative pipeline based on the Prediction of the Required number of Views (PRV). The key idea behind our approach is that the required number of views to reconstruct an object depends on its complexity. Therefore, we design a deep neural network, named PRVNet, to predict the required number of views, allowing us to tailor the data acquisition based on the object complexity and plan a globally shortest path. To train our PRVNet, we generate supervision labels using the ShapeNet dataset. Simulated experiments show that our PRV-based view planning method outperforms baselines, achieving good reconstruction quality while significantly reducing movement cost and planning time. We further justify the generalization ability of our approach in a real-world experiment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google