Active Neural 3D Reconstruction with Colorized Surface Voxel-based View Selection

要約

3D シーンの再構成におけるアクティブ ビューの選択は、再構成には有益なビューのトレーニングが重要であるため、広く研究されています。
最近、Neural Radiance Fields (NeRF) のバリアントが、不確実性ガイドに基づくビュー選択を使用したアクティブ 3D 再構築において有望な結果を示しました。
これらは、シーンの幾何学形状と外観をエンコードするニューラル ネットワークで推定された不確実性を利用します。
ただし、ボクセルベースまたはニューラルレンダリングのいずれかの不確実性統合方法の選択は、従来、幾何学的または外観関連かどうか、推定されるシーンの不確実性のタイプに依存していました。
この論文では、シーンの外観の不確実性の表面ボクセルベースの測定を利用した新しい次善のビュー (NBV) 選択方法である、カラー化表面ボクセル (CSV) ベースのビュー選択を紹介します。
CSV は、推定されたシーンの外観の不確実性 (例: 色の不確実性) および推定された幾何学的情報 (例: 表面) をカプセル化します。
ジオメトリ情報を使用して、ボクセルごとの不確実性の集計中にシーンの外観の不確実性を 3D 的に解釈します。
その結果、入力データが限られた困難なシナリオでは、閉塞された複雑な領域による不確実性が認識されます。
私たちの方法は、人気のあるデータセットである DTU と Blender や、視点が不均衡な新しいデータセットに対する以前の研究よりも優れたパフォーマンスを示し、CSV ベースのビュー選択によりパフォーマンスが最大 30% 大幅に向上することがわかりました。

要約(オリジナル)

Active view selection in 3D scene reconstruction has been widely studied since training on informative views is critical for reconstruction. Recently, Neural Radiance Fields (NeRF) variants have shown promising results in active 3D reconstruction using uncertainty-guided view selection. They utilize uncertainties estimated with neural networks that encode scene geometry and appearance. However, the choice of uncertainty integration methods, either voxel-based or neural rendering, has conventionally depended on the types of scene uncertainty being estimated, whether geometric or appearance-related. In this paper, we introduce Colorized Surface Voxel (CSV)-based view selection, a new next-best view (NBV) selection method exploiting surface voxel-based measurement of uncertainty in scene appearance. CSV encapsulates the uncertainty of estimated scene appearance (e.g., color uncertainty) and estimated geometric information (e.g., surface). Using the geometry information, we interpret the uncertainty of scene appearance 3D-wise during the aggregation of the per-voxel uncertainty. Consequently, the uncertainty from occluded and complex regions is recognized under challenging scenarios with limited input data. Our method outperforms previous works on popular datasets, DTU and Blender, and our new dataset with imbalanced viewpoints, showing that the CSV-based view selection significantly improves performance by up to 30%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google