Informative Rays Selection for Few-Shot Neural Radiance Fields

要約

Neural Radiance Fields (NeRF) は、画像ベースの 3D 再構成の強力な方法として最近登場しましたが、シーンごとの最適化に時間がかかるため、特にリソースに制約のある設定では実際の使用が制限されます。
既存のアプローチは、入力ビューの数を減らし、複雑な損失または他のモダリティからの追加入力のいずれかを使用して学習された体積表現を正規化することで、この問題を解決します。
この論文では、重要な情報光線に焦点を当て、少数ショットのシナリオで NeRF をトレーニングするためのシンプルかつ効果的な方法である KeyNeRF を紹介します。
このような光線は、まずシーン カバレッジを保証しながらベースラインの多様性を促進するビュー選択アルゴリズムによってカメラ レベルで選択され、次にローカル画像エントロピーに基づく確率分布からサンプリングすることによってピクセル レベルで選択されます。
私たちのアプローチは、既存の NeRF コードベースへの変更を最小限に抑えながら、最先端の手法に対して有利に機能します。

要約(オリジナル)

Neural Radiance Fields (NeRF) have recently emerged as a powerful method for image-based 3D reconstruction, but the lengthy per-scene optimization limits their practical usage, especially in resource-constrained settings. Existing approaches solve this issue by reducing the number of input views and regularizing the learned volumetric representation with either complex losses or additional inputs from other modalities. In this paper, we present KeyNeRF, a simple yet effective method for training NeRF in few-shot scenarios by focusing on key informative rays. Such rays are first selected at camera level by a view selection algorithm that promotes baseline diversity while guaranteeing scene coverage, then at pixel level by sampling from a probability distribution based on local image entropy. Our approach performs favorably against state-of-the-art methods, while requiring minimal changes to existing NeRF codebases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google