NeLF-Pro: Neural Light Field Probes for Multi-Scale Novel View Synthesis

要約

範囲や空間粒度が異なる多様な自然シーンのライト フィールドをモデル化して再構築するための新しい表現である NeLF-Pro を紹介します。
3D シーンをグローバルに表す以前の高速再構成手法とは対照的に、シーンのライト フィールドを、位置およびマルチチャネル 2D 特徴マップでパラメーター化されたローカル ライト フィールド特徴プローブのセットとしてモデル化します。
私たちの中心的なアイデアは、シーンのライト フィールドを空間的に変化する学習可能な表現にベイクし、カメラの近くでプローブを重み付けしてブレンドすることでポイントの特徴をクエリし、ミップマップ表現とレンダリングを可能にすることです。
局所特徴プローブ間で共有されるコア因子 (つまり VM) と基底因子 (つまり M) の積としてライト フィールド特徴プローブを効果的に表現し、効率的にエンコードする新しいベクトル行列行列 (VMM) 因数分解手法を導入します。
シーン内の内部関係とパターン。
私たちは実験的に、NeLF-Pro がフィーチャ グリッド ベースの表現のパフォーマンスを大幅に向上させ、コンパクトなモデリングを維持しながら、より優れたレンダリング品質で高速な再構成を実現することを実証しました。
プロジェクトの Web ページ https://sinoyou.github.io/nelf-pro/。

要約(オリジナル)

We present NeLF-Pro, a novel representation to model and reconstruct light fields in diverse natural scenes that vary in extent and spatial granularity. In contrast to previous fast reconstruction methods that represent the 3D scene globally, we model the light field of a scene as a set of local light field feature probes, parameterized with position and multi-channel 2D feature maps. Our central idea is to bake the scene’s light field into spatially varying learnable representations and to query point features by weighted blending of probes close to the camera – allowing for mipmap representation and rendering. We introduce a novel vector-matrix-matrix (VMM) factorization technique that effectively represents the light field feature probes as products of core factors (i.e., VM) shared among local feature probes, and a basis factor (i.e., M) – efficiently encoding internal relationships and patterns within the scene. Experimentally, we demonstrate that NeLF-Pro significantly boosts the performance of feature grid-based representations, and achieves fast reconstruction with better rendering quality while maintaining compact modeling. Project webpage https://sinoyou.github.io/nelf-pro/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google