Geometric Neural Process Fields

要約

本論文では、わずかな観測値しか与えられない新しい信号に対して効率的にモデルを適応させなければならない、ニューラル場（Neural Field：NeF）の汎化という課題に取り組む。この課題に取り組むため、不確実性を明示的に捉えたニューラル放射場の確率論的枠組みである幾何学的ニューラル過程場（Geometric Neural Process Fields: G-NPF）を提案する。NeFの汎化を確率論的問題として定式化し、限られた文脈の観測からNeF関数分布を直接推論できるようにする。構造的帰納的バイアスを組み込むために、空間構造を符号化し、NeF関数分布の推論を容易にする幾何学的基底のセットを導入する。これらの基底を基に、階層的潜在変数モデルを設計し、G-NPFが複数の空間レベルにわたる構造情報を統合し、INR関数を効果的にパラメータ化できるようにする。この階層的アプローチにより、新しいシーンや未知の信号に対する汎化が向上する。D画像と1D信号の回帰だけでなく、3Dシーンの新規ビュー合成の実験により、不確実性を捕捉し、構造情報を活用して汎化を改善する本手法の有効性を実証する。

要約(オリジナル)

This paper addresses the challenge of Neural Field (NeF) generalization, where models must efficiently adapt to new signals given only a few observations. To tackle this, we propose Geometric Neural Process Fields (G-NPF), a probabilistic framework for neural radiance fields that explicitly captures uncertainty. We formulate NeF generalization as a probabilistic problem, enabling direct inference of NeF function distributions from limited context observations. To incorporate structural inductive biases, we introduce a set of geometric bases that encode spatial structure and facilitate the inference of NeF function distributions. Building on these bases, we design a hierarchical latent variable model, allowing G-NPF to integrate structural information across multiple spatial levels and effectively parameterize INR functions. This hierarchical approach improves generalization to novel scenes and unseen signals. Experiments on novel-view synthesis for 3D scenes, as well as 2D image and 1D signal regression, demonstrate the effectiveness of our method in capturing uncertainty and leveraging structural information for improved generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL