ProvNeRF: Modeling per Point Provenance in NeRFs as a Stochastic Field

要約

ニューラル放射輝度場（Neural Radiance Field：NeRF）は、様々なアプリケーションにおいて有望な結果を示す複数の作品によって人気を博している。しかし、我々の知る限り、既存の研究は、トレーニングカメラのポーズの分布を明示的にモデル化しておらず、その結果、古典的なビジョン文献にさかのぼる再構成品質に影響を与える重要な要因である三角測量の品質をモデル化していない。我々はこのギャップをProvNeRFで埋める。ProvNeRFは、NeRFの各点、すなわち、それが見える可能性の高い位置、について、確率場としてモデル化するアプローチである。暗黙的最尤推定（implicit maximum likelihood estimation: IMLE）を最適化可能な目的を持つ関数空間に拡張することでこれを実現する。NeRFの最適化の際に、点ごとの実績のモデル化を行うことで、三角測量に関する情報でモデルを豊かにし、競合するベースラインに対して、スパースで制約のない困難なビュー設定の下で、新しいビュー合成と不確実性推定を改善することを示す。

要約(オリジナル)

Neural radiance fields (NeRFs) have gained popularity with multiple works showing promising results across various applications. However, to the best of our knowledge, existing works do not explicitly model the distribution of training camera poses, or consequently the triangulation quality, a key factor affecting reconstruction quality dating back to classical vision literature. We close this gap with ProvNeRF, an approach that models the \textbf{provenance} for each point — i.e., the locations where it is likely visible — of NeRFs as a stochastic field. We achieve this by extending implicit maximum likelihood estimation (IMLE) to functional space with an optimizable objective. We show that modeling per-point provenance during the NeRF optimization enriches the model with information on triangulation leading to improvements in novel view synthesis and uncertainty estimation under the challenging sparse, unconstrained view setting against competitive baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL