ProvNeRF: Modeling per Point Provenance in NeRFs as a Stochastic Process

要約

神経放射フィールド (NeRF) は、さまざまなアプリケーションで人気を集めています。
ただし、スパース ビュー設定ではボリューム レンダリングからの十分な制約が不足しているという課題に直面しています。
まばらで制約のないカメラから 3D シーンを再構築して理解することは、さまざまなアプリケーションを使用する古典的なコンピュータ ビジョンにおける長年の課題です。
最近の研究では、まばらで制約のないビュー シナリオで NeRF を検討していますが、主に再構成と新しいビューの合成を強化することに重点が置かれています。
私たちのアプローチは、「それぞれの点はどこから見られたのか?」という質問を投げかけることで、より広い視点をとります。
— これは、私たちがそれをどれだけ理解して再構築できるかにかかっています。
言い換えれば、私たちは、まばらで制約のないビューの下で、各 3D ポイントの起源や来歴、およびそれに関連する情報を特定することを目指しています。
ProvNeRF は、ポイントごとの来歴を組み込むことで従来の NeRF 表現を強化し、各ポイントのおそらく発生源の場所をモデル化するモデルです。
これは、確率過程の陰的最尤推定 (IMLE) を拡張することで実現されます。
特に、私たちの方法は、事前にトレーニングされた任意の NeRF モデルおよび関連するトレーニング カメラのポーズと互換性があります。
我々は、ポイントごとの来歴のモデリングが、最先端の手法と比較して、不確実性の推定、基準に基づくビューの選択、新規ビューの合成の改善など、いくつかの利点を提供することを実証します。

要約(オリジナル)

Neural radiance fields (NeRFs) have gained popularity across various applications. However, they face challenges in the sparse view setting, lacking sufficient constraints from volume rendering. Reconstructing and understanding a 3D scene from sparse and unconstrained cameras is a long-standing problem in classical computer vision with diverse applications. While recent works have explored NeRFs in sparse, unconstrained view scenarios, their focus has been primarily on enhancing reconstruction and novel view synthesis. Our approach takes a broader perspective by posing the question: ‘from where has each point been seen?’ — which gates how well we can understand and reconstruct it. In other words, we aim to determine the origin or provenance of each 3D point and its associated information under sparse, unconstrained views. We introduce ProvNeRF, a model that enriches a traditional NeRF representation by incorporating per-point provenance, modeling likely source locations for each point. We achieve this by extending implicit maximum likelihood estimation (IMLE) for stochastic processes. Notably, our method is compatible with any pre-trained NeRF model and the associated training camera poses. We demonstrate that modeling per-point provenance offers several advantages, including uncertainty estimation, criteria-based view selection, and improved novel view synthesis, compared to state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google