GeCoNeRF: Few-shot Neural Radiance Fields via Geometric Consistency

要約

タイトル：ジオメトリック・コンシステンシを用いたフューショット・ニューラル・ラディアンス・フィールド・フレームワーク（GeCoNeRF）

要約：

– 本研究はニューラル・ラディアンス・フィールド（NeRF）をフューショット設定で正則化するための新しいフレームワークを提案する。
– 提案手法は、未観測視点でのレンダリング深度マップを利用して、疎な入力画像を未観測視点にワープし、NeRFの学習を容易にするために、疑似的なグラウンド・トゥルースとしてそれらを強制することに基づいている。
– ピクセルレベルの再構築損失を使用する代わりに、特徴レベルでこのジオメトリック・コンシステンシを促進することにより、NeRFを意味論的・構造的なレベルで正則化し、視点による輝度のモデリングを可能にすることができます。
– 訓練中の最適化中に安定した訓練戦略と共に誤ったワープ・ソリューションをフィルタリングする効果的な方法も提案されています。
– 競合するフューショットNeRFモデルと比較して、提案手法が競合力のある結果を達成することを示しています。プロジェクトページは、https://ku-cvlab.github.io/GeCoNeRF/で利用可能です。

要約(オリジナル)

We present a novel framework to regularize Neural Radiance Field (NeRF) in a few-shot setting with a geometry-aware consistency regularization. The proposed approach leverages a rendered depth map at unobserved viewpoint to warp sparse input images to the unobserved viewpoint and impose them as pseudo ground truths to facilitate learning of NeRF. By encouraging such geometry-aware consistency at a feature-level instead of using pixel-level reconstruction loss, we regularize the NeRF at semantic and structural levels while allowing for modeling view dependent radiance to account for color variations across viewpoints. We also propose an effective method to filter out erroneous warped solutions, along with training strategies to stabilize training during optimization. We show that our model achieves competitive results compared to state-of-the-art few-shot NeRF models. Project page is available at https://ku-cvlab.github.io/GeCoNeRF/.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI