GeCoNeRF: Few-shot Neural Radiance Fields via Geometric Consistency

要約

ジオメトリを意識した一貫性のある正則化を使用して、少数ショットの設定でニューラル ラディアンス フィールド (NeRF) を正則化するための新しいフレームワークを提示します。
提案されたアプローチは、観測されていない視点でレンダリングされた深度マップを活用して、まばらな入力画像を観測されていない視点にワープし、それらを疑似グラウンド トゥルースとして課して、NeRF の学習を容易にします。
ピクセルレベルの再構成損失を使用する代わりに、機能レベルでこのようなジオメトリを意識した一貫性を促進することにより、ビューに依存する放射輝度をモデル化して視点間の色の変化を説明できるようにしながら、セマンティックおよび構造レベルで NeRF を正則化します。
また、最適化中にトレーニングを安定させるためのトレーニング戦略とともに、誤った歪んだソリューションを除外する効果的な方法も提案します。
最先端の少数ショットの NeRF モデルと比較して、モデルが競争力のある結果を達成することを示します。
プロジェクト ページは https://ku-cvlab.github.io/GeCoNeRF/ にあります。

要約(オリジナル)

We present a novel framework to regularize Neural Radiance Field (NeRF) in a few-shot setting with a geometry-aware consistency regularization. The proposed approach leverages a rendered depth map at unobserved viewpoint to warp sparse input images to the unobserved viewpoint and impose them as pseudo ground truths to facilitate learning of NeRF. By encouraging such geometry-aware consistency at a feature-level instead of using pixel-level reconstruction loss, we regularize the NeRF at semantic and structural levels while allowing for modeling view dependent radiance to account for color variations across viewpoints. We also propose an effective method to filter out erroneous warped solutions, along with training strategies to stabilize training during optimization. We show that our model achieves competitive results compared to state-of-the-art few-shot NeRF models. Project page is available at https://ku-cvlab.github.io/GeCoNeRF/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google