CorresNeRF: Image Correspondence Priors for Neural Radiance Fields

要約

Neural Radiance Fields (NeRF) は、新しいビュー合成および表面再構築タスクにおいて目覚ましい結果を達成しました。
ただし、入力ビューがまばらな困難なシナリオではパフォーマンスが低下します。
我々は、NeRFトレーニングを監視するために既製の方法によって計算された画像対応事前分布を活用する新しい方法であるCorresNeRFを紹介します。
私たちは、強化とフィルタリングのための適応プロセスを設計し、高密度で高品質の対応を生成します。
次に、対応関係を使用して、対応ピクセル再投影と深度損失項を介して NeRF トレーニングを正規化します。
さまざまなデータセット上の密度ベースおよび SDF ベースの NeRF モデルを使用して、新しいビュー合成および表面再構成タスクに関する手法を評価します。
私たちの方法は、光度測定と幾何学的測定の両方で以前の方法よりも優れています。
対応事前分布を使用するこのシンプルだが効果的な手法が、さまざまな NeRF バリアントにわたるプラグ アンド プレイ モジュールとして適用できることを示します。
プロジェクト ページは https://yxlao.github.io/corres-nerf にあります。

要約(オリジナル)

Neural Radiance Fields (NeRFs) have achieved impressive results in novel view synthesis and surface reconstruction tasks. However, their performance suffers under challenging scenarios with sparse input views. We present CorresNeRF, a novel method that leverages image correspondence priors computed by off-the-shelf methods to supervise NeRF training. We design adaptive processes for augmentation and filtering to generate dense and high-quality correspondences. The correspondences are then used to regularize NeRF training via the correspondence pixel reprojection and depth loss terms. We evaluate our methods on novel view synthesis and surface reconstruction tasks with density-based and SDF-based NeRF models on different datasets. Our method outperforms previous methods in both photometric and geometric metrics. We show that this simple yet effective technique of using correspondence priors can be applied as a plug-and-play module across different NeRF variants. The project page is at https://yxlao.github.io/corres-nerf.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google