DiffusioNeRF: Regularizing Neural Radiance Fields with Denoising Diffusion Models

要約

良好な条件下では、ニューラル ラディアンス フィールド (NeRF) は、新しいビュー合成タスクで印象的な結果を示しています。
NeRF は、トレーニング ビューと微分可能なシーンのレンダリングとの間のフォトメトリックの不一致を最小限に抑えることで、シーンの色と密度のフィールドを学習します。
十分なビューのセットからトレーニングされると、NeRF は任意のカメラ位置から新しいビューを生成できます。
ただし、シーン ジオメトリとカラー フィールドは非常に制約が少ないため、特に少数の入力ビューでトレーニングした場合にアーティファクトが発生する可能性があります。
この問題を軽減するために、ノイズ除去拡散モデル (DDM) を使用して、シーンのジオメトリと色に対する事前学習を行います。
当社の DDM は、合成 Hypersim データセットの RGBD パッチでトレーニングされており、色と深度パッチの結合確率分布の対数の勾配を予測するために使用できます。
NeRF トレーニング中に、RGBD パッチ プライアの対数のこれらの勾配が、シーンのジオメトリと色を正則化するのに役立つことを示します。
NeRF トレーニング中、ランダムな RGBD パッチがレンダリングされ、対数尤度の推定勾配が色フィールドと密度フィールドに逆伝播されます。
最も関連性の高いデータセットである LLFF の評価は、学習した事前確率が再構築されたジオメトリの品質の向上と、新しいビューへの一般化の向上を達成することを示しています。
DTU での評価は、NeRF 法の中で改善された再構成品質を示しています。

要約(オリジナル)

Under good conditions, Neural Radiance Fields (NeRFs) have shown impressive results on novel view synthesis tasks. NeRFs learn a scene’s color and density fields by minimizing the photometric discrepancy between training views and differentiable renders of the scene. Once trained from a sufficient set of views, NeRFs can generate novel views from arbitrary camera positions. However, the scene geometry and color fields are severely under-constrained, which can lead to artifacts, especially when trained with few input views. To alleviate this problem we learn a prior over scene geometry and color, using a denoising diffusion model (DDM). Our DDM is trained on RGBD patches of the synthetic Hypersim dataset and can be used to predict the gradient of the logarithm of a joint probability distribution of color and depth patches. We show that, during NeRF training, these gradients of logarithms of RGBD patch priors serve to regularize geometry and color for a scene. During NeRF training, random RGBD patches are rendered and the estimated gradients of the log-likelihood are backpropagated to the color and density fields. Evaluations on LLFF, the most relevant dataset, show that our learned prior achieves improved quality in the reconstructed geometry and improved generalization to novel views. Evaluations on DTU show improved reconstruction quality among NeRF methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google