DiffusioNeRF: Regularizing Neural Radiance Fields with Denoising Diffusion Models

要約

良好な条件下では、ニューラル ラディアンス フィールド (NeRF) は、新しいビュー合成タスクで印象的な結果を示しました。
NeRF は、トレーニング ビューとシーンの微分可能なレンダリングの間の測光の不一致を最小限に抑えることによって、シーンの色フィールドと密度フィールドを学習します。
十分なビューのセットからトレーニングされると、NeRF は任意のカメラ位置から新しいビューを生成できます。
ただし、シーンのジオメトリとカラー フィールドの制約が大幅に不足しているため、特に少数の入力ビューでトレーニングした場合にアーティファクトが発生する可能性があります。
この問題を軽減するために、ノイズ除去拡散モデル (DDM) を使用して、事前のシーンのジオメトリと色を学習します。
私たちの DDM は、合成 Hypersim データセットの RGBD パッチでトレーニングされており、色と深度のパッチの結合確率分布の対数の勾配を予測するために使用できます。
RGBD パッチ事前分布の対数のこれらの勾配が、シーンのジオメトリと色を規則化するのに役立つことを示します。
NeRF トレーニング中に、ランダムな RGBD パッチがレンダリングされ、対数尤度の推定された勾配が色フィールドと密度フィールドに逆伝播されます。
最も関連性の高いデータセットである LLFF の評価では、学習した事前学習により、再構成されたジオメトリの品質が向上し、新しいビューへの一般化が向上したことが示されています。
DTU の評価では、NeRF 手法の中で再構成品質が向上していることが示されています。

要約(オリジナル)

Under good conditions, Neural Radiance Fields (NeRFs) have shown impressive results on novel view synthesis tasks. NeRFs learn a scene’s color and density fields by minimizing the photometric discrepancy between training views and differentiable renderings of the scene. Once trained from a sufficient set of views, NeRFs can generate novel views from arbitrary camera positions. However, the scene geometry and color fields are severely under-constrained, which can lead to artifacts, especially when trained with few input views. To alleviate this problem we learn a prior over scene geometry and color, using a denoising diffusion model (DDM). Our DDM is trained on RGBD patches of the synthetic Hypersim dataset and can be used to predict the gradient of the logarithm of a joint probability distribution of color and depth patches. We show that, these gradients of logarithms of RGBD patch priors serve to regularize geometry and color of a scene. During NeRF training, random RGBD patches are rendered and the estimated gradient of the log-likelihood is backpropagated to the color and density fields. Evaluations on LLFF, the most relevant dataset, show that our learned prior achieves improved quality in the reconstructed geometry and improved generalization to novel views. Evaluations on DTU show improved reconstruction quality among NeRF methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google