Learning a Diffusion Prior for NeRFs

要約

タイトル：NeRFのための拡散優先学習

要約：
– NeRFは2Dデータから派生したオブジェクトやシーンのための強力なニューラル3D表現として現れた。
– ただし、NeRFを生成することは多くの場面で難しいままです。
– 例えば、視点数が少ない場合は未解決の問題であるため、悪い局所最小値をフィルタリングする何らかの帰納的事前知識が必要です。
– このような帰納的事前知識を導入する方法の1つは、NeRFのあるクラスのシーンをモデル化するNeRFの生成モデルを学習することです。
– 本論文では、正則化されたグリッド上にエンコードされたNeRFを生成するために、拡散モデルを使用することを提案しています。
– 提案モデルは、現実的なNeRFをサンプリングすることができ、同時に、ある観測をガイダンスとして与えることで条件付け生成が可能であることを示しています。

要約(オリジナル)

Neural Radiance Fields (NeRFs) have emerged as a powerful neural 3D representation for objects and scenes derived from 2D data. Generating NeRFs, however, remains difficult in many scenarios. For instance, training a NeRF with only a small number of views as supervision remains challenging since it is an under-constrained problem. In such settings, it calls for some inductive prior to filter out bad local minima. One way to introduce such inductive priors is to learn a generative model for NeRFs modeling a certain class of scenes. In this paper, we propose to use a diffusion model to generate NeRFs encoded on a regularized grid. We show that our model can sample realistic NeRFs, while at the same time allowing conditional generations, given a certain observation as guidance.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI