Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction

要約

【タイトル】Single-Stage Diffusion NeRF: 3D生成と再構築に対する統一的なアプローチ

【要約】
– 3D-awareな画像生成には、シーン生成や画像からの新しい視点の合成など、多様なタスクが含まれる。
– 多数のタスク特化型の方法があるにもかかわらず、包括的なモデルの開発は依然として課題となっている。
– この論文では、複数の視点から異なるオブジェクトの画像を利用してニューラル輻射場の汎用的な事前知識を学習するために表現力の高い拡散モデルを使用する統一的なアプローチであるSSDNeRFを提示する。
– 以前の研究は、事前学習されたNeRFを実際のデータとして用いた二段階のアプローチを採用してきたが、SSDNeRFは、エンドツーエンドの目的関数でニューラル輻射場自己デコーダと潜在的な拡散モデルを共同最適化する新しいシングルステージのトレーニングパラダイムを提案し、記憶容量の限られた視点からでも同時に3D再構築と事前学習が可能になった。
– テスト時には、条件付き生成のために潜在的な拡散事前分布を直接サンプリングすることができ、未知のオブジェクトのアービトラリな観測と組み合わせてニューラル輻射場の再構築にも利用できる。
– SSDNeRFは、無条件生成と単一/疎視点の3D再構築において、主要なタスク特化型方法に匹敵するまたはそれ以上の堅牢な結果を示す。

要約(オリジナル)

3D-aware image synthesis encompasses a variety of tasks, such as scene generation and novel view synthesis from images. Despite numerous task-specific methods, developing a comprehensive model remains challenging. In this paper, we present SSDNeRF, a unified approach that employs an expressive diffusion model to learn a generalizable prior of neural radiance fields (NeRF) from multi-view images of diverse objects. Previous studies have used two-stage approaches that rely on pretrained NeRFs as real data to train diffusion models. In contrast, we propose a new single-stage training paradigm with an end-to-end objective that jointly optimizes a NeRF auto-decoder and a latent diffusion model, enabling simultaneous 3D reconstruction and prior learning, even from sparsely available views. At test time, we can directly sample the diffusion prior for unconditional generation, or combine it with arbitrary observations of unseen objects for NeRF reconstruction. SSDNeRF demonstrates robust results comparable to or better than leading task-specific methods in unconditional generation and single/sparse-view 3D reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI