Generative Novel View Synthesis with 3D-Aware Diffusion Models

要約

タイトル：3D-Aware Diffusion Modelsによる生成的な新しいビュー合成

要約：

– この研究は1枚の入力画像から可能なレンダリングの分布からサンプリングし、入力に一貫性のある多様で合理的な新しいビューをレンダリングすることができる3D-awareな拡散ベースのモデルを提案している。
– この方法は既存の2D拡散法を使用しているが、重要なことに、3Dフィーチャーボリュームという形でジオメトリ優先順位を取り入れている。この潜在的なフィーチャーフィールドは、可能なシーン表現の分布を捕捉して、ビューに一致する新しいレンダリングの生成能力を向上させている。
– この方法は、新しいビューを生成するだけでなく、自己回帰的に3D一致のシーケンスを合成する能力を持っている。
– この研究は、合成的なレンダリングとルームスケールのシーンにおいて最先端の成果を実証し、挑戦的な現実のオブジェクトにも魅力的な結果を示している。

要約(オリジナル)

We present a diffusion-based model for 3D-aware generative novel view synthesis from as few as a single input image. Our model samples from the distribution of possible renderings consistent with the input and, even in the presence of ambiguity, is capable of rendering diverse and plausible novel views. To achieve this, our method makes use of existing 2D diffusion backbones but, crucially, incorporates geometry priors in the form of a 3D feature volume. This latent feature field captures the distribution over possible scene representations and improves our method’s ability to generate view-consistent novel renderings. In addition to generating novel views, our method has the ability to autoregressively synthesize 3D-consistent sequences. We demonstrate state-of-the-art results on synthetic renderings and room-scale scenes; we also show compelling results for challenging, real-world objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI