3D-aware Image Generation using 2D Diffusion Models

要約

タイトル：2D拡散モデルを利用した3Dに着目した画像生成

要約：

– この論文では、2D拡散モデルを利用した新しい3Dに着目した画像生成手法を提案します。
– 3Dに着目した画像生成を、マルチビュー2D画像セット生成へ、さらには連続的な無条件と条件を組み合わせたマルチビュー画像生成プロセスへと定式化しました。
– これにより、2D拡散モデルを活用して生成モデルのパワーを高めることができます。
– また、モノクル深度推定器からの深度情報を取り入れて、静止画像のみを使用した条件付き拡散モデルのトレーニングデータを構築しています。
– 我々は大規模なデータセットであるImageNetでこの手法をトレーニングし、以前の手法に比べて高品質な画像を生成することができました。
– さらに、トレーニング画像は多様でアライメントされていない「野外」で集められたものであるにもかかわらず、大きな視野角を持つインスタンスを生成する能力を示しています。

要約(オリジナル)

In this paper, we introduce a novel 3D-aware image generation method that leverages 2D diffusion models. We formulate the 3D-aware image generation task as multiview 2D image set generation, and further to a sequential unconditional-conditional multiview image generation process. This allows us to utilize 2D diffusion models to boost the generative modeling power of the method. Additionally, we incorporate depth information from monocular depth estimators to construct the training data for the conditional diffusion model using only still images. We train our method on a large-scale dataset, i.e., ImageNet, which is not addressed by previous methods. It produces high-quality images that significantly outperform prior methods. Furthermore, our approach showcases its capability to generate instances with large view angles, even though the training images are diverse and unaligned, gathered from ‘in-the-wild’ real-world environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI