MVDream: Multi-view Diffusion for 3D Generation

要約

与えられたテキスト プロンプトから一貫したマルチビュー画像を生成できるマルチビュー拡散モデル MVDream を紹介します。
2D と 3D データの両方から学習することで、マルチビュー拡散モデルは 2D 拡散モデルの一般化性と 3D レンダリングの一貫性を実現できます。
我々は、このようなマルチビュー事前分布が、3D 表現に依存しない一般化可能な 3D 事前分布として機能できることを実証します。
スコア蒸留サンプリングを介して 3D 生成に適用でき、既存の 2D リフティング手法の一貫性と安定性が大幅に向上します。
DreamBooth に似ていますが、3D 生成を対象として、いくつかの 2D サンプルから新しい概念を学ぶこともできます。

要約(オリジナル)

We introduce MVDream, a multi-view diffusion model that is able to generate consistent multi-view images from a given text prompt. Learning from both 2D and 3D data, a multi-view diffusion model can achieve the generalizability of 2D diffusion models and the consistency of 3D renderings. We demonstrate that such a multi-view prior can serve as a generalizable 3D prior that is agnostic to 3D representations. It can be applied to 3D generation via Score Distillation Sampling, significantly enhancing the consistency and stability of existing 2D-lifting methods. It can also learn new concepts from a few 2D examples, akin to DreamBooth, but for 3D generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google