Zero123++: a Single Image to Consistent Multi-view Diffusion Base Model

要約

単一の入力ビューから 3D 一貫性のあるマルチビュー画像を生成するための画像条件付き拡散モデルである Zero123++ を報告します。
事前トレーニングされた 2D 生成事前分布を最大限に活用するために、安定拡散などの既製の画像拡散モデルからの微調整の労力を最小限に抑えるためのさまざまな調整およびトレーニング スキームを開発します。
Zero123++ は、単一の画像から高品質で一貫したマルチビュー画像を生成することに優れており、テクスチャの劣化や幾何学的なずれなどの一般的な問題を克服します。
さらに、生成プロセスの制御を強化するために、Zero123++ で ControlNet をトレーニングする実現可能性を示します。
コードは https://github.com/SUDO-AI-3D/zero123plus で入手できます。

要約(オリジナル)

We report Zero123++, an image-conditioned diffusion model for generating 3D-consistent multi-view images from a single input view. To take full advantage of pretrained 2D generative priors, we develop various conditioning and training schemes to minimize the effort of finetuning from off-the-shelf image diffusion models such as Stable Diffusion. Zero123++ excels in producing high-quality, consistent multi-view images from a single image, overcoming common issues like texture degradation and geometric misalignment. Furthermore, we showcase the feasibility of training a ControlNet on Zero123++ for enhanced control over the generation process. The code is available at https://github.com/SUDO-AI-3D/zero123plus.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google