Magic-Boost: Boost 3D Generation with Mutli-View Conditioned Diffusion

要約

2D 普及モデルの急速な発展の恩恵を受けて、3D コンテンツの作成は最近大きく進歩しました。
有望なソリューションの 1 つは、事前トレーニングされた 2D 拡散モデルを微調整して多視点画像を生成する能力を活用し、その後、高速 NeRF や大規模再構成モデ​​ルなどの方法を介して正確な 3D モデルにリフトアップすることです。
ただし、不一致が依然として存在し、生成される解像度が制限されているため、このような方法の生成結果には依然として複雑なテクスチャや複雑なジオメトリが欠けています。
この問題を解決するために、短期間の SDS 最適化 ($\sim15$min) を通じて粗い生成結果を大幅に改善するマルチビュー条件付き拡散モデルである Magic-Boost を提案します。
以前のテキストまたは単一画像ベースの拡散モデルと比較して、Magic-Boost は擬似合成多視点画像から一貫性の高い画像を生成する堅牢な機能を示します。
入力画像のアイデンティティとよく一致する正確な SDS ガイダンスを提供し、最初の生成結果のジオメトリとテクスチャの両方における局所的な詳細を強化します。
広範な実験により、Magic-Boost が粗い入力を大幅に強化し、豊富な幾何学的およびテクスチャーの詳細を備えた高品質の 3D アセットを生成することが示されています。
(プロジェクトページ: https://magic-research.github.io/magic-boost/)

要約(オリジナル)

Benefiting from the rapid development of 2D diffusion models, 3D content creation has made significant progress recently. One promising solution involves the fine-tuning of pre-trained 2D diffusion models to harness their capacity for producing multi-view images, which are then lifted into accurate 3D models via methods like fast-NeRFs or large reconstruction models. However, as inconsistency still exists and limited generated resolution, the generation results of such methods still lack intricate textures and complex geometries. To solve this problem, we propose Magic-Boost, a multi-view conditioned diffusion model that significantly refines coarse generative results through a brief period of SDS optimization ($\sim15$min). Compared to the previous text or single image based diffusion models, Magic-Boost exhibits a robust capability to generate images with high consistency from pseudo synthesized multi-view images. It provides precise SDS guidance that well aligns with the identity of the input images, enriching the local detail in both geometry and texture of the initial generative results. Extensive experiments show Magic-Boost greatly enhances the coarse inputs and generates high-quality 3D assets with rich geometric and textural details. (Project Page: https://magic-research.github.io/magic-boost/)

arxiv情報

提供元, 利用サービス

arxiv.jp, Google