Magic123: One Image to High-Quality 3D Object Generation Using Both 2D and 3D Diffusion Priors

要約

我々は、2D と 3D の両方の事前分布を使用して、野生の単一のポーズ化されていない画像から高品質のテクスチャ付き 3D メッシュを生成するための 2 段階の粗いから細かいまでのアプローチである Magic123 を紹介します。
最初の段階では、神経放射フィールドを最適化して、粗いジオメトリを生成します。
第 2 段階では、メモリ効率の高い微分可能なメッシュ表現を採用し、視覚的に魅力的なテクスチャを備えた高解像度のメッシュを生成します。
どちらの段階でも、3D コンテンツは、参照ビューの監視と、2D と 3D の拡散事前分布の組み合わせによってガイドされる新しいビューを通じて学習されます。
生成されたジオメトリの探索 (より想像力豊かな) と活用 (より正確な) を制御するために、2D 事前分布と 3D 事前分布の間に単一のトレードオフ パラメーターを導入します。
さらに、テキストの反転と単眼深さの正則化を採用して、それぞれビュー全体で一貫した外観を促進し、解の退化を防ぎます。
Magic123 は、合成ベンチマークとさまざまな現実世界の画像に関する広範な実験を通じて検証されたように、以前の画像から 3D への技術に比べて大幅な改善を示しています。
コード、モデル、生成された 3D アセットは、https://github.com/guochengqian/Magic123 で入手できます。

要約(オリジナル)

We present Magic123, a two-stage coarse-to-fine approach for high-quality, textured 3D meshes generation from a single unposed image in the wild using both2D and 3D priors. In the first stage, we optimize a neural radiance field to produce a coarse geometry. In the second stage, we adopt a memory-efficient differentiable mesh representation to yield a high-resolution mesh with a visually appealing texture. In both stages, the 3D content is learned through reference view supervision and novel views guided by a combination of 2D and 3D diffusion priors. We introduce a single trade-off parameter between the 2D and 3D priors to control exploration (more imaginative) and exploitation (more precise) of the generated geometry. Additionally, we employ textual inversion and monocular depth regularization to encourage consistent appearances across views and to prevent degenerate solutions, respectively. Magic123 demonstrates a significant improvement over previous image-to-3D techniques, as validated through extensive experiments on synthetic benchmarks and diverse real-world images. Our code, models, and generated 3D assets are available at https://github.com/guochengqian/Magic123.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google