Consistent123: One Image to Highly Consistent 3D Asset Using Case-Aware Diffusion Priors

要約

事前学習された拡散モデルに基づいて単一の画像から 3D オブジェクトを再構成すると、有望な結果が得られることが実証されています。
ただし、症例に依存しない厳格な戦略を利用しているため、任意の症例への汎化能力と再構成の 3D 一貫性はまだ不十分です。
この研究では、2D と 3D の両方の拡散事前分布を使用して 1 つの画像から一貫性の高い 3D アセットを再構築するための、ケースを意識した 2 段階の手法である Consistent123 を提案します。
最初の段階では、Consistent123 はジオメトリを十分に活用するために 3D 構造事前分布のみを利用し、このプロセス内に埋め込まれた CLIP ベースのケース認識適応検出メカニズムを使用します。
第 2 段階では、2D テクスチャ プリアが導入され、徐々に主要なガイドの役割を担い、3D モデルの詳細を繊細に彫刻します。
Consistent123 は、ガイダンス要件の進化する傾向により密接に対応し、さまざまなオブジェクトに適切な 3D 幾何学的な初期化と適切な 2D テクスチャの改良を適応的に提供します。
Consistent123 は 3D 整合性の高い再構成が得られ、さまざまなオブジェクトにわたって強力な汎化能力を発揮します。
定性的および定量的実験により、私たちの方法が最先端の画像から 3D への方法よりも大幅に優れていることが示されています。
生成された 3D アセットのより包括的な調査については、https://Consistent123.github.io を参照してください。

要約(オリジナル)

Reconstructing 3D objects from a single image guided by pretrained diffusion models has demonstrated promising outcomes. However, due to utilizing the case-agnostic rigid strategy, their generalization ability to arbitrary cases and the 3D consistency of reconstruction are still poor. In this work, we propose Consistent123, a case-aware two-stage method for highly consistent 3D asset reconstruction from one image with both 2D and 3D diffusion priors. In the first stage, Consistent123 utilizes only 3D structural priors for sufficient geometry exploitation, with a CLIP-based case-aware adaptive detection mechanism embedded within this process. In the second stage, 2D texture priors are introduced and progressively take on a dominant guiding role, delicately sculpting the details of the 3D model. Consistent123 aligns more closely with the evolving trends in guidance requirements, adaptively providing adequate 3D geometric initialization and suitable 2D texture refinement for different objects. Consistent123 can obtain highly 3D-consistent reconstruction and exhibits strong generalization ability across various objects. Qualitative and quantitative experiments show that our method significantly outperforms state-of-the-art image-to-3D methods. See https://Consistent123.github.io for a more comprehensive exploration of our generated 3D assets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google