Wonder3D: Single Image to 3D using Cross-Domain Diffusion

要約

この研究では、単一ビューの画像から高忠実度のテクスチャ メッシュを効率的に生成する新しい方法である Wonder3D を紹介します。スコア蒸留サンプリング (SDS) に基づく最近の方法では、2D 拡散事前分布から 3D ジオメトリを復元できる可能性が示されていますが、
通常は、形状ごとの最適化に時間がかかり、ジオメトリが一貫性がないという問題に悩まされます。
対照的に、特定の作品は高速ネットワーク推論を介して 3D 情報を直接生成しますが、その結果の品質は低く、幾何学的詳細が欠けていることがよくあります。
画像から 3D へのタスクの品質、一貫性、効率を総合的に向上させるために、マルチビュー法線マップと対応するカラー画像を生成するクロスドメイン拡散モデルを提案します。
一貫性を確保するために、ビューやモダリティ間の情報交換を容易にするマルチビュー クロスドメイン アテンション メカニズムを採用しています。
最後に、マルチビュー 2D 表現から高品質のサーフェスを抽出する、ジオメトリ対応の法線融合アルゴリズムを紹介します。
我々の広範な評価により、我々の方法が従来の研究と比較して高品質の再構成結果、堅牢な一般化、およびかなり良好な効率を達成していることが実証されています。

要約(オリジナル)

In this work, we introduce Wonder3D, a novel method for efficiently generating high-fidelity textured meshes from single-view images.Recent methods based on Score Distillation Sampling (SDS) have shown the potential to recover 3D geometry from 2D diffusion priors, but they typically suffer from time-consuming per-shape optimization and inconsistent geometry. In contrast, certain works directly produce 3D information via fast network inferences, but their results are often of low quality and lack geometric details. To holistically improve the quality, consistency, and efficiency of image-to-3D tasks, we propose a cross-domain diffusion model that generates multi-view normal maps and the corresponding color images. To ensure consistency, we employ a multi-view cross-domain attention mechanism that facilitates information exchange across views and modalities. Lastly, we introduce a geometry-aware normal fusion algorithm that extracts high-quality surfaces from the multi-view 2D representations. Our extensive evaluations demonstrate that our method achieves high-quality reconstruction results, robust generalization, and reasonably good efficiency compared to prior works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google