Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image

要約

この研究では、単一ビュー画像から高品質の 3D メッシュを効率的に生成するための新しい画像から 3D フレームワークである Unique3D を紹介します。これは、最先端の生成忠実度と強力な汎用性を備えています。
スコア蒸留サンプリング (SDS) に基づく以前の方法は、大規模な 2D 拡散モデルから 3D 知識を蒸留することによって多様な 3D 結果を生成できますが、通常、一貫性のない問題が発生し、ケースごとの最適化に長い時間がかかるという問題がありました。
最近の研究では、マルチビュー拡散モデルを微調整するか、高速フィードフォワード モデルをトレーニングすることによって、この問題に対処し、より良い 3D 結果を生成しています。
ただし、一貫性がなく、生成される解像度が限られているため、複雑なテクスチャや複雑なジオメトリがまだ欠けています。
単一画像から 3D への高い忠実度、一貫性、効率を同時に達成するために、法線マップを含むマルチビュー画像を生成するための、対応する法線拡散モデルを備えたマルチビュー拡散モデルを含む新しいフレームワーク Unique3D を提案します。
生成された正射投影マルチビューの解像度を段階的に向上させるマルチレベルのアップスケール プロセスと、色と幾何学的事前分布をメッシュ結果に完全に統合する ISOMER と呼ばれる即時かつ一貫したメッシュ再構成アルゴリズムです。
広範な実験により、当社の Unique3D は、幾何学的およびテクスチャの詳細に関して他の画像から 3D ベースラインよりも大幅に優れていることが実証されました。

要約(オリジナル)

In this work, we introduce Unique3D, a novel image-to-3D framework for efficiently generating high-quality 3D meshes from single-view images, featuring state-of-the-art generation fidelity and strong generalizability. Previous methods based on Score Distillation Sampling (SDS) can produce diversified 3D results by distilling 3D knowledge from large 2D diffusion models, but they usually suffer from long per-case optimization time with inconsistent issues. Recent works address the problem and generate better 3D results either by finetuning a multi-view diffusion model or training a fast feed-forward model. However, they still lack intricate textures and complex geometries due to inconsistency and limited generated resolution. To simultaneously achieve high fidelity, consistency, and efficiency in single image-to-3D, we propose a novel framework Unique3D that includes a multi-view diffusion model with a corresponding normal diffusion model to generate multi-view images with their normal maps, a multi-level upscale process to progressively improve the resolution of generated orthographic multi-views, as well as an instant and consistent mesh reconstruction algorithm called ISOMER, which fully integrates the color and geometric priors into mesh results. Extensive experiments demonstrate that our Unique3D significantly outperforms other image-to-3D baselines in terms of geometric and textural details.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google