GECO: Generative Image-to-3D within a SECOnd

要約

近年、3D世代の進歩は目覚ましいものがあります。
スコア蒸留法などの既存の手法は顕著な結果をもたらしますが、シーンごとの広範な最適化が必要であり、時間効率に影響を与えます。
あるいは、再構成ベースのアプローチでは効率が優先されますが、不確実性への対応が限られているため、品質が損なわれます。
1 秒以内に実行できる高品質な 3D 生成モデリングの新しい手法である GECO を紹介します。
私たちのアプローチは、2 段階のアプローチを通じて、現在の方法における不確実性と非効率性という一般的な問題に対処します。
初期段階では、スコア蒸留を使用してシングルステップのマルチビュー生成モデルをトレーニングします。
次に、第 2 段階の蒸留が適用され、マルチビュー予測によるビューの不一致という課題に対処します。
この 2 段階のプロセスにより、3D 生成に対するバランスの取れたアプローチが保証され、品質と効率の両方が最適化されます。
私たちの包括的な実験は、GECO が前例のないレベルの効率で高品質の画像から 3D への生成を達成していることを実証しています。

要約(オリジナル)

3D generation has seen remarkable progress in recent years. Existing techniques, such as score distillation methods, produce notable results but require extensive per-scene optimization, impacting time efficiency. Alternatively, reconstruction-based approaches prioritize efficiency but compromise quality due to their limited handling of uncertainty. We introduce GECO, a novel method for high-quality 3D generative modeling that operates within a second. Our approach addresses the prevalent issues of uncertainty and inefficiency in current methods through a two-stage approach. In the initial stage, we train a single-step multi-view generative model with score distillation. Then, a second-stage distillation is applied to address the challenge of view inconsistency from the multi-view prediction. This two-stage process ensures a balanced approach to 3D generation, optimizing both quality and efficiency. Our comprehensive experiments demonstrate that GECO achieves high-quality image-to-3D generation with an unprecedented level of efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google