DreamPropeller: Supercharge Text-to-3D Generation with Parallel Sampling

要約

テキストから 3D への生成に 2D 拡散モデルを使用したスコア蒸留サンプリング (SDS) や変分スコア蒸留 (VSD) などの最近の手法は、優れた生成品質を実証しています。
ただし、このようなアルゴリズムの生成時間が長いため、ユーザー エクスペリエンスが大幅に低下します。
この問題に取り組むために、スコア蒸留に基づいた既存のテキストから 3D 生成パイプラインにラップできるドロップイン アクセラレーション アルゴリズムである DreamPropeller を提案します。
私たちのフレームワークは、ODE パスを並列サンプリングするための古典的なアルゴリズムであるピカール反復を一般化し、3D 生成の多くの場合と同様に、運動量ベースの勾配更新や最適化プロセス中の次元の変更などの非 ODE パスを考慮できます。
私たちのアルゴリズムは実時間と並列計算を交換し、テストされたすべてのフレームワークで生成品質の低下を無視して最大 4.7 倍の高速化を経験的に達成することを示します。

要約(オリジナル)

Recent methods such as Score Distillation Sampling (SDS) and Variational Score Distillation (VSD) using 2D diffusion models for text-to-3D generation have demonstrated impressive generation quality. However, the long generation time of such algorithms significantly degrades the user experience. To tackle this problem, we propose DreamPropeller, a drop-in acceleration algorithm that can be wrapped around any existing text-to-3D generation pipeline based on score distillation. Our framework generalizes Picard iterations, a classical algorithm for parallel sampling an ODE path, and can account for non-ODE paths such as momentum-based gradient updates and changes in dimensions during the optimization process as in many cases of 3D generation. We show that our algorithm trades parallel compute for wallclock time and empirically achieves up to 4.7x speedup with a negligible drop in generation quality for all tested frameworks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google