Diverse Score Distillation

要約

2D 拡散モデルのスコア蒸留は、テキストベースの 3D 生成や単一ビューの再構築を可能にするなど、3D 最適化を導く強力なメカニズムであることが証明されています。
ただし、既存のスコア蒸留公式に共通する制限は、基礎となる拡散モデルが多様なサンプルを生成できるにもかかわらず、(モード探索) 最適化の出力の多様性が制限されていることです。
この研究では、ノイズ除去拡散におけるサンプリング プロセスにヒントを得て、ランダムな初期シードによって定義された生成パスに従うように最適化をガイドし、多様性を確保するスコア定式化を提案します。
次に、最適化が生成パスに正確に従わない可能性があるシナリオ (たとえば、レンダリングが共依存的に進化する 3D 表現) にこの定式化を採用するための近似を提示します。
2D 最適化、テキストベースの 3D 推論、シングルビュー再構成などのタスクにわたる「ダイバース スコア蒸留」(DSD) 定式化のアプリケーションを紹介します。
また、以前のスコア蒸留処方に対して DSD を経験的に検証し、忠実度を維持しながらサンプルの多様性を大幅に改善することを示します。

要約(オリジナル)

Score distillation of 2D diffusion models has proven to be a powerful mechanism to guide 3D optimization, for example enabling text-based 3D generation or single-view reconstruction. A common limitation of existing score distillation formulations, however, is that the outputs of the (mode-seeking) optimization are limited in diversity despite the underlying diffusion model being capable of generating diverse samples. In this work, inspired by the sampling process in denoising diffusion, we propose a score formulation that guides the optimization to follow generation paths defined by random initial seeds, thus ensuring diversity. We then present an approximation to adopt this formulation for scenarios where the optimization may not precisely follow the generation paths (e.g. a 3D representation whose renderings evolve in a co-dependent manner). We showcase the applications of our `Diverse Score Distillation’ (DSD) formulation across tasks such as 2D optimization, text-based 3D inference, and single-view reconstruction. We also empirically validate DSD against prior score distillation formulations and show that it significantly improves sample diversity while preserving fidelity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google