Guidance with Spherical Gaussian Constraint for Conditional Diffusion

要約

拡散モデルにおける最近の進歩は、微分可能な損失関数をガイダンスに利用することで、追加のトレーニングを必要とせずに条件付き生成タスクを処理しようとするものである。これらの手法は一定の成功を収めたが、サンプルの質に妥協することが多く、小さなガイダンスステップサイズを必要とするため、サンプリング過程が長くなってしまう。本論文では、損失ガイダンスを用いた場合のサンプリング過程における多様体偏差に根本的な問題があることを明らかにする。我々は、損失ガイダンスの推定誤差に対するある下界を確立することにより、多様体偏差の存在を理論的に示す。この問題を軽減するために、高次元ガウス分布における集中現象からヒントを得て、球状ガウス制約を用いた拡散(DSG)を提案する。DSGは最適化により中間データ多様体内の誘導ステップを効果的に制約し、より大きな誘導ステップの使用を可能にする。さらに、球状ガウス制約を用いたDSGノイズ除去の閉形式解を示す。特筆すべきは、DSGは既存の訓練不要の条件拡散法のプラグインモジュールとしてシームレスに統合できることである。DSGの実装は、数行の追加コードを含むだけで、余分な計算オーバヘッドはほとんどないが、大幅な性能向上につながる。様々な条件生成タスクにおける包括的な実験結果は、サンプルの品質と時間効率の両方において、DSGの優位性と適応性を検証している。

要約(オリジナル)

Recent advances in diffusion models attempt to handle conditional generative tasks by utilizing a differentiable loss function for guidance without the need for additional training. While these methods achieved certain success, they often compromise on sample quality and require small guidance step sizes, leading to longer sampling processes. This paper reveals that the fundamental issue lies in the manifold deviation during the sampling process when loss guidance is employed. We theoretically show the existence of manifold deviation by establishing a certain lower bound for the estimation error of the loss guidance. To mitigate this problem, we propose Diffusion with Spherical Gaussian constraint (DSG), drawing inspiration from the concentration phenomenon in high-dimensional Gaussian distributions. DSG effectively constrains the guidance step within the intermediate data manifold through optimization and enables the use of larger guidance steps. Furthermore, we present a closed-form solution for DSG denoising with the Spherical Gaussian constraint. Notably, DSG can seamlessly integrate as a plugin module within existing training-free conditional diffusion methods. Implementing DSG merely involves a few lines of additional code with almost no extra computational overhead, yet it leads to significant performance improvements. Comprehensive experimental results in various conditional generation tasks validate the superiority and adaptability of DSG in terms of both sample quality and time efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL