Rectified Diffusion Guidance for Conditional Generation

要約

分類子なしガイダンス (CFG) は、条件付きスコア関数と無条件スコア関数を 2 つの係数の合計が 1 になるように組み合わせたもので、拡散モデル サンプリングの実用的な手法として機能します。
ただし、理論的には、CFG によるノイズ除去を相互拡散プロセスとして表現することはできないため、使用中に隠れたリスクが残る可能性があります。
この研究では、CFG の背後にある理論を再検討し、結合係数の不適切な構成 (つまり、広く使用されている 1 に加算するバージョン) が生成分布の期待値のシフトを引き起こすことを厳密に確認します。
この問題を修正するために、ReCFG によるノイズ除去が拡散理論と厳密に一致するように、ガイダンス係数を緩和した ReCFG を提案します。
さらに、ガイダンスの強度を考慮すると、私たちのアプローチが閉じた形式の解決策を享受できることを示します。
こうすることで、観測データをトラバースすることで修正された係数を簡単に事前計算でき、サンプリング速度にはほとんど影響を与えません。
実世界のデータに関する経験的証拠は、クラス条件付きモデル (ImageNet 上の EDM2 など) とテキスト条件付きモデル (SD3 など) の両方を含む既存の最先端の拡散モデルと、ポストホック設計の互換性を示しています。
CC12M)、再トレーニングなし。
さらなる研究を促進するために、コードをオープンソース化します。

要約(オリジナル)

Classifier-Free Guidance (CFG), which combines the conditional and unconditional score functions with two coefficients summing to one, serves as a practical technique for diffusion model sampling. Theoretically, however, denoising with CFG cannot be expressed as a reciprocal diffusion process, which may consequently leave some hidden risks during use. In this work, we revisit the theory behind CFG and rigorously confirm that the improper configuration of the combination coefficients (i.e., the widely used summing-to-one version) brings about expectation shift of the generative distribution. To rectify this issue, we propose ReCFG with a relaxation on the guidance coefficients such that denoising with ReCFG strictly aligns with the diffusion theory. We further show that our approach enjoys a closed-form solution given the guidance strength. That way, the rectified coefficients can be readily pre-computed via traversing the observed data, leaving the sampling speed barely affected. Empirical evidence on real-world data demonstrate the compatibility of our post-hoc design with existing state-of-the-art diffusion models, including both class-conditioned ones (e.g., EDM2 on ImageNet) and text-conditioned ones (e.g., SD3 on CC12M), without any retraining. We will open-source the code to facilitate further research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google