Provable Efficiency of Guidance in Diffusion Models for General Data Distribution

要約

拡散モデルは生成モデリングの強力なフレームワークとして登場し、ガイダンス技術はサンプルの質を高める上で重要な役割を果たしている。経験的な成功にもかかわらず、ガイダンス効果の包括的な理論的理解はまだ限られている。既存の研究は、各クラスに条件付けされた分布が等方的なガウス分布であるか、いくつかの特別な条件付きで一次元区間上にサポートされるケーススタディにのみ焦点を当てている。このようなケーススタディを越えてガイダンス効果をどのように分析するかは未解決の問題である。このギャップを埋めるために、我々は一般的なデータ分布の下での拡散ガイダンスの分析を試みる。分布によっては成立しない一様な標本品質の向上を示すのではなく、ガイダンスの存在によって分類器確率の平均逆数が減少するという意味で、ガイダンスが標本品質全体を向上させることを証明する。これはガイダンスを導入する動機と一致する。

要約(オリジナル)

Diffusion models have emerged as a powerful framework for generative modeling, with guidance techniques playing a crucial role in enhancing sample quality. Despite their empirical success, a comprehensive theoretical understanding of the guidance effect remains limited. Existing studies only focus on case studies, where the distribution conditioned on each class is either isotropic Gaussian or supported on a one-dimensional interval with some extra conditions. How to analyze the guidance effect beyond these case studies remains an open question. Towards closing this gap, we make an attempt to analyze diffusion guidance under general data distributions. Rather than demonstrating uniform sample quality improvement, which does not hold in some distributions, we prove that guidance can improve the whole sample quality, in the sense that the average reciprocal of the classifier probability decreases with the existence of guidance. This aligns with the motivation of introducing guidance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL