Studying Classifier(-Free) Guidance From a Classifier-Centric Perspective

要約

分類器のないガイダンスは、拡散モデルを除去する条件付き発電の定番となっています。
ただし、分類器のないガイダンスの包括的な理解はまだありません。
この作業では、分類器のないガイダンスに関する新鮮な視点を提供するために、経験的研究を実施します。
具体的には、分類器のないガイダンスのみに焦点を当てるのではなく、ルート、つまり分類器のガイダンスに戻り、派生の重要な仮定を特定し、分類器の役割を理解するための体系的な研究を実施します。
分類器のガイダンスと分類器のないガイダンスの両方が、決定境界、つまり条件付き情報が通常絡み合って学習が困難な領域から除去拡散軌跡を押しのけることにより、条件付き生成を達成することがわかります。
この分類器中心の理解に基づいて、フローマッチングに基づいて構築された一般的なポストプロセスステップを提案して、主に決定境界周辺に、事前に訓練された除去モデルの学習分布と実際のデータ分布の間のギャップを縮小します。
さまざまなデータセットでの実験では、提案されたアプローチの有効性が検証されます。

要約(オリジナル)

Classifier-free guidance has become a staple for conditional generation with denoising diffusion models. However, a comprehensive understanding of classifier-free guidance is still missing. In this work, we carry out an empirical study to provide a fresh perspective on classifier-free guidance. Concretely, instead of solely focusing on classifier-free guidance, we trace back to the root, i.e., classifier guidance, pinpoint the key assumption for the derivation, and conduct a systematic study to understand the role of the classifier. We find that both classifier guidance and classifier-free guidance achieve conditional generation by pushing the denoising diffusion trajectories away from decision boundaries, i.e., areas where conditional information is usually entangled and is hard to learn. Based on this classifier-centric understanding, we propose a generic postprocessing step built upon flow-matching to shrink the gap between the learned distribution for a pre-trained denoising diffusion model and the real data distribution, majorly around the decision boundaries. Experiments on various datasets verify the effectiveness of the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google