Simple Guidance Mechanisms for Discrete Diffusion Models

要約

連続データの拡散モデルは、その高品質な生成および制御メカニズムにより広く採用されています。
ただし、連続的なガイダンス手法が離散拡散に直接適用されないことを考慮すると、離散データでの制御可能な拡散は課題に直面しています。
ここでは、離散拡散に対する分類子を使用しないガイダンスと分類子ベースのガイダンスの直接的な導出と、均一なノイズを利用し、出力を継続的に編集できるためより指導しやすい新しいクラスの拡散モデルを提供します。
特にガイダンスや高速生成を伴う設定において、最先端のパフォーマンスを生み出す新しい連続時間変分下限により、これらのモデルの品質を向上させます。
経験的に、均一なノイズ拡散と組み合わせたガイダンスメカニズムにより、ゲノム配列、低分子設計、離散化画像生成などのいくつかの離散データドメイン上の自己回帰および拡散ベースラインと比較して、制御可能な生成が向上することが実証されています。

要約(オリジナル)

Diffusion models for continuous data gained widespread adoption owing to their high quality generation and control mechanisms. However, controllable diffusion on discrete data faces challenges given that continuous guidance methods do not directly apply to discrete diffusion. Here, we provide a straightforward derivation of classifier-free and classifier-based guidance for discrete diffusion, as well as a new class of diffusion models that leverage uniform noise and that are more guidable because they can continuously edit their outputs. We improve the quality of these models with a novel continuous-time variational lower bound that yields state-of-the-art performance, especially in settings involving guidance or fast generation. Empirically, we demonstrate that our guidance mechanisms combined with uniform noise diffusion improve controllable generation relative to autoregressive and diffusion baselines on several discrete data domains, including genomic sequences, small molecule design, and discretized image generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google