Structured Denoising Diffusion Models in Discrete State-Spaces

要約

ノイズ除去拡散確率モデル (DDPM) (Ho et al. 2020) は、連続状態空間での画像と波形の生成に関して印象的な結果を示しています。
ここでは、Hoogeboom らの多項拡散モデルを一般化する離散データの拡散のような生成モデルである Discrete Denoising Diffusion Probabilistic Models (D3PM) を紹介します。
2021年、一様な移行確率で腐敗プロセスを超えます。
これには、連続空間でガウス カーネルを模倣する遷移行列、埋め込み空間での最近傍に基づく行列、および吸収状態を導入する行列による破損が含まれます。
3 つ目は、拡散モデルと自己回帰およびマスクベースの生成モデルとの間の接続を描画することを可能にします。
遷移行列の選択は、画像およびテキスト領域での結果の改善につながる重要な設計上の決定であることを示します。
また、変分下限と補助交差エントロピー損失を組み合わせた新しい損失関数も導入します。
テキストの場合、このモデル クラスは、LM1B で大きな語彙にスケーリングしながら、文字レベルのテキスト生成で強力な結果を達成します。
画像データセット CIFAR-10 では、モデルはサンプル品質に近づき、連続空間 DDPM モデルの対数尤度を超えています。

要約(オリジナル)

Denoising diffusion probabilistic models (DDPMs) (Ho et al. 2020) have shown impressive results on image and waveform generation in continuous state spaces. Here, we introduce Discrete Denoising Diffusion Probabilistic Models (D3PMs), diffusion-like generative models for discrete data that generalize the multinomial diffusion model of Hoogeboom et al. 2021, by going beyond corruption processes with uniform transition probabilities. This includes corruption with transition matrices that mimic Gaussian kernels in continuous space, matrices based on nearest neighbors in embedding space, and matrices that introduce absorbing states. The third allows us to draw a connection between diffusion models and autoregressive and mask-based generative models. We show that the choice of transition matrix is an important design decision that leads to improved results in image and text domains. We also introduce a new loss function that combines the variational lower bound with an auxiliary cross entropy loss. For text, this model class achieves strong results on character-level text generation while scaling to large vocabularies on LM1B. On the image dataset CIFAR-10, our models approach the sample quality and exceed the log-likelihood of the continuous-space DDPM model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google