Unified Discrete Diffusion for Categorical Data

要約

離散拡散モデルは、言語やグラフなどの自然に離散的なデータのアプリケーションで注目が高まっています。
離散時間離散拡散はしばらく確立されてきましたが、Campbell らによって確立されたのはつい最近のことです。
(2022) 連続時間離散拡散のための最初のフレームワークを導入しました。
ただし、トレーニングとサンプリングのプロセスは離散時間バージョンとは大幅に異なるため、扱いやすさのために自明ではない近似が必要になります。
この論文では、まず、離散拡散のより正確で最適化が容易なトレーニングを可能にする変分下限の一連の数学的単純化を紹介します。
さらに、正確かつ高速なサンプリング、そして重要なことに、離散時間と連続時間の離散拡散の洗練された統合を可能にする後方ノイズ除去のための簡単な定式化を導き出します。
より単純な解析公式のおかげで、前方確率と後方確率の両方で、複数要素オブジェクトのさまざまなノイズ分布を含む、あらゆるノイズ分布に柔軟に対応できます。
実験の結果、私たちが提案した USD3 (Unified Simplified Discrete Denoising Diffusion 用) が、確立されたデータセット上のすべての SOTA ベースラインよりも優れたパフォーマンスを示すことが示されています。
統合コードは https://github.com/LingxiaoShawn/USD3 でオープンソース化されています。

要約(オリジナル)

Discrete diffusion models have seen a surge of attention with applications on naturally discrete data such as language and graphs. Although discrete-time discrete diffusion has been established for a while, only recently Campbell et al. (2022) introduced the first framework for continuous-time discrete diffusion. However, their training and sampling processes differ significantly from the discrete-time version, necessitating nontrivial approximations for tractability. In this paper, we first present a series of mathematical simplifications of the variational lower bound that enable more accurate and easy-to-optimize training for discrete diffusion. In addition, we derive a simple formulation for backward denoising that enables exact and accelerated sampling, and importantly, an elegant unification of discrete-time and continuous-time discrete diffusion. Thanks to simpler analytical formulations, both forward and now also backward probabilities can flexibly accommodate any noise distribution, including different noise distributions for multi-element objects. Experiments show that our proposed USD3 (for Unified Simplified Discrete Denoising Diffusion) outperform all SOTA baselines on established datasets. We open-source our unified code at https://github.com/LingxiaoShawn/USD3.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google