Your Absorbing Discrete Diffusion Secretly Models the Conditional Distributions of Clean Data

要約

吸収プロセスを備えた離散拡散モデルは、言語モデリングに有望を示しています。
推定される重要な量は、コンクリートスコアと呼ばれるすべてのタイムステップでの2つの推移状態の周辺確率の間の比率です。
この論文では、吸収拡散のコンクリートスコアが、クリーンデータの条件付き確率として表現できることを明らかにし、分析形式の時間依存スカラーを掛けます。
この発見に動機付けられて、我々は、時間に依存しない条件付き確率を特徴付ける時間条件なしの専用拡散モデルである、吸収する吸収性離散拡散（RADD）を再分析することを提案します。
その単純さに加えて、RADDは、サンプリング間隔でノイズの多いサンプルが変更されていない場合に、時間非依存ネットワークの出力をキャッシュすることにより、機能評価の数（NFE）を減らすことができます。
条件付き分布の新しい視点に基づいて構築され、吸収する離散拡散とあらゆるオーダーの自己回帰モデル（AO-arms）をさらに統一し、拡散モデルの負の対数尤度の上限が予想されるネガティブログとして解釈できることを示しています。
– AO-Armsの視点。
さらに、当社のRADDモデルは、GPT-2スケールで5つのゼロショット言語モデリングベンチマーク（困惑で測定）で拡散モデル間でSOTAパフォーマンスを実現します。
私たちのコードは、https：//github.com/ml-gsai/raddで入手できます。

要約(オリジナル)

Discrete diffusion models with absorbing processes have shown promise in language modeling. The key quantities to be estimated are the ratios between the marginal probabilities of two transitive states at all timesteps, called the concrete score. In this paper, we reveal that the concrete score in absorbing diffusion can be expressed as conditional probabilities of clean data, multiplied by a time-dependent scalar in an analytic form. Motivated by this finding, we propose reparameterized absorbing discrete diffusion (RADD), a dedicated diffusion model without time-condition that characterizes the time-independent conditional probabilities. Besides its simplicity, RADD can reduce the number of function evaluations (NFEs) by caching the output of the time-independent network when the noisy sample remains unchanged in a sampling interval, which enables sampling acceleration. Built upon the new perspective of conditional distributions, we further unify absorbing discrete diffusion and any-order autoregressive models (AO-ARMs), showing that the upper bound on the negative log-likelihood for the diffusion model can be interpreted as an expected negative log-likelihood for AO-ARMs. Further, our RADD models achieve SOTA performance among diffusion models on 5 zero-shot language modeling benchmarks (measured by perplexity) at the GPT-2 scale. Our code is available at https://github.com/ML-GSAI/RADD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google