Masked Diffusion Models are Secretly Time-Agnostic Masked Models and Exploit Inaccurate Categorical Sampling

要約

マスクされた拡散モデル（MDMS）は、他の離散拡散モデルよりも優れたパフォーマンスのおかげで、個別のデータの生成モデリングの一般的な研究トピックとして浮上しており、言語モデリングタスクの自動回帰モデル（ARMS）に匹敵しています。
マスクされた拡散フレームワークを簡素化する最近の取り組みは、連続空間拡散モデルとより原則的なトレーニングとサンプリングレシピとの整合にさらにつながります。
ただし、このホワイトペーパーでは、MDMのトレーニングとサンプリングの両方が理論的には時間変数、おそらく拡散モデルの重要な署名であり、代わりにマスクされたモデルと同等であることを明らかにします。
サンプリングの側面に関する接続は、提案された最初のヒットサンプラー（FHS）によって描画されます。
具体的には、FHSは理論的にはMDMSの元の生成プロセスと同等であると同時に、時間のかかるカテゴリサンプリングを大幅に緩和し、20 $ \ Times $ speedupを達成することを示します。
さらに、私たちの調査は、MDMがテキスト生成で本当に武器を打ち負かすことができるかどうかについて疑問を投げかけています。
一般的に使用される32ビットの浮動小数点精度でさえ、根本的な数値の問題を初めて特定し、それが不正確なカテゴリサンプリングをもたらします。
理論的および経験的に有効な温度を下げることを示し、結果として生成されるトークンの多様性の減少により、以前の評価が行われ、生成の品質が不完全な生成困惑メトリックのみを介して、やや不公平に評価されます。

要約(オリジナル)

Masked diffusion models (MDMs) have emerged as a popular research topic for generative modeling of discrete data, thanks to their superior performance over other discrete diffusion models, and are rivaling the auto-regressive models (ARMs) for language modeling tasks. The recent effort in simplifying the masked diffusion framework further leads to alignment with continuous-space diffusion models and more principled training and sampling recipes. In this paper, however, we reveal that both training and sampling of MDMs are theoretically free from the time variable, arguably the key signature of diffusion models, and are instead equivalent to masked models. The connection on the sampling aspect is drawn by our proposed first-hitting sampler (FHS). Specifically, we show that the FHS is theoretically equivalent to MDMs’ original generation process while significantly alleviating the time-consuming categorical sampling and achieving a 20$\times$ speedup. In addition, our investigation raises doubts about whether MDMs can truly beat ARMs in text generation. We identify, for the first time, an underlying numerical issue, even with the commonly used 32-bit floating-point precision, which results in inaccurate categorical sampling. We show that it lowers the effective temperature both theoretically and empirically, and the resulting decrease in token diversity makes previous evaluations, which assess the generation quality solely through the incomplete generative perplexity metric, somewhat unfair.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google