Simplified and Generalized Masked Diffusion for Discrete Data

要約

マスクされた (または吸収) 拡散は、離散データの生成モデリングのための自己回帰モデルの代替として積極的に研究されています。
しかし、この分野における既存の作業は、不必要に複雑なモデルの定式化と、さまざまな視点間の不明確な関係によって妨げられており、最適ではないパラメータ化、トレーニング目標、およびこれらの問題に対処するためのアドホックな調整につながっています。
この作業では、マスクされた拡散モデルの可能性を最大限に引き出す、シンプルで一般的なフレームワークを提供することを目的としています。
マスクされた拡散モデルの連続時間変分目標は、クロスエントロピー損失の単純な重み付き積分であることを示します。
私たちのフレームワークでは、状態依存のマスキング スケジュールを使用して一般化されたマスクされた拡散モデルをトレーニングすることもできます。
複雑さによって評価すると、OpenWebText でトレーニングされたモデルは、GPT-2 スケールで以前の普及言語モデルを上回り、ゼロショット言語モデリング タスクの 5 つのうち 4 つで優れたパフォーマンスを示します。
さらに、当社のモデルは、ピクセルレベルの画像モデリングにおいて以前の離散拡散モデルを大幅に上回り、次元あたり 2.78 ～ (CIFAR-10) および 3.42 (ImageNet 64$\times$64) ビットを達成しており、これは同様のサイズの自己回帰モデルと同等かそれ以上です。

要約(オリジナル)

Masked (or absorbing) diffusion is actively explored as an alternative to autoregressive models for generative modeling of discrete data. However, existing work in this area has been hindered by unnecessarily complex model formulations and unclear relationships between different perspectives, leading to suboptimal parameterization, training objectives, and ad hoc adjustments to counteract these issues. In this work, we aim to provide a simple and general framework that unlocks the full potential of masked diffusion models. We show that the continuous-time variational objective of masked diffusion models is a simple weighted integral of cross-entropy losses. Our framework also enables training generalized masked diffusion models with state-dependent masking schedules. When evaluated by perplexity, our models trained on OpenWebText surpass prior diffusion language models at GPT-2 scale and demonstrate superior performance on 4 out of 5 zero-shot language modeling tasks. Furthermore, our models vastly outperform previous discrete diffusion models on pixel-level image modeling, achieving 2.78~(CIFAR-10) and 3.42 (ImageNet 64$\times$64) bits per dimension that are comparable or better than autoregressive models of similar sizes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google