Simple and Effective Masked Diffusion Language Models

要約

拡散モデルは高品質の画像の生成に優れていますが、以前の研究では、言語モデリングにおける拡散手法と自己回帰 (AR) 手法の間には大きなパフォーマンスのギャップがあることが報告されています。
この研究では、単純なマスクされた離散拡散がこれまで考えられていたよりも高性能であることを示します。
マスクされた拡散モデルのパフォーマンスを向上させる効果的なトレーニング レシピを適用し、さらなる改善をもたらす単純化された Rao-Blackwell 化された目標を導き出します。
私たちの目的は単純な形をしており、古典的なマスクされた言語モデリング損失の混合物です。また、効率的なサンプラーを許可するエンコーダー専用の言語モデルをトレーニングするために使用できます。これには、
伝統的な言語モデル。
言語モデリングのベンチマークでは、現代のエンジニアリング手法でトレーニングされた一連のマスクされた拡散モデルが、拡散モデルの中で新たな最先端を達成し、AR の複雑さにアプローチします。
コードは https://github.com/kuleshov-group/mdlm でリリースしています。

要約(オリジナル)

While diffusion models excel at generating high-quality images, prior work reports a significant performance gap between diffusion and autoregressive (AR) methods in language modeling. In this work, we show that simple masked discrete diffusion is more performant than previously thought. We apply an effective training recipe that improves the performance of masked diffusion models and derive a simplified, Rao-Blackwellized objective that results in additional improvements. Our objective has a simple form — it is a mixture of classical masked language modeling losses — and can be used to train encoder-only language models that admit efficient samplers, including ones that can generate arbitrary lengths of text semi-autoregressively like a traditional language model. On language modeling benchmarks, a range of masked diffusion models trained with modern engineering practices achieves a new state-of-the-art among diffusion models, and approaches AR perplexity. We release our code at: https://github.com/kuleshov-group/mdlm

arxiv情報

提供元, 利用サービス

arxiv.jp, Google