Promises, Outlooks and Challenges of Diffusion Language Modeling

要約

最新の自己回帰大規模言語モデル (LLM) は、NLP ベンチマークで優れたパフォーマンスを達成しており、現実世界に導入されています。
ただし、依然として自己回帰トレーニング パラダイムの制限に悩まされています。
たとえば、自己回帰トークンの生成は著しく遅く、\textit{露出バイアス}が発生しやすい可能性があります。
拡散ベースの言語モデルは、これらの制限の一部に対処するための自己回帰生成の代替手段として提案されました。
私たちは、最近提案されたスコア エントロピー離散拡散 (SEDD) アプローチを評価し、それが自己回帰生成に代わる有望な代替手段であることを示しますが、いくつかの欠点もあります。
私たちは SEDD の利点と課題を経験的に実証し、SEDD が一般的に複雑性および HellaSwag、Arc、WinoGrande などのベンチマークにおいて自己回帰モデルと一致することを観察しました。
さらに、推論レイテンシの点で、SEDD は GPT-2 よりも最大 4.5 倍の効率性を発揮できることを示します。
SEDD では任意の位置のトークンに対する条件付けが可能ですが、短いプロンプトを与えられた場合の条件付き生成に関しては、SEDD は GPT-2 よりわずかに弱いように見えます。
最後に、元の SEDD 論文の主な結果を再現しました。

要約(オリジナル)

The modern autoregressive Large Language Models (LLMs) have achieved outstanding performance on NLP benchmarks, and they are deployed in the real world. However, they still suffer from limitations of the autoregressive training paradigm. For example, autoregressive token generation is notably slow and can be prone to \textit{exposure bias}. The diffusion-based language models were proposed as an alternative to autoregressive generation to address some of these limitations. We evaluate the recently proposed Score Entropy Discrete Diffusion (SEDD) approach and show it is a promising alternative to autoregressive generation but it has some short-comings too. We empirically demonstrate the advantages and challenges of SEDD, and observe that SEDD generally matches autoregressive models in perplexity and on benchmarks such as HellaSwag, Arc or WinoGrande. Additionally, we show that in terms of inference latency, SEDD can be up to 4.5$\times$ more efficient than GPT-2. While SEDD allows conditioning on tokens at abitrary positions, SEDD appears slightly weaker than GPT-2 for conditional generation given short prompts. Finally, we reproduced the main results from the original SEDD paper.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google