Diffusion Language Models Generation Can Be Halted Early

要約

拡散言語モデル (DLM) は、扱いやすく制御可能な生成に関する実用的な特性により、テキスト生成の有望な手段です。
また、テキストを自己回帰的に予測する必要がないという利点もあります。
ただし、これらの注目すべき機能にもかかわらず、DLM はまだ自己回帰型のパフォーマンス レベルに達していません。
これら 2 種類の言語モデル間のパフォーマンスのギャップを減らす方法の 1 つは、DLM の生成を高速化することです。
したがって、この研究では、この問題に対処するための新しい方法論を提案します。
これにより、特定の時間枠内でより多くの生成ステップを実行できるようになり、より高品質の出力が得られます。
具体的には、私たちの方法は DLM によるテキスト生成の完全性を推定し、生成プロセスの適応的な停止を可能にします。
私たちは、Plaid、SSD、CDCD DLM に関する手法を評価し、それらの生成ワークフローに関する一貫した視点を作成します。
最後に、私たちの方法により、モデル サンプルの品質を低下させることなく、これらのモデルを停止し、生成時間を $10$ ～ $40$\% 短縮できることを確認します。

要約(オリジナル)

Diffusion Language models (DLMs) are a promising avenue for text generation due to their practical properties on tractable controllable generation. They also have the advantage of not having to predict text autoregressively. However, despite these notable features, DLMs have not yet reached the performance levels of their autoregressive counterparts. One of the ways to reduce the performance gap between these two types of language models is to speed up the generation of DLMs. Therefore, we propose a novel methodology to address this issue in this work. It enables the execution of more generation steps within a given time frame, leading to higher-quality outputs. Specifically, our methods estimate DLMs completeness of text generation and allow adaptive halting of the generation process. We evaluate our methods on Plaid, SSD, and CDCD DLMs and create a cohesive perspective on their generation workflows. Finally, we confirm that our methods allow halting these models and decrease the generation time by $10$-$40$\% without a drop in the quality of model samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google