Diffusion Language Models Generation Can Be Halted Early

要約

拡散言語モデル (DLM) は、扱いやすく制御可能な生成に関する実用的な特性により、テキスト生成の有望な手段です。
また、テキストを自己回帰的に予測する必要がないという利点もあります。
ただし、これらの注目すべき機能にもかかわらず、DLM はまだ自己回帰対応のパフォーマンス レベルに達していません。
これら 2 種類の言語モデル間のパフォーマンスのギャップを減らす方法の 1 つは、DLM の生成を高速化することです。
したがって、この研究では、この問題に対処するための先駆的な方法論を提案します。
これにより、特定の時間枠内でより多くの生成ステップを実行できるようになり、より高品質な出力が得られる可能性があります。
具体的には、私たちの方法は DLM によるテキスト生成の完全性を推定し、生成プロセスの適応的な停止を可能にします。
私たちは、Plaid、SSD、CDCD DLM でメソッドをテストして改良し、それらの生成ワークフローに関する一貫した視点を作成します。
最後に、私たちの方法により、Plaid、SSD、CDCD モデルを停止でき、モデル サンプルの品質を低下させることなく生成時間を $10$ ～ $40$% 短縮できることを確認します。

要約(オリジナル)

Diffusion Language models (DLMs) are a promising avenue for text generation due to their practical properties on tractable controllable generation. They also have the advantage of not having to predict text autoregressively. However, despite these notable features, DLMs have not yet reached the performance levels of their Autoregressive counterparts. One of the ways to reduce the performance gap between these two types of language models is to speed up the generation of DLMs. Therefore, we propose a pioneering methodology to address this issue in this work. It enables the execution of more generation steps within a given time frame, potentially leading to higher-quality outputs. Specifically, our methods estimate DLMs completeness of text generation and allow adaptive halting of the generation process. We test and refine our methods on Plaid, SSD, and CDCD DLMs and create a cohesive perspective on their generation workflows. Finally, we confirm that our methods allow halting Plaid, SSD, and CDCD models and decrease the generation time by $10$-$40$% without a drop in the quality of model samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google