Conditional [MASK] Discrete Diffusion Language Model

要約

自動回帰モデルは自然言語処理に優れていますが、多くの場合、多様なテキストを生成するのに苦労し、制御可能性が限られています。
非自動再帰的方法は代替手段である可能性がありますが、しばしば縮退した出力を生成し、条件付き生成で欠点を示します。
これらの課題に対処するために、条件付きマルコフランダムフィールドの理論的レンズを介して条件付きマスク言語モデルを拡散言語モデルに統合する新しいフレームワークであるDiffusion-eagsを提案します。
そうすることで、各モデルの欠点を相殺するために、エントロピーに適したギブスサンプリングとエントロピーベースのノイズスケジューリングを提案します。
実験結果は、拡散EAGがベースラインよりも優れていることを示しており、最高品質の多様性のトレードオフを達成し、非自動性テキスト生成におけるその有効性を示しています。

要約(オリジナル)

Although auto-regressive models excel in natural language processing, they often struggle to generate diverse text and provide limited controllability. Non-auto-regressive methods could be an alternative but often produce degenerate outputs and exhibit shortcomings in conditional generation. To address these challenges, we propose Diffusion-EAGS, a novel framework that integrates conditional masked language models into diffusion language models through the theoretical lens of a conditional Markov Random Field. In doing so, we propose entropy-adaptive Gibbs sampling and entropy-based noise scheduling to counterbalance each model’s shortcomings. Experimental results show that Diffusion-EAGS outperforms baselines and achieves the best quality-diversity tradeoff, demonstrating its effectiveness in non-autoregressive text generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google