A Reparameterized Discrete Diffusion Model for Text Generation

要約

本研究では、離散拡散確率モデルを自然言語生成に応用して研究する。我々は、離散拡散過程からのサンプリングの代替的でありながら等価な定式化を導出し、この洞察を活用して再パラメータ化された離散拡散モデルのファミリーを開発する。導出された一般的なフレームワークは非常に柔軟であり、離散拡散モデルにおける生成過程に対する新たな視点を提供し、より効果的な学習と復号化技術を特徴とする。我々のモデルのテキスト生成能力を評価するために広範な実験を行い、既存の拡散モデルに対する大幅な改善を実証する。

要約(オリジナル)

This work studies discrete diffusion probabilistic models with applications to natural language generation. We derive an alternative yet equivalent formulation of the sampling from discrete diffusion processes and leverage this insight to develop a family of reparameterized discrete diffusion models. The derived generic framework is highly flexible, offers a fresh perspective of the generation process in discrete diffusion models, and features more effective training and decoding techniques. We conduct extensive experiments to evaluate the text generation capability of our model, demonstrating significant improvements over existing diffusion models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL