Empowering Diffusion Models on the Embedding Space for Text Generation

要約

拡散モデルは、視覚タスクと音声タスクの両方で最先端の合成品質を達成しており、最近の研究では、埋め込み空間上で拡散することにより、拡散モデルをテキスト データにさらに適応させています。
この論文では、これまで注意深く検討されてこなかった、埋め込み空間とノイズ除去モデルの両方で直面する最適化の課題について体系的な研究を行います。
第一に、データ分布は埋め込みに対して学習可能であるため、埋め込み空間の崩壊と不安定なトレーニングにつながる可能性があります。
この問題を軽減するために、以前の方法よりも効率的なアンカー損失と呼ばれる新しい目標を提案します。
第 2 に、従来のスケジュールのノイズ レベルでは、結果的にさまざまな程度の劣化が生じながら、望ましいノイズ除去モデルをトレーニングするには不十分であることがわかります。
この課題に対処するために、ノイズ リスケールと呼ばれる新しいフレームワークを提案します。
上記の分析に基づいて、Transformer に基づく埋め込み拡散モデルである Diffformer を提案します。
独創的なテキスト生成タスクのさまざまな実験では、提案された方法の有効性と、以前の最先端の埋め込み拡散ベースラインに対する Diffformer の優位性が示されています。

要約(オリジナル)

Diffusion models have achieved state-of-the-art synthesis quality on both visual and audio tasks, and recent works further adapt them to textual data by diffusing on the embedding space. In this paper, we conduct systematic studies of the optimization challenges encountered with both the embedding space and the denoising model, which have not been carefully explored. Firstly, the data distribution is learnable for embeddings, which may lead to the collapse of the embedding space and unstable training. To alleviate this problem, we propose a new objective called the anchor loss which is more efficient than previous methods. Secondly, we find the noise levels of conventional schedules are insufficient for training a desirable denoising model while introducing varying degrees of degeneration in consequence. To address this challenge, we propose a novel framework called noise rescaling. Based on the above analysis, we propose Difformer, an embedding diffusion model based on Transformer. Experiments on varieties of seminal text generation tasks show the effectiveness of the proposed methods and the superiority of Difformer over previous state-of-the-art embedding diffusion baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google