Transfer Learning for Text Diffusion Models

要約

このレポートでは、大規模言語モデル (LLM) のトレーニングと展開において、自己回帰 (AR) デコーディングに代わるテキスト拡散の可能性を探ります。
私たちは、「AR2Diff」と呼ばれる軽量の適応手順を通じて、事前トレーニングされた AR モデルをテキスト拡散モデルに変換できるかどうかを確認することに特に興味を持っています。
まず、テキスト拡散モデルをトレーニングするための強力なベースライン設定を確立します。
複数のアーキテクチャと事前トレーニング目標を比較すると、プレフィックス LM 目標を使用してデコーダのみのモデルをトレーニングすることが、いくつかのタスクにわたって最適または最適に近いことがわかります。
この発見に基づいて、テキスト拡散モデルのさまざまな転移学習設定をテストします。
機械翻訳では、テキストの拡散が標準的な AR アプローチよりもパフォーマンスが低いことがわかりました。
ただし、コード合成と抽出 QA では、多くの場合、ゼロからトレーニングされた拡散モデルが AR モデルよりも優れていることがわかります。
また、拡散デコーディングを使用するように AR モデルを適応させる AR2Diff による品質の向上も観察されています。
テキストの拡散は比較的研究されておらず、長いテキストの生成では AR デコードよりも大幅に高速である可能性があることを考えると、これらの結果は有望です。

要約(オリジナル)

In this report, we explore the potential for text diffusion to replace autoregressive (AR) decoding for the training and deployment of large language models (LLMs). We are particularly interested to see whether pretrained AR models can be transformed into text diffusion models through a lightweight adaptation procedure we call “AR2Diff”. We begin by establishing a strong baseline setup for training text diffusion models. Comparing across multiple architectures and pretraining objectives, we find that training a decoder-only model with a prefix LM objective is best or near-best across several tasks. Building on this finding, we test various transfer learning setups for text diffusion models. On machine translation, we find that text diffusion underperforms the standard AR approach. However, on code synthesis and extractive QA, we find diffusion models trained from scratch outperform AR models in many cases. We also observe quality gains from AR2Diff — adapting AR models to use diffusion decoding. These results are promising given that text diffusion is relatively underexplored and can be significantly faster than AR decoding for long text generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google