TESS 2: A Large-Scale Generalist Diffusion Language Model

要約

Tess 2を紹介します。Tess2は、現代の指導チューニングされた拡散モデルを上回るだけでなく、強力な自己回帰（AR）モデルを上回る、時には一致し、時には上回る一般的な指導に従う拡散言語モデルです。
拡散損失として通常の交差エントロピーを使用して継続的な事前供与を介して強力なARモデルを最初に適応させ、さらに指示チューニングを実行することにより、テス2を訓練します。
適応トレーニングとベースモデルの選択は、優れた指導に従う拡散モデルをトレーニングするために重要であることがわかります。
さらに、基礎となるモデルを訓練する必要なくモデル出力を調整するための斬新でモジュール式推論時間ガイダンス手順である報酬ガイダンスを提案します。
最後に、テス2が推論時間計算の増加によりさらに改善され、推論時に使用される計算量にわたって微細な制御可能性を持つ拡散LMSの有用性を強調することを示します。
コードとモデルはhttps://github.com/hamishivi/tess-2で入手できます。

要約(オリジナル)

We introduce TESS 2, a general instruction-following diffusion language model that outperforms contemporary instruction-tuned diffusion models, as well as matches and sometimes exceeds strong autoregressive (AR) models. We train TESS 2 by first adapting a strong AR model via continued pretraining with the usual cross-entropy as diffusion loss, and then performing further instruction tuning. We find that adaptation training as well as the choice of the base model is crucial for training good instruction-following diffusion models. We further propose reward guidance, a novel and modular inference-time guidance procedure to align model outputs without needing to train the underlying model. Finally, we show that TESS 2 further improves with increased inference-time compute, highlighting the utility of diffusion LMs in having fine-grained controllability over the amount of compute used at inference time. Code and models are available at https://github.com/hamishivi/tess-2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google