TÜLU 3: Pushing Frontiers in Open Language Model Post-Training

要約

言語モデルのポストトレーニングは、最近のさまざまな言語モデルにわたって動作を洗練し、新しいスキルを解放するために適用されますが、これらの技術を適用するためのオープンなレシピは独自のレシピに比べて遅れています。
基礎となるトレーニング データとトレーニング後のレシピは、パズルの最も重要なピースであると同時に、最も透明性の低い部分でもあります。
このギャップを埋めるために、完全にオープンな最先端のトレーニング後モデルのファミリーである T\’ULU 3 を、そのデータ、コード、トレーニング レシピとともに紹介します。これは、現代のポストトレーニングの包括的なガイドとして機能します。
トレーニングテクニック。
Llama 3.1 ベース モデルに基づいて構築された T\’ULU 3 は、Llama 3.1、Qwen 2.5、Mistral の命令バージョン、さらには GPT-4o-mini や Claude 3.5-Haiku などのクローズド モデルをも超える結果を達成しました。
私たちのモデルのトレーニング アルゴリズムには、教師あり微調整 (SFT)、直接優先最適化 (DPO)、および検証可能な報酬による強化学習 (RLVR) と呼ばれる新しい手法が含まれています。
T\’ULU 3 では、開発および未確認の評価、標準ベンチマークの実装、およびベンチマーク上の既存のオープン データセットの大幅な除染を含む、トレーニング後のレシピのマルチタスク評価スキームを導入します。
最後に、パフォーマンスを確実に向上させることができなかったトレーニング方法の分析と議論を終わります。
T\’ULU 3 モデルの重みとデモに加えて、さまざまなコア スキルのためのデータセット、データのキュレーションと評価のための堅牢なツールキット、トレーニング コードとインフラストラクチャ、そして最も重要なことに、詳細なレシピを含む完全なレシピをリリースします。
T\’ULU 3 アプローチを再現し、より多くの領域にさらに適応させるためのレポート。

要約(オリジナル)

Language model post-training is applied to refine behaviors and unlock new skills across a wide range of recent language models, but open recipes for applying these techniques lag behind proprietary ones. The underlying training data and recipes for post-training are simultaneously the most important pieces of the puzzle and the portion with the least transparency. To bridge this gap, we introduce T\’ULU 3, a family of fully-open state-of-the-art post-trained models, alongside its data, code, and training recipes, serving as a comprehensive guide for modern post-training techniques. T\’ULU 3, which builds on Llama 3.1 base models, achieves results surpassing the instruct versions of Llama 3.1, Qwen 2.5, Mistral, and even closed models such as GPT-4o-mini and Claude 3.5-Haiku. The training algorithms for our models include supervised finetuning (SFT), Direct Preference Optimization (DPO), and a novel method we call Reinforcement Learning with Verifiable Rewards (RLVR). With T\’ULU 3, we introduce a multi-task evaluation scheme for post-training recipes with development and unseen evaluations, standard benchmark implementations, and substantial decontamination of existing open datasets on said benchmarks. We conclude with analysis and discussion of training methods that did not reliably improve performance. In addition to the T\’ULU 3 model weights and demo, we release the complete recipe — including datasets for diverse core skills, a robust toolkit for data curation and evaluation, the training code and infrastructure, and, most importantly, a detailed report for reproducing and further adapting the T\’ULU 3 approach to more domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google