Tulu 3: Pushing Frontiers in Open Language Model Post-Training

要約

トレーニング後の言語モデルは、行動を改良し、幅広い最近の言語モデルで新しいスキルのロックを解除するために適用されますが、これらのテクニックを独自の技術に適用するためのオープンレシピは、独自の技術に遅れをとっています。
トレーニング後の基礎となるトレーニングデータとレシピは、同時にパズルの最も重要な部分と、透明度が最も低い部分です。
このギャップを埋めるために、最新のトレーニングテクニックの包括的なガイドとして機能するデータ、コード、トレーニングレシピとともに、完全に開放された最先端の訓練後モデルのファミリーであるTulu 3を紹介します。
Llama 3.1ベースモデルに構築されたTulu 3は、Llama 3.1、Qwen 2.5、Mistral、さらにはGPT-4o-MiniやClaude 3.5-Haikuなどの閉じたモデルの指示バージョンを上回る結果を達成します。
モデルのトレーニングアルゴリズムには、監視されたFinetuning（SFT）、直接優先最適化（DPO）、および検証可能な報酬（RLVR）を使用した補強学習と呼ぶ新しい方法が含まれます。
Tulu 3を使用すると、開発および目に見えない評価、標準ベンチマークの実装、およびそのベンチマーク上の既存のオープンデータセットの実質的な除染を備えたトレーニング後のレシピ用のマルチタスク評価スキームを導入します。
締めくくり、パフォーマンスを確実に改善しなかったトレーニング方法の分析と議論で締めくくります。
Tulu 3モデルの重みとデモに加えて、多様なコアスキルのためのデータセット、データキュレーションと評価のための堅牢なツールキット、トレーニングコードとインフラストラクチャ、そして最も重要なことは、再現のための詳細なレポートなど、完全なレシピをリリースします。
さらに、より多くのドメインにTulu 3アプローチを適応させます。

要約(オリジナル)

Language model post-training is applied to refine behaviors and unlock new skills across a wide range of recent language models, but open recipes for applying these techniques lag behind proprietary ones. The underlying training data and recipes for post-training are simultaneously the most important pieces of the puzzle and the portion with the least transparency. To bridge this gap, we introduce Tulu 3, a family of fully-open state-of-the-art post-trained models, alongside its data, code, and training recipes, serving as a comprehensive guide for modern post-training techniques. Tulu 3, which builds on Llama 3.1 base models, achieves results surpassing the instruct versions of Llama 3.1, Qwen 2.5, Mistral, and even closed models such as GPT-4o-mini and Claude 3.5-Haiku. The training algorithms for our models include supervised finetuning (SFT), Direct Preference Optimization (DPO), and a novel method we call Reinforcement Learning with Verifiable Rewards (RLVR). With Tulu 3, we introduce a multi-task evaluation scheme for post-training recipes with development and unseen evaluations, standard benchmark implementations, and substantial decontamination of existing open datasets on said benchmarks. We conclude with analysis and discussion of training methods that did not reliably improve performance. In addition to the Tulu 3 model weights and demo, we release the complete recipe — including datasets for diverse core skills, a robust toolkit for data curation and evaluation, the training code and infrastructure, and, most importantly, a detailed report for reproducing and further adapting the Tulu 3 approach to more domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google