Xwin-LM: Strong and Scalable Alignment Practice for LLMs

要約

この研究では、大規模言語モデル (LLM) 向けの調整方法の包括的なスイートである Xwin-LM を紹介します。
このスイートには、教師あり微調整 (SFT)、報酬モデリング (RM)、拒絶サンプリング微調整 (RS)、直接優先最適化 (DPO) など、いくつかの重要な技術が含まれています。
主要なコンポーネントは次のとおりです。(1) Xwin-LM-SFT、最初は高品質の命令データで微調整されたモデル。
(2) Xwin-Pair、GPT-4 を使用して細心の注意を払って注釈が付けられた大規模なマルチターン嗜好データセット。
(3) Xwin-RM、Xwin-Pair でトレーニングされた報酬モデル、7B、13B、および 70B パラメーターのスケールで開発されました。
(4) Xwin-Set は、各プロンプトが Xwin-LM-SFT によって生成され、Xwin-RM によってスコア付けされた 64 個の固有の応答にリンクされている、多方向の嗜好データセットです。
(5) Xwin-LM-RS、Xwin-Set からの最高スコアの応答で微調整されたモデル。
(6) Xwin-LM-DPO、DPO アルゴリズムを使用して Xwin-Set 上でさらに最適化されたモデル。
AlpacaEval と MT ベンチに関する評価では、パイプライン全体で一貫した大幅な改善が見られ、Xwin-LM の強度と拡張性が実証されました。
リポジトリ https://github.com/Xwin-LM/Xwin-LM は、コミュニティ研究を促進するために継続的に更新されます。

要約(オリジナル)

In this work, we present Xwin-LM, a comprehensive suite of alignment methodologies for large language models (LLMs). This suite encompasses several key techniques, including supervised finetuning (SFT), reward modeling (RM), rejection sampling finetuning (RS), and direct preference optimization (DPO). The key components are as follows: (1) Xwin-LM-SFT, models initially finetuned with high-quality instruction data; (2) Xwin-Pair, a large-scale, multi-turn preference dataset meticulously annotated using GPT-4; (3) Xwin-RM, reward models trained on Xwin-Pair, developed at scales of 7B, 13B, and 70B parameters; (4) Xwin-Set, a multiwise preference dataset in which each prompt is linked to 64 unique responses generated by Xwin-LM-SFT and scored by Xwin-RM; (5) Xwin-LM-RS, models finetuned with the highest-scoring responses from Xwin-Set; (6) Xwin-LM-DPO, models further optimized on Xwin-Set using the DPO algorithm. Our evaluations on AlpacaEval and MT-bench demonstrate consistent and significant improvements across the pipeline, demonstrating the strength and scalability of Xwin-LM. The repository https://github.com/Xwin-LM/Xwin-LM will be continually updated to foster community research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google