LAB: Large-Scale Alignment for ChatBots

要約

本研究では、大規模言語モデル（LLM）学習の命令チューニング段階におけるスケーラビリティの課題を克服するために設計された新しい方法論であるLAB（Large-scale Alignment for chatBots）を紹介する。分類学に基づいた合成データ生成プロセスと多段階のチューニングフレームワークを活用することで、LABは、高価な人間のアノテーションやGPT-4のような独自のモデルへの依存を大幅に削減します。我々は、LABで訓練されたモデルが、従来の人間によるアノテーションやGPT-4で生成された合成データで訓練されたモデルと比較して、いくつかのベンチマークで競争力のある性能を達成できることを実証する。このように、壊滅的な忘却の欠点なしに、LLMの能力と命令追従動作を向上させるためのスケーラブルで費用対効果の高いソリューションを提供することで、広範なアプリケーションのためのLLMの効率的なトレーニングに一歩前進をもたらす。

要約(オリジナル)

This work introduces LAB (Large-scale Alignment for chatBots), a novel methodology designed to overcome the scalability challenges in the instruction-tuning phase of large language model (LLM) training. Leveraging a taxonomy-guided synthetic data generation process and a multi-phase tuning framework, LAB significantly reduces reliance on expensive human annotations and proprietary models like GPT-4. We demonstrate that LAB-trained models can achieve competitive performance across several benchmarks compared to models trained with traditional human-annotated or GPT-4 generated synthetic data. Thus offering a scalable, cost-effective solution for enhancing LLM capabilities and instruction-following behaviors without the drawbacks of catastrophic forgetting, marking a step forward in the efficient training of LLMs for a wide range of applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL