MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies

要約

兆ものパラメータを持つ大規模言語モデル（LLM）の開発への関心が高まっているが、リソース効率や実用的な費用、特に実験にかかる莫大な費用に対する懸念がある。このシナリオは、リソース効率に優れた代替手段としての小型言語モデル（SLM）の可能性を探ることの重要性を強調している。この文脈において、我々はMiniCPM、特に1.2Bと2.4Bの非埋め込みパラメータバリアントを紹介する。SLMに焦点を当てながら、我々のアプローチは将来のLLM研究のために、モデルとデータの両方の次元でスケーラビリティを示す。モデルのスケーリングに関しては、安定かつ最適なスケーリングのために、広範なモデル風洞実験を採用している。データのスケーリングに関しては、継続的な学習と領域適応に適したWarmup-Stable-Decay（WSD）学習率スケジューラ（LRS）を導入する。WSD LRSで起こる興味深い学習ダイナミクスを詳細に分析する。WSD LRSを用いることで、モデルとデータの両軸で大規模な再トレーニング実験を行うことなく、データ-モデルのスケーリング則を効率的に研究することが可能となり、そこからチンチラ最適よりもはるかに高い計算最適データ-モデル比を導き出した。さらに、MiniCPM-DPO、MiniCPM-MoE、MiniCPM-128Kを含むMiniCPMファミリーを紹介し、その優れた性能により、多様なSLMアプリケーションにおけるMiniCPMの基盤がさらに強固なものとなりました。MiniCPMモデルは、https://github.com/OpenBMB/MiniCPM で公開されている。

要約(オリジナル)

The burgeoning interest in developing Large Language Models (LLMs) with up to trillion parameters has been met with concerns regarding resource efficiency and practical expense, particularly given the immense cost of experimentation. This scenario underscores the importance of exploring the potential of Small Language Models (SLMs) as a resource-efficient alternative. In this context, we introduce MiniCPM, specifically the 1.2B and 2.4B non-embedding parameter variants, not only excel in their respective categories but also demonstrate capabilities on par with 7B-13B LLMs. While focusing on SLMs, our approach exhibits scalability in both model and data dimensions for future LLM research. Regarding model scaling, we employ extensive model wind tunnel experiments for stable and optimal scaling. For data scaling, we introduce a Warmup-Stable-Decay (WSD) learning rate scheduler (LRS), conducive to continuous training and domain adaptation. We present an in-depth analysis of the intriguing training dynamics that occurred in the WSD LRS. With WSD LRS, we are now able to efficiently study data-model scaling law without extensive retraining experiments on both axes of model and data, from which we derive the much higher compute optimal data-model ratio than Chinchilla Optimal. Additionally, we introduce MiniCPM family, including MiniCPM-DPO, MiniCPM-MoE and MiniCPM-128K, whose excellent performance further cementing MiniCPM’s foundation in diverse SLM applications. MiniCPM models are available publicly at https://github.com/OpenBMB/MiniCPM .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL