LLaMA Pro: Progressive LLaMA with Block Expansion

要約

しかし、大規模言語モデル(LLM)の場合、例えばLLaMAからCodeLaMAのように、古いスキルを損なうことなく新しいスキルを習得することは難しい。このため、我々はLLMのための新しいポストプレトレーニング法を提案する。新しいコーパスのみを用いて拡張されたブロックをチューニングすることで、壊滅的な忘却を起こすことなく、効率的かつ効果的にモデルの知識を向上させる。本論文では、コードと数学のコーパスで実験を行い、LLaMA2-7Bから初期化された、一般的なタスク、プログラミング、数学に優れた多用途の基礎モデルであるLLaMA Pro-8.3Bを得た。LLaMA Proとその命令追従型モデル（LLaMA Pro-Instruct）は、様々なベンチマークの中で高度な性能を達成し、LLaMAファミリーの既存のオープンモデルよりも優れていること、そして知的エージェントとして推論し、多様なタスクに対処する計り知れない可能性を示している。我々の発見は、自然言語とプログラミング言語の統合に関する貴重な洞察を提供し、様々な環境で効果的に動作する高度な言語エージェントを開発するための強固な基礎を築く。

要約(オリジナル)

Humans generally acquire new skills without compromising the old; however, the opposite holds for Large Language Models (LLMs), e.g., from LLaMA to CodeLLaMA. To this end, we propose a new post-pretraining method for LLMs with an expansion of Transformer blocks. We tune the expanded blocks using only new corpus, efficiently and effectively improving the model’s knowledge without catastrophic forgetting. In this paper, we experiment on the corpus of code and math, yielding LLaMA Pro-8.3B, a versatile foundation model initialized from LLaMA2-7B, excelling in general tasks, programming, and mathematics. LLaMA Pro and its instruction-following counterpart (LLaMA Pro-Instruct) achieve advanced performance among various benchmarks, demonstrating superiority over existing open models in the LLaMA family and the immense potential of reasoning and addressing diverse tasks as an intelligent agent. Our findings provide valuable insights into integrating natural and programming languages, laying a solid foundation for developing advanced language agents that operate effectively in various environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL