Dynamics of Instruction Fine-Tuning for Chinese Large Language Models

要約

インストラクションチューニングは、大規模言語モデル（LLM）の一般的な知能を引き出すための方法として急成長している。多くの研究が英語モデルにおけるデータ量やモデルサイズの影響を調査しているが、他の言語におけるインストラクションチューニングのスケーリング特性はほとんど調査されていない。本研究では、中国語LLMのインストラクションチューニングにおけるデータ量、モデルサイズ、データ構築方法の影響を系統的に調査する。このデータセットには、創造的な文章作成、コード生成、論理的推論など、10の基本的な能力をカバーする40,000以上の高品質なインストラクションインスタンスが含まれている。(i)これらの因子はモデル全体の性能に直接影響を与えるが、スケーリングにより反応する能力もあれば、大きな抵抗を示す能力もある。(ii)これらの要因に対するさまざまな能力のスケーリング感度は、2つの特徴によって説明できる：複雑さ」と「転移」である。(iii)様々な感受性の違いに合わせてトレーニング戦略を調整することで、特定の能力を効率的に学習することができ、2つの公開ベンチマークでのパフォーマンスを向上させることができる。

要約(オリジナル)

Instruction tuning is a burgeoning method to elicit the general intelligence of Large Language Models (LLMs). While numerous studies have examined the impact of factors such as data volume and model size on English models, the scaling properties of instruction tuning in other languages remain largely unexplored. In this work, we systematically investigate the effects of data quantity, model size, and data construction methods on instruction tuning for Chinese LLMs. We utilize a newly curated dataset, DoIT, which includes over 40,000 high-quality instruction instances covering ten underlying abilities, such as creative writing, code generation, and logical reasoning. Our experiments, conducted on models ranging from 7b to 33b parameters, yield three key findings: (i) While these factors directly affect overall model performance, some abilities are more responsive to scaling, whereas others demonstrate significant resistance. (ii) The scaling sensitivity of different abilities to these factors can be explained by two features: Complexity and Transference. (iii) By tailoring training strategies to their varying sensitivities, specific abilities can be efficiently learned, enhancing performance on two public benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL