Selecting Large Language Model to Fine-tune via Rectified Scaling Law

要約

成長を続ける LLM のエコシステムにより、膨大なオプションの中で微調整するために最も適切な事前トレーニング済みモデルを選択するという課題が生じています。
リソースが限られているため、すべてのモデルを微調整して後で選択することは非現実的です。
この研究では、このリソースに制約のある選択タスクをパフォーマンスの微調整の予測に定式化し、スケーリング則との自然な関係を説明します。
事前トレーニングとは異なり、微調整スケーリング曲線には、よく知られている「パワーフェーズ」だけでなく、これまで観察されていなかった「プリパワーフェーズ」も含まれていることがわかります。
また、なぜ既存のスケーリング則がこの相転移現象を理論的にも経験的にも捉えることができないのかについても説明します。
これに対処するために、「事前学習データ サイズ」の概念を修正スケーリング則に導入します。これにより、理論上の制限が克服され、実験結果によりよく適合します。
法則を活用することで、リソース消費量が数百倍少ない最適に近いモデルを選択する新しい LLM 選択アルゴリズムを提案しますが、他の方法では負の相関のある選択が行われる可能性があります。

要約(オリジナル)

The ever-growing ecosystem of LLMs has posed a challenge in selecting the most appropriate pre-trained model to fine-tune amidst a sea of options. Given constrained resources, fine-tuning all models and making selections afterward is unrealistic. In this work, we formulate this resource-constrained selection task into predicting fine-tuning performance and illustrate its natural connection with Scaling Law. Unlike pre-training, We find that the fine-tuning scaling curve includes not just the well-known ‘power phase’ but also the previously unobserved ‘pre-power phase’. We also explain why existing Scaling Law fails to capture this phase transition phenomenon both theoretically and empirically. To address this, we introduce the concept of ‘pre-learned data size’ into our Rectified Scaling Law, which overcomes theoretical limitations and fits experimental results much better. By leveraging our law, we propose a novel LLM selection algorithm that selects the near-optimal model with hundreds of times less resource consumption, while other methods may provide negatively correlated selection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google