Understanding Emergent Abilities of Language Models from the Loss Perspective

要約

最近の研究では、言語モデルにおける創発的な能力は大規模なモデルに限定されているという考えに疑問が生じています。
この懐疑論は 2 つの観察から生じています。1) より小さなモデルでも、緊急の能力に対して高いパフォーマンスを発揮できること、2) これらの能力を測定するために使用される不連続な指標に疑問があることです。
この論文では、モデル サイズやトレーニング コンピューティングではなく、トレーニング前の損失という観点から創発的な能力を研究することを提案します。
同じ事前トレーニング損失を持つモデルと異なるモデルとデータ サイズが、さまざまなダウンストリーム タスクで同じパフォーマンスを生成することを実証します。
また、トレーニング前の損失が特定のしきい値を下回ると、メトリクスの連続性に関係なく、モデルが特定のタスクに関して緊急の能力を発揮することも発見しました。
このしきい値に達するまでは、パフォーマンスはランダムな推測のレベルにとどまります。
このことから、私たちは、創発的な能力を、事前トレーニング損失が低いモデルに現れる能力として再定義するよう促し、これらの能力は、事前トレーニング損失がより高いモデルのパフォーマンス傾向を単純に外挿するだけでは予測できないことを強調しています。

要約(オリジナル)

Recent studies have put into question the belief that emergent abilities in language models are exclusive to large models. This skepticism arises from two observations: 1) smaller models can also exhibit high performance on emergent abilities and 2) there is doubt on the discontinuous metrics used to measure these abilities. In this paper, we propose to study emergent abilities in the lens of pre-training loss, instead of model size or training compute. We demonstrate that the models with the same pre-training loss, but different model and data sizes, generate the same performance on various downstream tasks. We also discover that a model exhibits emergent abilities on certain tasks — regardless of the continuity of metrics — when its pre-training loss falls below a specific threshold. Before reaching this threshold, its performance remains at the level of random guessing. This inspires us to redefine emergent abilities as those that manifest in models with lower pre-training losses, highlighting that these abilities cannot be predicted by merely extrapolating the performance trends of models with higher pre-training losses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google