Are Emergent Abilities in Large Language Models just In-Context Learning?

要約

大規模な言語モデルは創発的な能力を示し、複雑な推論能力を必要とするものも含め、明示的にトレーニングされていないさまざまなタスクにわたって優れたパフォーマンスを示しています。
このような能力の出現は、特にそのようなモデルの展開がより普及するにつれ、NLP における研究の将来の方向性に重大な影響を及ぼします。
ただし、重要な課題の 1 つは、これらの能力の評価が、コンテキスト内学習や指示のフォローなどの代替プロンプト手法を通じてモデルに生じるコンピテンシーによってしばしば混乱されることです。これらのコンピテンシーも、モデルがスケールアップされるにつれて出現します。
この研究では、モデルの評価に影響を与える可能性のあるさまざまな潜在的なバイアス要因を考慮しながら、これらの新たな能力についての最初の包括的な検査を提供します。
私たちは、22 のタスクからなる包括的なセットにわたって、6,000 万から 1,750 億のパラメータ範囲を網羅する 18 のモデルのセットに対して厳密なテストを実施します。
1,000 を超える広範な一連の実験を通じて、私たちは、創発的な能力が主に文脈内学習に起因する可能性があるという説得力のある証拠を提供します。
推論能力の出現に関する証拠は見つかっていないため、観察された能力を駆動する根本的なメカニズムについて貴重な洞察が得られ、その使用に関する安全性の懸念が軽減されます。

要約(オリジナル)

Large language models have exhibited emergent abilities, demonstrating exceptional performance across diverse tasks for which they were not explicitly trained, including those that require complex reasoning abilities. The emergence of such abilities carries profound implications for the future direction of research in NLP, especially as the deployment of such models becomes more prevalent. However, one key challenge is that the evaluation of these abilities is often confounded by competencies that arise in models through alternative prompting techniques, such as in-context learning and instruction following, which also emerge as the models are scaled up. In this study, we provide the first comprehensive examination of these emergent abilities while accounting for various potentially biasing factors that can influence the evaluation of models. We conduct rigorous tests on a set of 18 models, encompassing a parameter range from 60 million to 175 billion parameters, across a comprehensive set of 22 tasks. Through an extensive series of over 1,000 experiments, we provide compelling evidence that emergent abilities can primarily be ascribed to in-context learning. We find no evidence for the emergence of reasoning abilities, thus providing valuable insights into the underlying mechanisms driving the observed abilities and thus alleviating safety concerns regarding their use.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google