Does In-Context Learning Really Learn? Rethinking How Large Language Models Respond and Solve Tasks via In-Context Learning

要約

インコンテキスト学習 (ICL) は、スケールアップされた大規模言語モデル (LLM) の開発と並行して強力な機能として登場しました。
ICL は、少数のショットの実証例を使用して LLM に指示することにより、LLM が数百万のパラメータを更新することなく幅広いタスクを実行できるようにします。
ただし、最終タスクのパフォーマンスの向上に対するデモンストレーションの正確な貢献は、最近の分析研究では十分に調査されていません。
この論文では、ICL の全体的なパフォーマンスをラベル空間、フォーマット、識別の 3 つの次元に実験的に分解し、さまざまなタスクにわたって 4 つの汎用 LLM を評価します。
直観に反して、このデモンストレーションは、言語モデルの差別的な知識を誘発することにわずかな影響しか与えていないことがわかりました。
ただし、ICL はラベルのスペースと形式の制御に大きな効果を発揮し、LLM が目的のラベルの単語に応答するのに役立ちます。
次に、この能力が LLM が従うべき詳細な指示と同様に機能することを実証します。
さらに、ICL を支援する検索メカニズムの詳細な分析も提供します。
私たちの調査結果は、意味的に類似した例を取得すると、モデルの識別能力が著しく向上することを示しています。
ただし、ラベルの多様性に関して、コンテキスト内の適切な例を選択する際にはトレードオフも観察されます。

要約(オリジナル)

In-context Learning (ICL) has emerged as a powerful capability alongside the development of scaled-up large language models (LLMs). By instructing LLMs using few-shot demonstrative examples, ICL enables them to perform a wide range of tasks without updating millions of parameters. However, the precise contributions of demonstrations towards improving end-task performance have not been thoroughly investigated in recent analytical studies. In this paper, we empirically decompose the overall performance of ICL into three dimensions, label space, format, and discrimination, and we evaluate four general-purpose LLMs across a diverse range of tasks. Counter-intuitively, we find that the demonstrations have a marginal impact on provoking discriminative knowledge of language models. However, ICL exhibits significant efficacy in regulating the label space and format, which helps LLMs respond to desired label words. We then demonstrate that this ability functions similar to detailed instructions for LLMs to follow. We additionally provide an in-depth analysis of the mechanism of retrieval helping with ICL. Our findings demonstrate that retrieving the semantically similar examples notably boosts the model’s discriminative capability. However, we also observe a trade-off in selecting good in-context examples regarding label diversity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google