Decomposing Label Space, Format and Discrimination: Rethinking How LLMs Respond and Solve Tasks via In-Context Learning

要約

インコンテキスト学習 (ICL) は、スケールアップされた大規模言語モデル (LLM) の開発と並行して強力な機能として登場しました。
ICL は、少数のショットの実証例を使用して LLM に指示することにより、LLM が数百万のパラメータを更新することなく幅広いタスクを実行できるようにします。
ただし、最終タスクのパフォーマンスの向上に対するデモンストレーションの正確な貢献は、最近の分析研究では十分に調査されていません。
この論文では、ICL の全体的なパフォーマンスをラベル空間、フォーマット、識別の 3 つの次元に実験的に分解し、さまざまなタスクにわたって 4 つの汎用 LLM を評価します。
直観に反して、このデモンストレーションは、言語モデルの差別的な知識を誘発することにわずかな影響しか与えていないことがわかりました。
ただし、ICL は、LLM が目的のラベル単語で応答するのに役立つラベルのスペースと形式の制御に大きな効果を示します。
次に、この能力が、LLM が従うべき詳細な指示と同様に機能することを示します。
さらに、ICL を支援する検索メカニズムの詳細な分析を提供し、意味的に最も類似した例を取得すると、モデルの識別能力が著しく向上することがわかりました。

要約(オリジナル)

In-context Learning (ICL) has emerged as a powerful capability alongside the development of scaled-up large language models (LLMs). By instructing LLMs using few-shot demonstrative examples, ICL enables them to perform a wide range of tasks without updating millions of parameters. However, the precise contributions of demonstrations towards improving end-task performance have not been thoroughly investigated in recent analytical studies. In this paper, we empirically decompose the overall performance of ICL into three dimensions, label space, format, and discrimination, and we evaluate four general-purpose LLMs across a diverse range of tasks. Counter-intuitively, we find that the demonstrations have a marginal impact on provoking discriminative knowledge of language models. However, ICL exhibits significant efficacy in regulating the label space and format which helps LLMs to respond in desired label words. We then demonstrate this ability functions similar to detailed instructions for LLMs to follow. We additionally provide an in-depth analysis of the mechanism of retrieval helping with ICL and find that retrieving the most semantically similar examples notably boosts model’s discriminative capability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google