Unveiling In-Context Learning: A Coordinate System to Understand Its Working Mechanism

要約

大規模言語モデル (LLM) は、優れたコンテキスト内学習 (ICL) 機能を示します。
しかし、ICL の根本的な作用メカニズムは依然としてよく理解されていません。
最近の研究では、ICL に関して 2 つの相反する見解が示されています。1 つは、ラベルの正確さとデモンストレーションのショット数は重要ではないと考え、LLM の固有のタスク認識能力に起因すると考えています。
もう 1 つは、デモンストレーションにおける同様の例の影響を強調し、ラベルの正確性とより多くのショットの必要性を強調しています。
この研究では、両方のビューを体系的なフレームワークに統合する 2 次元座標系を提供します。
このフレームワークは、LLM がタスクを認識できるかどうか、およびデモンストレーションで同様の例が提示されるかどうかという 2 つの直交する変数を通じて ICL の動作を説明します。
我々は、LLM のタスク認識能力を検出し、類似性のさまざまな定義に対する LLM の反応を研究するために、ピーク逆ランク メトリックを提案します。
これらに基づいて、複数の代表的な分類タスクにおいて ICL が各象限にわたってどのように機能するかを解明するために広範な実験を実施します。
最後に、解析を生成タスクに拡張し、座標系を使用して生成タスクの ICL を効果的に解釈できることを示します。

要約(オリジナル)

Large language models (LLMs) exhibit remarkable in-context learning (ICL) capabilities. However, the underlying working mechanism of ICL remains poorly understood. Recent research presents two conflicting views on ICL: One attributes it to LLMs’ inherent ability of task recognition, deeming label correctness and shot numbers of demonstrations as not crucial; the other emphasizes the impact of similar examples in the demonstrations, stressing the need for label correctness and more shots. In this work, we provide a Two-Dimensional Coordinate System that unifies both views into a systematic framework. The framework explains the behavior of ICL through two orthogonal variables: whether LLMs can recognize the task and whether similar examples are presented in the demonstrations. We propose the peak inverse rank metric to detect the task recognition ability of LLMs and study LLMs’ reactions to different definitions of similarity. Based on these, we conduct extensive experiments to elucidate how ICL functions across each quadrant on multiple representative classification tasks. Finally, we extend our analyses to generation tasks, showing that our coordinate system can also be used to interpret ICL for generation tasks effectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google