Induction Heads as an Essential Mechanism for Pattern Matching in In-context Learning

要約

大規模言語モデル (LLM) は、コンテキスト内学習 (ICL) を通じて複雑なタスクを学習および実行する優れた能力を示しています。
しかし、その内部メカニズムの包括的な理解はまだ不足しています。
この論文では、少数ショット ICL 設定における誘導ヘッドの役割について検討します。
私たちは、抽象パターン認識と NLP タスクに関して 2 つの最先端モデル、Llama-3-8B と InternLM2-20B を分析します。
私たちの結果は、誘導ヘッドの最小限のアブレーションでさえ、抽象パターン認識タスクの ICL パフォーマンスが最大約 32% 低下し、パフォーマンスがランダムに近づくことを示しています。
NLP タスクの場合、このアブレーションによりサンプルから恩恵を受けるモデルの能力が大幅に低下し、数ショットの ICL パフォーマンスがゼロショット プロンプトのパフォーマンスに近づきます。
さらに、注意ノックアウトを使用して特定の誘導パターンを無効にし、誘導機構が ICL で果たす役割についての詳細な証拠を提示します。

要約(オリジナル)

Large language models (LLMs) have shown a remarkable ability to learn and perform complex tasks through in-context learning (ICL). However, a comprehensive understanding of its internal mechanisms is still lacking. This paper explores the role of induction heads in a few-shot ICL setting. We analyse two state-of-the-art models, Llama-3-8B and InternLM2-20B on abstract pattern recognition and NLP tasks. Our results show that even a minimal ablation of induction heads leads to ICL performance decreases of up to ~32% for abstract pattern recognition tasks, bringing the performance close to random. For NLP tasks, this ablation substantially decreases the model’s ability to benefit from examples, bringing few-shot ICL performance close to that of zero-shot prompts. We further use attention knockout to disable specific induction patterns, and present fine-grained evidence for the role that the induction mechanism plays in ICL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google