Induction Heads as an Essential Mechanism for Pattern Matching in In-context Learning

要約

大規模な言語モデル（LLM）は、コンテキスト学習（ICL）を通じて複雑なタスクを学習および実行する顕著な能力を示しています。
ただし、その内部メカニズムの包括的な理解はまだ不足しています。
このペーパーでは、いくつかのショットICL設定における誘導ヘッドの役割を探ります。
抽象パターン認識とNLPタスクで、2つの最先端のモデル、Llama-3-8BとInternLM2-20Bを分析します。
我々の結果は、誘導ヘッドの最小限のアブレーションでさえ、抽象的なパターン認識タスクのICLパフォーマンスが最大32％減少し、パフォーマンスをランダムに近づけることを示しています。
NLPタスクの場合、このアブレーションにより、モデルの例から利益を得る能力が大幅に減少し、ゼロショットプロンプトのICLパフォーマンスが少ないICLパフォーマンスに近づきます。
さらに、注意ノックアウトを使用して特定の誘導パターンを無効にし、誘導メカニズムがICLで果たす役割について細粒の証拠を提示します。

要約(オリジナル)

Large language models (LLMs) have shown a remarkable ability to learn and perform complex tasks through in-context learning (ICL). However, a comprehensive understanding of its internal mechanisms is still lacking. This paper explores the role of induction heads in a few-shot ICL setting. We analyse two state-of-the-art models, Llama-3-8B and InternLM2-20B on abstract pattern recognition and NLP tasks. Our results show that even a minimal ablation of induction heads leads to ICL performance decreases of up to ~32% for abstract pattern recognition tasks, bringing the performance close to random. For NLP tasks, this ablation substantially decreases the model’s ability to benefit from examples, bringing few-shot ICL performance close to that of zero-shot prompts. We further use attention knockout to disable specific induction patterns, and present fine-grained evidence for the role that the induction mechanism plays in ICL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google