Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning

要約

インコンテキスト学習 (ICL) は、多様なタスクを実行するためのデモンストレーション例を提供することで、大規模言語モデル (LLM) の有望な機能として浮上しています。
ただし、LLM が提供されたコンテキストからどのように学習するかという基本的なメカニズムはまだ解明されていません。
この論文では、情報フローのレンズを通して ICL の動作メカニズムを調査します。
私たちの調査結果では、デモ例のラベル単語がアンカーとして機能していることが明らかになりました。(1) 浅い計算層の処理中に意味情報がラベル単語表現に集約されます。
(2) ラベル単語の統合情報は、LLM の最終予測の参考として機能します。
これらの洞察に基づいて、ICL パフォーマンスを向上させるためのアンカー再重み付け手法、推論を迅速化するためのデモンストレーション圧縮手法、および GPT2-XL の ICL エラーを診断するための分析フレームワークを紹介します。
私たちの発見の有望な応用は、明らかになっている ICL の作動メカニズムを再度検証し、将来の研究への道を開きます。

要約(オリジナル)

In-context learning (ICL) emerges as a promising capability of large language models (LLMs) by providing them with demonstration examples to perform diverse tasks. However, the underlying mechanism of how LLMs learn from the provided context remains under-explored. In this paper, we investigate the working mechanism of ICL through an information flow lens. Our findings reveal that label words in the demonstration examples function as anchors: (1) semantic information aggregates into label word representations during the shallow computation layers’ processing; (2) the consolidated information in label words serves as a reference for LLMs’ final predictions. Based on these insights, we introduce an anchor re-weighting method to improve ICL performance, a demonstration compression technique to expedite inference, and an analysis framework for diagnosing ICL errors in GPT2-XL. The promising applications of our findings again validate the uncovered ICL working mechanism and pave the way for future studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google