The Atlas of In-Context Learning: How Attention Heads Shape In-Context Retrieval Augmentation

要約

大規模な言語モデルでは、検索の高度化を通じてトレーニングデータを超えて外部の知識にアクセスするために、コンテキスト内の学習を活用できます。
有望である一方で、その内部の働きは不明のままです。
この作業では、プロンプトを情報コンポーネントの構成と見なすことにより、質問に答えるためのコンテキスト内検索のメカニズムに光を当てました。
特殊な注意ヘッドを特定するための帰属ベースの方法を提案し、指示を理解し、関連するコンテキスト情報を取得するコンテキスト内ヘッドと、エンティティのリレーショナル知識を保存するパラメトリックヘッドを明らかにします。
彼らの役割をよりよく理解するために、機能ベクトルを抽出し、注意の重みを変更して、回答生成プロセスにどのように影響するかを示します。
最後に、獲得した洞察を活用して、推論中に使用される知識源を追跡し、より安全で透明な言語モデルへの道を開きます。

要約(オリジナル)

Large language models are able to exploit in-context learning to access external knowledge beyond their training data through retrieval-augmentation. While promising, its inner workings remain unclear. In this work, we shed light on the mechanism of in-context retrieval augmentation for question answering by viewing a prompt as a composition of informational components. We propose an attribution-based method to identify specialized attention heads, revealing in-context heads that comprehend instructions and retrieve relevant contextual information, and parametric heads that store entities’ relational knowledge. To better understand their roles, we extract function vectors and modify their attention weights to show how they can influence the answer generation process. Finally, we leverage the gained insights to trace the sources of knowledge used during inference, paving the way towards more safe and transparent language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google