Inferring Functionality of Attention Heads from their Parameters

要約

アテンション ヘッドは、大規模言語モデル (LLM) の構成要素の 1 つです。
それらの動作を調査する以前の研究は、主に、特定の回路またはタスクの推論中の動作を分析することに焦点を当てていました。
この作業では、モデルに実装される操作の包括的なマッピングを模索します。
我々は、モデルのトレーニングや推論を行わずに、パラメータからアテンション ヘッドの機能を推論する効率的なフレームワークである MAPS (Mapping Attendee head ParameterS) を提案します。
ここでは、2 種類の質問に答えるための MAPS の有用性を紹介します。(a) 事前定義された操作を与えて、モデル全体のヘッドがその操作をどの程度強力に実装するかをマッピングする、(b) アテンション ヘッドを与えて、その顕著な機能を推測する。
6 つの一般的な LLM にわたる 20 の操作で MAPS を評価すると、その推定が推論中のヘッドの出力と相関し、モデルの予測と因果関係があることがわかります。
さらに、そのマッピングにより、以前の研究では見落とされていた特定の操作の注意点が明らかになり、LLM の機能の普遍性とアーキテクチャの偏りに関する貴重な洞察が得られます。
次に、MAPS を活用して特定のヘッドの顕著な動作を特徴付ける自動パイプラインと分析を紹介します。
私たちのパイプラインは、人間の判断による評価に従って、ほとんどのヘッドに対してもっともらしい操作説明を生成し、同時に多様な操作を明らかにします。

要約(オリジナル)

Attention heads are one of the building blocks of large language models (LLMs). Prior work on investigating their operation mostly focused on analyzing their behavior during inference for specific circuits or tasks. In this work, we seek a comprehensive mapping of the operations they implement in a model. We propose MAPS (Mapping Attention head ParameterS), an efficient framework that infers the functionality of attention heads from their parameters, without any model training or inference. We showcase the utility of MAPS for answering two types of questions: (a) given a predefined operation, mapping how strongly heads across the model implement it, and (b) given an attention head, inferring its salient functionality. Evaluating MAPS on 20 operations across 6 popular LLMs shows its estimations correlate with the head’s outputs during inference and are causally linked to the model’s predictions. Moreover, its mappings reveal attention heads of certain operations that were overlooked in previous studies, and valuable insights on function universality and architecture biases in LLMs. Next, we present an automatic pipeline and analysis that leverage MAPS to characterize the salient operations of a given head. Our pipeline produces plausible operation descriptions for most heads, as assessed by human judgment, while revealing diverse operations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google