Uncovering Intermediate Variables in Transformers using Circuit Probing

要約

ニューラル ネットワーク モデルは、さまざまな複雑なタスクで高いパフォーマンスを達成していますが、ニューラル ネットワーク モデルが実装するアルゴリズムは解釈が難しいことで知られています。
これらのアルゴリズムを理解するには、多くの場合、ネットワークの計算に関与する中間変数を仮定することが必要になります。
たとえば、言語モデルは文を生成するときに特定の構文特性に依存しますか?
ただし、既存の分析ツールでは、このタイプの仮説を検証することが困難です。
私たちは、仮説的な中間変数を計算する低レベルの回路を自動的に発見する、新しい解析手法である回路プロービングを提案します。
これにより、モデルパラメータのレベルでのターゲットを絞ったアブレーションによる因果分析が可能になります。
この方法を単純な算術タスクでトレーニングされたモデルに適用し、(1) モデルが学習したアルゴリズムの解読、(2) モデル内のモジュール構造の解明、(3) トレーニング中の回路の開発の追跡におけるその有効性を実証します。
これら 3 つの実験にわたって回路プロービングを他の手法と比較したところ、既存の解析手法と同等か、それよりも効果的であることがわかりました。
最後に、実世界のユースケースで回路プローブを実証し、GPT2-Small および Medium における主語と動詞の一致と再帰照応を担う回路を明らかにします。

要約(オリジナル)

Neural network models have achieved high performance on a wide variety of complex tasks, but the algorithms that they implement are notoriously difficult to interpret. In order to understand these algorithms, it is often necessary to hypothesize intermediate variables involved in the network’s computation. For example, does a language model depend on particular syntactic properties when generating a sentence? However, existing analysis tools make it difficult to test hypotheses of this type. We propose a new analysis technique — circuit probing — that automatically uncovers low-level circuits that compute hypothesized intermediate variables. This enables causal analysis through targeted ablation at the level of model parameters. We apply this method to models trained on simple arithmetic tasks, demonstrating its effectiveness at (1) deciphering the algorithms that models have learned, (2) revealing modular structure within a model, and (3) tracking the development of circuits over training. We compare circuit probing to other methods across these three experiments, and find it on par or more effective than existing analysis methods. Finally, we demonstrate circuit probing on a real-world use case, uncovering circuits that are responsible for subject-verb agreement and reflexive anaphora in GPT2-Small and Medium.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google