Dictionary Learning Improves Patch-Free Circuit Discovery in Mechanistic Interpretability: A Case Study on Othello-GPT

要約

スパース辞書学習は、重ね合わせを攻撃し、モデルの活性化からより人間が理解できる特徴を抽出するための、機械的解釈可能性において急速に成長している技術です。
抽出されたより単一意味的な特徴に基づいて、さらなる質問をします。膨大な量の辞書の特徴を接続する回路をどのように認識するか?
アクティベーションパッチに代わる回路発見フレームワークを提案します。
私たちのフレームワークは、配布範囲外の影響が少なく、漸近的な複雑さの点でより効率的であることが証明されています。
私たちのフレームワークの基本ユニットは、埋め込み、アテンション出力、MLP 出力など、残差ストリームに書き込むすべてのモジュールから分解された辞書機能です。
あらゆるロジット、辞書特徴、または注意スコアから開始して、すべてのトークンの下位レベルの辞書特徴まで追跡し、これらのより解釈しやすいローカルなモデル動作への寄与を計算します。
私たちは、オセロという合成タスクで訓練された小さなトランスを掘り下げ、その中に人間が理解できるきめ細かい回路を多数発見しました。

要約(オリジナル)

Sparse dictionary learning has been a rapidly growing technique in mechanistic interpretability to attack superposition and extract more human-understandable features from model activations. We ask a further question based on the extracted more monosemantic features: How do we recognize circuits connecting the enormous amount of dictionary features? We propose a circuit discovery framework alternative to activation patching. Our framework suffers less from out-of-distribution and proves to be more efficient in terms of asymptotic complexity. The basic unit in our framework is dictionary features decomposed from all modules writing to the residual stream, including embedding, attention output and MLP output. Starting from any logit, dictionary feature or attention score, we manage to trace down to lower-level dictionary features of all tokens and compute their contribution to these more interpretable and local model behaviors. We dig in a small transformer trained on a synthetic task named Othello and find a number of human-understandable fine-grained circuits inside of it.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google