HyperDAS: Towards Automating Mechanistic Interpretability with Hypernetworks

要約

機構的解釈は、概念（例えば、人の出生年）を媒介し、予測可能な操作を可能にするニューラルネットワークの特徴（隠されたアクティベーション空間の方向）を特定する上で大きな進歩を遂げました。
分散アライメント検索（DAS）は、反事実的なデータから監督を活用して、非表示状態内の概念機能を学習しますが、DASは潜在的な機能の場所でブルートフォース検索を実施する余裕があると想定しています。
これに対処するために、（1）コンセプトが実現する残差ストリームのトークンポジションを自動的に見つけるトランスベースのハイパーネットワークアーキテクチャであるHyperDasを提示し、（2）コンセプトの残留ストリームベクターの特徴を構築します。
LLAMA3-8Bを使用した実験では、HyperDasは、隠された状態で概念を解くためにRavel Benchmarkで最先端のパフォーマンスを達成します。
さらに、HyperDAS（すべての強力な解釈方法と同様）が忠実に解釈するのではなく、ターゲットモデルに新しい情報を挿入する可能性があるという懸念を軽減するために行った設計上の決定をレビューします。

要約(オリジナル)

Mechanistic interpretability has made great strides in identifying neural network features (e.g., directions in hidden activation space) that mediate concepts(e.g., the birth year of a person) and enable predictable manipulation. Distributed alignment search (DAS) leverages supervision from counterfactual data to learn concept features within hidden states, but DAS assumes we can afford to conduct a brute force search over potential feature locations. To address this, we present HyperDAS, a transformer-based hypernetwork architecture that (1) automatically locates the token-positions of the residual stream that a concept is realized in and (2) constructs features of those residual stream vectors for the concept. In experiments with Llama3-8B, HyperDAS achieves state-of-the-art performance on the RAVEL benchmark for disentangling concepts in hidden states. In addition, we review the design decisions we made to mitigate the concern that HyperDAS (like all powerful interpretabilty methods) might inject new information into the target model rather than faithfully interpreting it.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google