Decomposing The Dark Matter of Sparse Autoencoders

要約

スパース オートエンコーダ (SAE) は、言語モデルのアクティベーションを解釈可能な線形特徴に分解するための有望な手法です。
しかし、現在の SAE はモデルのパフォーマンスを完全に説明するには至っておらず、その結果、「ダークマター」、つまり活性化における説明のつかないばらつきが生じています。
この研究では、暗黒物質自体を研究対象として調査します。
驚くべきことに、SAE 暗黒物質の多く (誤差ベクトル自体の約半分、標準値の >90%) が初期活性化ベクトルから線形予測できることがわかりました。
さらに、トークンごとのレベルでの SAE 誤差ノルムのスケーリング動作は驚くほど予測可能であることがわかりました。大規模な SAE は、小規模な SAE と同じコンテキストを再構築するのにほとんど苦労しています。
我々は、線形表現仮説に基づいて、新しいタイプの「導入されたエラー」の仮定を含む、これらの観察につながる可能性のある活性化のモデルを提案します。
これらの洞察は、SAE 誤差ベクトルの線形予測できない部分 (「非線形」誤差) が線形予測可能な成分とは根本的に異なる可能性があることを示唆しています。
この仮説を検証するために、非線形 SAE 誤差を経験的に分析し、1) 非線形 SAE 誤差に含まれる未学習の特徴が少ないこと、2) 非線形 SAE 誤差で訓練された SAE は量的に劣ること、3) トークンごとの SAE スケーリング動作の予測に役立つこと、および 4) 非線形 SAE 誤差が非線形 SAE 誤差であることを示します。
SAE 活性化がモデルに挿入されると、下流でのクロス エントロピー損失の比例量の増加に関与します。
最後に、固定スパース性で非線形 SAE 誤差を削減する 2 つの方法を検討します。1 つは非線形誤差のごくわずかな減少につながる推論時間勾配追跡、もう 1 つはより大きな削減につながる、前層 SAE 出力からの線形変換です。

要約(オリジナル)

Sparse autoencoders (SAEs) are a promising technique for decomposing language model activations into interpretable linear features. However, current SAEs fall short of completely explaining model performance, resulting in ‘dark matter’: unexplained variance in activations. This work investigates dark matter as an object of study in its own right. Surprisingly, we find that much of SAE dark matter–about half of the error vector itself and >90% of its norm–can be linearly predicted from the initial activation vector. Additionally, we find that the scaling behavior of SAE error norms at a per token level is remarkably predictable: larger SAEs mostly struggle to reconstruct the same contexts as smaller SAEs. We build on the linear representation hypothesis to propose models of activations that might lead to these observations, including postulating a new type of ‘introduced error’; these insights imply that the part of the SAE error vector that cannot be linearly predicted (‘nonlinear’ error) might be fundamentally different from the linearly predictable component. To validate this hypothesis, we empirically analyze nonlinear SAE error and show that 1) it contains fewer not yet learned features, 2) SAEs trained on it are quantitatively worse, 3) it helps predict SAE per-token scaling behavior, and 4) it is responsible for a proportional amount of the downstream increase in cross entropy loss when SAE activations are inserted into the model. Finally, we examine two methods to reduce nonlinear SAE error at a fixed sparsity: inference time gradient pursuit, which leads to a very slight decrease in nonlinear error, and linear transformations from earlier layer SAE outputs, which leads to a larger reduction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google