Training Superior Sparse Autoencoders for Instruct Models

要約

大規模な言語モデル（LLM）がスケールと能力が成長するにつれて、それらの内部メカニズムを理解することはますます重要になります。
スパース自動エンコーダー（SAE）は、機械的解釈性の重要なツールとして登場し、LLMSから人間の解釈可能な特徴を抽出できるようになりました。
ただし、既存のSAEトレーニング方法は主にベースモデル向けに設計されているため、モデルを指示するために適用されると再構成の品質と解釈可能性が低下します。
このギャップを埋めるために、$ \ underline {\ textbf {f}} $ inetuning-$ \ underline {\ textbf {a}} $ ligned $ \ underline {\ textbf {s}} $ equential $ \ underline {\ textbf {t} {t} $ wast \ $ sept（$ a）
指示モデル専用に調整されています。
$ \ textIT {fast} $は、トレーニングプロセスをデータの分布モデルに特徴的なデータ分布パターンとアクティベーションパターンに合わせて、再構築と機能の解釈可能性の両方で大幅な改善をもたらします。
QWEN2.5-7B-Instructでは、$ \ textIT {fast} $は、トークン再構築で0.6468の平均2乗エラーを達成し、5.1985および1.5096のエラーを伴うベースラインメソッドを大幅に上回ります。
機能の解釈可能性では、$ \ textit {fast} $は、llama3.2-3b-instructの高品質の機能のより高い割合を生み出します。
驚くべきことに、SAEを介した特別なトークンの活性化に介入すると、出力品質の改善につながり、モデルの動作を細かく制御するための新しい機会が示唆されることがわかります。
コード、データ、および240の訓練されたSAEは、https：//github.com/geaming2002/fastで入手できます。

要約(オリジナル)

As large language models (LLMs) grow in scale and capability, understanding their internal mechanisms becomes increasingly critical. Sparse autoencoders (SAEs) have emerged as a key tool in mechanistic interpretability, enabling the extraction of human-interpretable features from LLMs. However, existing SAE training methods are primarily designed for base models, resulting in reduced reconstruction quality and interpretability when applied to instruct models. To bridge this gap, we propose $\underline{\textbf{F}}$inetuning-$\underline{\textbf{a}}$ligned $\underline{\textbf{S}}$equential $\underline{\textbf{T}}$raining ($\textit{FAST}$), a novel training method specifically tailored for instruct models. $\textit{FAST}$ aligns the training process with the data distribution and activation patterns characteristic of instruct models, resulting in substantial improvements in both reconstruction and feature interpretability. On Qwen2.5-7B-Instruct, $\textit{FAST}$ achieves a mean squared error of 0.6468 in token reconstruction, significantly outperforming baseline methods with errors of 5.1985 and 1.5096. In feature interpretability, $\textit{FAST}$ yields a higher proportion of high-quality features, for Llama3.2-3B-Instruct, $21.1\%$ scored in the top range, compared to $7.0\%$ and $10.2\%$ for $\textit{BT(P)}$ and $\textit{BT(F)}$. Surprisingly, we discover that intervening on the activations of special tokens via the SAEs leads to improvements in output quality, suggesting new opportunities for fine-grained control of model behavior. Code, data, and 240 trained SAEs are available at https://github.com/Geaming2002/FAST.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google