Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2

要約

スパース オートエンコーダ (SAE) は、ニューラル ネットワークの潜在表現を一見解釈可能な特徴にスパース分解して学習するための教師なし手法です。
最近その可能性が注目されているにもかかわらず、SAE の包括的なスイートをトレーニングするのにかかるコストが高いため、産業界以外での研究への応用は制限されています。
この研究では、Gemma 2 2B および 9B のすべてのレイヤーとサブレイヤー、および Gemma 2 27B 基本モデルの選択レイヤーでトレーニングされた JumpReLU SAE のオープン スイートである Gemma Scope を導入します。
私たちは主に Gemma 2 事前トレーニング済みモデルで SAE をトレーニングしますが、さらに、比較のために命令調整された Gemma 2 9B でトレーニングされた SAE をリリースします。
当社は標準的な指標に基づいて各 SAE の品質を評価し、その結果を公開します。
これらの SAE の重みをリリースすることで、コミュニティにとってより野心的な安全性と解釈可能性の研究が容易になることを願っています。
重みとチュートリアルは https://huggingface.co/google/gemma-scope にあり、インタラクティブなデモは https://www.neuronpedia.org/gemma-scope にあります。

要約(オリジナル)

Sparse autoencoders (SAEs) are an unsupervised method for learning a sparse decomposition of a neural network’s latent representations into seemingly interpretable features. Despite recent excitement about their potential, research applications outside of industry are limited by the high cost of training a comprehensive suite of SAEs. In this work, we introduce Gemma Scope, an open suite of JumpReLU SAEs trained on all layers and sub-layers of Gemma 2 2B and 9B and select layers of Gemma 2 27B base models. We primarily train SAEs on the Gemma 2 pre-trained models, but additionally release SAEs trained on instruction-tuned Gemma 2 9B for comparison. We evaluate the quality of each SAE on standard metrics and release these results. We hope that by releasing these SAE weights, we can help make more ambitious safety and interpretability research easier for the community. Weights and a tutorial can be found at https://huggingface.co/google/gemma-scope and an interactive demo can be found at https://www.neuronpedia.org/gemma-scope

arxiv情報

提供元, 利用サービス

arxiv.jp, Google