Efficient Dictionary Learning with Switch Sparse Autoencoders

要約

スパース オートエンコーダ (SAE) は、ニューラル ネットワークの活性化を人間が解釈可能な特徴に分解するための最近の技術です。
ただし、SAE がフロンティア モデルで表現されるすべての特徴を識別するには、モデルを非常に広い幅にスケールアップする必要があり、計算上の課題が生じます。
この研究では、SAE のトレーニングの計算コストを削減することを目的とした新しい SAE アーキテクチャである Switch Sparse Autoencoders を紹介します。
エキスパート モデルのまばらな混合からインスピレーションを得たスイッチ SAE は、より小規模な「エキスパート」 SAE 間でアクティベーション ベクトルをルーティングし、SAE がより多くの機能に効率的に拡張できるようにします。
スイッチ SAE と他の SAE アーキテクチャを比較する実験を紹介し、スイッチ SAE は、特定の固定トレーニング コンピューティング バジェットに対して、再構成とスパーシティ フロンティアにおいて大幅なパレート改善を実現することを発見しました。
また、複数の専門家間で機能のジオメトリを調査し、複数の専門家間で重複する機能を分析し、Switch SAE 機能が他の SAE アーキテクチャで見つかった機能と同様に解釈可能であることを検証します。

要約(オリジナル)

Sparse autoencoders (SAEs) are a recent technique for decomposing neural network activations into human-interpretable features. However, in order for SAEs to identify all features represented in frontier models, it will be necessary to scale them up to very high width, posing a computational challenge. In this work, we introduce Switch Sparse Autoencoders, a novel SAE architecture aimed at reducing the compute cost of training SAEs. Inspired by sparse mixture of experts models, Switch SAEs route activation vectors between smaller ‘expert’ SAEs, enabling SAEs to efficiently scale to many more features. We present experiments comparing Switch SAEs with other SAE architectures, and find that Switch SAEs deliver a substantial Pareto improvement in the reconstruction vs. sparsity frontier for a given fixed training compute budget. We also study the geometry of features across experts, analyze features duplicated across experts, and verify that Switch SAE features are as interpretable as features found by other SAE architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google