A Survey on Sparse Autoencoders: Interpreting the Internal Mechanisms of Large Language Models

要約

大規模な言語モデル（LLM）は自然言語処理に革命をもたらしましたが、その内部メカニズムはほとんど不透明です。
最近、機械的解釈は、LLMの内部の仕組みを理解する手段として、研究コミュニティから大きな注目を集めています。
さまざまなメカニズムの解釈可能性アプローチの中で、LLM内の複雑で重ね合わせた機能をより解釈可能なコンポーネントに解く能力により、スパース自動エンコーダー（SAE）が特に有望な方法として浮上しています。
このペーパーでは、LLMを解釈および理解するための有望なアプローチとしてのSAEの包括的な調査を提示します。
LLM分析に合わせて特別に調整されたSAE原則、アーキテクチャ、およびアプリケーションの体系的な概要を提供し、理論的基礎、実装戦略、およびスパーシティメカニズムの最近の開発をカバーします。
また、LLMの内部作業を説明し、モデルの動作を望ましい方向に操縦し、将来のモデルのためのより透明なトレーニング方法を開発するために、SAEを活用する方法を探ります。
SAEの実装とスケーリングに残っている課題にもかかわらず、大規模な言語モデルの内部メカニズムを理解するための貴重なツールを提供し続けています。

要約(オリジナル)

Large Language Models (LLMs) have revolutionized natural language processing, yet their internal mechanisms remain largely opaque. Recently, mechanistic interpretability has attracted significant attention from the research community as a means to understand the inner workings of LLMs. Among various mechanistic interpretability approaches, Sparse Autoencoders (SAEs) have emerged as a particularly promising method due to their ability to disentangle the complex, superimposed features within LLMs into more interpretable components. This paper presents a comprehensive examination of SAEs as a promising approach to interpreting and understanding LLMs. We provide a systematic overview of SAE principles, architectures, and applications specifically tailored for LLM analysis, covering theoretical foundations, implementation strategies, and recent developments in sparsity mechanisms. We also explore how SAEs can be leveraged to explain the internal workings of LLMs, steer model behaviors in desired directions, and develop more transparent training methodologies for future models. Despite the challenges that remain around SAE implementation and scaling, they continue to provide valuable tools for understanding the internal mechanisms of large language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google