AxBench: Steering LLMs? Even Simple Baselines Outperform Sparse Autoencoders

要約

言語モデルの出力の細かいステアリングは、安全性と信頼性に不可欠です。
これらの目標を達成するためにプロンプ​​トと微調整が広く使用されていますが、解釈可能性の研究者は、スパース自動エンコーダー（SAE）、線形人工断層撮影、監視されたステアリングベクター、線形プローブ、表現フィニッシングなど、さまざまな表現ベースの技術も提案しています。
現在、これらの提案を直接比較するためのベンチマークはありません。
したがって、ステアリングとコンセプト検出のための大規模なベンチマークであるAxbenchを紹介し、Gemma-2-2Bおよび9Bの実験を報告します。
ステアリングの場合、誘導がすべての既存の方法を上回り、その後にFinetuningが続くことがわかります。
コンセプトの検出のために、平均の違いなどの表現ベースの方法が最善を尽くします。
両方の評価では、SAEは競争力がありません。
斬新な弱く監視された表現方法（ランク1表現Finetuning; Reft-R1）を紹介します。これは、両方のタスクで競争力があり、促しが不足している解釈可能性の利点を提供します。
Axbenchに加えて、Reft-R1およびDiffmeanのSAEスケール機能辞書をトレーニングおよび公開します。

要約(オリジナル)

Fine-grained steering of language model outputs is essential for safety and reliability. Prompting and finetuning are widely used to achieve these goals, but interpretability researchers have proposed a variety of representation-based techniques as well, including sparse autoencoders (SAEs), linear artificial tomography, supervised steering vectors, linear probes, and representation finetuning. At present, there is no benchmark for making direct comparisons between these proposals. Therefore, we introduce AxBench, a large-scale benchmark for steering and concept detection, and report experiments on Gemma-2-2B and 9B. For steering, we find that prompting outperforms all existing methods, followed by finetuning. For concept detection, representation-based methods such as difference-in-means, perform the best. On both evaluations, SAEs are not competitive. We introduce a novel weakly-supervised representational method (Rank-1 Representation Finetuning; ReFT-r1), which is competitive on both tasks while providing the interpretability advantages that prompting lacks. Along with AxBench, we train and publicly release SAE-scale feature dictionaries for ReFT-r1 and DiffMean.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google