Sparse Autoencoders Learn Monosemantic Features in Vision-Language Models

要約

スパースオートエンコーダ(SAE)は近年、大規模言語モデル(LLM)における解釈可能性と操縦可能性を向上させることが示されている。本研究では、CLIPのような視覚言語モデル（VLM）へのSAEの適用を拡張し、視覚表現における単意味性を評価するための包括的なフレームワークを導入する。我々の実験結果から、VLMで学習されたSAEは、個々のニューロンの単意味性を著しく高めると同時に、専門家が定義した構造（iNaturalist分類法など）とよく一致する階層的な表現を示すことが明らかになった。最も注目すべきは、SAEをCLIP視覚エンコーダに介入させることで、基礎となるモデルに変更を加えることなく、マルチモーダルLLM（例えばLLaVA）からの出力を直接制御できることを実証したことである。これらの発見は、VLMの解釈可能性と制御の両方を強化するための教師なしアプローチとしてのSAEの実用性と有効性を強調している。

要約(オリジナル)

Sparse Autoencoders (SAEs) have recently been shown to enhance interpretability and steerability in Large Language Models (LLMs). In this work, we extend the application of SAEs to Vision-Language Models (VLMs), such as CLIP, and introduce a comprehensive framework for evaluating monosemanticity in vision representations. Our experimental results reveal that SAEs trained on VLMs significantly enhance the monosemanticity of individual neurons while also exhibiting hierarchical representations that align well with expert-defined structures (e.g., iNaturalist taxonomy). Most notably, we demonstrate that applying SAEs to intervene on a CLIP vision encoder, directly steer output from multimodal LLMs (e.g., LLaVA) without any modifications to the underlying model. These findings emphasize the practicality and efficacy of SAEs as an unsupervised approach for enhancing both the interpretability and control of VLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL