MambaLRP: Explaining Selective State Space Sequence Models

要約

Mamba モデルと呼ばれる、選択的状態空間シーケンス モデルを使用した最近のシーケンス モデリング アプローチへの関心が急増しています。
これらのモデルは、線形時間での長いシーケンスの効率的な処理を可能にし、言語モデリングなどの幅広いアプリケーションに急速に採用され、有望なパフォーマンスを実証しています。
現実のシナリオで信頼性の高い使用を促進するには、その透明性を高めることが重要です。
私たちの取り組みは、説明可能性、特にレイヤーごとの関連性伝播 (LRP) を Mamba アーキテクチャに導入することで、この重大なギャップを橋渡しします。
関連性保存の公理に基づいて、不誠実な説明を引き起こす Mamba アーキテクチャ内の特定のコンポーネントを特定します。
この問題を解決するために、LRP フレームワーク内の新しいアルゴリズムである MambaLRP を提案します。これにより、これらのコンポーネントを介したより安定した信頼性の高い関連性の伝播が保証されます。
私たちが提案する手法は理論的には健全であり、さまざまなモデルやデータセットにわたって最先端の説明パフォーマンスを達成することに優れています。
さらに、MambaLRP は、Mamba アーキテクチャのより深い検査を容易にし、さまざまなバイアスを明らかにし、その重要性を評価します。
また、Mamba モデルの長距離能力に関する以前の推測の分析も可能になります。

要約(オリジナル)

Recent sequence modeling approaches using selective state space sequence models, referred to as Mamba models, have seen a surge of interest. These models allow efficient processing of long sequences in linear time and are rapidly being adopted in a wide range of applications such as language modeling, demonstrating promising performance. To foster their reliable use in real-world scenarios, it is crucial to augment their transparency. Our work bridges this critical gap by bringing explainability, particularly Layer-wise Relevance Propagation (LRP), to the Mamba architecture. Guided by the axiom of relevance conservation, we identify specific components in the Mamba architecture, which cause unfaithful explanations. To remedy this issue, we propose MambaLRP, a novel algorithm within the LRP framework, which ensures a more stable and reliable relevance propagation through these components. Our proposed method is theoretically sound and excels in achieving state-of-the-art explanation performance across a diverse range of models and datasets. Moreover, MambaLRP facilitates a deeper inspection of Mamba architectures, uncovering various biases and evaluating their significance. It also enables the analysis of previous speculations regarding the long-range capabilities of Mamba models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google