Using the Path of Least Resistance to Explain Deep Networks

要約

広く使用されている公理パスベースの属性法である統合勾配（IG）は、ベースラインから入力までの直線パスに沿ってモデル勾配を統合することにより、入力機能に重要性スコアを割り当てます。
場合によっては効果的ですが、まっすぐな経路が欠陥のある帰属につながる可能性があることを示します。
このホワイトペーパーでは、これらの誤った違いの原因を特定し、入力空間をリーマニアの多様体として扱う代替アプローチを提案します。測地測定に沿って勾配を統合することにより、属性を計算します。
この方法と呼びますGeodeSic Integrated Gradients（ギグ）。
測地線パスを近似するために、2つの手法を紹介します。小さなモデルのためのK-Nearest Neighboursベースのアプローチと、より大きなモデルの確率的変異推論ベースの方法です。
さらに、新しい公理、強い完全性を提案し、IGによって満たされた公理を拡張します。
このプロパティは、帰属方法に望ましいものであり、ギグがそれを満たす唯一の方法であることを示します。
合成データと現実世界の両方のデータの実験を通じて、ギグがIGを含む既存の説明可能性方法を上回ることを実証します。

要約(オリジナル)

Integrated Gradients (IG), a widely used axiomatic path-based attribution method, assigns importance scores to input features by integrating model gradients along a straight path from a baseline to the input. While effective in some cases, we show that straight paths can lead to flawed attributions. In this paper, we identify the cause of these misattributions and propose an alternative approach that treats the input space as a Riemannian manifold, computing attributions by integrating gradients along geodesics. We call this method Geodesic Integrated Gradients (GIG). To approximate geodesic paths, we introduce two techniques: a k-Nearest Neighbours-based approach for smaller models and a Stochastic Variational Inference-based method for larger ones. Additionally, we propose a new axiom, Strong Completeness, extending the axioms satisfied by IG. We show that this property is desirable for attribution methods and that GIG is the only method that satisfies it. Through experiments on both synthetic and real-world data, we demonstrate that GIG outperforms existing explainability methods, including IG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google