Uncovering the Structure of Explanation Quality with Spectral Analysis

要約

ハイステークスドメインでは機械学習モデルがますます考慮されるため、予測戦略がユーザーに対して透明であることを保証するために、効果的な説明方法が重要です。
長年にわたり、説明の質を評価するために多数のメトリックが提案されてきました。
ただし、特に、各メトリックのどの側面がどのような側面に報いるかについての理解が限られているため、実際の適用性は不明のままです。
この論文では、説明結果のスペクトル分析に基づいて新しいフレームワークを提案し、さまざまな説明手法の多面的な特性を体系的にキャプチャします。
私たちの分析は、説明の質の安定性とターゲット感度の2つの異なる要因を明らかにします。これは、スペクトル分解によって直接観察できます。
MnistとImagenetの両方での実験は、一般的な評価技術（例：ピクセル滑り、エントロピー）がこれらの要因間のトレードオフを部分的にキャプチャすることを示しています。
全体として、私たちのフレームワークは、説明の品質を理解するための基礎的な基盤を提供し、説明を評価するためのより信頼性の高い手法の開発を導きます。

要約(オリジナル)

As machine learning models are increasingly considered for high-stakes domains, effective explanation methods are crucial to ensure that their prediction strategies are transparent to the user. Over the years, numerous metrics have been proposed to assess quality of explanations. However, their practical applicability remains unclear, in particular due to a limited understanding of which specific aspects each metric rewards. In this paper we propose a new framework based on spectral analysis of explanation outcomes to systematically capture the multifaceted properties of different explanation techniques. Our analysis uncovers two distinct factors of explanation quality-stability and target sensitivity-that can be directly observed through spectral decomposition. Experiments on both MNIST and ImageNet show that popular evaluation techniques (e.g., pixel-flipping, entropy) partially capture the trade-offs between these factors. Overall, our framework provides a foundational basis for understanding explanation quality, guiding the development of more reliable techniques for evaluating explanations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google