Shaping Up SHAP: Enhancing Stability through Layer-Wise Neighbor Selection

要約

ディープラーニングやアンサンブル手法などの機械学習手法は、現実世界の複雑なタスクを処理できるため、さまざまな分野で広く使用されています。
しかし、そのブラックボックスの性質により、コンピューター支援による意思決定の公平性、信頼性、透明性について複数の懸念が生じています。
これにより、ブラックボックス アルゴリズムによって行われた個々の決定についての説明を提供する、ローカルなポストホック説明可能性手法の出現につながりました。
これらの手法の中でも、カーネル SHAP は、モデルに依存しない性質と十分に根拠のある理論的枠組みにより広く使用されています。
これらの利点にもかかわらず、カーネル SHAP は高い不安定性を抱えています。同じ入力を使用してメソッドを異なる実行すると、大幅に異なる説明が得られる可能性があり、説明の関連性が低下します。
この論文の貢献は 2 つあります。
一方で、カーネル SHAP の不安定性は、説明の忠実度を損なうことなく完全な安定性を達成するために適用される確率的隣接選択手順によって引き起こされることを示します。
一方で、隣接する生成をサイズ 1 の摂動 (レイヤー 1 の連合と呼ぶ) に制限することによって、完全に安定しており、計算効率が高く、依然として意味のある新しい特徴属性手法が得られることを示します。

要約(オリジナル)

Machine learning techniques, such as deep learning and ensemble methods, are widely used in various domains due to their ability to handle complex real-world tasks. However, their black-box nature has raised multiple concerns about the fairness, trustworthiness, and transparency of computer-assisted decision-making. This has led to the emergence of local post-hoc explainability methods, which offer explanations for individual decisions made by black-box algorithms. Among these methods, Kernel SHAP is widely used due to its model-agnostic nature and its well-founded theoretical framework. Despite these strengths, Kernel SHAP suffers from high instability: different executions of the method with the same inputs can lead to significantly different explanations, which diminishes the relevance of the explanations. The contribution of this paper is two-fold. On the one hand, we show that Kernel SHAP’s instability is caused by its stochastic neighbor selection procedure, which we adapt to achieve full stability without compromising explanation fidelity. On the other hand, we show that by restricting the neighbors generation to perturbations of size 1 — which we call the coalitions of Layer 1 — we obtain a novel feature-attribution method that is fully stable, computationally efficient, and still meaningful.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google