On Model Extrapolation in Marginal Shapley Values

要約

複雑な機械学習モデルの使用が増えるにつれて、信頼性の高い説明可能性手法の必要性も高まっています。
モデルの説明可能性を実現するための最も一般的な方法の 1 つは、Shapley 値に基づくものです。
Shapley 値を計算するには、条件付きと周辺の 2 つの最も一般的に使用されるアプローチがあり、特徴が相関している場合に異なる結果が生成されます。
私たちの以前の研究では、因果関係の暗黙の仮定により、条件付きアプローチには根本的な欠陥があることが実証されました。
ただし、Shapley 値を計算するための限界的なアプローチでは、モデルの外挿が適切に定義されていない可能性があることはよく知られている事実です。
この論文では、単純な線形スプライン モデルの場合、モデル外挿が Shapley 値に及ぼす影響を調査します。
さらに、周辺平均を使用することでモデルの外挿を回避し、因果情報を追加することで因果的な Shapley 値を再現するアプローチを提案します。
最後に、実際のデータの例でこの方法を示します。

要約(オリジナル)

As the use of complex machine learning models continues to grow, so does the need for reliable explainability methods. One of the most popular methods for model explainability is based on Shapley values. There are two most commonly used approaches to calculating Shapley values which produce different results when features are correlated, conditional and marginal. In our previous work, it was demonstrated that the conditional approach is fundamentally flawed due to implicit assumptions of causality. However, it is a well-known fact that marginal approach to calculating Shapley values leads to model extrapolation where it might not be well defined. In this paper we explore the impacts of model extrapolation on Shapley values in the case of a simple linear spline model. Furthermore, we propose an approach which while using marginal averaging avoids model extrapolation and with addition of causal information replicates causal Shapley values. Finally, we demonstrate our method on the real data example.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google